《从零开始学Hadoop大数据分析(视频教学版)》 —3.4.2 基于Java API的操作

举报
华章计算机 发表于 2019/12/14 23:07:05 2019/12/14
【摘要】 本节书摘来自华章计算机《从零开始学Hadoop大数据分析(视频教学版)》 一书中第3章,第3.4.2节,作者是温春水 毕洁馨 。

3.4.2  基于Java API的操作

  本节将介绍通过Java API来访问HDFS,首先介绍HDFS中的文件操作主要涉及的几个类。

* Configuration类:该类的对象封装了客户端或者服务器的配置。

* FileSystem类:该类的对象是一个文件系统对象,可以用该对象的一些方法对文件进行操作。FileSystem fs = FileSystem.get(conf);通过FileSystem的静态方法get获得该对象。

* FSDataInputStream和FSDataOutputStream:这两个类是HDFS中的输入/输出流,分别通过FileSystem的open方法和create方法获得。

  接下来通过实例介绍如何利用Java API进行文件夹的创建、文件列表显示、文件上传和文件下载操作,为了使读者对实例具有完整性的理解,我们把主函数也列了出来。实例代码如下:

 

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

public class HdfsDemo {

public static void main(String[] args) {

         createFolder();

       //uploadFile();

       //downloadFile();

//listFile(new Path("/"));

}

 

  在主函数中,分别调用了createFolder()、uploadFile()、downloadFile()和listFile(new Path("/")函数来实现文件夹的创建、文件上传、文件下载和递归显示文件夹功能。


【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。