《Hadoop权威指南：大数据的存储与分析》—3.3 命令行接口

3.3  命令行接口

现在我们通过命令行交互来进一步认识HDFS。HDFS还有很多其他接口，但命令行是最简单的，同时也是许多开发者最熟悉的。

参照附录A中伪分布模式下设置Hadoop的说明，我们先在一台机器上运行HDFS。稍后介绍如何在集群上运行HDFS，以提供可扩展性与容错性。

在我们设置伪分布配置时，有两个属性项需要进一步解释。第一项是fs.defaultFS，设置为hdfs://localhost/，用于设置Hadoop的默认文件系统。文件系统是由URI指定的，这里我们已使用hdfs URI来配置HDFS为Hadoop的默认文件系统。HDFS的守护程序通过该属性项来确定HDFS namenode的主机及端口。我们将在localhost默认的HDFS端口8020上运行namenode。这样一来，HDFS客户端可以通过该属性得知namenode在哪里运行进而连接到它。

第二个属性dfs.replication，我们设为1，这样一来，HDFS就不会按默认设置将文件系统块复本设为3。在单独一个datanode上运行时，HDFS无法将块复制到3个datanode上，所以会持续给出块复本不足的警告。设置这个属性之后，上述问题就不会再出现了。

文件系统的基本操作

至此，文件系统已经可以使用了，我们可以执行所有常用的文件系统操作，例如，读取文件，新建目录，移动文件，删除数据，列出目录，等等。可以输入hadoop fs -help命令获取每个命令的详细帮助文件。

首先从本地文件系统将一个文件复制到HDFS：

% hadoop fs -copyFromLocal input/docs/quangle.txt \ hdfs://localhost/user/tom/quangle.txt

该命令调用Hadoop文件系统的shell命令fs，后者提供了一系列子命令，在这个例子中，我们执行的是-copyFromLocal。本地文件quangle.txt被复制到运行在localhost上的 HDFS实例中，路径为/user/tom/quangle.txt。事实上，我们可以简化命令格式以省略主机的URI并使用默认设置，即省略hdfs://localhost，因为该项已在core-site.xml中指定。

 % hadoop fs -copyFromLocal input/docs/quangle.txt /user/tom/quangle.txt

我们也可以使用相对路径，并将文件复制到HDFS的home目录中，本例中为/user/tom：

 % hadoop fs -copyFromLocal input/docs/quangle.txt quangle.txt

我们把文件复制回本地文件系统，并检查是否一致：

% hadoop fs -copyToLocal quangle.txt quangle.copy.txt 

% md5 input/docs/quangle.txt quangle.copy.txt 

 MD5 (input/docs/quangle.txt) = e7891a2627cf263a079fb0f18256ffb2 

 MD5 (quangle.copy.txt) = e7891a2627cf263a079fb0f18256ffb2

MD5键值相同，表明这个文件在HDFS之旅中得以幸存并保存完整。

最后，看一下HDFS文件列表。我们新建一个目录，看它在列表中怎么显示：

% hadoop fs -mkdir books 

% hadoop fs -ls . 

Found 2 items 

drwxr-xr-x - tom supergroup 0 2014-10-04 13:22 books 

-rw-r--r-- 1 tom supergroup 119 2014-10-04 13:21 quangle.txt

返回的结果信息与Unix命令ls -l的输出结果非常相似，仅有细微差别。第1列显示的是文件模式。第2列是这个文件的备份数(这在传统Unix文件系统是没有的)。由于我们在整个文件系统范围内设置的默认复本数为1，所以这里显示的也都是1。这一列的开头目录为空，因为本例中没有使用复本的概念，目录作为元数据保存在namenode中，而非datanode中。第3列和第4列显示文件的所属用户和组别。第5列是文件的大小，以字节为单位，目录为0。第6列和第7列是文件的最后修改日期与时间。最后，第8列是文件或目录的名称。

HDFS中的文件访问权限

针对文件和目录，HDFS的权限模式与POSIX 的权限模式非常相似。

一共提供三类权限模式：只读权限(r)、写入权限(w)和可执行权限(x)。读取文件或列出目录内容时需要只读权限。写入一个文件或是在一个目录上新建及删

除文件或目录，需要写入权限。对于文件而言，可执行权限可以忽略，因为你不能在HDFS中执行文件(与POSIX不同)，但在访问一个目录的子项时需要该权限。

每个文件和目录都有所属用户(owner)、所属组别(group)及模式(mode)。这个模式是由所属用户的权限、组内成员的权限及其他用户的权限组成的。

在默认情况下，Hadoop运行时安全措施处于停用模式，意味着客户端身份是没有经过认证的。由于客户端是远程的，一个客户端可以在远程系统上通过创建和任一个合法用户同名的账号来进行访问。当然，如果安全设施处于启用模式，这些都是不可能的(详情见10.4节关于安全性的有关论述)。无论怎样，为防止用户或自动工具及程序意外修改或删除文件系统的重要部分，启用权限控制还是很重要的(这也是默认的配置，参见dfs.permissions.enabled属性)

如果启用权限检查，就会检查所属用户权限，以确认客户端的用户名与所属用户是否匹配，另外也将检查所属组别权限，以确认该客户端是否是该用户组的成员；若不符，则检查其他权限。

这里有一个超级用户(super-user)的概念，超级用户是namenode进程的标识。对于超级用户，系统不会执行任何权限检查。