命令手册

hadoop集群用户的常用命令。

archive

创建一个hadoop档案文件。参考 Hadoop Archives.

用法：hadoop archive -archiveName NAME *

命令选项 描述

-archiveName NAME

要创建的档案的名字。

src

文件系统的路径名，和通常含正则表达的一样。

dest

保存档案文件的目标目录。

distcp

递归地拷贝文件或目录。参考DistCp指南以获取等多信息。

用法：hadoop distcp

命令选项 描述

srcurl

源Url

desturl

目标Url

fs

用法：hadoop fs [GENERIC_OPTIONS]

[COMMAND_OPTIONS]

运行一个常规的文件系统客户端。

各种命令选项可以参考HDFS Shell指南。

fsck

运行HDFS文件系统检查工具。参考Fsck了解更多。

用法：hadoop fsck [GENERIC_OPTIONS]

[-move | -delete | -openforwrite] [-files [-blocks

[-locations | -racks]]]

命令选项 描述

检查的起始目录。

-move

移动受损文件到/lost+found

-delete

删除受损文件。

-openforwrite

打印出写打开的文件。

-files

打印出正被检查的文件。

-blocks

打印出块信息报告。

-locations

打印出每个块的位置信息。

-racks

打印出data-node的网络拓扑结构。

jar

运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中，使用这个命令执行。

用法：hadoop jar [mainClass] args...

streaming作业是通过这个命令执行的。参考Streaming examples中的例子。

Word count例子也是通过jar命令运行的。参考Wordcount example。

job

用于和Map Reduce作业交互和命令。

用法：hadoop job [GENERIC_OPTIONS]

[-submit ] | [-status ] |

[-counter ] | [-kill ] |

[-events <#-of-events>] | [-history [all] ] |

[-list [all]] | [-kill-task ] | [-fail-task ]

命令选项 描述

-submit

提交作业

-status

打印map和reduce完成百分比和所有计数器。

-counter

打印计数器的值。

-kill

杀死指定作业。

-events <#-of-events>

打印给定范围内jobtracker接收到的事件细节。

-history [all]

-history 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看。

-list [all]

-list all显示所有作业。-list只显示将要完成的作业。

-kill-task

杀死任务。被杀死的任务不会不利于失败尝试。

-fail-task

使任务失败。被失败的任务会对失败尝试不利。

pipes

运行pipes作业。

用法：hadoop pipes [-conf ] [-jobconf , , ...]

[-input ] [-output ] [-jar ] [-inputformat ]

[-map ] [-partitioner ] [-reduce ] [-writer ]

[-program ] [-reduces ]

命令选项 描述

-conf

作业的配置

-jobconf , , ...

增加/覆盖作业的配置项

-input

输入目录

-output

输出目录

-jar

Jar文件名

-inputformat

InputFormat类

-map

Java Map类

-partitioner

Java Partitioner

-reduce

Java Reduce类

-writer

Java RecordWriter

-program

可执行程序的URI

-reduces

reduce个数

version

打印版本信息。

用法：hadoop version

CLASSNAME

hadoop脚本可用于调调用任何类。

用法：hadoop CLASSNAME

运行名字为CLASSNAME的类。