Hadoop集群的常用命令

1. HDFS（Hadoop 分布式文件系统）命令

• 查看 HDFS 根目录内容

bash

hdfs dfs -ls /

此命令可列出 HDFS 根目录下的所有文件和目录。

• 在 HDFS 上创建目录

bash

hdfs dfs -mkdir /new_directory

该命令会在 HDFS 根目录下创建一个名为 new_directory 的新目录。

• 将本地文件上传到 HDFS

bash

hdfs dfs -put local_file.txt /hdfs_directory/

此命令能把本地的 local_file.txt 文件上传到 HDFS 的 /hdfs_directory/ 目录中。

• 从 HDFS 下载文件到本地

bash

hdfs dfs -get /hdfs_file.txt local_directory/

该命令会将 HDFS 上的 /hdfs_file.txt 文件下载到本地的 local_directory/ 目录。

• 删除 HDFS 上的文件或目录

bash

hdfs dfs -rm -r /hdfs_directory_to_delete

此命令可递归删除 HDFS 上的 /hdfs_directory_to_delete 目录及其所有子目录和文件。

2. YARN（Yet Another Resource Negotiator）命令

• 查看 YARN 集群状态

bash

yarn node -list

该命令会列出 YARN 集群中所有节点的状态信息。

• 查看正在运行的应用程序

bash

yarn application -list

此命令能显示当前在 YARN 集群上运行的所有应用程序。

• 杀死一个正在运行的应用程序

bash

yarn application -kill application_123456789_0001

这里的 application_123456789_0001 是要终止的应用程序的 ID。

3. MapReduce 命令

• 运行 MapReduce 作业

bash

hadoop jar /path/to/your/jar/file.jar MainClass input_path output_path

此命令会运行一个 MapReduce 作业，其中 /path/to/your/jar/file.jar 是包含 MapReduce 程序的 JAR 文件路径，MainClass 是程序的主类名，input_path 和 output_path 分别是输入和输出路径。