欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 教育 > 高考 > Spark,上传文件

Spark,上传文件

2025/9/15 7:29:34 来源:https://blog.csdn.net/2402_87076376/article/details/146885552  浏览:    关键词:Spark,上传文件

上传文件

1.上传

先使用命令打开HDFS的NameNode

[root@hadoop100 hadoop-3.1.3]$ sbin/start-dfs.sh

[root@hadoop100 hadoop-3.1.3]$ sbin/stop-dfs.sh

和YARN的Job

[root@hadoop101 hadoop-3.1.3]$ sbin/start-yarn.sh

[root@hadoop101 hadoop-3.1.3]$ sbin/stop-yarn.sh

NameNode上上<128M文件时可直接上传当文件>128M时会将这个大文件拆分为多个小文件上传

随机创建一个小文件在NameNode上上传操作如下:

在FinalShell上用命令上传文件就是

上传小文件(小于128M)

[root@hadoop100 ~]$ hadoop fs -mkdir /input

[root@hadoop100 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

上传大文件(大于128M)

[root@hadoop100 ~]$ hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

上传的文件下载下来…可直接在页面上下载

2.在yarn上查看上传的文件

[root@hadoop101 ~]$ cd /opt/modele/hadoop-3.1.3

[root@hadoop101 ~]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /output

刷新yarn即可查看

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com