欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 健康 > 养生 > 【hadoop】远程调试环境

【hadoop】远程调试环境

2025/5/24 21:57:33 来源:https://blog.csdn.net/2302_81240667/article/details/146416276  浏览:    关键词:【hadoop】远程调试环境

根据上一节,我们已经安装完成hadoop伪分布式环境

hadoop集群环境配置_jdk1.8 441-CSDN博客

还没安装的小伙伴可以看看这个帖子

这一节我们要实现使用vscode进行远程连接,并且完成java配置与测试


目录

vscode

配置远程

安装java插件 

 新建java项目

 配置依赖

Java项目编译,打包,运行 

打包为可执行JAR

 运行JAR程序

Hadoop集群运行程序 


vscode

上官网下载vscode(这里默认你已经安装)

然后配置插件

Remote-SSH

配置远程

点卡开之后会出现SSH(下面的图是已经使用过后的结果)

会弹出远程连接的提示

直接输入虚拟机的ip即可

安装java插件 

 连接完后,需要在远程机子上安装java插件

在vscode插件页面搜索

Extension Pack for Java

 新建java项目

你可以新建文件夹后在文件夹下面新建项目

新建文件夹

打开终端

Ctrl+~

mkdir  ~/workplace 

调出命令框 

ctrl+shift+p 

然后输入java 

点击

  • 选择 no bulid tools 

  • 选择刚才创建的 workplace 文件夹

命名 

然后就会给你创建一个默认简单java项目

包括这些

 配置依赖

打开settings.json文件

根据具体位置配置,以下图片中包括文件查找,根据查找的路径进行更改 

最终

 

Java项目编译,打包,运行 

目录结构 

HelloWorld/
├── src/
│   └── com/
│       └── demo/
│           └── hello/
│               └── HelloWorld.java
└── bin/

package com.demo.hello;

public class HelloWorld {

    public static void main(String[] args) throws Exception {

        System.out.println("Hello, World!");

    }

}

vscode会自动创建编译的bin目录

咱们直接运行就行

javac -d bin src/com/demo/hello/HelloWorld.java

打包为可执行JAR

 jar cvfe hello-demo.jar com.demo.hello.HelloWorld -C bin .

验证结构

jar tf hello-demo.jar

输出应包含

META-INF/MANIFEST.MF
com/demo/hello/HelloWorld.class 

 运行JAR程序

java -jar hello-demo.jar

Hadoop集群运行程序 

注意,这里要先启动hadoop集群

不然会出现如下错误

在终端运行

然后,准备hadoop环境

hdfs dfs -mkdir -p /input

hdfs dfs -put LICENSE.txt /input

会报错

 检查文件(在常见位置)

ls /usr/share/doc/*/LICENSE.txt
ls ~/Downloads/LICENSE.txt

查找Hadoop安装目录下的LICENSE文件(可能需要root权限) 

find $HADOOP_HOME -name "LICENSE*" 2>/dev/null

 上传

cp $HADOOP_HOME/LICENSE.txt .

 继续运行

hdfs dfs -put LICENSE.txt /input

解决 

继续 

hdfs dfs -rm -r /output/res  # 确保输出目录不存在   

提交作业

hadoop jar hello-demo.jar MR_Sample.WordCount.WordCountMain   /input/LICENSE.txt   /output/res

 ok!

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词