如何搭建spark yarn模式的集群

1. 环境准备

• 确保所有节点上安装了 Java（建议 Java 8 或更高版本），并配置好 JAVA_HOME 环境变量。
• 安装并配置好 Hadoop 集群，保证 HDFS 和 YARN 服务正常运行。

2. 下载并解压 Spark

• 从 Apache Spark 官方网站（https://spark.apache.org/downloads.html）下载适合你 Hadoop 版本的 Spark 发行版。
• 将下载的文件解压到所有节点的相同目录，例如 /opt/spark。

3. 配置 Spark

3.1 修改 spark-env.sh

在 Spark 安装目录的 conf 文件夹下，复制 spark-env.sh.template 为 spark-env.sh，并进行如下配置：

# 设置 Java 环境变量
export JAVA_HOME=/path/to/java# 设置 Hadoop 配置文件目录
export HADOOP_CONF_DIR=/path/to/hadoop/etc/hadoop# 设置 Spark 日志目录
export SPARK_LOG_DIR=/path/to/spark/logs# 设置 Spark 临时目录
export SPARK_LOCAL_DIRS=/path/to/spark/tmp

3.2 修改 spark-defaults.conf

在 conf 文件夹下，复制 spark-defaults.conf.template 为 spark-defaults.conf，并添加以下内容：

# 设置 Spark 运行模式为 YARN
spark.master    yarn# 设置部署模式为集群模式
spark.submit.deployMode cluster

4. 分发配置文件

将修改后的 spark-env.sh 和 spark-defaults.conf 分发到集群中的所有节点。

5. 启动 Spark 服务

在任意节点上启动 Spark 历史服务器：

/path/to/spark/sbin/start-history-server.sh

6. 测试集群

在任意节点上提交一个简单的 Spark 应用程序进行测试：

/path/to/spark/bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mode cluster \/path/to/spark/examples/jars/spark-examples_*.jar \10

7. 监控和管理

• 可以通过 YARN 的资源管理器界面（通常是 http://<resourcemanager-host>:8088）监控 Spark 应用程序的运行情况。
• 可以通过 Spark 历史服务器界面（通常是 http://<history-server-host>:18080）查看 Spark 应用程序的历史信息。

按照以上步骤，你就可以成功搭建一个 Spark YARN 模式的集群。在实际操作过程中，请根据你的具体环境和需求进行相应的调整。