1. 安装并配置 IntelliJ IDEA
- 下载并安装 IntelliJ IDEA，建议使用社区版或旗舰版。
- 安装 Scala 插件（如果使用 Scala 编写 Spark 程序）。在 IntelliJ IDEA 中，依次点击
File->Settings（Windows/Linux）或IntelliJ IDEA->Preferences（Mac），在搜索框中输入Plugins，搜索Scala插件并安装。
2. 创建新项目
2.1 创建 Maven 项目
- 打开 IntelliJ IDEA，选择
Create New Project。 - 在左侧面板选择
Maven，确保勾选Create from archetype，选择org.apache.maven.archetypes:maven-archetype-quickstart。 - 点击
Next，设置项目的GroupId、ArtifactId和Version。 - 点击
Next，配置 Maven 的相关信息，如 Maven 的安装路径、settings.xml文件路径等。 - 点击
Finish完成项目创建。
2.2 添加 Spark 依赖
在 pom.xml 文件中添加 Spark 依赖。以下是一个示例，使用 Spark 3.3.2 版本：
xml
<dependencies><!-- Spark Core --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.12</artifactId><version>3.3.2</version></dependency><!-- Spark SQL --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.12</artifactId><version>3.3.2</version></dependency>
</dependencies>
Maven 会自动下载这些依赖项。
3. 编写 Spark 程序
3.1 使用 Java 编写简单的 Spark 程序
以下是一个使用 Java 编写的简单 Spark 程序，用于统计文本文件中单词的数量：
java
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;import java.util.Arrays;public class WordCount {public static void main(String[] args) {// 创建SparkConf对象SparkConf conf = new SparkConf().setAppName("WordCount").setMaster("local[*]");// 创建JavaSparkContext对象JavaSparkContext sc = new JavaSparkContext(conf);// 读取文本文件JavaRDD<String> lines = sc.textFile("path/to/your/text/file.txt");// 切分每行文本为单词JavaRDD<String> words = lines.flatMap(line -> Arrays.asList(line.split(" ")).iterator());// 将每个单词映射为 (word, 1) 的键值对JavaPairRDD<String, Integer> pairs = words.mapToPair(word -> new Tuple2<>(word, 1));// 统计每个单词的出现次数JavaPairRDD<String, Integer> counts = pairs.reduceByKey((a, b) -> a + b);// 打印结果counts.collect().forEach(System.out::println);// 关闭JavaSparkContextsc.close();}
}
3.2 使用 Scala 编写简单的 Spark 程序
以下是使用 Scala 编写的相同功能的程序：
scala
import org.apache.spark.sql.SparkSessionobject WordCountScala {def main(args: Array[String]): Unit = {// 创建SparkSession对象val spark = SparkSession.builder().appName("WordCountScala").master("local[*]").getOrCreate()// 读取文本文件val lines = spark.sparkContext.textFile("path/to/your/text/file.txt")// 切分每行文本为单词val words = lines.flatMap(_.split(" "))// 将每个单词映射为 (word, 1) 的键值对val pairs = words.map(word => (word, 1))// 统计每个单词的出现次数val counts = pairs.reduceByKey(_ + _)// 打印结果counts.collect().foreach(println)// 关闭SparkSessionspark.stop()}
}
4. 运行 Spark 程序
- 在 IDE 中，右键点击主类（如
WordCount或WordCountScala），选择Run 'ClassName.main(...)'来运行程序。注意，要将path/to/your/text/file.txt替换为实际的文本文件路径。
5. 打包并提交到集群
如果要将程序提交到 Spark 集群运行，可以使用 Maven 将项目打包成 JAR 文件。在项目根目录下执行以下命令：
bash
mvn clean package
打包完成后，会在 target 目录下生成一个 JAR 文件。使用 spark-submit 命令将 JAR 文件提交到集群：
bash
spark-submit --class com.example.WordCount --master yarn --deploy-mode cluster /path/to/your/jar/file.jar
将 com.example.WordCount 替换为实际的主类名，/path/to/your/jar/file.jar 替换为实际的 JAR 文件路径。
