如何在Idea中编写Spark程序并运行

2025/5/9 5:58:58 来源：https://blog.csdn.net/2401_83374563/article/details/147751858 浏览: 次关键词：如何在Idea中编写Spark程序并运行

启动条件

下载好关于所需要的空间，配置好相应的环境，例如Scala，jdk

设置maven依赖项。修改pom.xml文件，添加如下：

<maven.compiler.source>8</maven.compiler.source>

<maven.compiler.target>8</maven.compiler.target>

<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

</properties>

<groupId>org.scala-lang</groupId>

<artifactId>scala-library</artifactId>

</dependency>

<groupId>org.apache.spark</groupId>

<artifactId>spark-core_2.12</artifactId>

</dependency>

</dependencies>

</project>

编写代码如下

它的功能是wordcount的功能：从指定的文件夹中去读取文件，并做词频统计。

import org.apache.spark.{SparkConf, SparkContext}

object WordCount{

def main(args: Array[String]): Unit = {

// 配置 Spark 应用程序

val conf = new SparkConf().setAppName("WordCount").setMaster("local[*]")

// 创建 SparkContext 对象

val sc = new SparkContext(conf)

// 读取目录下的所有文本文件

val textFiles = sc.wholeTextFiles("input")

// 提取文本内容并执行 WordCount 操作

val counts = textFiles.flatMap { case (_, content) => content.split("\\s+") }.map(word => (word, 1)).reduceByKey(_ + _)

// 将所有分区的数据合并成一个分区

val singlePartitionCounts = counts.coalesce(1)

// 保存结果到文件

singlePartitionCounts.saveAsTextFile("output")

// 停止 SparkContext

sc.stop()

}

最后准备待统计的词频文件。在项目根目录下建立文件夹input，并创建两个文本文件：word1.txt, word2.txt并运行就可以了

相关资讯