3.8.1 利用RDD实现词频统计

在本次实战中，我们通过Spark的RDD实现了词频统计功能。首先，准备了包含单词的文件并上传至HDFS。接着，采用交互式方式逐步完成词频统计，包括创建RDD、单词拆分、映射为二元组、按键归约以及排序等操作。此外，还通过创建Maven项目，配置依赖、添加Scala SDK、创建日志属性文件和HDFS配置文件，最终编写并运行Scala程序，实现了词频统计并将结果输出到HDFS。整个过程涵盖了从数据准备到程序开发和结果验证的完整流程，加深了对Spark RDD操作和分布式文件处理的理解。