文件内容课堂总结

 
Spark Streaming实时流式数据处理框架，与Spark Core、Spark SQL等无缝集成。
输入源支持：Kafka、Flume、TCP套接字、HDFS等，输出可存入HDFS、数据库等。
抽象模型：以DStream（离散化流）为核心，本质是随时间划分的RDD序列，支持map、reduce、join等算子操作。
Spark Streaming特点
易用性：提供类似批处理的API，支持Java、Python、Scala等多语言。
容错性：自动恢复失败任务，数据源端重放机制保障数据不丢失。
高效性：基于Spark引擎，支持高吞吐量和低延迟处理。
架构与背压机制
背压机制（Backpressure）：动态调节数据接收速率，避免因处理能力不足导致内存溢出。
启用条件：设置 spark.streaming.backpressure.enabled=true 。
效果：根据JobScheduler的反馈自动调整Receiver端数据摄入速度，适配集群处理能力。
RDD队列创建DStream
通过 queueStream 方法将RDD队列转换为DStream，队列中的每个RDD按顺序处理。
实现方式：使用 mutable.Queue 存储RDD，动态向队列中添加新RDD（如循环生成含随机数的RDD），Spark Streaming会逐个处理队列中的RDD。
特点：适合测试或模拟实时数据流，可通过控制队列更新频率模拟不同数据生成速度。
结果输出：每批次处理结果会打印类似 (数值, 出现次数) 的统计信息，数值随批次累加。 
自定义数据源
核心原理：通过继承 Receiver 类并重写 onStart() 和 onStop() 方法，实现自定义数据采集逻辑。 
实现方式：例如监听TCP端口（如9999），使用Socket接收外部数据（如日志或消息），并将数据封装为DStream。
应用场景：适用于非标准数据源（如私有协议、硬件设备数据）的实时接入。 
结果输出：接收到的原始数据（如字符串）经处理后输出统计结果（如单词计数）。