Hadoop-MapReduce

Hadoop MapReduce 是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到 Hadoop 集群上用于并行处理大规模的数据集。

编程模型

MapReduce模型包括两个主要的函数：

1. Map 函数：它接收输入数据并将其转换为中间键值对（key-value）。Map函数通常用于过滤和转换数据。

2. Reduce 函数：它接收Map函数输出的中间键值对，并将具有相同键的所有值组合起来，以产生最终的输出。Reduce函数通常用于汇总和聚合数据。

工作流程

输入分片(InputFormat) -> Map 任务 -> Partitioner进行分片(shuffling) -> 排序(sort，Combiner) -> Reduce 任务 -> 输出

Partitioner

1. Partitioner（分区器）的作用是将Map任务输出的中间键值对分配（或“分区”）到不同的Reduce任务中。Partitioner确保具有相同键的所有数据都被发送到同一个Reduce任务进行处理。
2. Partitioner是在Map阶段结束后立即执行的。它的任务是将Map任务输出的所有键值对（key-value pairs）根据键的哈希值分配到不同的Reduce任务中。这个过程称为“分片”（shuffling）

Combiner 

Combiner是一个可选组件，它在Map任务完成后和Reduce任务开始之前运行。Combiner的主要作用是减少数据在Map任务和Reduce任务之间的传输量（数据进行局部聚合），从而提高整个MapReduce作业的效率。

比如：可以将在同一个Mapper中的键值对相同键合并。