【Hive入门】Hive与Spark SQL深度集成：执行引擎性能全面对比与调优分析

• 在hive-site.xml中永久生效配置：

<!-- 使用MapReduce引擎 -->
<property><name>hive.execution.engine</name><value>mr</value>
</property><!-- 使用Tez引擎 -->
<property><name>hive.execution.engine</name><value>tez</value>
</property><!-- 使用Spark引擎 -->
<property><name>hive.execution.engine</name><value>spark</value>
</property>

• 在Hive会话中临时切换：

-- 切换到Tez
SET hive.execution.engine=tez;
-- 切换到Spark
SET hive.execution.engine=spark;

<!-- tez-site.xml -->
<property><name>tez.am.resource.memory.mb</name><value>4096</value>
</property><property><name>tez.task.resource.memory.mb</name><value>2048</value>
</property>

-- 在Hive中设置Spark参数
SET spark.executor.memory=4g;
SET spark.executor.cores=2;
SET spark.executor.instances=10;
SET spark.dynamicAllocation.enabled=true;

• HiveServer2：接收查询请求
• Spark Client：提交作业到集群
• Spark Cluster：执行物理计划
• Data Sources：读写外部存储

• Hive与Spark SQL的优化器协作流程：

• HiveQL解析：生成Hive抽象语法树
• AST转换：转为Spark SQL的语法树
• Catalyst优化：应用规则优化逻辑计划
• 物理执行：生成Spark RDD操作

• 直接HDFS读取：

• Spark直接读取Hive表数据文件
• 零拷贝，最高效的方式

• 通过HiveServer2传输：

• 用于元数据获取和小量数据传输
• 应尽量减少这种模式

-- 并行度控制
SET spark.sql.shuffle.partitions=200;  -- 适合集群规模
-- 内存管理
SET spark.memory.fraction=0.6;
SET spark.memory.storageFraction=0.5;
-- 执行策略
SET spark.sql.adaptive.enabled=true;  -- 开启动态调整
SET spark.sql.join.preferSortMergeJoin=true;

<!-- tez-site.xml -->
<property><name>tez.grouping.split-count</name><value>200</value>  
</property><property><name>tez.runtime.io.sort.mb</name><value>1024</value>
</property>

• 问题1：Spark作业提交失败

ERROR SparkClient: Failed to submit spark job

• 问题2：性能不如预期

• 数据倾斜处理：

-- 倾斜键识别
SELECT key, COUNT(*) 
FROM table 
GROUP BY key 
ORDER BY 2 DESC 
LIMIT 10;
-- 倾斜处理方案
SET spark.sql.adaptive.skewJoin.enabled=true;
SET spark.sql.adaptive.skewJoin.skewedPartitionFactor=5;

• 内存优化技巧：

-- 控制广播阈值
SET spark.sql.autoBroadcastJoinThreshold=10485760;  -- 10MB
-- 序列化优化
SET spark.serializer=org.apache.spark.serializer.KryoSerializer;