1. 数仓概念
2. 项目需求及架构设计
2.1 项目需求分析
2.1.1 项目需求
2.1.2 离线需求
2.1.3 实时需求
2.2 项目框架
2.2.1 技术选型
2.2.2 系统数据流程设计
2.2.3 测试集群服务器规划
| 服务名称 | 子服务 | 服务器 hadoop111 | 服务器 hadoop112 | 服务器 hadoop113 |
| HDFS | NameNode | √ | ||
| DataNode | √ | √ | ||
| SecondaryNameNode | √ | |||
| Yarn | Resourcemanager | √ | ||
| NodeManager | √ | √ | ||
| Zookeeper | Zookeeper Server | √ | √ | √ |
| Flume（采集日志） | Flume | √ | ||
| Kafka | Kafka | √ | √ | √ |
| Flume（Kafka日志） | Flume |
)