目录一、为什么做这个系统二、整体架构前端、后台、数据库、Spark 与模型服务三、数据采集与清洗把招聘文本变成可计算字段四、统计分析从岗位数量到薪资结构五、智能预测用 CatBoost 做薪资估计六、后台管理数据维护与用户管理七、代码实现保留结构不公开敏感细节八、可以继续扩展的方向九、项目小结每文一语有需要本项目的代码、文档、完整资源或者需要部署调试的朋友可以私信博主。这次整理的系统围绕“岗位供需统计分析”展开核心思路很直接先把招聘平台上的岗位信息沉淀成结构化数据再借助Spark做批量清洗和统计计算最后把结果做成后台管理、单页图表、可视化大屏和薪资预测页面。它不是单纯堆几个图表也不是只跑一个模型而是把数据采集、数据治理、指标分析、模型调用和页面展示串成了一个相对完整的应用闭环。我做这个项目时更关注两个问题一是海量招聘数据如何变成可解释、可检索、可展示的指标二是这些指标如何真正服务于岗位选择、薪资判断和就业趋势观察。很多招聘数据看起来只是岗位名称、薪资、学历、经验、企业性质等字段但当它们被清洗、拆解、聚合以后就能看到不同地区、不同企业类型、不同学历门槛、不同经验要求之间的差异。图1系统入口与智能薪资预测页面展示一、为什么做这个系统招聘网站每天都会产生大量岗位信息求职者关心薪资区间、岗位分布、学历门槛和经验要求企业和学校也关心人才供需变化、岗位热度和技术方向趋势。如果只是人工浏览网页很难形成系统性判断如果只是把数据下载成表格又缺少交互、统计和预测能力。这个项目的出发点就是把零散的岗位信息整合为一个能查询、能分析、能展示、能预测的系统。项目采集的岗位方向覆盖Python、Java、C、MySQL、Hadoop、大数据、算法工程师、数据分析、前端开发、后端开发等多个关键词原始数据量超过四万条。经过字段规整、薪资格式处理、地区提取、行业清洗和缺失值处理后形成了三万七千余条可用于分析的数据。这个规模不算夸张但已经足够支撑一个毕业设计、课程项目或中小型数据分析应用的完整展示。我没有把系统做成只有一张大屏的“静态成果页”而是设计成多入口结构。普通用户可以登录后查看可视化结果、进入薪资预测页面管理员可以维护岗位数据和用户信息数据分析部分可以独立生成单页图表和大屏页面模型部分可以根据输入条件返回预测月薪。这样后续无论是继续扩展推荐模块、增加岗位画像还是接入新的招聘来源都有比较清晰的承接位置。二、整体架构前端、后台、数据库、Spark与模型服务系统采用Flask作为后台服务框架页面侧使用HTML、CSS、Layui、ECharts等资源组织登录、首页、预测、数据维护和可视化入口。后台提供用户登录、管理员登录、用户信息维护、岗位数据增删改查、数据筛选、可视化页面跳转、预测接口等功能。数据库侧使用MySQL存储用户、管理员和岗位数据模型侧通过CatBoost回归模型完成薪资预测。Spark主要承担批量数据处理任务。原始CSV数据合并后Spark脚本会对空值、薪资为“面议”的记录、薪资上下限、发薪次数、所在城市、所属行业等字段进行统一处理。处理后的数据既可以写入数据库也可以作为可视化和模型训练的数据来源。把Spark放在这一层是为了让系统具备处理更大规模数据的扩展能力而不是只能依赖单机Pandas。从工程结构看项目资源可以分为六类前端页面资源、Flask后台接口、MySQL脚本、Spark分析代码、模型文件、可视化结果文件。这样的划分对后续部署比较友好前端页面负责展示后台负责接口和权限数据库负责数据持久化Spark负责离线分析模型文件负责预测调用图表文件负责结果发布。图2系统功能架构示意图3项目资源结构概览已脱敏三、数据采集与清洗把招聘文本变成可计算字段招聘数据的难点不在于字段多而在于字段不规范。比如薪资字段可能是“1万-1.6万”“8千-1.2万·14薪”“面议”等格式城市字段可能包含城市、区县、商圈等层级所属行业也可能出现“计算机软件/互联网服务”这类组合表达。如果不做清洗后面的统计和预测都会受到影响。项目先按关键词抓取并保存为多个CSV文件再用Spark统一读取目录下的数据。清洗时会删除空值记录剔除无法参与薪资计算的“面议”岗位拆分薪资上下限识别“千”“万”等单位并结合发薪次数计算标准化月薪。城市字段会提取到地区层级行业字段会保留更适合统计的一级类别。清洗后的数据表包含岗位名称、公司名称、工作经验、学历、企业性质、公司规模、任职要求、所属行业、回复速度、薪资上下限、计算月薪、地区等关键字段。为了让文章适合公开展示具体爬虫登录信息、完整采集参数、数据库连接信息和本地路径都做了规避。真正值得展示的是流程数据来源确定以后先保证字段可用再考虑统计指标和模型训练。如果一开始就直接做大屏很容易出现图表好看但数据口径混乱的问题。图4项目数据处理链路图5 Spark数据清洗流程图6不同岗位关键词采集数据规模四、统计分析从岗位数量到薪资结构清洗后的数据可以围绕多个维度展开统计。岗位供需分析不能只看“岗位总量”还要看岗位分布背后的结构。比如哪些技术关键词对应的数据量更高哪些地区平均薪资更高企业性质之间是否存在薪资差异学历和工作经验对薪资区间有什么影响这些问题都可以通过聚合统计和图表展示出来。在图表设计上我保留了柱状图、箱线图、饼图、热力图、散点图、词云图等多种形式。柱状图适合看地区和企业性质的平均薪资箱线图适合看学历、经验、行业等维度下的薪资分布范围词云图适合展示岗位名称和任职要求中的高频技能词。单页图表便于单独查看大屏页面则适合汇总展示。从当前数据看地区平均薪资、企业性质平均薪资、学历薪资分布、经验薪资分布都能呈现较清晰的差异。比如高学历岗位的薪资中位数整体更高经验要求越高的岗位薪资上界也更明显。需要注意的是招聘数据受到行业、城市、岗位方向和样本来源影响较大图表更适合作为趋势参考不宜直接当作绝对薪资标准。图7可视化大屏组合展示图8企业性质与地区薪资统计展示图9学历与工作经验维度薪资分布展示图10岗位名称与任职要求高频词展示五、智能预测用CatBoost做薪资估计除了统计展示系统还加入了薪资预测模块。预测页面会收集企业性质、所属行业、地区、薪资发放次数、回复速度、公司规模、工作经验、学历和任职要求等字段然后把这些字段组装成模型输入调用后台加载的CatBoostRegressor模型最终返回一个预测月薪值。选择CatBoost的原因比较现实招聘数据中有大量类别型字段例如学历、企业性质、公司规模、地区、行业和任职要求。传统线性模型需要较多编码处理而CatBoost对类别特征比较友好适合这种混合型结构数据。项目中的模型训练过程保留在Notebook中公开展示时只保留模型思路、输入字段和预测效果不展开完整训练参数。模型结果不能被理解成“准确报价器”它更适合作为一个辅助估计工具。输入条件越接近真实岗位画像预测结果越有参考意义如果输入组合在训练数据中很少见结果就需要结合统计图表一起判断。系统把预测模块和统计模块放在同一个项目里也是为了避免只看单一预测数字而忽略数据分布和岗位背景。图11薪资预测模型特征重要性展示图12智能薪资预测结果示意六、后台管理数据维护与用户管理一个能演示的系统不能只有前台页面。项目中保留了管理员入口后台可以完成用户管理、岗位数据维护、条件筛选、新增数据、修改数据和删除数据等操作。岗位数据维护页面支持按学历、所属行业、企业性质等条件进行筛选适合在数据量逐步增长后快速定位记录。后台接口采用REST风格组织岗位数据管理接口支持GET、POST、PUT、DELETE等请求方式。管理员可以通过页面触发数据操作后台再完成SQL拼接和数据库执行。正式部署时还可以继续补充参数校验、权限细分、日志审计和安全过滤这些属于上线增强内容展示版已经具备完整的管理流程。图13后台岗位数据维护与用户管理入口七、代码实现保留结构不公开敏感细节项目代码中包含Flask路由、MySQL工具类、Spark清洗脚本、Spark统计分析脚本、模型训练Notebook、可视化生成脚本和SQL初始化文件。为了公开发布时更安全数据库账号、密码、密钥、本地路径、平台登录信息等内容都不适合直接展示。截图中只保留了能够说明技术路线的清洗片段和目录结构。从实现逻辑上看代码并不复杂关键是把各个环节顺起来采集脚本负责拿到原始数据Spark脚本负责把数据清洗成可分析结构分析脚本负责生成图表Flask负责把页面、接口、数据库和模型连接起来。这样写出来的项目比单个Notebook更完整也比单纯页面模板更有说服力。图14 Spark清洗逻辑片段展示已脱敏八、可以继续扩展的方向当前版本已经覆盖了岗位数据采集、清洗、统计、可视化、后台管理和薪资预测但它仍然有不少可扩展空间。第一可以增加岗位推荐模块根据求职者技能、地区偏好和学历背景推荐更匹配的岗位类别第二可以增加时间维度持续抓取后形成岗位热度变化曲线第三可以加入文本向量化和聚类把任职要求拆成技能画像第四可以增加模型解释页面让预测结果对应到具体影响因素。如果后续用于课程答辩或项目展示我建议把重点放在“数据流转完整性”和“系统可操作性”上。评委或读者看到的不只是几张图而是从原始岗位数据到清洗数据、从统计图表到大屏、从输入条件到薪资预测、从前台展示到后台维护的全过程。这个闭环完整项目的可信度就会高很多。如果用于进一步开发还可以考虑将采集、清洗、建模和可视化做成定时任务把数据库中的岗位数据定期刷新也可以把图表由静态HTML改成实时接口渲染让前端页面根据筛选条件动态更新。这样系统就不只是一次性作品而能逐步变成一个小型岗位数据分析平台。九、项目小结这个岗位供需统计分析系统最适合展示的地方是它把Spark、Flask、MySQL、ECharts和CatBoost这些技术点放在了同一个应用场景里。Spark解决批量数据清洗和分析Flask解决接口和页面组织MySQL解决数据管理ECharts解决图表表达CatBoost解决薪资估计。每个技术点都有清晰位置不是为了堆技术而堆技术。从最终效果看系统既能展示岗位数据的整体结构也能深入到地区、学历、经验、企业性质等维度进行分析既有静态图表也有大屏汇总既有前台预测页面也有后台数据维护入口。对想做数据分析系统、就业数据项目、Spark综合实践、Flask可视化平台或薪资预测项目的同学来说这套资料有比较好的参考价值。后续我还会继续把项目细节做得更顺包括页面交互优化、接口安全增强、数据更新自动化和模型效果提升。一个好的数据项目不只是把图画出来更重要的是让数据能够持续进入系统、持续被治理、持续产生新的判断。每文一语真正能沉淀下来的项目往往不是一开始就很完美而是在一次次清洗数据、调整结构、优化页面和复盘逻辑中慢慢长出来的。