摘要：本文选取了前程无忧网站作为招聘数据采集的数据源，以Python相关岗位为例设计了网络爬虫系统进行数据爬取，并对所得数据进行了去重、异常值处理和规范化得到有效数据以供分析。总体分析了中国四大经济地区的岗位分布情况，以及岗位的学历、工作经验要求、薪资水平和岗位职责等，并针对岗位职责的文本数据进行了分词挖掘，得到岗位职责的高频关键词并以词云的形式进行展示。除经典的描述性统计外，本文还创新性地应用了方差分析方法探究显著影响岗位薪资水平的因素，得到结论为薪资随学历和工作经验要求的提高而显著上升，同时中国东部地区岗位的薪资水平相比其他三个地区遥遥领先。

关键词：Python、爬虫、招聘信息、文本处理、方差分析

目录

摘要

Abstract

1、绪论 -1

‌‌‌‍‍‍1.1 研究背景 -1

1.2 研究意义 -1

1.3 研究现状 -2

2、Python相关招聘信息的爬虫设计 -3

2.1 网络爬虫概述 -3

2.1.1 网络爬虫的定义 -3

2.1.2 网络爬虫的分类 -3

2.1.3 网络爬虫的请求和解析 -4

2.2 网络爬虫概述 -5

2.2.1 网页分析 -5

2.2.2 数据爬取模块设计 -7

2.2.3 数据存储模块设计 -8

3、数据处理与可视化分析 -9

3.1 数据预处理 -9

3.2 Python相关岗位现状分析 -10

3.2.1 四大地区岗位分析 -10

3.2.2 岗位学历、经验需求分析 -14

3.3 Python相关岗位职责分析 -15

3.3.1 文本处理 -15

3.3.2 岗位职责分析 -16

4、探究影响薪资的显著因素 -16

4.1单因素方差分析概述 -16

4.2薪资方差分析结果 -17

4.2.1 薪资-学历方差分析 -17

4.2.2 薪资-经验方差分析 -18

4.2.3 薪资-地区方差分析 -19

5、总结和展望-19

参考文献 -21

致谢