摘要：广州作为一线城市，房源的信息一直是人们所关注的热点。在大数据分析日渐火热的今天，挖掘数据背后蕴藏的潜在价值具有很大的实现意义，从房源数据中挖掘这些潜在的数据价值可以帮助购房者作出合理的决策。对于身为平民百姓的购房者来说，一份从房屋属性与基本信息出发的数据分析就显得尤为重要。对此提出运用网络爬虫技术从互联网上获取广州二手房源的数据，对数据进行数据清洗，数据可视化分析，并在此基础上运用K-Means聚类算法进行聚类分析，以助购房者了解广州二手房源的总体情况，作购房决策参考。本文主要内容按顺序分为相关实现技术、需求分析、总体设计、详细设计与实现以及测试等部分，详细描述了本次数据分析的实现与分析结论。

 

关键词：二手房源；网络爬虫；数据分析；聚类算法

 

目 录

摘 要

Abstract

1绪论-1

1.1选题意义-1

1.2选题目的-1

1.3研究现状-1

2相关实现技术-1

2.1网络爬虫-1

2.2数据分析技术-2

2.3 K-Means聚类分析算法-2

3二手房源数据分析的需求分析-3

3.1可行性分析-3

3.1.1环境可行性-3

3.1.2技术可行性-3

3.2数据需求-4

4二手房源数据分析的总体设计-4

4.1总体目标-4

4.2总体步骤-4

5详细设计与实现-5

5.1数据获取-5

5.1.1列表页爬取-5

5.1.2详情页爬取-7

5.1.3详情页信息提取-8

5.2数据清洗-10

5.3数据可视化分析-12

5.3.1数据质量分析-12

5.3.2房屋属性可视化分析-13

5.3.3房屋基本信息可视化分析-15

5.4数据聚类分析-20

5.5分析总结-26

6基于爬虫的二手房源数据分析测试-27

6.1运行环境-27

6.2运行结果和测试结论-27

7总结-28

参考文献-29

致谢