摘要
时代在进步，科技在进步，互联网改变了世界，在互联网时代，各行各业的人们都在寻求增长点，人们的日常生活越来越离不开互联网。以二手房为例，线下二手房行业持续挣扎，越来越多的年轻人在网上选择房屋。然而，在互联网信息和海量数据源混合的情况下，如何提升二手房的用户体验是一个值得探讨的问题。
我国二手房的庞大人口使得在互联网上寻找合适的二手房成为人们不得不面对的问题。互联网上有很多提供二手房信息的网站，用户在找房子的时候，往往会因为习惯等原因在一个平台上找到。笔者认为，一个在生活中具有实际意义的软件系统才算是一个好的系统，本系统结合以上背景，实现了一个基于网络爬虫技术的链家网站二手房价爬取分析系统。首先，它使用Python开源爬虫框架scrapy对链家网站的二手房价格信息网站进行爬取，根据不同网页的不同特点选择不同的爬取策略，编写爬虫代码，进行必要的过滤和提取二手房信息，是一个建设时的住房信息数据库。数据库部分采用非结构化数据库MongoDB，避免网上信息的非结构化特性对数据存储的影响。然后使用Python开源网站搭建Django框架，完成爬取的二手房列表的网页端展示。
关键词：二手房；Web爬虫；Python；Scrapy；可视化
目录
1绪论1
1.1选题背景及意义1
1.1.1选题背景1
1.1.2目的及意义1
1.2国内外发展现状2
1.2.1爬虫技术概述2
1.2.2爬虫设计者所面临问题和反爬虫技术的现状4
1.3研究主要内容7
1.4章节安排8
2系统开发环境及技术介绍9
2.1Robot协议对本设计的影响9
2.2爬虫10
2.2.1工作原理10
2.2.2工作流程10
2.2.3抓取策略10
2.3Scrapy架构11
2.3.1Scrapy：开源爬虫架构11
2.3.2Scrapy框架结构11
2.3.3两种继承的爬虫模式13
2.4MongoDB数据库14
2.4.1NoSQL数据库介绍14
2.4.2MongoDB数据库介绍15
2.5pythonweb框架Django15
2.5.1Django框架介绍15
2.5.2MTV模式15
2.5.3ORM模式15
2.5.4template模板语言16
2.5.5Django工作机制16
2.6semanticUI开发框架17
2.6.1semantic介绍17
2.6.2semantic开发17
2.7高德地图API17
3可行性分析及需求分析19
3.1业务需求分析19
3.2功能性需求分析19
3.2.1数据爬取功能19
3.2.2数据可视化功能20
3.3可行性分析21
3.3.1技术可行性21
3.3.2经济可行性21
3.3.3法律可行性22
4总体设计23
4.1系统逻辑层次23
4.2系统分布式设计24
4.3系统功能设计25
4.4系统数据库设计26
4.4.1数据库环境搭建26
4.4.2数据库表设计27
5功能模块的设计与实现28
5.1数据爬取模块28
5.1.1爬取策略的设计28
5.1.2网页数据提取30
5.1.3去重与增量爬取32
5.2反反爬虫模块33
5.2.1模拟浏览器行为33
5.2.2动态代理IP35
5.2.3爬虫异常处理36
5.3数据存储模块37
5.4数据可视化模块38
6功能模块测试42
6.1测试环境及工具42
6.2系统功能测试42
6.2.1数据爬取功能测试42
6.2.2数据存储功能测试44
6.2.3数据反反爬虫功能测试46
6.2.4数据可视化功能测试47
结束语48
参考文献49
致谢50
完整资料参考评论区