设计 任务书 论文 开题 答辩 说明书 格式 模板 外文 翻译 范文 资料 作品 文献 课程 实习 指导 调研 下载 网络教育 计算机 网站 网页 小程序 商城 购物 订餐 电影 安卓 Android Html Html5 SSM SSH Python 爬虫 大数据 管理系统 图书 校园网 考试 选题 网络安全 推荐系统 机械 模具 夹具 自动化 数控 车床 汽车 故障 诊断 电机 建模 机械手 去壳机 千斤顶 变速器 减速器 图纸 电气 变电站 电子 Stm32 单片机 物联网 监控 密码锁 Plc 组态 控制 智能 Matlab 土木 建筑 结构 框架 教学楼 住宅楼 造价 施工 办公楼 给水 排水 桥梁 刚构桥 水利 重力坝 水库 采矿 环境 化工 固废 工厂 视觉传达 室内设计 产品设计 电子商务 物流 盈利 案例 分析 评估 报告 营销 报销 会计
 首 页 机械毕业设计 电子电气毕业设计 计算机毕业设计 土木工程毕业设计 视觉传达毕业设计 理工毕业论文 文科毕业论文 毕业设计资料 毕业设计论文流程 
垫片
您现在所在的位置:首页 >>计算机毕业设计 >> 文章内容
                 
垫片
   我们提供全套毕业设计和毕业论文服务,联系点击这里给我发消息   914298682   
基于Django的租房数据展示系统设计与实现毕业论文+开题报告+外文翻译及原文+答辩PPT+项目源码及数据库
文章来源:www.biyezuopin.cc   发布者:学生毕业作品网站  

目  录

摘  要 1

ABSTRACT 2

一、绪论 3

(一)研究背景及需求分析 3

(二)国内外研究现状 4

1.爬虫技术概述 5

2. 爬虫设计者面临的问题与反爬虫技术现状 6

(三)研究目标及研究内容 8

(四)论文的整体结构 9

(五)本章小结 10

二、相关理论及技术 11

(一)robot协议对本设计的影响 11

(二)爬虫 11

1.工作原理 11

2.工作流程 12

3.抓取策略 12

(三)python发展现状 12

(四)XPath 13

(五)scrapy架构 13

1.scrapy:开源爬虫架构 13

2.scrapy框架结构 14

3.两种继承,两种爬虫模式 15

(六)MongoDB数据库 16

1.NoSQL数据库介绍 16

2.MongoDB数据库介绍 17

(七)python web框架Django 17

1.Django框架介绍 17

2.MTV模式 17

3.ORM模式 18

4.template模板语言 18

5. Django工作机制 18

(八)semantic UI开发框架 19

1.semantic介绍 19

2.semantic开发 20

(九)高德地图API 20

(十)本章小结 20

三、系统分析与设计 21

(一)系统分析 21

1.系统功能 21

2.爬取对象分析 21

3.模块设计 22

(二)数据流 23

(三)系统总体逻辑层次 24

(四)本章小结 25

四、爬虫与数据存储、展示的具体实现 26

(一)爬虫模块 26

1.环境搭建与前期分析 26

2.网页结构分析 27

3.数据抓取模块 28

4.数据存储模块 34

5.反反爬虫模块 35

(二)数据库设计 38

1.数据库环境搭建 38

2.数据库表设计 39

(三)数据展示模块 40

1.django环境搭建 40

2.前端UI模块 41

3.网页架构搭建模块 44

4.前端与数据库连接模块 45

5.地图展示模块 46

(四)开启Django服务器 47

(五)成果展示 48

(六)本章小结 49

五、系统测试 50

(一)测试环境及工具 50

(二)系统功能性测试 50

1.数据爬取功能测试 50

2.数据展示测试 53

(三)系统非功能性测试 53

(四)本章小结 54

总结与展望 55

参考文献 56

致  谢 58


摘  要

时代在发展,技术在进步,互联网改变了全世界,各行各业都在这个互联网时代寻求自身的增长点,人们的日常生活也越来越离不开互联网。以租房为例,线下租房行业持续遭到冲击,越来越多的年轻人选择在互联网上挑选房源。然而网上信息混杂,数据来源众多,如何提升租房用户体验就成了一个值得探讨的问题。

本文以此为研究方向,设计并实现了一个基于python开源爬虫框架scrapy的租房信息爬取系统,爬取互联网上多个含有此数据的网站。以城市为区分,将多个站点的数据存入非结构化数据库,再以数据库为连接,开发出一个以python开源web框架Django的基础的租房数据展示系统。与此同时,对爬取到的租房数据进行可视化处理。

关键词:scrapy;Django;非结构化数据库;数据可视化


ABSTRACT

The era is developing, technology is progressing, the Internet has changed the whole world. All walks of life are seeking their own growth points in this Internet age, and people's daily life is becoming more and more inseparable from the Internet.Taking renting as an example, the rental industry has been under constant impact, and more and more young people have chosen to choose housing on the Internet. However, online information is mixed and data sources are numerous. How to improve the user experience of renting has become a problem worth discussing.

As a research direction, this paper designs and implements a renting information crawling system based on Python open source crawler framework scrapy, and crawls several web sites on the Internet. With the city as the distinction, the data of multiple sites are stored in the unstructured database, and then the database is used as the connection to develop a renting data display system based on the python open source web framework Django. At the same time, we can visualize the data of rental housing.

Keywords: scrapy;Django;NoSQL DB;Data visualization



















  全套毕业设计论文现成成品资料请咨询点击这里给我发消息914298682      返回首页 如转载请注明来源于www.biyezuopin.cc  

                 

打印本页 | 关闭窗口
本类最新文章
汽车租赁管理系统的设计与实现毕业 基于HTML制作的闲置交易网站设 基于Flask的视频网站设计与实
基于JSP的房屋销售系统设计与实 基于android音乐播放器的设 基于JSP的网上心理咨询系统的设
| 关于我们 | 友情链接 | 毕业设计招聘 |

Email:biyeshejiba@163.com 在线QQ: 点击这里给我发消息  914298682 学生毕业作品网站  
本站毕业设计毕业论文资料均属原创者所有,仅供学习交流之用,请勿转载并做其他非法用途.如有侵犯您的版权有损您的利益,请联系我们会立即改正或删除有关内容!
蜀ICP备10201305号-4