• 欢迎来到论文发表网(www.lunwenchina.cn),我们为您提供专业的论文发表咨询和论文发表辅导!
受“清朗”行动影响,原网站QQ被封,新老作者请联系通过新的QQ:189308598。或者电话微信:15295038855

你的位置:论文发表网 >> 论文库 >> 理工论文 >> 详细内容 在线投稿

基于Scrapy与Redis的分布式房源数据抓取系统

热度0票  浏览52次 时间:2022年6月29日 16:15
  (410004 湖南长沙民政职业技术学院软件学院 湖南 长沙)
        【摘 要】系统突破单进程单机爬虫的瓶颈,设计了基于Redis分布式多爬虫共享队列的主题爬虫。采用Python开发的Scrapy框架来开发,Pycharm作为开发工具,使用Xpath技术对下载的网页进行数据的提取解析,运用Redis非关系型数据库做分布式,利用MongoDB非关系型数据库做数据存储,Scrapy-Redis组件作为辅助设计,并完成了能爬取网站上所有城市新房二手房数据的分布式爬虫系统。
  【关键词】Python;Scrapy;Redis;MongoDB;分布式爬虫【引?言】各地城市持续的房屋交易需求,使得互联网上存在着海量房源数据,帮助用户获得具体的房屋信息就显得意义非凡。网络爬虫通俗理解成是一个模仿人类访问网站行为的程序或者脚本。该脚本能够自动地去请求网页、并把数据抓取回来,之后利用一定的规则去提取有价值的数据。基于Scrapy与Redis的分布式爬虫获取全国新房二手房信息,可以运行程序快速获取信息,包含地址、价位、户型、联系电话等,使得用户在信息爆炸的时代通过自己的手段获取到自己想要的数据,而非向他人寻求帮助或者买数据。
  一、需求描述
  (1)收集URL地址,比如说:房天下、好找房、贝壳找房等等,本文选取房天下网站,该网站数据量比较大,适合使用分布式爬虫去爬取;网站的数据非常有价值并且比较全的。
  (2)分析网站。把网站熟悉透彻了才能在爬取数据的时候避免很多的问题。
  (3)爬取数据。找到所需信息的位置,爬就完事了。
  (4)提取数据。爬取到的数据很多都是混乱的,并且携带着其它数据,俗称脏数据,需要开发者根据需求取舍。
  (5)保存数据。保存的方式也根据开发者的需求来确定,Redis、Mysql、MongoDB、json、excel等都可以。
  (6)改造爬虫。在单机爬虫的基础上进行改造开发,最终转换为分布式爬虫。修改配置以及添加Scrapy-Redis组件即可。
  (7)保存数据改。在这之前就保存数据的作用是查看所提取的数据是否正确,在此基础之上进行稍微的调整就行了。
  (8)整个爬虫编写完成,开始测试各个模块。
  二、设计
  本爬虫属于分布式爬虫。首先实现逻辑这块,构建好爬虫的整套流程,爬虫这项技术的目标性很高,比如,需要怎样的数据、在何处获取、最终以什么样的形式呈现出来等,在此处目标选取为房价这块比较实用的数据。然后便是生产工具。项目开始时,首先要搭建开发环境,采用Python作为编程语言,使用Scrapy框架实现单机爬虫,其中,利用Xpath技术对下载的网页进行数据的解析提取,运用Redis作为非关系型数据库,由于Redis的特性,它在其中也担任着分布式服务器的功能,各台机器由Redis相连接,而爬虫与Redis之间则采用Scrapy-Redis组件相连接,最后使用MongoDB非关系型数据库做数据存储。
  三、实现
  网站分析是爬取数据的前提条件。首先,目标一定要明确。取房天下网站作为爬取目标,从房天下的首页“https://www.fang.com”着手起。要爬取的是整个搜房网的新房以及二手房的数据。从首页摸索可得出,显然左上角的“全国”字眼,这里“更多城市”,点击进去便是目标地点列表。
  如下图所示:
  图1城市列表图
  该处便列出了全国各地总共658个城市的链接,多次选取不同城市的链接进行查看,发现各城市在该房天下网站下的子域名是“某个城市的拼音或者拼音的首字母.fang.
  com”,例如安庆便是“anqing.fang.com”。接下来的操作步骤:
  1.获取所有城市的URL链接。
  2.让爬虫去访问这些城市的URL链接。
  (1)在此基础上找到对应城市的新房的URL链接并访问。
  (2)在此基础上找到对应城市的二手房的URL链接并访问。
  本次爬虫的设计显得些许繁琐,需要访问各城市的URL链接,新房和二手房,频繁地浪费掉很多的网络资源,增添对方服务器的负担,可能也会使得自己被反爬虫。可调整操作步骤如下:
  1.获取所有城市的URL链接。
  可在此处获取:“h t t p s://w w w.f a n g.c o m/SoufunFamily.htm”
  2.获取所有城市的新房的URL链接。
  “某个城市的拼音或者拼音的首字母.newhouse.fang.
  com/house/s/”例:上海:“https://sh.fang.com/”
  上海新房:“https://sh.newhouse.fang.com/house/s/”
  3. 获取所有城市的二手房的URL链接。
  “某个城市的拼音或者拼音的首字母.esf.fang.com”
  例:安庆:“https://anqing.fang.com/”
  安庆二手房:“https://anqing.esf.fang.com”
  上述操作把房天下网站下面所有城市的新房以及二手房的URL链接全部都给获取到,以便提取这些网页里面的数据。房天下关于这个URL链接的分析就完成了。
  根据上一步的分析,遵循操作步骤做下去,因此,首先是对URL链接指向的页面进行详细分析,获取到所有城市的URL链接。使用Chrome浏览器的开发者工具(快捷键F12)来进行页面以及抓包分析。
  如下图所示:
  图2城市列表页面分析图
  目标数据都在这个“class”为“outCont”的“div”
  标签中,而“div”标签中的每一个“tr”标签则代表其中每一行的数据,继续细分,每一个“tr”标签里含有三个“td”标签:通过开发者模式分析可知,第一个“td”标签里含有一个“class”属性,而其它两个都没有,且该“td”标签里没有包含我所需要的数据;
  第二个“td”标签是用来记录当前的城市是属于哪个省份的,这是目标数据中的一项,然而有些该标签是空白字符,这是由于页面排版的问题,大多数省份的城市数量太多,不能用一行来表示,于是就分成了几行,而这些城市都属于同一个省份,于是就只在其第一行标记出省份信息,后面的就为空白字符;
  第 三个“td”标签是用来存放城市数据的,包括城市的名字以及该城市的URL链接,其在该标签下的“a”标签中。该页面还有个细节,其“div”标签的最后还包括了一些其它的数据,比如,除中国以外的其它国家的信息,该类信息在我的需求中被称为“脏数据”,即不需要的数据,因此,后续需要设计出合理的逻辑去让爬虫剔除掉这些脏数据。
  至此,该页面的解析已完毕。由该页面获取到的各城市的URL链接,通过上一步分析可知,经过些许的增删改操作就可以转换为对应城市的新房以及二手房的URL链接。下一步解析这些新房以及二手房里边的数据。
  根据实用性以及该网站提供的数据来看,可从小区的名字、户型、建筑面积、小区所在行政区、小区具体位置、小区对应的价格、联系电话、目前是否在售以及在城市列表页就获取到的省份以及城市信息。房源数据都在“class”
  为“nhouse_list”的“div”标签里(顺带说一句,之前以及往后的XML文档节点都是通过Xpath语法提取的,并且路径都为提取数据的最短路径。),通过观察此“div”标签可知,其里边的每一个“li”标签都存放着每一个小区的具体数据,包含每一个上述所需解析的数据。这样一分析来,过程就变得简单多了,现在只需利用好Xpath的语法,一个一个地将数据提取出来就行了。使用Chrome浏览器的开发者工具对翻页部分进行解析。
  如下图所示:
  图3广州新房翻页操作分析图
  至此,与爬取新房数据相关的操作就完毕,而二手房的页面与新房的页面大同小异,故可以参照新房的相关操作来操作二手房数据。
  小结
  本文通过采用Scrapy框架,Pycharm作为开发工具,Red is非关系型数据库做分布式,MongoDB非关系型数据库做数据存储,Scrapy-Redis组件作为辅助设计来进行本套分布式爬虫的开发。系统未设置任何的管理与权限,封装的代码全部开源,目的皆在于让用户理解本设计如何做到的,加以学习并开发出更高级的爬虫,理解如何去反反爬虫,单从本次搜房网分布式爬虫的代码来讲,这个代码都是非常有价值的。
  参考文献:
  [1]张若愚 Python 科学计算 [M].北京:清华大学出版社.2012
  [2]樊宇豪. 基于Scrapy的分布式网络爬虫系统设计与实现[D].电子科技大学.2018
  [3]李小正,成功,赵全军. 分布式爬虫系统的设计与实现[J]. 中国科技信息.2014
  [4]成功,李小正,赵全军. 一种网络爬虫系统中URL去重方法的研究[J].中国新技术新产品.2014
  [5]明日科技.数据结构与算法.清华大学出版社[M].2015年6月
  作者简介;
  孙士兵(1977-),男,硕士,副教授,研究方向:数据挖掘,大数据及应用。



中国论文网(www.lunwenchina.cn),是一个专门从事期刊推广、论文发表、论文写作指导的机构。本站提供一体化论文发表解决方案:省级论文/国家级论文/核心论文/CN论文。

投稿邮箱:lunwenchina@126.com

在线咨询:189308598(QQ) 

联系电话:15295038855(徐编辑)  

 

上一篇 下一篇
0

联系我们