XOMAP-爬虫[12]-抓取58同城二手房数据
小O地图提供抓取58网站二手房源数据的功能,抓取数据可以导出成CSV文件,导出数据包括图片。
目标页面:
【1】新建任务
新建任务,选择【网页爬虫/房产类/58二手房】,输入任务名称、保存路径等信息后,点【确定】,新建任务。
【2】选择目标页面
选择右边主界面工具条上【打开页面】,选择目标页面,如下图,
选中后会自动跳转到目标页面,请稍等,程序会自动解析页面分页数据,如下图:
【3】启动抓取功能
选择【页码下拉框】选择要抓取的页号,默认程序会自动进入数据抓取模式。
如果未进入自动抓取模式,可以点击【开始】按钮启动抓取功能。
【4】自动翻页
程序会自动判断当前页面数据,如抓取完成,则自动翻页进入下一页。如果未自动抓取,请执行【3】步,手动选择下一页。
【5】反爬虫功能
58网页会有反爬虫机制,如下图,当出现该验证页面,需要用户手动进行认证,通过后程序会自动继续抓取。如果未自动抓取,请执行【3】步,手动选择下一页。。
【6】导出CSV
抓取完成后可以将数据导出为CSV,在Excel表格中打开,同时导出的数据中包括房源图片。
图片
【7】切换城市
小O地图默认加载的页面是沈阳二手房信息,如果需要切换城市,请按照下图操作,选择到指定城市后,再重新执行以上爬取步骤。
【完】
小O系列软件:
[小O地图]:提供地图数据下载及处理等功能。
[小O图表]:提供地图图表、EChart图表展示功能,运行需Excel软件。软件下载、版本更新、教程等更多资讯请登陆官网:www.GIS9.com 。