Requests+Xpath 爬取租房网站信息

【抓取】:参考前文 爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html

【分页】:参考前文 爬虫系列2:https://www.cnblogs.com/yizhiamumu/p/10267721.html

【保存】:参考前文 爬虫系列3:https://www.cnblogs.com/yizhiamumu/p/10270926.html

【动态】:参考前文 爬虫系列4:https://www.cnblogs.com/yizhiamumu/p/10272977.html

一:F12,检查页面信息并复制

# http://cd.xiaozhu.com/
# 标题

from lxml import etree
import requests 
import time 

#获取页面text, 并解析data

url = \'http://cd.xiaozhu.com/\'
data = requests.get(url).text
s=etree.HTML(data)

# //*[@id="page_list"]/ul/li[1]/div[2]/div[2]/a/span
# //*[@id="page_list"]/ul/li[2]/div[2]/div[2]/a/span
# //*[@id="page_list"]/ul/li[3]/div[2]/div[2]/a/span

# li div

titles = s.xpath(\'//*[@id="page_list"]/ul/li/div[2]/div/a/span/text()\')

time.sleep(2)

for title in titles:
    print(title)

 

打印结果:

温馨浪漫情侣度假—民谣里贝壳帐篷
含早/成都东站2号地铁-肯派之家13-101
芗吟民宿-《竹坞》成都太古里市井中的隐世桃源
37楼夜景超美 樓頂空中花園俯瞰成都
【晔艳】东客站-巨屏投影地铁直达太古里m
春熙路/太古里/英伦风两居/地铁直达宽窄巷子
【几末】空间几何/地铁100米/一居/桐梓林
春熙路地铁口&宽窄巷&莫兰迪复古&两居跃层
新房特惠川师东站三圣乡34号爱情公寓轻奢浪漫
【白鹿】春熙路武侯祠/九眼桥/宽窄巷子套一
【初醒】成都市中心盐市口春熙路太古里IFS
【花韵】舒适大床房/春熙路宽窄巷子文殊院地铁
【一厘一景】武侯祠锦里&近地铁口&近天府广场
漫时光•宽窄巷子•.春熙路.太古里
【洛丽塔】美拍网红/泡泡池网红/太古里/春熙
画途美宿|S4火车东站巨幕投影凯德广场地铁旁
【馥绿轻奢】春熙路/2号线/牛市口/高端物业
〖美居〗免费接送机 复式二房 近机场 商圈
春熙路太古里宽窄巷子北欧.杜夫公寓913
柒❤️田螺姑娘❤️北欧套一近八宝街/宽窄巷子
宽窄巷子/复古小木屋大一居
新上线优惠❣️【夕替·伊人】少女心|超大投影
【甜梦】宽窄巷子 锦里  地铁 吃货集中营
◣简▪奢◥∽地铁4号线旁原木风度假、商旅套房

 

 

 

二:分析规律,抓取多个信息源

# http://cd.xiaozhu.com/
# 标题 + 循环

from lxml import etree
import requests 
import time 

#获取页面text, 并解析data

url = \'http://cd.xiaozhu.com/\'
data = requests.get(url).text
s=etree.HTML(data)

# 标题
# //*[@id="page_list"]/ul/li[1]/div[2]/div[2]/a/span
# //*[@id="page_list"]/ul/li[2]/div[2]/div[2]/a/span
# //*[@id="page_list"]/ul/li[3]/div[2]/div[2]/a/span

# 价格

# //*[@id="page_list"]/ul/li[1]/div[2]/div[1]/span/i
# //*[@id="page_list"]/ul/li[2]/div[2]/div[1]/span/i

# //*[@id="page_list"]/ul/li[3]/div[2]/div[1]/span
# //*[@id="page_list"]/ul/li[3]/div[2]/div[1]/span/i



# 介绍 //*[@id="page_list"]/ul/li[1]/div[2]/div[2]/em
# //*[@id="page_list"]/ul/li[2]/div[2]/div[2]/em


# 图片  增加 @lazy_src
# //*[@id="page_list"]/ul/li[1]/a/img
# //*[@id="page_list"]/ul/li[2]/a/img 

titles = s.xpath(\'//*[@id="page_list"]/ul/li\')
time.sleep(2)

for div in titles:
    title = div.xpath("./div[2]/div/a/span/text()")[0]
    price = div.xpath("./div/div[1]/span[1]/i/text()")[0]
    scribe = div.xpath("./div[2]/div/em/text()")[0].strip()
    pic = div.xpath("./a/img/@lazy_src")[0]
    
    print("{} {} {} {}".format(title,price,scribe,pic))

 

打印结果:

温馨浪漫情侣度假—民谣里贝壳帐篷 1580 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,26,19200,1800,1199,8068737f.jpg
含早/成都东站2号地铁-肯派之家13-101 298 独立单间/1张床/宜住2人 https://image.xiaozhustatic1.com/12/12,0,6,4561,1800,1202,9e891d09.jpg
芗吟民宿-《竹坞》成都太古里市井中的隐世桃源 777 整套出租/4室2厅/4张床/宜住8人 https://image.xiaozhustatic1.com/12/51,0,96,19302,1800,1202,f6740069.jpg
37楼夜景超美 樓頂空中花園俯瞰成都 258 整套出租/2室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,16,29629,1800,1200,70a3953b.jpg
【晔艳】东客站-巨屏投影地铁直达太古里m 200 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,28,18056,1800,1201,404b7ef3.jpg
春熙路/太古里/英伦风两居/地铁直达宽窄巷子 288 整套出租/21/2张床/宜住4https://image.xiaozhustatic1.com/12/16,0,77,34616,1800,1200,0ebc6521.jpg
【几末】空间几何/地铁100米/一居/桐梓林 258 整套出租/11/1张床/宜住2https://image.xiaozhustatic1.com/12/51,0,9,23389,1800,1202,5754c402.jpg
春熙路地铁口&宽窄巷&莫兰迪复古&两居跃层 338 整套出租/2室1厅/2张床/宜住4人 https://image.xiaozhustatic1.com/12/51,0,60,843,1800,1200,168035ac.jpg
新房特惠川师东站三圣乡34号爱情公寓轻奢浪漫 208 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,27,12717,1800,1200,f21ab62c.jpg
【白鹿】春熙路武侯祠/九眼桥/宽窄巷子套一 159 整套出租/1室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/12,0,86,14671,1498,1000,c5c55bb2.jpg
【初醒】成都市中心盐市口春熙路太古里IFS 198 整套出租/1室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/14,0,20,24457,1800,1202,485c365f.jpg
【花韵】舒适大床房/春熙路宽窄巷子文殊院地铁 188 整套出租/10/1张床/宜住2https://image.xiaozhustatic1.com/12/18,0,97,13909,1800,1200,31083987.jpg
【一厘一景】武侯祠锦里&近地铁口&近天府广场 188 整套出租/1室1厅/1
版权声明:本文为yizhiamumu原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/yizhiamumu/p/10267721.html