python爬虫——汽车之家数据
相信很多买车的朋友，首先会在网上查资料，对比车型价格等，首选就是“汽车之家”，于是，今天我就给大家扒一扒汽车之家的数据：
一、汽车价格：
首先获取的数据是各款汽车名称、价格范围以及最低指导价：
def get_oa_price(self):
try:
oa_price_data_list=[]
for page in range(1,27):
oa_price_api = f"https://price.16888.com/gz/search-0-0-0-0-0-0-0-0-0-1-0-0-0-0-{page}.html"
response = self.sc.get_html(oa_price_api)
if not response:
print(\'城市页请求失败\')
return 0
#燃油车数据块
oa_data_= re.findall(r\'<div class="style-box ">\s+<ul class="clearfix">([\s\S]*?)</ul>\',response.text)[0]
#燃油车id和名字列表
car_id_name_list = re.findall(r\'data-sid="(\d+)" data-name="(.*?)">\',oa_data_)
# 价格范围列表
price_range_list = re.findall(fr\'<p>(.*?)\s+<span class="\', response.text) if len(car_id_name_list)==len(price_range_list):
for index,car_list in enumerate(car_id_name_list):
car_id,car_name = car_list
#价格范围
price_range = price_range_list[index]
#最低价
price_min = int(eval(price_range.split(\'-\')[0])*10000)
oa_price_data_list.append((int(car_id),car_name,price_range,price_min))
# print(price_min)
if not oa_price_data_list or not len(oa_price_data_list):
return 0
print(oa_price_data_list)
print("燃油车价格已经爬取完成")
return 1
except:
self.sc.collect_error()
结果输出如下：
二、汽车销量：
一般买东西，尤其网上买东西，一看价格，二看销量。销量好不好有时候也会决定买不买：
def get_ea_sale(self):
try:
ea_sale_data_list = []
for year in range(2018,2021):
for month in range(1, 13):
if month>9:
date_ = str(year) + str(month)
else:
date_ = str(year) + "0" + str(month)
for i in range(1,3):
ea_sale_api = f"https://xl.16888.com/ev-{date_}-{date_}-{i}.html"
print(ea_sale_api)
response = self.sc.get_html(ea_sale_api)
if not response:
print(\'城市页请求失败\')
return 0
re_no = re.findall(r\'<p>暂时没有 <em>电动车</em> <em>\d+.\d+</em> 的销量数据</p>\',response.text)
if re_no and len(re_no):
print("没第二页")
break
# 销量数据块
ea_sale_data_ = re.findall(r\'<th width="\w+">车型相关</th>([\s\S]*?)<div class="xl-data-pageing lbBox">\',
response.text)[0]
# 燃油车id和名字列表
car_id_name_list = re.findall(r\'<td class="xl-td-\w+"><a href="/s/(\d+)/" target="_blank">(.*?)</a></td>\', ea_sale_data_)
# 销量列表
sale_list = re.findall(r\'<td class="xl-td-t3">(\d+)</td>\', ea_sale_data_)
if len(car_id_name_list) == len(sale_list):
for index, car_list in enumerate(car_id_name_list):
car_id, car_name = car_list
# 价格范围
sale_num = int(sale_list[index])
ea_sale_data_list.append((int(car_id), car_name, sale_num,date_))
#没有列表数据
if not ea_sale_data_list or not len(ea_sale_data_list):
return 0
print(ea_sale_data_list)
print("电动车销量已经爬取完成")
return 1
except:
self.sc.collect_error()
结果输出如下：
三、汽车评论：
俗话说：买东西看三宝，一看价格，二看销量，三看评论。
def car_comment(self):
try:
ea_com_api = f"https://k.autohome.com.cn/ajax/getSceneSelectCar?minprice=2&maxprice=110&_appid=koubei&fueltype=4"
response = self.sc.get_html(ea_com_api)
if not response:
print(\'车型列表请求失败\')
return 0
ea_com_json=json.loads(response.text)
# print(ea_com_json)
result_list = ea_com_json[\'result\']
for result in result_list:
ea_com_data_list = []
car_id = int(result[\'SeriesId\'])
car_name = result[\'SeriesName\']
print(car_name)
com_api = f"https://k.autohome.com.cn/{car_id}/index_1.html"
com_resp = self.sc.get_html(com_api)
if not com_resp:
print(\'口碑列表请求失败\')
continue
#查看口碑的条数
com_num_list = re.findall(r\'<span class="fn-right \w+">共有(\d+)条口碑</span>\',com_resp.text)
if not com_num_list or not len(com_num_list):
print("没有口碑")
api_ip = \'http://ip.dobel.cn/switch-ip\'
api_ip_resp = self.sc.get_html(api_ip)
time.sleep(1)
com_api = f"https://k.autohome.com.cn/{car_id}/index_1.html"
com_resp = self.sc.get_html(com_api)
if not com_resp:
print(\'口碑列表请求失败=========\')
continue
# 查看口碑的条数
com_num_list = re.findall(r\'<span class="fn-right \w+">共有(\d+)条口碑</span>\', com_resp.text)
if not com_num_list or not len(com_num_list):
print("没有口碑=========")
continue
com_num = int(com_num_list[0])
if com_num>15:
#翻页
page_num_list = re.findall(r"<span class=\'page-item-info\'>共(\d+)页</span>",com_resp.text)
if not page_num_list or not len(page_num_list):
print("没有口碑")
page_num = 1
else:
page_num = int(page_num_list[0])
else:
page_num = 1
for page in range(1,page_num+1):
com_api2 = f"https://k.autohome.com.cn/{car_id}/index_{page}.html"
print(com_api2)
com_resp2 = self.sc.get_html(com_api2)
if not com_resp2:
print(\'口碑列表2请求失败\')
api_ip = \'http://ip.dobel.cn/switch-ip\'
api_ip_resp = self.sc.get_html(api_ip)
time.sleep(1)
com_resp2 = self.sc.get_html(com_api2)
if not com_resp2:
print(\'口碑列表3请求失败\')
continue
#评论id和评论链接
com_id_url_list = re.findall(r\'发表了口碑\s+<a href="(.*?)"\',com_resp2.text)
if not com_id_url_list or not len(com_id_url_list):
print("没有口碑id")
api_ip = \'http://ip.dobel.cn/switch-ip\'
api_ip_resp = self.sc.get_html(api_ip)
time.sleep(1)
com_resp3 = self.sc.get_html(com_api2)
if not com_resp3:
print(\'口碑列表3请求失败========\')
continue
# 评论id和评论链接
com_id_url_list = re.findall(r\'发表了口碑\s+<a href="(.*?)"\', com_resp3.text)
if not com_id_url_list or not len(com_id_url_list):
print("没有口碑id======")
continue
for com_id_url in com_id_url_list:
com_url = com_id_url
#以时间戳作为评论id
com_id = str(uuid.uuid4())
ea_com_data_list.append((car_id,car_name,com_id,com_url))
# 没有列表数据
if not ea_com_data_list or not len(ea_com_data_list):
return 0
print(f"汽车之家{car_name}评论id已经爬取完成")
return 1
except:
self.sc.collect_error()
以上就是我的分享，如果有什么不足之处请指出，多交流，谢谢！
如果喜欢，请关注我的博客：https://www.cnblogs.com/qiuwuzhidi/
想获取更多数据或定制爬虫的请点击python爬虫专业定制
版权声明：本文为qiuwuzhidi原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。