fake-useragent，python爬虫伪装请求头

Posted on 2019-07-30 14:55 BoomOoO 阅读(…) 评论(…) 编辑 收藏

在编写爬虫进行网页数据的时候，大多数情况下，需要在请求是增加请求头，下面介绍一个python下非常好用的伪装请求头的库：fake-useragent，具体使用说明如下：

安装fake-useragent库
pip install fake-useragent

获取各浏览器的fake-useragent

 1 from fake_useragent import UserAgent
 2 ua = UserAgent()
 3 #ie浏览器的user agent
 4 print(ua.ie)
 5 
 6 #opera浏览器
 7 print(ua.opera)
 8 
 9 #chrome浏览器
10 print(ua.chrome)
11 
12 #firefox浏览器
13 print(ua.firefox)
14 
15 #safri浏览器
16 print(ua.safari)
17 
18 #最常用的方式
19 #写爬虫最实用的是可以随意变换headers，一定要有随机性。支持随机生成请求头
20 print(ua.random)
21 print(ua.random)
22 print(ua.random)

示例代码

 1 from fake_useragent import UserAgent
 2 import requests
 3 ua=UserAgent()
 4 #请求的网址
 5 url="http://www.baidu.com"
 6 #请求头
 7 headers={"User-Agent":ua.random}
 8 #请求网址
 9 response=requests.get(url=url,headers=headers)
10 #响应体内容
11 print(response.text)
12 #响应状态信息
13 print(response.status_code)
14 #响应头信息
15 print(response.headers)

 

原文：https://blog.csdn.net/qq_29186489/article/details/78496747

版权声明：本文为beiyi888原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/beiyi888/p/11270051.html