Python爬虫利器 cURL你用过吗？

zhijieju 2020-04-15 原文

hello，小伙伴们，今天给大家分享的开源项目是一个python爬虫利器，感兴趣的小伙伴看完这篇文章不妨去尝试一下，这个开源项目就是curlconverter，不知道小伙伴们分析完整个网站后去code代码的时候，有一个工作特别繁琐，不知道小伙伴们平时有没有注意，就是复制请求头中的header信息，需要重复复制，粘贴，过程有点冗余。今天给大家推荐的这个项目就完美的解决了这个问题，话不多说，直接看效果。

操作流程以谷歌浏览器为例

1、F12打开控制台，找到Network选项。
2、找到你要请求的URL，右键复制，选中"Copy as cURL"。
3、将你复制的cURL，放到curl command box即可。

curl command box浏览器处理结果

可以选择多种语言，比如:Go，PHP，JavaScript，这里就不一一例举了，我选择的是Python语言。

代码结果展示

import requests

cookies = {
    '_ga': 'GA1.2.1517699888.1586403509',
    '_gid': 'GA1.2.1746914094.1586403509',
}

headers = {
    'Connection': 'keep-alive',
    'Cache-Control': 'max-age=0',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36',
    'Sec-Fetch-Dest': 'document',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Sec-Fetch-Site': 'none',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-User': '?1',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'If-None-Match': 'W/"5e659e99-1542"',
    'If-Modified-Since': 'Mon, 09 Mar 2020 01:40:41 GMT',
}

response = requests.get('https://curl.trillworks.com/', headers=headers, cookies=cookies)

项目地址：https://github.com/NickCarneiro/curlconverter/

curl command box地址：https://curl.trillworks.com/

今天的推荐不知道大家喜欢吗？如果你们喜欢话，请在文章底部留言或点赞，以表示对我的支持，你们的留言，点赞，转发关注是我持续更新的动力哦！

关注我的公众号回复：”1024“，免费领取一大波学习资源，先到先得哦！

关注我免费领取学习资料