使用python的requests库爬取网页时，获取文本一般使用text方法，如果要获取图片并保存要用content

举个栗子，爬煎蛋网的图：

  1. #!/usr/bin/env python
  2. #-*- coding:utf-8 -*-
  3. import requests
  4. import re
  5. import os
  7. url="http://jandan.net/ooxx"
  8. s = requests.session()
  9. header_jandan={\'Host\': \'jandan.net\',
  10.         \'Connection\': \'keep-alive\',
  11.         \'Cache-Control\': \'max-age=0\',
  12.         \'Upgrade-Insecure-Requests\': \'1\',
  13.         \'User-Agent\': \'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36\',
  14.         \'Accept\': \'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8\',
  15.         \'Referer\': \'http://jandan.net/ooxx\',
  16.         \'Accept-Encoding\': \'gzip, deflate, sdch\',
  17.         \'Accept-Language\':\'zh-CN,zh;q=0.8\'}
  18. resp = s.get(url,headers=header_jandan,timeout=10)
  19. if len(resp.text) < 1500:
  20.     resp2 = s.get(url,headers=header_jandan,timeout=10)
  21.     text=resp2.text
  22. else:
  23.     text=resp.text
  24. #print rn.text
  25. img_url=re.findall(ur\'(?<=\<img src\=").*?(?=\")\',text)
  26. d=os.getcwd()
  27. for i in img_url:
  28.     ret=i.split("/")
  29.     file = ret[-1]
  30.     #print file
  31.     if i.find("http") == -1:
  32.         url_img="http:"+i
  33.         r_img=s.get(url_img,headers=header_jandan,timeout=10)
  34.         open(os.path.join(d,file), \'wb+\').write(r_img.content)
  35.         print "write %s" % file

考虑到如果图片很大，获取需要时间，设置timeout超时避免内容取不完整。

写文件内容为r_img.content

打开文件的方式使用wb+，二进制文件覆盖方式写入。

版权声明：本文为taurusfy原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/taurusfy/p/7158801.html