大部分商业网站需要我们登录后才能爬取内容，所以对于爬虫来说，生成cookies给代理使用成为了一个必须要做的事情。今天我们交流下关于使用selenium访问目标网站遇到的一些问题。

因为业务需求我们需要采集小红书的一些数据，程序在挂上代理访问目标网站的时候弹出了验证框。如图所示

fccfb608-f39d-4671-8ceb-0340549e140d.png

这个问题从来没有遇到过，我以为是的代理的问题，咨询客服才知道这个是因为我的浏览器的驱动和版本的问题，然后更新了新版本就可以解决了。那我们分享下使用chrome driver来进行登录和cookie的生成。

  1. import os
  2. import time
  3. import zipfile
  5. from selenium import webdriver
  6. from selenium.common.exceptions import TimeoutException
  7. from selenium.webdriver.common.by import By
  8. from selenium.webdriver.support import expected_conditions as EC
  9. from selenium.webdriver.support.ui import WebDriverWait
  12. class GenCookies(object):
  13.     USER_AGENT = open(\'useragents.txt\').readlines()
  14.     # 16yun 代理配置
  15.     PROXY_HOST = \'t.16yun.cn\'  #  proxy or host
  16.     PROXY_PORT = 31111  # port
  17.     PROXY_USER = \'USERNAME\'  # username
  18.     PROXY_PASS = \'PASSWORD\'  # password
  19.     
  20.     @classmethod
  21.     def get_chromedriver(cls, use_proxy=False, user_agent=None):
  22.         manifest_json = """
  23.         {
  24.             "version": "1.0.0",
  25.             "manifest_version": 2,
  26.             "name": "Chrome Proxy",
  27.             "permissions": [
  28.                 "proxy",
  29.                 "tabs",
  30.                 "unlimitedStorage",
  31.                 "storage",
  32.                 "<all_urls>",
  33.                 "webRequest",
  34.                 "webRequestBlocking"
  35.             ],
  36.             "background": {
  37.                 "scripts": ["background.js"]
  38.             },
  39.             "minimum_chrome_version":"22.0.0"
  40.         }
  41.         """
  43.         background_js = """
  44.         var config = {
  45.                 mode: "fixed_servers",
  46.                 rules: {
  47.                 singleProxy: {
  48.                     scheme: "http",
  49.                     host: "%s",
  50.                     port: parseInt(%s)
  51.                 },
  52.                 bypassList: ["localhost"]
  53.                 }
  54.             };
  56.         chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});
  58.         function callbackFn(details) {
  59.             return {
  60.                 authCredentials: {
  61.                     username: "%s",
  62.                     password: "%s"
  63.                 }
  64.             };
  65.         }
  67.         chrome.webRequest.onAuthRequired.addListener(
  68.                     callbackFn,
  69.                     {urls: ["<all_urls>"]},
  70.                     [\'blocking\']
  71.         );
  72.         """ % (cls.PROXY_HOST, cls.PROXY_PORT, cls.PROXY_USER, cls.PROXY_PASS)
  73.         path = os.path.dirname(os.path.abspath(__file__))
  74.         chrome_options = webdriver.ChromeOptions()
  75.         if use_proxy:
  76.             pluginfile = \'proxy_auth_plugin.zip\'
  78.             with zipfile.ZipFile(pluginfile, \'w\') as zp:
  79.                 zp.writestr("manifest.json", manifest_json)
  80.                 zp.writestr("background.js", background_js)
  81.             chrome_options.add_extension(pluginfile)
  82.         if user_agent:
版权声明：本文为mmz77-aa原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/mmz77-aa/p/14681939.html