一个简单的分布式爬虫
下载scrapy-redis：
https://github.com/rmax/scrapy-redis
下载zip文件之后解压
建立两个批处理文件，start.bat和clear.bat
start.bat的内容为redis-server redis.windows.conf
clear.bat的内容为redis-cli flushdb
双击start.bat启动
这样就说明下好了，运行正常。
我们需要构建一个分布式爬虫系统：由一个master爬虫和slave爬虫组成，master端部署了redis数据库，master端从本地获取redis中的url，slave端通过网络连接访问master端的redis数据库，从中获取url进行爬取，而redis数据库本身的调度功能保证了master爬虫和slave爬虫不会爬取到重复的url。
新建爬虫项目，打开cmd：
scrapy startproject scrapyRedis
将src中的scrapy_redis这个文件夹复制到刚才新建的爬虫项目中。
按照scrapy-redis git上的说明，创建爬虫时，在新建的爬虫文件中粘贴这段代码到文件中
继承了RedisSpider这个类之后，爬虫爬取的数据就会首先存入redis，接下来再从redis里面读取，就相当于是一个队列，不断地往redis里面写入url，然后从redis里面读取网址。就不再有start_urls了，取而代之的是redis_key，scrapy-redis将key从list中pop出来成为请求的url地址。
引用scrapy-redis之后，写分布式爬虫就和写普通的scrapy爬虫一样，具体代码如下：
#encoding:utf-8 from scrapy_redis.spiders import RedisSpider class MySpider(RedisSpider): name = \'jobbole\' allowed_domains = ["blog.jobbole.com"] # 其实如果不设置以下语句，scrapy-redis也会默认生成一个redis-key“爬虫名+:start_urls” redis_key = "jobbole:start_urls"
#slave端爬虫注释掉下面的内容
start_urls = [\'http://blog.jobbole.com/all-posts/\']
# 收集伯乐在线所有404的url以及404页面数 handle_httpstatus_list = [404] def parse(self, response): """ 1. 获取文章列表页中的文章url并交给scrapy下载后并进行解析 2. 获取下一页的url并交给scrapy进行下载， 下载完成后交给parse """ # 解析列表页中的所有文章url并交给scrapy下载后并进行解析 if response.status == 404: self.fail_urls.append(response.url) self.crawler.stats.inc_value("failed_url") post_nodes = response.css("#archive .floated-thumb .post-thumb a") for post_node in post_nodes: image_url = post_node.css("img::attr(src)").extract_first("") post_url = post_node.css("::attr(href)").extract_first("") yield Request(url=parse.urljoin(response.url, post_url), meta={"front_image_url": image_url}, callback=self.parse_detail) # 提取下一页并交给scrapy进行下载 next_url = response.css(".next.page-numbers::attr(href)").extract_first("") if next_url: yield Request(url=parse.urljoin(response.url, post_url), callback=self.parse) def parse_detail(self, response): pass
在爬虫的settings.py中，我们需要部署一下，master爬虫和slave爬虫其他地方都差不多，唯独settings.py部署方式上有区别：
master爬虫部署，访问本地的redis数据库：
REDIS_URL = None REDIS_HOST = \'localhost\' REDIS_PORT = 6379
slave爬虫部署，需要访问master端的redis数据库：
REDIS_URL = \'redis://192.168.1.100:6379\' REDIS_HOST = None REDIS_PORT = None
新建一个方便pycharm运行的文件main.py
from scrapy import cmdline cmdline.execute("scrapy crawl jobbole".split())
分别运行master，slave爬虫一个简单的分布式爬虫就做好了。