分布式爬虫

python网络爬虫——分布式爬虫

redis分布式部署 – 概念：可以将一组程序执行在多台机器上（分布式机群），使其进行数据的分布爬 […]

分布式爬虫（一）——————分布式爬虫概述

分布式爬虫概述什么是分布式爬虫：　　　　　多个爬虫分布在不同的服务器上，通过状态管理器进行统一调度，达到像 […]

分布式爬虫(5)：微博数据爬取

一、使用Selenium+Phantoms来抓取数据　　　　1.登录：最重要的是设置User-Agent，否 […]