Python爬虫进阶(Scrapy框架爬虫)
准备工作：
配置环境问题什么的我昨天已经写了，那么今天直接安装三个库
首先第一步：
(我们要用到scrapy框架，在python里调用windows 命令，使用mongodb存储爬到的数据 )
进入DOS python/Script>路径下 输入命令：
python/Script> pip install pypiwin32
python/Script> pip install scrapy
python/Script> pip install pymongo
三个库下载完成后，打开DOS 输入命令：
(将指令路径转到你需要创建爬虫项目文件的目录。例如：e:)
e:\> scrapy startproject projectFileName ##创建一个scrapy框架的爬虫项目文件 ，名字为projectName
(运行下一步之前需要将DOS的指令路径cd 到上一步操作创建的项目文件)
scrapy genspider projectName Http:\\www.baidu.com ##创建一个爬虫项目，这里后面网址随便填后面可以修改，但是这一项是必填项
以上操作都完成后，打开Pycharm 打开我们事先用DOS创好的爬虫项目文件projectFileName
开始编译：
(我这里以爬贴吧的名字和类以及链接并最后自动存入mongodb为例)
以下为projectName.py的源代码
#-*- coding: utf-8 -*-
import scrapy
from TieBa.items import TiebaItem ##引用items里面的Tiebaltem，方便后面存储数据
class BaidutiebaSpider(scrapy.Spider):
name = ‘baidutieba’
def start_requests(self): ##定义一个start_requests方法
header = {‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0’} ##昨天已经解释了，模仿浏览器登录
yield scrapy.Request(url=’http://tieba.baidu.com/f/index/forumclass’, headers=header, meta={‘headers’: header}, callback=self.parse_class) ##向目标页面发送请求，并用字典把headers存储起来，callback=跳转的下一个方法，self可以理解为c#里面的this
def parse_class(self, response): ##这里的response是上个Request获取的目标网页的信息
class_1s = response.xpath(“//div[@class=’clearfix’]/div[@class=’class-item’]”) ##这里我们直接用xpath获取需要的属性
for class_1 in class_1s:
class_1_name = class_1.xpath(“a/text()”).extract()[0] ##extract()提取信息，此方法返回值为一个list数组,虽然我们这里只有一个值但是也得取下标
class_2s = class_1.xpath(“ul/li”)
for class_2 in class_2s:
class_2_name = class_2.xpath(“a/text()”).extract()[0]
class_2_url = ‘http://tieba.baidu.com’ + class_2.xpath(“a/@href”).extract()[0] + ‘&pn=’ ##给每个子网页加上前缀和页数的后缀
for page in range(30):
yield scrapy.Request(url=class_2_url + str(page + 1), headers=response.meta[‘headers’], meta={‘headers’: response.meta[‘headers’], ‘class_1_name’: class_1_name, ‘class_2_name’: class_2_name}, callback=self.parse) ##与上一个方法类似，一样用字典储存一部分信息供下面使用
def parse(self, response):
tiebas = response.xpath(“//div[@id=’ba_list’]/div”)
for tieba in tiebas:
tieba_name = tieba.xpath(“a/div/p[@class=’ba_name’]/text()”).extract()[0]
tieba_url = ‘http://tieba.baidu.com’ + tieba.xpath(“a/@href”).extract()[0]
item = TiebaItem(class_1=response.meta[‘class_1_name’], class_2=response.meta[‘class_2_name’], name=tieba_name, url=tieba_url)
yield item ##提交item
以下为items.py的源代码
import scrapy
class TiebaItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
class_1 = scrapy.Field() ##获取projectName.py里面传的字典属性值，以下参数同理
class_2 = scrapy.Field()
name = scrapy.Field()
url = scrapy.Field()
以下为pipelines.py的源代码
import pymongo ##因为要使用mongodb所以要引用pymongo
class TiebaPipeline(object): ##此类名和setting里面的ITEM_PIPELINES下面的名字一致 ProjectFileName.pipelines.类名
def open_spider(self,spider): ##写一个open_apider开始爬虫的方法
self.client = pymongo.MongoClient('mongodb://localhost:27017') ##连接mongodb，此处pymongo.MongoClient('mongodb://数据库连接')
def close_spider(self,spider):
self.client.close() ##写入完记得关闭
def process_item(self, item, spider):
self.client['TieBa']['datas'].insert(dict(item)) ##往TieBa数据库里的datas表插入从projectName.py里传过来的itme(字典化)的值
以下为settings.py需要修改的部分代码
ROBOTSTXT_OBEY = False ##不遵从robots.txt里的Robot协议
ITEM_PIPELINES = { ##激活项目管道组件
'TieBa.pipelines.TiebaPipeline': 300
}
最后写一个启动start.py来运行scrapy框架下写的projectName.py
import os
os.system('scrapy crawl baidutieba')
到这里，此次爬虫的编码就结束了，打开mongodb就能看到我们爬到的数据了
若有改进方案，问题 欢迎留言讨论