python利用scrapy框架爬取起点
先上自己做完之后回顾细节和思路的东西，之后代码一起上。
1.Mongodb 建立一个叫QiDian的库，
然后建立了一个叫Novelclass（小说类别表）
Novelclass（可以把一级类别二级类别都存进去：玄幻–一级类别，东方玄幻–二级类别）的表
client = pymongo.MongoClient(host=”127.0.0.1″)
db = client.QiDian
collection = db.Novelclass
2.用parse回调方法，获得一级类别。循环取出（要注意拼接问题–“https：”+）。
并将一级类别存入Mongodb（注意一级类别的pid此时为None）。一级类别的链接不需要存入redis数据库（一级类别的链接只为了找到二级）。
3.此时获取二级类别（东方玄幻），此时回调parse方法
取得二级类别（名称+链接）同时二级类别名称与一级类别名称放入同一个Mongodb（Novelclass）里，链接则存入redis库（classid = self.insertMongo(name[0],pid)，self.pushRedis(classid,url,pid)）
def insertMongo(self,classname,pid):
classid = collection.insert({‘classname’:classname,’pid’:pid})
return classid
def pushRedis(self,classid,url,pid,):
novelurl = ‘%s,%s,%s’ %(classid,url,pid)
r.lpush(‘novelurl’,novelurl)
此时第一步完成。一级类别与二级类别都获取到。
4.有了二级链接（东方玄幻），接下来要获取每个二级链接下的小说名字与链接。
（同样，将小说名字存入Mongodb–Novelname表，链接存入到redis–novelnameurl）
这里注意我们定义了一个字典，（为了我们能取到arr[0]–也就是二级的id（东方玄幻的id））
因为我们要确定每本小说是属于哪一类（东方玄幻或者西方玄幻。）
dict = {}
novelurl = bytes.decode(item)
arr = novelurl.split(‘,’) # 分割字符串
qidianNovelSpider.start_urls.append(arr[1])
pid = arr[0] 二级（东方玄幻）的_id，也就是流水id，注意不要取成东方玄幻的pid（他的pid则是玄幻的id）
url = arr[1] 二级（东方玄幻）的链接
self.dict[url] = {“pid”:pid,”num”:0}
此时num是为了控制我们爬几页。
同样一个parse回调方法，因为我们要去下一页，所以我们要确定取到的链接是相同
classInfo = self.dict[response.url]–response.url固定就是这么写
pid = classInfo[‘pid’]–确定了那么pid=arr[0]
num = classInfo[‘num’]
if num>3:——–此处num的用处就来了，我只去每个二级链接的前4页（因为你是取完了前四页才循环回来，所以不是3页）
return None
同样注意链接的拼接问题。（不然会报keyerror错误）
取到就分别把名字和链接存入Mongodb和redis
classid = collection.insert({‘novelname’: name, ‘pid’: pid})此时pid就是（东方玄幻的id也就是唯一id，而不是玄幻的id）
print(name)
self.pushRedis(classid, c, pid)—–（classid就是流水id–_id，c是拼接后的链接，pid则是东方玄幻的id）
现在分类第一页能取，现在开始写下一页的，
hxs = HtmlXPathSelector(response)
hx = hxs.select(‘//li[@class=”lbf-pagination-item”]/a[@class=”lbf-pagination-next “]’)
urls = hx.select(“@href”).extract()
d = “https:” + urls[0]
classInfo[‘num’] +=1——-（每取一页，num就+1）
self.dict[d] = classInfo
print(d)
request = Request(d, callback=self.parse)——-（调用上一个回调方法，也就是取那页名字和链接那个地方。）
yield request
这段代码就是为了取到下一页的链接然后去调用上一个方法，把下一页的名字和链接都拿下来。
之后就是入库操作，上面有。
Mongodb—Novelname，Redis—-novelnameurl
5.接下来要做的是更新书籍信息（也就是把novelname表更新）
现在Mongodb—-novelname表只有书籍名字，而没有具体信息。（所以要把作者，签约，连载或完结，免费或Vip都更新进去）
注意：我是更新而不是新建表。所以说我取得链接同样还是novelnameurl里的，只不过把得到的信息不用另起一个表，而是插入之前有的novelname
client = pymongo.MongoClient(host=”127.0.0.1″)
db = client.QiDian
collection = db.Novelname（这个表会同上一个py文件的相同）
同样的，我还是需要（东方玄幻的_id）
pid = arr[0]
url = arr[1]
self.dict[url] = {“pid”:pid}
不过这次是为了更新Mongodb数据库准备的，
nameInfo = self.dict[response.url]
pid1 = nameInfo[‘pid’]
pid = ObjectId(pid1)——-（此处是为了等我更新时，”_id”这个键对应相同的ObjectId）
之后就是取信息。
hx = hxs.select(‘//div[@class=”book-info “]/h1/span/a[@class=”writer”]’)
hx1 =hxs.select(‘//p[@class=”tag”]/span[@class=”blue”]’)
hx2 =hxs.select(‘//p[@class=”tag”]/a[@class=”red”]’)
for secItem in hx:
writer = secItem.select(“text()”).extract()
print(writer)
for secItem1 in hx1:
state = secItem1.select(“text()”).extract()
print(state)
for secItem2 in hx2:
classes = secItem2.select(“text()”).extract()
print(classes)
可以这么取并且打印出来也是顺序，而不是说先把每个小说的writer都打印出来，在打印state。
更新Mongodb—-novelname表
db.Novelname.update({“_id”: pid}, {“$set”: {“writer”: writer, “state”: state, “classes”: classes}})
此时上面的pid就起了作用，更新完成。
6.接下来就是爬取每本小说的章节名和链接了。（同上面的取小说名字，只不过更简单，没有下一页）
这里还是要注意id问题，章节名称和链接都要对应上每本小说自己的_id（而不是二级的pid）。
插入Mongodb—–Chaptername，redis—-chapterurl
7.最后一步，根据章节链接取小说内容，因为我们取了每本小说的所有的链接，所以也不用考虑下一章的问题。
同时，我们取完内容，也要将内容更新到章节表里，这里我们需要注意的是，我们取得小说的内容是p标签的（是字符串形式），
所以说我们插入Mongodb就遇到了问题，字符串放进去，一条就给你一个id，这不是想要的，要的是一章小说的就一个_id就好。
用到了字符串拼接。
ii=””——-先给个空的
hx = hxs.select(‘//div[@class=”read-content j_readContent”]/p’)
for secItem in hx:
contents = secItem.select(“text()”).extract()
content1 = contents[0]—–取到一个p下的内容
# print(content1)
ii=content1+ii——-取到的就加进去
print（ii）——我们想要的结果
最后更新进Chaptername，
db.Chaptername.update({“_id”: pid}, {“$set”: {“content”: ii}})
Mongodb（Novelclass（一级，二级–玄幻，东方玄幻）；Novelname（小说名字，—-之后更新进作者，连载等等）；Chaptername（章节名字，—-更新进章节对应的内容））
Redis（novelurl（单纯二级链接—东方玄幻，用不到一级链接）；novelnameurl（小说名字链接）；chapterurl（章节链接））
第一个py文件
# -*- coding: utf-8 -*-
import re
from urllib.request import urlopen
from scrapy.http import Request
# from urllib.request import Request
from bs4 import BeautifulSoup
from lxml import etree
import pymongo
import scrapy
from scrapy.selector import HtmlXPathSelector
client = pymongo.MongoClient(host="127.0.0.1")
db = client.QiDian
collection = db.Novelclass #表名classification
import redis #导入redis数据库
r = redis.Redis(host='127.0.0.1', port=6379, db=0)
class qidianClassSpider(scrapy.Spider):
name = "qidianClass2"
allowed_domains = ["qidian.com"] #允许访问的域
start_urls = [
"https://www.qidian.com/all",
]
#每爬完一个网页会回调parse方法
def parse(self, response):
hxs = HtmlXPathSelector(response)
hx = hxs.select('//div[@class="work-filter type-filter"]/ul[@type="category"]/li[@class=""]/a')
for secItem in hx:
url = secItem.select("@href").extract()
c = "https:"+url[0]
name = secItem.select("text()").extract()
classid = self.insertMongo(name[0],None)
print(c)
# a = db.Novelclass.find()
# for item in a:
# print(item.get('_id'))
# b = item.get('_id')
# novelurl = '%s,%s' % (item.get('_id'), c)
# r.lpush('novelurl', novelurl)
request = Request(c,callback=lambda response,pid=str(classid):self.parse_subclass(response,pid))
yield request
def parse_subclass(self, response,pid):
hxs = HtmlXPathSelector(response)
hx = hxs.select('//div[@class="sub-type"]/dl[@class=""]/dd[@class=""]/a')
for secItem in hx:
urls = secItem.select("@href").extract()
url = "https:" + urls[0]
name = secItem.select("text()").extract()
classid = self.insertMongo(name[0],pid)
self.pushRedis(classid,url,pid)
def insertMongo(self,classname,pid):
classid = collection.insert({'classname':classname,'pid':pid})
return classid
def pushRedis(self,classid,url,pid,):
novelurl = '%s,%s,%s' %(classid,url,pid)
r.lpush('novelurl',novelurl)
第二个py文件
# -*- coding: utf-8 -*-
import re
from urllib.request import urlopen
from scrapy.http import Request
import pymongo
import scrapy
from time import sleep
from scrapy.selector import HtmlXPathSelector
client = pymongo.MongoClient(host="127.0.0.1")
db = client.QiDian
collection = db.Novelname
import redis # 导入redis数据库
r = redis.Redis(host='127.0.0.1', port=6379, db=0)
ii = 0
class qidianNovelSpider(scrapy.Spider):
name = "qidianClass3"
allowed_domains = ["qidian.com"]
dict = {}
start_urls = []
def __init__(self): # 定义一个方法
a = r.lrange('novelurl', 0, -1)
# ii = 0
for item in a:
novelurl = bytes.decode(item)
arr = novelurl.split(',') # 分割字符串
qidianNovelSpider.start_urls.append(arr[1])
pid = arr[0]
url = arr[1]
self.dict[url] = {"pid":pid,"num":0}
# ii +=1
# if ii>3:
# break
# qidianNovelSpider.start_urls = start_urls
# print(start_urls)
def parse(self, response):
classInfo = self.dict[response.url]
pid = classInfo['pid']
num = classInfo['num']
# print(self.dict)
if num>3:
return None
hxs = HtmlXPathSelector(response)
hx = hxs.select('//div[@class="book-mid-info"]/h4/a')
for secItem in hx:
url = secItem.select("@href").extract()
c = "https:" + url[0]
name = secItem.select("text()").extract()
classid = collection.insert({'novelname': name, 'pid': pid})
print(name)
self.pushRedis(classid, c, pid)
print('-----------递归--------------')
hxs = HtmlXPathSelector(response)
hx = hxs.select('//li[@class="lbf-pagination-item"]/a[@class="lbf-pagination-next "]')
urls = hx.select("@href").extract()
d = "https:" + urls[0]
classInfo['num'] +=1
self.dict[d] = classInfo
print(d)
request = Request(d, callback=self.parse)
yield request
print('--------end--------------')
def pushRedis(self, classid, c, pid):
novelnameurl = '%s,%s,%s' % (classid, c, pid)
r.lpush('novelnameurl', novelnameurl)
第三个py文件
# -*- coding: utf-8 -*-
import re
from urllib.request import urlopen
from scrapy.http import Request
import pymongo
import scrapy
from time import sleep
from scrapy.selector import HtmlXPathSelector
from bson.objectid import ObjectId
client = pymongo.MongoClient(host="127.0.0.1")
db = client.QiDian
collection = db.Novelname
import redis # 导入redis数据库
r = redis.Redis(host='127.0.0.1', port=6379, db=0)
# ii = 0
class qidianNovelSpider1(scrapy.Spider):
name = "qidianClass4"
allowed_domains = ["qidian.com"]
dict = {}
start_urls = []
def __init__(self): # 定义一个方法
a = r.lrange('novelnameurl', 0, -1)
# ii = 0
for item in a:
novelnameurl = bytes.decode(item)
arr = novelnameurl.split(',') # 分割字符串
qidianNovelSpider1.start_urls.append(arr[1])
pid = arr[0]
url = arr[1]
self.dict[url] = {"pid":pid}
def parse(self, response):
nameInfo = self.dict[response.url]
pid1 = nameInfo['pid']
pid = ObjectId(pid1)
print(pid)
hxs = HtmlXPathSelector(response)
hx = hxs.select('//div[@class="book-info "]/h1/span/a[@class="writer"]')
hx1 =hxs.select('//p[@class="tag"]/span[@class="blue"]')
hx2 =hxs.select('//p[@class="tag"]/a[@class="red"]')
for secItem in hx:
writer = secItem.select("text()").extract()
print(writer)
for secItem1 in hx1:
state = secItem1.select("text()").extract()
print(state)
for secItem2 in hx2:
classes = secItem2.select("text()").extract()
print(classes)
# for item in a:
# b = item.get('_id')
# print(b)
db.Novelname.update({"_id": pid}, {"$set": {"writer": writer, "state": state, "classes": classes}})
print('------------------------------------------')
# classid = collection.insert({'novelname': name, 'pid': Pid})
# print(name)
# self.pushRedis(classid, c, Pid)
第四个py文件
# -*- coding: utf-8 -*-
import re
from urllib.request import urlopen
from scrapy.http import Request
import pymongo
import scrapy
from time import sleep
from scrapy.selector import HtmlXPathSelector
from bson.objectid import ObjectId
client = pymongo.MongoClient(host="127.0.0.1")
db = client.QiDian
collection = db.Chaptername
import redis # 导入redis数据库
r = redis.Redis(host='127.0.0.1', port=6379, db=0)
class qidianNovelSpider1(scrapy.Spider):
name = "qidianClass5"
allowed_domains = ["qidian.com"]
dict = {}
start_urls = []
def __init__(self): # 定义一个方法
a = r.lrange('novelnameurl', 0, -1)
# ii = 0
for item in a:
novelnameurl = bytes.decode(item)
arr = novelnameurl.split(',') # 分割字符串
qidianNovelSpider1.start_urls.append(arr[1])
pid = arr[0]
url = arr[1]
self.dict[url] = {"pid":pid}
print(url)
def parse(self, response):
nameInfo = self.dict[response.url]
pid = nameInfo['pid']
hxs = HtmlXPathSelector(response)
hx = hxs.select('//div[@class="volume-wrap"]/div[@class="volume"]/ul[@class="cf"]/li/a[@target="_blank"]')
for secItem in hx:
urls = secItem.select("@href").extract()
url = "https:"+urls[0]
chapter = secItem.select("text()").extract()
print(chapter)
print(url)
classid = collection.insert({'chaptername': chapter, 'pid': pid})
self.pushRedis(classid,url, pid)
def pushRedis(self, classid, url, pid):
chapterurl = '%s,%s,%s' % (classid, url, pid)
r.lpush('chapterurl', chapterurl)
第五个py文件
# -*- coding: utf-8 -*-
import re
from urllib.request import urlopen
from scrapy.http import Request
import pymongo
import scrapy
from time import sleep
from scrapy.selector import HtmlXPathSelector
from bson.objectid import ObjectId
client = pymongo.MongoClient(host="127.0.0.1")
db = client.QiDian
collection = db.Chaptername
import redis # 导入redis数据库
r = redis.Redis(host='127.0.0.1', port=6379, db=0)
class qidianNovelSpider1(scrapy.Spider):
name = "qidianClass6"
allowed_domains = ["qidian.com"]
dict = {}
start_urls = []
def __init__(self): # 定义一个方法
a = r.lrange('chapterurl', 0, -1)
# ii = 0
for item in a:
chapterurl = bytes.decode(item)
arr = chapterurl.split(',') # 分割字符串
qidianNovelSpider1.start_urls.append(arr[1])
pid = arr[0]
url = arr[1]
self.dict[url] = {"pid":pid}
# print(url)
def parse(self, response):
nameInfo = self.dict[response.url]
pid1 = nameInfo['pid']
pid = ObjectId(pid1)
hxs = HtmlXPathSelector(response)
ii=""
hx = hxs.select('//div[@class="read-content j_readContent"]/p')
for secItem in hx:
contents = secItem.select("text()").extract()
content1 = contents[0]
# print(content1)
ii=content1+ii
# content = bytes(content1,'GBK')
# classid = collection.insert({'content': ii, 'pid': pid1})
db.Chaptername.update({"_id": pid}, {"$set": {"content": ii}})
# print(content)
# f = open('1.txt','wb')
# f.write(content)
# f.close()
好了 ，大功告成