步骤1.建立一个scrapy爬虫工程
执行 scrapy startproject python123demo
生成的工程目录
    python3deom/-------------->外层目录
        scrapy.cfg------------>部署scrapy爬虫的配置文件，即放在服务器上并配置相应的操作接口
        python23deom/--------->scrapy框架的用户字定义python代码
        __int__.py------------>初始化脚本(继承类)
        items.pyItems--------->Items代码模板（基础类）
        middlewares.py-------->Middlewares代码模板（继承类）
        piplines.py----------->Piplines代码模板（继承类）
        settings.py----------->scrapy爬虫的配置文件
        spiders/-------------->spiders代码模板目录（继承类）
            __int__.py----------->初始文件，无需修改
            __pycache__/--------->缓存目录，无需修改
步骤2.在工程中产生一个scrapy爬虫
执行 cd python123deom
执行 scrapy genspider deom python123.io     生成一个名为demo的爬虫（在spiders/目录下生成一个deom.py文件）


如下：
# -*- coding: utf-8 -*-
import scrapy

#以面向对象编写的一个类，该类叫demospider,这个类必须是继承scrapy.spider这个类的子类
class DemoSpider(scrapy.Spider):
    name = 'demo'#变量name赋值为demo,即当前爬虫的名字叫demo
    allowed_domains = ['python123.io']#指最开始用户提交给命令行的域名，即这个爬虫只能爬取这个域名以下的相关链接
    start_urls = ['http://python123demo.io/']#以列表形式包含的一个或多个URL，就是scrapy框架所要爬取的初始页面

    def parse(self, response):#解析页面的方法（此处初始为空），parse()用于处理响应，解析内容形成字典，发现新的URL爬取请求
        pass

步骤3.配置产生的spider爬虫
# -*- coding: utf-8 -*-
import scrapy

#以面向对象编写的一个类，该类叫demospider,这个类必须是继承scrapy.spider这个类的子类
class DemoSpider(scrapy.Spider):
    name = 'demo'#变量name赋值为demo,即当前爬虫的名字叫demo
    #allowed_domains = ['python123demo.io']#指最开始用户提交给命令行的域名，即这个爬虫只能爬取这个域名以下的相关链接
    start_urls = ['http://python123demo.io/ws/demo.html']#以列表形式包含的一个或多个URL，就是scrapy框架所要爬取的初始页面

    def parse(self, response):#解析页面的方法（此处初始为空），parse()用于处理响应，解析内容形成字典，发现新的URL爬取请求
        fname = response.url.split("/")[-1]#定义一个名字将response的内容保存到一个html文件中，从响应的url链接中提取名字，作为保存为本地的文件名
        with open(fname,"wb")as f :#将返回的内容保存为文件
            f.write(response.body)
         self.log("Saved file %s."%name)

步骤4.运行爬虫，获取网页
执行 scrapy crawl demo
如下;
#以面向对象编写的一个类，该类叫demospider,这个类必须是继承scrapy.spider这个类的子类
class DemoSpider(scrapy.Spider):
    name = 'demo'#变量name赋值为demo,即当前爬虫的名字叫demo
    #allowed_domains = ['python123demo.io']#指最开始用户提交给命令行的域名，即这个爬虫只能爬取这个域名以下的相关链接
    start_urls = ['http://python123demo.io/ws/demo.html']#以列表形式包含的一个或多个URL，就是scrapy框架所要爬取的初始页面

    def parse(self, response):#解析页面的方法（此处初始为空），parse()用于处理响应，解析内容形成字典，发现新的URL爬取请求
        fname = response.url.split("/")[-1]#定义一个名字将response的内容保存到一个html文件中，从响应的url链接中提取名字，作为保存为本地的文件名
        with open(fname,"wb") as f :#将返回的内容保存为文件
            f.write(response.body)
        self.log("Saved file %s."% fname)

#输出小于5的平方值（生成器写法）
def gen(n):
    for i in range(n):
        yield i**2#生成器每次只返回一个值
for i in gen(5):
    print(i," ",end="")

#输出小于5的平方值(普通写法)
def square(n):
    ls = [i**2 for i in range(n)]#将所有遍历的所有值返回到列表中，存储空间占用相对较多
    return ls
for i in square(5):
    print(i," ",end="")

#编写spider模板
# -*- coding: utf-8 -*-
import scrapy
import re

class StockSpider(scrapy.Spider):
    name = 'stock'
    start_urls = ['http://quote.eastmoney.com/stocklist.html']

    def parse(self, response):#解析页面的函数方法
        for href in response.css("a::attr(href)").extract():
            try:
                stock = re.findall(r"[s][hz]\d{6}",href)[0]#通过正则表达式获取东方财富网的股票代码
                url ="http://stockdata.stock.hexun.com/" + stock + ".shtml"#生成一个百度股票页面的对应链接
                yield scrapy.Request(url,callback=self.parse_stock)#将链接作为新的请求提交给scrapy框架，yield关键词将parse变成一个生成器
            except:
                continue

    def parse_stock(self,response):#从百度股票的单个页面中提取信息
        infoDict = {}
        stockInfo = response.css(".stock-bets")
        name = stockInfo.css(".bets-name").extract()[0]#获取股票名字
        keyList = stockInfo.cs("dt").extract(0)#获取dt标签
        valueList = stockInfo.css("dd").extract()#获取dd标签
        for i in range(len(keyList)):#将提取的信息保存在字典中
            key = re.findall(r">.*</dt>",keyList[i])[0][1:5]
            try:
                val = re.findall(r"\d+\.?.*</dd>",valueList[i])[0][0:-5]
            except:
                val = "--"
            infoDict[key]=val

        infoDict.update(
            {"股票名称":re.findall("\s.*\(",name)[0].split()[0] + \
                    re.findall("\>.*\<",name)[0][1:-1]})
            #提取的整个股票页面的相关信息
        yield infoDict

#编写Item Pipeline
# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


class BaidustocksPipeline(object):
    def process_item(self, item, spider):
        return item

class BaidustocksPipeline(object):
    def open_spider(self,spider):#指当爬虫被调用时对应的Pipeline启动的方法
        self.f = open("BaidustockInfo.txt","w")
        
    def close_spider(self,spider):#指一个函数关闭时对应的Pipeline方法
        self.f.close()
        
    def process_item(self,item,spider):#指对每一个item项进行处理时对应的方法
        try:
            line = str(dict(item)) + "\n"#将所有信息写到item中
            self.f.write(line)
        except:
            pass
        return item