学习python可能最先入手的就是爬虫了，闲来没事就找了找爬点什么内容比较好。突然发现最近很流行爬去美女图片啊！！！！二话不说，搞起来。

    先来看看网站长啥样。

 

再看看网站的Html结构。

 

    好了，知道了网站html结构，name就开干吧。先创建py文件，引入第三方包urllib.request、BeautifulSoup和os。

    1、创建文件保存方法

2、定义请求头

3、网页分析

4、主函数

5、结果

6、程序源码

import urllib.request
from bs4 import BeautifulSoup
import os


def Download(url, picAlt, name):
    path = \'D:\\tupian\\\' + picAlt + \'\\\'
    # 判断系统是否存在该路径，不存在则创建
    if not os.path.exists(path):
        os.makedirs(path)
    # 下载图片并保存在本地
    urllib.request.urlretrieve(url, \'{0}{1}.jpg\'.format(path, name))

#定义请求头
header = {
    "User-Agent": \'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36\',
    \'Accept\': \'*/*\',
    \'Accept-Language\': \'en-US,en;q=0.8\',
    \'Cache-Control\': \'max-age=0\',
    \'Connection\': \'keep-alive\'
}

#网页分析
def run(targetUrl, beginNUM, endNUM):
    #创建网络请求对象
    req = urllib.request.Request(url=targetUrl, headers=header)
    response = urllib.request.urlopen(req)  # 这里的req可看成一种更为高级的URL
    #设置请求参数
    html = response.read().decode(\'gb2312\', \'ignore\')  # 解码 得到这个网页的html源代码：这个网站的编码使用的是GB2312格式，更常见的网站编码格式应该是UTF-8了吧
    soup = BeautifulSoup(html, \'html.parser\')  # 将得到的HTML代码使用python自带的解析器（也可以使用lxml解析器，性能会更好，本代码从简
    # 获取图片div
    Divs = soup.find_all(\'div\', attrs={\'id\': \'big-pic\'})
    #当前页
    nowpage = soup.find(\'span\', attrs={\'class\': \'nowpage\'}).get_text()
    #所有页
    totalpage = soup.find(\'span\', attrs={\'class\': \'totalpage\'}).get_text()
    if beginNUM == endNUM:  # 跳出条件
        return
    for div in Divs:
        beginNUM = beginNUM + 1
        #判断是否存在图片
        if div.find("a") is None:  # 如果这张图片没有下一张图片的链接
            print("没有图片")
            return
        # 有链接，但是是 空链接
        elif div.find("a")[\'href\'] is None or div.find("a")[\'href\'] == "":
            print("没有图片")
            return
        #展示进度
        print("下载信息：总进度：", beginNUM, "/", endNUM, " ，正在下载组图：(",nowpage, "/", totalpage, ")")

        # 变换成下一页
        if int(nowpage) < int(totalpage):
            #获取下一张图片链接
            nextPageLink = "http://www.mmonly.cc/mmtp/qcmn/" + (div.find(\'a\')[\'href\'])
        elif int(nowpage) == int(totalpage):
            #获取下一组图片链接
            nextPageLink = (div.find(\'a\')[\'href\'])
        #获取图片链接
        picLink = (div.find(\'a\').find(\'img\')[\'src\'])  # 本网站大图的SRC属性是下一张图片的链接
        picAlt = (div.find(\'a\').find(\'img\'))[\'alt\']  # 图片的名字alt属性
        print(\'下载的图片链接:\', picLink)
        print(\'组图名：[ \', picAlt, \' ] \')
        print(\'开始下载...........\')
        Download(picLink, picAlt, nowpage)
        print("下载成功！")
        print(\'下一页链接:\', nextPageLink)
        # 递归
        run(nextPageLink, beginNUM, endNUM)
        return


#主函数
if __name__ == \'__main__\':
    # http://www.mmonly.cc/mmtp/qcmn任意一个网址开始爬取，是爬取的起点（）
    targetUrl ="http://www.mmonly.cc/mmtp/qcmn/237273_10.html"
    run(targetUrl, beginNUM=0, endNUM=200)  # 设置下载图片数量：endNUM-beginNUM 数字相减为总数量

 

版权声明：本文为raorao1994原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/raorao1994/p/10301811.html