Python HTML解析模块HTMLParser(爬虫工具)

wcwnina 2021-08-17 原文

简介

　　先简略介绍一下。实际上，HTMLParser是python用来解析HTML的内置模块。它可以分析出HTML里面的标签、数据等等，是一种处理HTML的简便途径。HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以”handle_”开头的，都是HTMLParser的成员函数。当我们使用时，就从HTMLParser派生出新的类，然后重新定义这几个以”handle_”开头的函数即可。这几个函数包括：
（1）handle_startendtag 　　处理开始标签和结束标签（即单标签）
（2）handle_starttag     　　   处理开始标签，比如<xx>
（3）handle_endtag       　　处理结束标签，比如</xx>
（4）handle_charref      　　   处理特殊字符串，就是以&#开头的，一般是内码表示的字符
（5）handle_entityref   　　   处理一些特殊字符，以&开头的，比如  
（6）handle_data         　　   处理数据，就是<xx>data</xx>中间的那些数据
（7）handle_comment          处理注释
（8）handle_decl         　　    处理<!开头的，比如<!DOCTYPE html PUBLIC “-//W3C//DTD HTML 4.01 Transitional//EN”
（9）handle_pi           　　      处理形如<?instruction>的东西

实例

　　OK，废话少说，直接上手，来一个简单的爬虫实例——抓取贴吧图片。

 1 from html.parser import HTMLParser
 2 from urllib import request
 3 
 4 
 5 class MyHTMLParser(HTMLParser):     # 创建HTML解析类
 6     def __init__(self):
 7         HTMLParser.__init__(self)
 8         self.gifs_urls = []         # 创建列表，保存gif
 9         self.jpgs_urls = []         # 创建列表，保存jpg
10 
11     # 重写HTMLParser中的内置方法
12     def handle_starttag(self, tags, attrs):  # 处理起始标记
13         if tags == \'img\':   # 处理图片
14             for attr in attrs:
15                 for t in attr:
16                     if \'gif\' in t and \'https\' in t:
17                         self.gifs_urls.append(t)    # 添加到gif列表
18                     elif \'jpg\' in t and \'https\' in t:
19                         self.jpgs_urls.append(t)    # 添加到jpg列表
20                     else:
21                         pass
22     # 自定义的方法
23     def get_gifs(self):     # 返回gif列表
24         return self.gifs_urls
25 
26     def get_jpgs(self):     # 返回jpg列表
27         return self.jpgs_urls
28 
29     # 自定义的方法，获取页面
30     def getHTML(self,url):
31         req=request.Request(url,method=\'GET\')
32         html=request.urlopen(req,timeout=30)
33         return html.read()
34 
35     # 自定义的方法，批量下载图片
36     def downImgs(self,img_urls,n=10,path=\'Image/\'):
37         count=1
38         for url in img_urls:
39             request.urlretrieve(url=url,filename=\'{0}{1}{2}\'.format(path,count,\'.jpg\'))
40             count=count+1
41             if count == n + 1:
42                 print(\'共下载%d张图片\' %(n))
43                 return
44 
45 if __name__ == \'__main__\':
46 
47     Url = \'http://tieba.baidu.com/p/2256306796\'
48     HtmlParser=MyHTMLParser()
49     Html=HtmlParser.getHTML(Url)
50     # print(Html)
51     HtmlParser.feed(str(Html))      #开始解析HTML，自动调用HTMLParser中的内置方法
52     HtmlParser.downImgs(HtmlParser.get_jpgs())