用 python 做简单的网页爬虫程序

今天看到一个网页，又因为在家里用电话线上网，一直在线阅读很麻烦。所以就写了个简单的程序把网页抓下来离线阅读，省点电话费：）
这个程序因为主页面链接到的页面都在同一个目录下，结构很简单，只有一层。因此写了一些硬编码做链接地址的分析。
代码如下：

#!/usr/bin/env python
# -*- coding: GBK -*-

import urllib

from sgmllib import SGMLParser

class URLLister(SGMLParser):
    def reset(self):
        SGMLParser.reset(self)
        self.urls = []
        
    def start_a(self, attrs):
        href = [v for k, v in attrs if k == \’href\’]
        if href:
            self.urls.extend(href)
    
url = r\’http://www.sinc.sunysb.edu/Clubs/buddhism/JinGangJingShuoShenMo/\’
sock = urllib.urlopen(url)
htmlSource = sock.read()
sock.close()
#print htmlSource
f = file(\’jingangjing.html\’, \’w\’)
f.write(htmlSource)
f.close()

mypath = r\’http://www.sinc.sunysb.edu/Clubs/buddhism/JinGangJingShuoShenMo/\’

parser = URLLister()
parser.feed(htmlSource)

for url in parser.urls:
    myurl = mypath + url
    print “get: “ + myurl
    sock2 = urllib.urlopen(myurl)
    html2 = sock2.read()
    sock2.close()
    
    # 保存到文件
    print “save as: “ + url
    f2 = file(url, \’w\’)
    f2.write(html2)
    f2.close()
    
    

版权声明：本文为RChen原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/RChen/archive/2006/05/05/392275.html