(转)python爬取拉勾网信息
学习Python也有一段时间了，各种理论知识大体上也算略知一二了，今天就进入实战演练：通过Python来编写一个拉勾网薪资调查的小爬虫。
第一步：分析网站的请求过程
我们在查看拉勾网上的招聘信息的时候，搜索Python，或者是PHP等等的岗位信息，其实是向服务器发出相应请求，由服务器动态的响应请求，将我们所需要的内容通过浏览器解析，呈现在我们的面前。
可以看到我们发出的请求当中，FormData中的kd参数，就代表着向服务器请求关键词为Python的招聘信息。
分析比较复杂的页面请求与响应信息，推荐使用Fiddler，对于分析网站来说绝对是一大杀器。不过比较简单的响应请求用浏览器自带的开发者工具就可以，比如像火狐的FireBug等等，只要轻轻一按F12，所有的请求的信息都会事无巨细的展现在你面前。
经由分析网站的请求与响应过程可知，拉勾网的招聘信息都是由XHR动态传递的。
我们发现，以POST方式发出的请求有两个，分别是companyAjax.json和positionAjax.json，它们分别控制当前显示的页面和页面中包含的招聘信息。
可以看到，我们所需要的信息包含在positionAjax.json的Content->result当中，其中还包含了一些其他参数信息，包括总页面数（totalPageCount），总招聘登记数（totalCount）等相关信息。
第二步：发送请求，获取页面
知道我们所要抓取的信息在哪里是最为首要的，知道信息位置之后，接下来我们就要考虑如何通过Python来模拟浏览器，获取这些我们所需要的信息。
1 def read_page(url, page_num, keyword): # 模仿浏览器post需求信息，并读取返回后的页面信息
2 page_headers = {
3 \'Host\': \'www.lagou.com\',
4 \'User-Agent\': \'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) \'
5 \'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3\',
6 \'Connection\': \'keep-alive\'
7 }
8 if page_num == 1:
9 boo = \'true\'
10 else:
11 boo = \'false\'
12 page_data = parse.urlencode([ # 通过页面分析，发现浏览器提交的FormData包括以下参数
13 (\'first\', boo),
14 (\'pn\', page_num),
15 (\'kd\', keyword)
16 ])
17 req = request.Request(url, headers=page_headers)
18 page = request.urlopen(req, data=page_data.encode(\'utf-8\')).read()
19 page = page.decode(\'utf-8\')
20 return page
其中比较关键的步骤在于如何仿照浏览器的Post方式，来包装我们自己的请求。
request包含的参数包括所要抓取的网页url，以及用于伪装的headers。urlopen中的data参数包括FormData的三个参数(first、pn、kd)
包装完毕之后，就可以像浏览器一样访问拉勾网，并获得页面数据了。
第三步：各取所需，获取数据
获得页面信息之后，我们就可以开始爬虫数据中最主要的步骤：抓取数据。
抓取数据的方式有很多，像正则表达式re，lxml的etree，json，以及bs4的BeautifulSoup都是python3抓取数据的适用方法。大家可以根据实际情况，使用其中一个，又或多个结合使用。
1 def read_tag(page, tag): 2 page_json = json.loads(page) 3 page_json = page_json[\'content\'][\'result\'] 4 # 通过分析获取的json信息可知，招聘信息包含在返回的result当中，其中包含了许多其他参数 5 page_result = [num for num in range(15)] # 构造一个容量为15的占位list，用以构造接下来的二维数组 6 for i in range(15): 7 page_result[i] = [] # 构造二维数组 8 for page_tag in tag: 9 page_result[i].append(page_json[i].get(page_tag)) # 遍历参数，将它们放置在同一个list当中 10 page_result[i][8] = \',\'.join(page_result[i][8]) 11 return page_result # 返回当前页的招聘信息
第四步：将所抓取的信息存储到excel中
获得原始数据之后，为了进一步的整理与分析，我们有结构有组织的将抓取到的数据存储到excel中，方便进行数据的可视化处理。
这里我用了两个不同的框架，分别是老牌的xlwt.Workbook、以及xlsxwriter。
1 def save_excel(fin_result, tag_name, file_name): 2 book = Workbook(encoding=\'utf-8\') 3 tmp = book.add_sheet(\'sheet\') 4 times = len(fin_result)+1 5 for i in range(times): # i代表的是行,i+1代表的是行首信息 6 if i == 0: 7 for tag_name_i in tag_name: 8 tmp.write(i, tag_name.index(tag_name_i), tag_name_i) 9 else: 10 for tag_list in range(len(tag_name)): 11 tmp.write(i, tag_list, str(fin_result[i-1][tag_list])) 12 book.save(r\'C:\Users\Administrator\Desktop\%s.xls\' % file_name)
首先是xlwt，不知道为什么，xlwt存储到100多条数据之后，会存储不全，而且excel文件也会出现“部分内容有问题，需要进行修复”我检查了很多次，一开始以为是数据抓取的不完全，导致的存储问题。后来断点检查，发现数据是完整的。后来换了本地的数据进行处理，也没有出现问题。我当时的心情是这样的：
到现在我也没弄明白，有知道的大神希望能告诉我ლ(╹ε╹ლ)
1 def save_excel(fin_result, tag_name, file_name): # 将抓取到的招聘信息存储到excel当中 2 book = xlsxwriter.Workbook(r\'C:\Users\Administrator\Desktop\%s.xls\' % file_name) # 默认存储在桌面上 3 tmp = book.add_worksheet() 4 row_num = len(fin_result) 5 for i in range(1, row_num): 6 if i == 1: 7 tag_pos = \'A%s\' % i 8 tmp.write_row(tag_pos, tag_name) 9 else: 10 con_pos = \'A%s\' % i 11 content = fin_result[i-1] # -1是因为被表格的表头所占 12 tmp.write_row(con_pos, content) 13 book.close()
这是使用xlsxwriter存储的数据，没有问题，可以正常使用。
到从为止，一个抓取拉勾网招聘信息的小爬虫就诞生了。
附上源码
1 #! -*-coding:utf-8 -*-
2
3 from urllib import request, parse
4 from bs4 import BeautifulSoup as BS
5 import json
6 import datetime
7 import xlsxwriter
8
9 starttime = datetime.datetime.now()
10
11 url = r\'http://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC\'
12 # 拉钩网的招聘信息都是动态获取的，所以需要通过post来递交json信息，默认城市为北京
13
14 tag = [\'companyName\', \'companyShortName\', \'positionName\', \'education\', \'salary\', \'financeStage\', \'companySize\',
15 \'industryField\', \'companyLabelList\'] # 这是需要抓取的标签信息，包括公司名称，学历要求，薪资等等
16
17 tag_name = [\'公司名称\', \'公司简称\', \'职位名称\', \'所需学历\', \'工资\', \'公司资质\', \'公司规模\', \'所属类别\', \'公司介绍\']
18
19
20 def read_page(url, page_num, keyword): # 模仿浏览器post需求信息，并读取返回后的页面信息
21 page_headers = {
22 \'Host\': \'www.lagou.com\',
23 \'User-Agent\': \'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) \'
24 \'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3\',
25 \'Connection\': \'keep-alive\'
26 }
27 if page_num == 1:
28 boo = \'true\'
29 else:
30 boo = \'false\'
31 page_data = parse.urlencode([ # 通过页面分析，发现浏览器提交的FormData包括以下参数
32 (\'first\', boo),
33 (\'pn\', page_num),
34 (\'kd\', keyword)
35 ])
36 req = request.Request(url, headers=page_headers)
37 page = request.urlopen(req, data=page_data.encode(\'utf-8\')).read()
38 page = page.decode(\'utf-8\')
39 return page
40
41
42 def read_tag(page, tag):
43 page_json = json.loads(page)
44 page_json = page_json[\'content\'][\'result\'] # 通过分析获取的json信息可知，招聘信息包含在返回的result当中，其中包含了许多其他参数
45 page_result = [num for num in range(15)] # 构造一个容量为15的list占位，用以构造接下来的二维数组
46 for i in range(15):
47 page_result[i] = [] # 构造二维数组
48 for page_tag in tag:
49 page_result[i].append(page_json[i].get(page_tag)) # 遍历参数，将它们放置在同一个list当中
50 page_result[i][8] = \',\'.join(page_result[i][8])
51 return page_result # 返回当前页的招聘信息
52
53
54 def read_max_page(page): # 获取当前招聘关键词的最大页数，大于30的将会被覆盖，所以最多只能抓取30页的招聘信息
55 page_json = json.loads(page)
56 max_page_num = page_json[\'content\'][\'totalPageCount\']
57 if max_page_num > 30:
58 max_page_num = 30
59 return max_page_num
60
61
62 def save_excel(fin_result, tag_name, file_name): # 将抓取到的招聘信息存储到excel当中
63 book = xlsxwriter.Workbook(r\'C:\Users\Administrator\Desktop\%s.xls\' % file_name) # 默认存储在桌面上
64 tmp = book.add_worksheet()
65 row_num = len(fin_result)
66 for i in range(1, row_num):
67 if i == 1:
68 tag_pos = \'A%s\' % i
69 tmp.write_row(tag_pos, tag_name)
70 else:
71 con_pos = \'A%s\' % i
72 content = fin_result[i-1] # -1是因为被表格的表头所占
73 tmp.write_row(con_pos, content)
74 book.close()
75
76
77 if __name__ == \'__main__\':
78 print(\'**********************************即将进行抓取**********************************\')
79 keyword = input(\'请输入您要搜索的语言类型：\')
80 fin_result = [] # 将每页的招聘信息汇总成一个最终的招聘信息
81 max_page_num = read_max_page(read_page(url, 1, keyword))
82 for page_num in range(1, max_page_num):
83 print(\'******************************正在下载第%s页内容*********************************\' % page_num)
84 page = read_page(url, page_num, keyword)
85 page_result = read_tag(page, tag)
86 fin_result.extend(page_result)
87 file_name = input(\'抓取完成，输入文件名保存：\')
88 save_excel(fin_result, tag_name, file_name)
89 endtime = datetime.datetime.now()
90 time = (endtime - starttime).seconds
91 print(\'总共用时：%s s\' % time)
还有许多功能可以添加，比如说通过修改city参数查看不同城市的招聘信息啦等等，大家可以自行开发，这里只做抛砖引玉之用，欢迎交流，转载请注明出处~ (^ _ ^)/~~