Web Scraping with R: How to Fill Missing Value (爬虫：如何处理缺失值)
网络上有大量的信息与数据。我们可以利用爬虫技术来获取这些巨大的数据资源。
这次用 IMDb 网站的2018年100部最欢迎的电影 来练练手，顺便总结一下 R 爬虫的方法。
##### >> Preparation
感谢 Hadley Wickham 大大，我们有 rvest 包可以用。因此爬虫前先安装并加载 rvest 包。
#install package
install.package(\'rvest\')
#loading library
library(\'rvest\')
##### >> Downloading and parsing HTML file
指定网页地址并且使用 read_html() 函数将网页转为 XML 对象。
url <- \'https://www.imdb.com/search/title?count=100&release_date=2018-01-01,2018-12-31&view=advanced\'
webpage <- read_html(url)
##### >> Extracting Nodes
我期望获取的数据包括：
- Rank: 排名
- Title：电影名称
- Runtime：电影时长
- Genre：电影类型
- Rating：观众评分
- Metascore：媒体评分
- Description：电影简介
- Votes：观众投票支持的票数
- Gross：电影票房
使用 html_nodes() 函数可以提取 XML 对象中的元素。其中该函数利用 CSS 选择器来匹配吻合的元素。
#Using CSS selectors to extract node
rank_data_html <- html_nodes(webpage, \'.text-primary\')
#Converting the node to text
rank_data <- html_text(rank_data_html)
#Converting text value to numeric value
rank_data <- as.numeric(rank_data)
因为需要利用 CSS 选择器， 所以这个部分或许需要一点 HTML/CSS 的基础知识。如果不熟悉 HTML/CSS，分享一个小方法：
- 用浏览器（以 Chrome 为例）打开那个网页，然后按 F12 打开开发者工具
- 点击开发者工具左上角的箭头去选择那个需要爬取的数据
- 对应的那行代码就会在右侧的开发者工具被选中
- 对着 CSS 选择器的文档查查就知道该怎么写了
接着用类似的 Script 提取其他元素的数据。
##### >> Handling Missing Values
爬取元素后，如果仔细检查每组元素的长度，就会发现其实某些元素是有缺失值的。比如说 Metascore
metascore_data_html <- html_nodes(webpage,\'.metascore\')
metascore_data <- html_text(metascore_data_html)
length(metascore_data)
怎么将网页中不存在的相应值用 NA 表示呢？
这里要了解一下 html_node 和 html_nodes 的区别了。运行 ?html_node 查看帮助文档：
html_node is like [[ it always extracts exactly one element. When given a list of nodes, html_node will always return a list of the same length, the length of html_nodes might be longer or shorter.
所以简单地说，就是我们可以先提取一组没有缺失值的父级 DOM，然后从这组 DOM 中逐个提取所需的子级 DOM。
粗暴地说，上代码：
metascore_data_html <- html_node(html_nodes(webpage, \'.lister-item-content\'), \'.metascore\')
metascore_data <- html_text(metascore_data_html)
length(metascore_data)
##### >> Making a Data Frame
等所有数据都爬取完毕，就可以将其组合成 data frame 用于后续的分析了。
movies <- data.frame(
rank = rank_data,
title = title_data,
description = description_data,
runtime = runtime_data,
genre = genre_data,
rating = rating_data,
metascorre = metascore_data,
votes = votes_data,
gross = gross_data
)
##### >> Exporting CSV File
如果不想马上开始分析工作，还可以存为 csv 文件以后用。
write.csv(movies, file = file.choose(new = TRUE), row.names = FALSE)
搞定爬虫后，现在网络上已经有很多数据资源等我们用咯。
##### >> Notes
rvest 包还有其他有用的函数可以发掘一下的：
-
html_tag(): 提取DOM 的 tag name -
html_attr(): 提取DOM 的 一个属性 -
html_attrs(): 提取DOM 的 所有属性 -
guess_encoding()andrepair_encoding()： 检测编码和修复编码 （爬取中文网页的时候会用的到的~） -
jump_to(),follow_link(),back(),forward(): 爬取多页面网页的时候或许会用到
##### >> Sample Code