R语言爬虫：CSS方法与XPath方法对比（代码实现）

xihehe 2021-08-03 原文

CSS选择器和XPath方法都是用来定位DOM树的标签，只不过两者的定位表示形式上存在一些差别：

CSS 方法提取节点

library("rvest")
single_table_page <- read_html("single-table.html")
# 提取url里的所有表格
html_table(single_table_page)
html_table(html_node(single_table_page,"table"))
products_page <- read_html("./case/products.html")
products_page %>% html_nodes(".product-list li .name") %>% html_text() 
product_items <- products_page %>% html_nodes(".product-list li")
data.frame(name = product_items %>% html_nodes(".name") %>% html_text(), 
           price = product_items %>% html_nodes(".price") %>%html_text() 
           %>% str_replace_all(pattern="\\$",replacement="") %>% 
               as.numeric(), stringsAsFactors = FALSE)

XPath 方法提取节点

page <- read_html("./case/new-products.html")
#查找所有p节点
page %>% html_nodes(xpath="//p")
#CSS\'s way
page %>% html_nodes("p")
# 找到所有具有class属性的li标签
# xpath\'s way
page %>% html_nodes(xpath="//li[@class]")
# CSS\'s way
page %>% html_nodes("li[class]")
# 找到id=‘list’的div标签下的所有li标签
# xparth\'s way
page %>% html_nodes(xpath="//div[@id=\'list\']/ul/li")
# CSS\'s way
page %>% html_nodes("div#list > ul > li")
# 查找包含p节点的所有div节点
page %>% html_nodes(xpath="//div[p]")
# 查找所有class值为“info-value”，文本内容为“Good”的span节点
page %>% html_nodes(xpath = "//span[@class=\'info-value\' and text()=\'Good\']")