XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。

  • XPath 使用路径表达式在 XML 文档中进行导航
  • XPath 包含一个标准函数库
  • XPath 是 XSLT 中的主要元素
  • XPath 是一个 W3C 标准

 

概念 解释 举例
基本值（或称原子值，Atomic value） 基本值是无父或无子的节点 J K. Rowling，”en”
项目（Item） 项目是基本值或者节点
节点关系-父（Parent） 每个元素以及属性都有一个父。 在上面的例子中，book 元素是 title、author、year 以及 price 元素的父：
节点关系-子（Children） 元素节点可有零个、一个或多个子。 在上面的例子中，title、author、year 以及 price 元素都是 book 元素的子：
节点关系-同胞（Sibling） 拥有相同的父的节点。 在上面的例子中，title、author、year 以及 price 元素都是同胞：
节点关系-先辈（Ancestor） 某节点的父、父的父，等等。 在上面的例子中，title 元素的先辈是 book 元素和 bookstore 元素。
后代（Descendant） 某个节点的子，子的子，等等。 在上面的例子中，bookstore 的后代是 book、title、author、year 以及 price 元素。

 
表达式 描述
nodename 选取此节点的所有子节点。
/ 从根节点选取。
// 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
. 选取当前节点。
.. 选取当前节点的父节点。
@ 选取属性。

 

路径表达式 结果
bookstore 选取 bookstore 元素的所有子节点。
/bookstore 选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book 选取属于 bookstore 的子元素的所有 book 元素。
//book 选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book 选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang 选取名为 lang 的所有属性。

 

路径表达式 结果
/bookstore/book[1] 选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()] 选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1] 选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3] 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang] 选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=’eng’] 选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00] 选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title 选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

 

 

 

  1. '''
        xpath数据解析流程:
            1.pip install lxml
            2.导包:from lxml import etree
            3.实例化一个etree对象(将页面数据加载到该对象)
            4.调用etree中的xpath函数结合着xpath表达式进行数据解析操作     
    '''

https://sz.58.com/ershoufang/

 

  1. headers={
  2.     'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.20 Safari/537.36'
  3. }

 

  1. page_text=requests.get(url=url,headers=headers).text

 

  1. #1 实例化etree对象
  2. tree=etree.HTML(page_text)
  4. #2 写表达式定位到需要获取的房价信息
  5. li_list=tree.xpath('//ul[@class="house-list-wrap"]/li') #获取房价的页面所有的li标签
  7. fp=open('fangjia.txt','w',encoding='utf8')
  8. for li in li_list:
  9.     title=li.xpath('./div[@class="list-info"]/h2/a/text()')[0] #获取房价描述的title
  10.     price=li.xpath('./div[@class="price"]/p[@class="sum"]//text()')#获取房价描述的price
  11.     price="".join(price)
  12.     fp.write('\n'+title+":"+price)
  13. fp.close()

注意:

　　xpath 解析的数据的返回值是一个列表.

 

  1. import requests
  2. from lxml import etree
  4. url=f'https://bj.58.com/ershoufang/pn1/'
  6. headers={
  7.     'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.20 Safari/537.36'
  8. }
  10. page_text=requests.get(url=url,headers=headers).text
  13. #实例化etree对象
  14. tree=etree.HTML(page_text)
  15. li_list=tree.xpath('//ul[@class="house-list-wrap"]/li')
  17. fp=open('fangjia.txt','w',encoding='utf8')
  18. for li in li_list:
  19.     title=li.xpath('./div[@class="list-info"]/h2/a/text()')[0]
  20.     price=li.xpath('./div[@class="price"]/p[@class="sum"]//text()')
  21.     price="".join(price)
  22.     fp.write('\n'+title+":"+price)
  23. fp.close()

 

版权声明：本文为angle6-liu原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/angle6-liu/p/10437896.html