爬虫(5) – 网页数据解析(1) | XPath在爬虫中的应用


什么是XPath

  • XPath即为XML路径语言(XML Path Language)
  • XPath可以用于定位XML文本的节点
  • 实际上,XPath也适用于定位HTML中的节点

节点及节点间的关系

  • 在HTML中,节点就是一个个HTML标签
  • 分析节点间的关系也就是要清楚HTML文档中各标签间的关系
  • 理清这些关系对于书写XPath路径表达式来说非常重要

节点分类

  • 先辈节点
  • 父节点
  • 兄弟节点
  • 子节点
  • 兄弟节点

爬虫(5) - 网页数据解析(1) | XPath在爬虫中的应用

 

XPath路径表达式

XPath使用路径表达式来选取XML文档(或是HTML文档)中的节点或节点集;在节点后加上带有数字的方括号,可以根据兄弟节点在文档中出现的先后次序选择元素(数字1为第一个以此类推)

通过在节点后加上带有属性名-值对的方括号,可以筛选出需要的节点

属性值的写法为:@属性名=“属性值”

路径表达式 描述

/div

/span

从根节点开始选取div节点

从根节点开始选取span节点

//a 选取文档中所有a节点而不考虑其位置
@class 选取名为class的属性
. 选取当前节点
.. 选取当前节点的父节点
/div/a 从根节点开始选取div节点下的a节点
/div/a[2]/img 从根节点开始选取div节点下的第二个a节点下的img节点
//div[@class=’header-wrapper’] 选取所有属性class的值为header-wrapper的div节点
//* 选取文档中所有元素
//@* 选取文档中所有带属性的元素
/div/p/text() 选取p节点的文本内容
//div[contains(@class,”post”)]

选取带有class属性且包含“post”的所有div节点

取反//div[not(contains(@class,”post”))]

/div/p[last()-1] 选取div下倒数第二个p节点
/div/p[position()>1] 选取div下第二个p节点后的所有兄弟节点
/div/a|div/p 选取div下的a节点和div下的p节点

原创文章,作者:,如若转载,请注明出处:https://blog.ytso.com/271499.html

(0)
上一篇 2022年7月4日
下一篇 2022年7月4日

相关推荐

发表回复

登录后才能评论