Android利用Jsoup爬虫框架解析网页html

Jsoup是不是叫爬虫框架我不清楚,只是比较应景,别深究。Jsoup功能非常强大,它可以使用 DOM 或 CSS 选择器来查找、取出数据。有人会说,我使用字符串操作函数构造取文本中间函数也是可以从网页HTML中取得需要的内容,那是你没遇到经常改版的网页,并且使用字符串操作来解析网页是非常麻烦的,因为不同的网页字符串标识不一样,而Jsoup不仅使用方便,而且可以像jQuery的选择器那样取数据,非常好用,不吹了,看下面介绍。

Jsoup 是一款 Java 的 HTML 解析器,可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API,可通过 DOM,CSS 以及类似于 jQuery 的操作方法来取出和操作数据。

Jsoup的主要功能:
1. 从一个 URL,文件或字符串中解析 HTML;
2. 使用 DOM 或 CSS 选择器来查找、取出数据;
3. 可操作 HTML 元素、属性、文本;

Jsoup官方地址:https://jsoup.org/download

使用案例

private void getDataByJsoup(){

final NewsInfo newsInfo = new NewsInfo();
final Message message = new Message();
newsList.add(newsInfo);

// 开启一个新线程
new Thread(new Runnable() {
@Override
public void run() {
try {
// 网络加载HTML文档
Document doc = Jsoup.connect("https://voice.hupu.com/nba")
.timeout(5000) // 设置超时时间
.get(); // 使用GET方法访问URL
Elements elements = doc.select("div.list-hd");
for (Element element:elements){

String title = element.select("a").text(); // 新闻标题
String url = element.select("a").attr("href"); // 新闻内容链接
newsInfo.setTitle(title);
newsInfo.setNewsUrl(url);
Log.e("TAG","Jsoup ======>>" + title + url);
}
Elements elements1 = doc.select("div.otherInfo");
for (Element element: elements1){

String time = element.select("a").text(); // 时间
newsInfo.setNewsTime(time);
Log.e("TAG","Jsoup ======>>" + time );

}

message.what = 1;

} catch (IOException e) {
message.what = 2;
e.printStackTrace();
}
handler.sendMessage(message);
}
}).start();
}

结果如下图所示:

Android利用Jsoup爬虫框架解析网页html

Android利用Jsoup爬虫框架解析网页html

原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/242236.html

(1)
上一篇 2022年4月7日 17:24
下一篇 2022年4月7日 17:24

相关推荐

发表回复

登录后才能评论