https
-
WebMagic 爬虫框架 注解用法
自从java注解出来之后，就无框架不注解。同样的 WebMagic 爬虫框架也支持注解的方式实现网页的抓取，今天为大家分享一下 WebMagic 爬虫的注解教程。 @Ta…
-
Webmagic处理POST、PUT、PATCH等请求
了解 RESTful 的都知道，POST不是幂等操作，所以理论上每次请求的结果都未必一样，所以原则上是没有办法做“去重”操作的。其次，除了GET请求，其他M…
-
Webmagic 爬虫监控和配置代理
现在的服务基本上都离不开监控。Webmagic 爬虫框架自带了监控功能，本文将带领大家使用 Webmagic 爬虫的监控功能。 Webmagic 爬虫的监控是0.5.0新…
-
WebMagic Selectable抽取元素
昨天用的 WebMagic 最新版本，还存在一些问题。导致控制台报错，报错内容为找不到jsoup类文件。详情大家可以到https://github.com/code4cr…
-
WebMagic Xsoup 和 自定义Pipeline
WebMagic的抽取主要用到了Jsoup和官方自带的工具Xsoup。 Jsoup是一个简单的HTML解析器，同时它支持使用CSS选择器的方式查找元素。关于Jsoup的学习文章，大…
-
Webmagic 爬虫的配置、启动和终止
通过上一篇的小 demo，我们发现爬取网页内容都是通过实现 PageProcessor 来抓取的。在第一章也介绍到实 PageProcessor 是 Webmagic 4个重要组件…
-
WebMagic 入门
这是接着上一章 WebMagic 简介，我们来搭建第一个 WebMagic 爬虫项目。 WebMagic 主要包含两个jar包：webmagic-core-{v…
-
WebMagic 简介
WebMagic 是一款简单灵活的爬虫框架。目前百度百科上还没有相关的词条，网上使用的人比较多。和 jsoup 相比它更小巧和简单。 本文主要介绍 WebMagic，后面…
-
Shiro 教程
经过2个多星期的努力，Shiro教程系列文章终于完结了，这里分享一下这个教程目录。 我的另外一个个人网站：CODE大全，就用到了Shiro框架。地址：www.codedq.net …
-
Shiro 动态URL权限管理
这是Shiro 教程的最有一篇文章了，本文将重点学习在实际项目中的动态URL权限管理功能。 用过Spring Security的朋友应该比较熟悉对URL进行全局的权限控制，即访问U…