WebMagic 0.7.3
《WebMagic 0.7.3》是一款创建网页爬虫工具的代码编辑软件,可以在设计网页的时候获取更方面的代码设计工作,软件内的功能非常丰富,操作也很简单,是一款非常不错的软件,感兴趣的小伙伴欢迎下载使用噢!
软件功能
1、WebMagic是一个网页爬虫代码,可以帮助您抓取网页的信息
2、您可以将这个代码加载到文本应用程序中,这样就可以设计网页信息抓取的软件了
3、该软件基于Java开发,主要的目的就是让您可以在设计web抓取工具的时候提高代码编辑速度
4、通过WebMagic,您可以减少复杂代码的编辑,优化web信息获取的方式
5、提供多个代码编辑模块,您可以在软件上选择对应对方模块加载到开发环境中使用
6、灵活性强大,所有发的模块都可以自己编辑,也就是,您可以选择合适自己使用的模块编辑
7、软件提供多个编辑方式,内置扩展模块的编辑,方便您自己定制爬虫的编写方式
8、内置webmagic-extension、webmagic-saxon数据包,主要用于调试爬虫的脚本
软件特色
1 实现PageProcessor
2 使用Selectable抽取元素
3 使用Pipeline保存结果
4 爬虫的配置、启动和终止
5 Jsoup与Xsoup
6 爬虫的监控
7 配置代理
8 处理非HTTP GET请求
更新日志
通过 Page.isDownloadSuccess 而不是 Page 对象本身为空来判断是否下载失败
为 PageModel 增加不发现新 URL 的功能 #575
为 Site 增加了 disableCookieManagement 属性,在不想使用 cookie 时使用 #577
WebMagic 0.5.3 版本发布,Java 爬虫框架
WebMagic 0.6.0 版本发布,Java 爬虫框架
WebMagic 0.6.1 版本发布,Java 爬虫框架
WebMagic 0.7.0 版本发布,Java 爬虫框架
