《WebMagic 0.7.3》是一款创建网页爬虫工具的代码编辑软件,可以在设计网页的时候获取更方面的代码设计工作,软件内的功能非常丰富,操作也很简单,是一款非常不错的软件,感兴趣的小伙伴欢迎下载使用噢!

WebMagic 0.7.3

软件功能

1、WebMagic是一个网页爬虫代码,可以帮助您抓取网页的信息

2、您可以将这个代码加载到文本应用程序中,这样就可以设计网页信息抓取的软件了

3、该软件基于Java开发,主要的目的就是让您可以在设计web抓取工具的时候提高代码编辑速度

4、通过WebMagic,您可以减少复杂代码的编辑,优化web信息获取的方式

5、提供多个代码编辑模块,您可以在软件上选择对应对方模块加载到开发环境中使用

6、灵活性强大,所有发的模块都可以自己编辑,也就是,您可以选择合适自己使用的模块编辑

7、软件提供多个编辑方式,内置扩展模块的编辑,方便您自己定制爬虫的编写方式

8、内置webmagic-extension、webmagic-saxon数据包,主要用于调试爬虫的脚本

软件特色

1 实现PageProcessor

2 使用Selectable抽取元素

3 使用Pipeline保存结果

4 爬虫的配置、启动和终止

5 Jsoup与Xsoup

6 爬虫的监控

7 配置代理

8 处理非HTTP GET请求

更新日志

通过 Page.isDownloadSuccess 而不是 Page 对象本身为空来判断是否下载失败

为 PageModel 增加不发现新 URL 的功能 #575

为 Site 增加了 disableCookieManagement 属性,在不想使用 cookie 时使用 #577

WebMagic 0.5.3 版本发布,Java 爬虫框架

WebMagic 0.6.0 版本发布,Java 爬虫框架

WebMagic 0.6.1 版本发布,Java 爬虫框架

WebMagic 0.7.0 版本发布,Java 爬虫框架

WebMagic 0.7.3

大小:20.20MB

版本:0.7.3

语言:简中

更新:2024-11-13

RIPRO主题是一个优秀的主题,极致后台体验,无插件,集成会员系统
9080免费资源分享,PHP源码、网站源码、游戏源码、模板插件、软件工具、网络教程、为中国站长提供一站式源码下载 » WebMagic 0.7.3

发表评论

提供最优质的资源集合

立即查看 了解详情