高拓展性的Java多线程爬虫框架reptile(个人开源项目)
简介
项目地址: https://github.com/xiepuhuan/reptileReptile是一个具有高拓展性的可支持单机与集群部署Java多线程爬虫框架,该框架可简化爬虫的开发流程。该框架各个组件高内聚松耦合的特性让用户可以对不同组件进行定制来满足不同的需求。
架构
...
阅读全文…