python 模仿 scrapy 开发的 爬虫轻量级 框架

模仿 scrapy 开发的轻量级爬虫框架

详情可点击 github 页面查看

简介

magical 轻量级爬虫框架, 模仿 scrapy 开发,没有 scrapy 复杂,抛弃了 yield 跟 回掉函数,流程简单化,全部可自定义,框架只是简单封装了一些常用函数

项目文件:

  • spiders 爬虫列表文件夹
  • settings 爬虫配置文件
  • middleware 中间件文件
  • pipeline 管道文件
  • base_spdier

spider 提供3个爬虫类:

  • SyncSpider 单线程爬虫
  • RedisMessageMQSpider redis 发布者订阅者模式爬虫
  • RabbitMessageMQSpider rabbitMQ 生产者消费者爬虫
  • ThreadSyncSpider 多线程爬虫,启动多个线程,去实例化以上三种爬虫类

sync_spider requests同步版本
async_spider aiohttp异步版本 (问题较多,已放弃开发)

暂无评论
本文作者:
本文链接: https://www.qinless.com/?p=228
版权声明:本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 qinless 的博客!
100

发表评论

返回顶部