scrapy-redis

为Scrapy爬虫提供Redis支撑组件的Python库，基于共享Redis队列实现分布式爬取与分布式后处理，包含调度器、去重过滤器、Item Pipeline等即插即用组件。