Node.js 实现的一个 Scrapy like 爬虫框架

闲来无事想用 Node.js 写点东西练手，同时又想些爬虫，于是乎就有了这样一个爬虫项目。之前有过 Scrapy 的开发经验，于是乎就模仿 Scrpay 的 api 用 Node.js 实现了一套。
附上 github 地址： https://github.com/SteveZhangBit/leiobunum

名字取做 leiobunum 意思是长脚蜘蛛，感觉很形象啊～

本身 Node.js 就是异步 IO ，非常适合爬虫这种高 IO 的程序，并且本身 Scrapy 也是建立在 Twisted 上的，所以用 Node.js 实现起来简直爽歪歪。

自己还加上了一个 Redis 的支持，可以实现简单的分布式，实际测试原来要用数小时的爬去过程，缩短到了 10 来分钟，哈哈哈

欢迎大家 fork 和 star