pyspider 与 scrapy 相比如何?

2015-12-09 23:00:45 +08:00
 pc10201
如题~
7565 次点击
所在节点    Python
10 条回复
est
2015-12-09 23:01:44 +08:00
都不好用。还是自己撸。
fengxiang
2015-12-09 23:12:30 +08:00
还是自己写吧
WildCat
2015-12-09 23:16:29 +08:00
都不好用+1
PythonAnswer
2015-12-10 00:18:09 +08:00
临时要搞到数据, 就随便拿来一个用上再说. 目前手头没有什么依赖 daemon 爬虫的项目.
tanteng
2015-12-10 00:25:00 +08:00
scrapy+1
udumbara
2015-12-10 00:34:21 +08:00
冲着对 python3 的支持 pyspider+1
popil1987
2015-12-10 10:01:58 +08:00
scrapy 的 downloader 是很好用的,可以处理超时, 301 , zip 压缩等情况,没必要自己写了。
pyspider 很好用,有 webui ,但是定制额外功能不是很好用
leavic
2015-12-10 16:51:02 +08:00
scrapy 非常好用
pango
2015-12-10 20:14:01 +08:00
楼上说都不好用的是什么心态。。。,还自己撸,你撸撸看。
如果只是小范围的抓取,比如一次性抓一个小网站(比如 1 万页以内),那自己随便写写问题不大。但也不如直接用 scrapy 或者 pyspider 来的快速方便。
涉及到几十万上百万页面、需要抓取几十上百个网站的, scrapy 和 pyspider 都可以胜任,自己写就算了。
如果要监测网站更新,并随时把更新抓取过来的, pyspider 完胜 scrapy 。
如果懒得自己写抽取规则, pyspider 的 webui 是你的选择。
如果需要做资源下载的,比如下载图片、软件、视频的,如 @popil1987 所说, scrapy 完胜 pyspider 。
如果是要再开发一个 google 出来,两种都不够用。
MyFaith
2015-12-11 10:02:13 +08:00
@pango +1 ,上面说自己撸的,也许连 Python 语法都不会

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/242385

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX