一款全新的网页数据采集工具:爬山虎

2017-12-02 17:26:25 +08:00
 oness

前言

现在互联网上有这么多的采集器,我们为什么要开发爬山虎呢?

原因很简单,大部分已有的软件用起来不爽,于是我们就自己开发了一个。

特性

爬山虎采集器是一款全新的网页数据采集工具。作为一款工具软件,我们:

  1. 放弃了花哨的界面,换之以快速流畅的体验。
  2. 放弃了复杂的规则配置,开发了智能的自动提取算法。
  3. 在基于浏览器的可视化操作上,同时保留了快速的 HTTP 引擎架构。

爬山虎采集器在保持了用户体验、用户低学习成本的同时,兼顾了软件的数据抓取效率。

数据采集

爬山虎采集器能够采集互联网上的绝大部分网页,比如动态网页、静态网页、单页程序、表格数据、列表数据、文章数据、搜索引擎结果、下载图片等等。

发布数据

在采集到数据后,还可以发布到 CSV、Excel、MySQL、SQLite、Access、MSSQL、以及网站 API 接口上。

当然爬山虎采集器作为一个新上场的选手,跟前辈们相比,可能会有些缺点、问题。

欢迎您下载试用,并且给我们提供宝贵的意见。(如果你懒得下载,可以看下网站首页的演示视频:)

爬山虎采集器网站

编辑器

16938 次点击
所在节点    分享创造
81 条回复
iambin
2017-12-22 18:28:20 +08:00
爬山虎用过,挺好上手的,先不说功能如何,不过这免费版也太水了吧 只能导出一千条 txt 这也叫免费版可以使用大部分功能 ??? 付费没问题 ,限制条数也算了 ,起码要让用户知道你这除了导出 txt 之外的其他导出是否实用吧
bravecarrot
2017-12-23 01:08:26 +08:00
可以把广告打得详细一点,包括功能和收费情况;
需要数据的时候自己爬确实麻烦
oness
2017-12-23 01:36:13 +08:00
@iambin 免费版本每天导出 1K txt,相比同类软件导出按照积分,我觉得要实在点。
其他导出是否实用这个问题,后面考虑增加试用版。
oness
2017-12-23 01:39:01 +08:00
@bravecarrot 谢谢建议。尤其是对不会程序代码的人来说,好的工具就是生产力
sxw11
2017-12-24 01:31:45 +08:00
为什么火绒和 360 都报木马呢?能不能解释一哈。。
oness
2017-12-24 10:12:26 +08:00
@sxw11 ... 肯定是误报,我去看看提交下
oness
2017-12-27 00:06:02 +08:00
@sxw11 测试了火绒,正常,没有报木马。
zenze
2017-12-28 10:29:27 +08:00
反馈个问题 为何官网下载安装包 速度如此之慢,迅雷一直只有 6kb/s.....
xuebi1109
2017-12-28 11:10:59 +08:00
rickwise
2017-12-28 11:22:40 +08:00
@oness 还有赠送么?
oness
2017-12-28 13:50:33 +08:00
@zenze 谢谢反馈。你是什么网络
oness
2017-12-28 13:51:04 +08:00
@rickwise 木有了。先试试免费版吧
zenze
2017-12-28 13:58:43 +08:00
@oness 上海电信 就上午反馈那个时间点 现在稍微好点 100kb/s 左右
graetdk
2017-12-29 09:37:06 +08:00
如果是客户端的话,不能换 IP 很容易被封啊
oness
2017-12-29 11:45:44 +08:00
@graetdk,自动换 IP 更新正在开发:)
graetdk
2017-12-29 13:19:29 +08:00
@oness 要是搞个 Mac 版就更好了
vus520
2017-12-29 18:48:54 +08:00
我记得火车头也支持这几个功能,可视化,xpath,自动分页什么的
oness
2017-12-29 20:49:08 +08:00
@vus520 刚追加了效果图,可以看看
geekyoung
2018-01-03 10:53:35 +08:00
看起来不错 帮顶
datocp
2018-08-18 19:37:45 +08:00
支持一下,最近爬公司系统的图片转换成对应的产品图号在网上搜了一下找到爬山虎马上可以上手,不像别的什么八爪鱼说是免费还要积分,还要注册登录之类。
确实挺不错的非常容易上手,也达到了最终的目的,感谢楼主的作品,谢谢!

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/411413

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX