关于数据采集需求的讨论帖

2017-01-10 11:45:46 +08:00
 GrahamCloud

我们是马不停蹄不停迭代产品的小团队！ 感谢大家的各种意见。 这个帖子里，我想跟大家认真讨论一下，大家平时写爬虫会是想采集什么数据，对一个通用爬虫，或者如果你们想定制爬虫，又会有什么要求。

另外，欢迎来看我们的新 ui ：全新 ui 的造数页面在这里

论坛已经搭建好了，正在构思放什么资源上来方便大家，也欢迎意见。

7374 次点击
所在节点    程序员
62 条回复
skywayman
2017-01-16 19:13:13 +08:00
@Powered 鄙视技术没含量的是你,说别人 low 的也是你,指桑骂槐说别人是狗的还是你,说越多好像越来越暴露你的本性了,原来你是这样的人!一开始就把自己摆在所谓的道德制高点来俯视别人,你这种二逼+傻叉在我十多年上网史中见得多了,宠辱不惊!
GrahamCloud
2017-01-17 11:53:38 +08:00
@j4fun 谢谢，有哪里不爽您马上告诉我。
GrahamCloud
2017-01-17 11:55:44 +08:00
@skywayman 别在意这个，别在意。说爬虫技术含量低是说我们业务呢，您跟着不开心就不好了。
jiangzhuo
2017-01-17 12:13:07 +08:00
觉得用过功能最好的算是 diffbot ， API 设计也最合理
GrahamCloud
2017-01-17 12:32:57 +08:00
@jiangzhuo 努力的方向啊
renyiqiu
2017-01-17 13:01:17 +08:00
怎么收费
GrahamCloud
2017-01-17 13:18:57 +08:00
@renyiqiu 数据方面有什么需求么？求加微信 Zaoshuio
GrahamCloud
2017-01-17 13:27:45 +08:00
@Powered 求建议求意见求反馈。
siknet
2017-01-17 15:17:11 +08:00
我不是程序员。。。我觉得免费的火车头都比现在大部分 web 爬虫要好用多了，也易用多了， so ？
GrahamCloud
2017-01-17 15:43:45 +08:00
@siknet 这个信心我们还是有，欢迎比对。
jiangzhuo
2017-01-18 12:05:46 +08:00
@GrahamCloud
@siknet
作为一个程序员，安装完火车头后搞了 5 分钟后还没有弄清楚怎么用就已经把这软件卸载了。
造数胜在操作简单，基本只有鼠标操作。
当然作为程序员来说最省事还是写个正则或者 chrome 里复制粘贴一个 selector
siknet
2017-01-18 15:11:17 +08:00
@jiangzhuo 火车头都不用写正则。。。连我这种野路子都会用
GrahamCloud
2017-01-18 15:32:26 +08:00
@jiangzhuo 我们现在也是这个初心，希望不会编程的能够迅速上手。
GrahamCloud
2017-01-18 15:32:47 +08:00
@siknet 您这边一般采集什么数据，看看能不能帮上啥
siknet
2017-01-18 15:40:57 +08:00
@GrahamCloud 主要还是不规则页面，火车头琢磨下应该能搞定，只是最近在忙别的没空弄。
zaoshu 对不规则页面比较吃力吧？我用过一会，个人愚见，非找茬。

这两个页面应该算不规则页面，我拿火车头没搞定

http://cn163.net/archives/24280/

http://videos.yizhansou.com/4342
GrahamCloud
2017-01-18 16:55:47 +08:00
@siknet 超欢迎意见，求加微信 Zaoshuio
sohoer
2017-01-19 13:11:53 +08:00
@GrahamCloud 楼主看看我的项目

www.feeddiy.com

www.newcrawler.com
GrahamCloud
2017-01-19 16:02:51 +08:00
@sohoer 求加微信求加微信！ Zaoshuio
Limius
2017-01-19 17:04:26 +08:00
居然没有童鞋说到爬人行征信、各种电商网站里订单数据、送货地址（在已登录的前提下）这种数据，这很赚钱的啊。。。

P2P 金融互联网产品狗爬过。。。
GrahamCloud
2017-01-19 18:38:40 +08:00
@Limius 这个很对啊

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/333557

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX