需长期 python 爬虫兼职

2014-12-19 10:07:08 +08:00
 rubylove
针对类似如下网站,http://app.zjepb.gov.cn:8089/nbjcsj/
1. 按照规定的数据库表的格式,将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求:
1,从之前向现在的时间取爬取,这样如果因为网络等原因断开后,再次开始时,能自动从更早的时间点开始爬取。
2. 如果超时,至少要有3次重试。再超时,或者发生错误时,能发送邮件给指定人。
3. 性能:内存不能超过300M, CPU使用率不能超过30%,数据库链接数需控制在5个以内。
4. 数据库:已设计好,使用postgresql.
5. 任务调度:需使用celery。


因为需爬取的各类资源比较多,因此希望尽可能长期合作。
8777 次点击
所在节点    酷工作
22 条回复
cloudzhou
2014-12-19 10:15:52 +08:00
这个我比较擅长 :-)
mutoulbj
2014-12-19 11:08:31 +08:00
这个可以有
rubylove
2014-12-19 11:13:42 +08:00
@cloudzhou 请联系QQ18028206
@mutoulbj
keenturbo
2014-12-19 11:21:47 +08:00
支持一下
zhkzyth
2014-12-19 11:29:58 +08:00
还有这样的活~~=.=
zeuss
2014-12-19 15:58:04 +08:00
@mutoulbj 呀,这不是木头哥哥么
iewgnaw
2014-12-19 16:11:51 +08:00
你这不是要数据,是要程序啊。写完了,合作就完了?
mringg
2014-12-19 16:15:41 +08:00
这叫兼职?
fooevr
2014-12-19 16:16:58 +08:00
CPU使用率不能超过30%这个要求很奇怪
9999999999999999
2014-12-19 16:18:22 +08:00
@fooevr 估计是他要跑三个实例,
fooevr
2014-12-19 16:25:03 +08:00
@9999999999999999 我不是说对CPU有限制奇怪, 而是什么级别的CPU呢?
wibile
2014-12-19 16:39:36 +08:00
这种要求还需要用celery???
icedx
2014-12-19 16:43:34 +08:00
我怎么觉得这个似乎发过一次
wangfeng3769
2014-12-19 17:28:21 +08:00
个人表示很可以吧
9999999999999999
2014-12-19 18:38:48 +08:00
@fooevr 不管什么级别的CPU啊。 打个比喻: 我雇佣工人做事情,我一共有100元,我需要雇佣三个工人,当然给每个工人的报酬不能超过30元。
fooevr
2014-12-20 00:50:09 +08:00
@9999999999999999 恩 我知道你说的是人民币.
xuelang
2014-12-20 20:33:12 +08:00
@fooevr 好含蓄啊,哈哈哈
GeekGao
2014-12-21 15:43:21 +08:00
这哪是兼职啊。。。 要么叫做长期项目,要么叫做remote
RangerWolf
2014-12-21 17:53:26 +08:00
@icedx 你的感觉是对的 这个帖子跟之前的内容完全一致
wangfeng3769
2014-12-21 20:04:33 +08:00
这个项目估算一下价格,看看需要多少钱。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/155034

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX