V2EX › Yc1992 的所有回复 › 第 72 页 / 共 78 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 64 65 66 67 68 69 70 71 72 73 ... 78

❮

❯

2016-05-03 18:23:05 +08:00

回复了 Yc1992 创建的主题 › Python › 求助！ mac 下所有程序使用的临时目录都指向/tmp

@chzyer 事实上是不小心删掉了 /private/var/tmp 跟同事的 mac 对比后才发现的新建文件夹给权限就好了

2016-05-03 10:06:41 +08:00

回复了 Yc1992 创建的主题 › macOS › 求助！ mac 下所有程序使用的临时目录都指向/tmp 但是他并不存在

已经解决 mkdir /private/tmp && chmod 777 tmp &&chmod +t tmp

2016-05-02 18:54:22 +08:00

回复了 Yc1992 创建的主题 › Python › 求助！ mac 下所有程序使用的临时目录都指向/tmp

@wwwjfy 都没问题啊~

2016-05-02 18:53:03 +08:00

回复了 Yc1992 创建的主题 › Python › 求助！ mac 下所有程序使用的临时目录都指向/tmp

@pimin brew
可以了但是不知道其他 tmp 的问题是怎么回事。。。

2016-05-01 10:47:02 +08:00

回复了 rayang 创建的主题 › 成都 › 为什么信用到现在连 200 都不值？

有功夫说这么多不如好好给楼主道个歉。

2016-04-23 13:41:24 +08:00

回复了 xiqingongzi 创建的主题 › 职场话题 › 学历在互联网方面到底有多重要？

月经贴。

2016-04-18 16:30:57 +08:00

回复了 hxndg 创建的主题 › Python › 一面结束，总结爬虫的一些小问题，抛砖引玉

hash 这个问题很有意思，我是直接把头部字段中的所有信息都提取出来用 hash.update 了一下来去重的。

2016-04-14 14:58:06 +08:00

回复了 guolingbing 创建的主题 › Python › 求助 Scrapy 的问题

@fengxiang 说明 schedule 里面的 request 太多了, 使用 Debugging memory leaks with trackref 看一下，或者设置下爬取页面上限， scrapy 有接口

2016-04-14 13:38:54 +08:00

回复了 guolingbing 创建的主题 › Python › 求助 Scrapy 的问题

@fengxiang ctrl + c 只按一次可以停止并返回当前爬取的结果

2016-04-14 11:29:34 +08:00

回复了 guolingbing 创建的主题 › Python › 求助 Scrapy 的问题

@guolingbing 一般都这样写啊，写多了就适应了，我一开始写爬虫 parse 也长的可怕，后来就拆分了。

2016-04-14 10:39:12 +08:00

回复了 guolingbing 创建的主题 › Python › 求助 Scrapy 的问题

yield 一个 request ，设置不同的回调 parse

2016-04-07 08:52:59 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@knightdf 额我记得直接 timeout 导致 connection close 了

2016-04-07 08:51:32 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@ffwalle 框架方便了我们这些初级码农写一些还不算太糟糕的爬虫，不过越写越发现确实很多地方被框架所限，谢谢你的建议~

2016-04-06 17:37:02 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@knightdf 试过，直接 timeout 了，太慢了

2016-04-06 16:09:02 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@chinvo 是个不错的建议，我再想想，谢谢~

2016-04-06 16:06:48 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@cxh116 是的，但是生产环境只有 10.04 ，很多依赖需要手工编译，然后被否决了。。。

2016-04-06 15:11:03 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@davidzhang 使用 splash 服务的 scrapy 爬虫吗？

2016-04-06 14:56:10 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@chinvo 不是难度问题，是项目经理不允许使用。

2016-04-06 14:27:19 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@cxh116 见楼上，实际情况是项目部署上 splash 不被允许，需要使用 docker

2016-04-06 14:25:37 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@chinvo 这不就成了一个服务了吗？还要去监控和守护？

1 ... 64 65 66 67 68 69 70 71 72 73 ... 78

❮

❯