首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  drymonfidelia  ›  全部回复第 61 页 / 共 72 页
回复总数  1424
1 ... 57  58  59  60  61  62  63  64  65  66 ... 72  
❮ ❯
353 天前
回复了 drymonfidelia 创建的主题 › Google › 原来 Google 也不做 XFF 是否伪造的识别
@wzhpro 边缘节点以外的 XFF 没用
353 天前
回复了 drymonfidelia 创建的主题 › Google › 原来 Google 也不做 XFF 是否伪造的识别
@wzhpro 在边缘节点把用户提供的 XFF 清空
354 天前
回复了 drymonfidelia 创建的主题 › 程序员 › Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？
@laminux29 全告诉了 是你自己不翻回帖
355 天前
回复了 drymonfidelia 创建的主题 › 程序员 › Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？
@lesismal 任务随机下发到一个节点，在同一个 aiohttp session 里面发，每个 URL 拿到结果马上发同 URL 的下一个请求，没有关注是 http 1.x 还是 2.0
有订阅机制，但是订阅延迟不止 3 秒，用不了
355 天前
回复了 drymonfidelia 创建的主题 › 程序员 › Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？
@markgor 平台上拍卖机器人泛滥，官方没管过，基本上是默许了 是有一次请求多个的列表 API ，但列表 API 有缓存延迟不止 3 秒，用不了
355 天前
回复了 drymonfidelia 创建的主题 › 程序员 › Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？
@yuyue001 8000 个 URL 是用户提交的，在我们数据库里
akamai CDN 的数据是实时的
355 天前
回复了 drymonfidelia 创建的主题 › 程序员 › Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？
@cat 是这样，同行据说也是这么做的
@lambdaq 平台推送延迟不止 3 秒
@lovelylain 一批爬完马上爬下一批，没有 sleep
355 天前
回复了 drymonfidelia 创建的主题 › 程序员 › Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？
其实是某拍卖平台的自动出价系统, 需要实时监控价格有没有被超过, 高峰期最多有 9 万条链接接近截止时间, 延迟 3 秒体验影响很大的, 同行能做到实时
平台本身推送但是延迟还不止 3 秒
@locoz
355 天前
回复了 drymonfidelia 创建的主题 › 程序员 › Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？
@GeekGao 纯发请求消耗不了多少 CPU 和内存吧, azure 带宽至少 1Gbps, 看起来是足够了
@phrack 确实是在代码里通过全部请求收到返回-首个请求发送前时间, 精确到毫秒计算的. 从内核发出的时间要怎么看, 在服务器上抓包么?
355 天前
回复了 drymonfidelia 创建的主题 › 程序员 › 开源项目如果想持有完整版权, 方便随时更换许可证, 可以把 CLA 直接附在 LICENSE 后面, 避免要求贡献者签署 CLA 吗
@stimw 但是要求签 CLA 在商业化项目中是很常见的, 我只是觉得多一个步骤体验不好
355 天前
回复了 drymonfidelia 创建的主题 › 程序员 › Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？
没有 API 能一次性查多个商品库存
355 天前
回复了 drymonfidelia 创建的主题 › 程序员 › Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？
上货=>补货
355 天前
回复了 drymonfidelia 创建的主题 › 程序员 › Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？
@locoz 具体场景不方便公开，但差不多就是库存监控，有 90000 个商品，上货时间没办法提前知道，我们永远比同行慢 3 秒
355 天前
回复了 drymonfidelia 创建的主题 › 程序员 › Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？
对方套的是 akamai 的 cdn ，测试出来 azure 耗时最短
355 天前
回复了 drymonfidelia 创建的主题 › 程序员 › Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？
爬的是国外的站，对方的站套了 cdn 不知道是什么机房，已经选了测试出来的耗时最短的云买服务器爬了
355 天前
回复了 drymonfidelia 创建的主题 › 程序员 › Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？
@so1n 并发 8000 个要 3 秒多的话才能全爬完一组 8000 个，但是单请求一个耗时只有 0.15 秒
业务实时更新接近 9 万个 URL 的数据，同行不知道怎么做到的延迟不到一秒，我们用了 10 台服务器都做不到
1 ... 57  58  59  60  61  62  63  64  65  66 ... 72  
❮ ❯
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5718 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 34ms · UTC 08:12 · PVG 16:12 · LAX 00:12 · JFK 03:12
Developed with CodeLauncher
♥ Do have faith in what you're doing.