我所在的(小)公司需要从国外的服务器下载一个数据集,总数据量在 5TB 左右,受国内渣渣网络的原因,直接下载速度太慢,而数据下载(目前看起来)是可以直接用 http 反代的,所以需要有一些更有效率的代理中转方案。
目前我想到的方案是:阿里云的 1CPU , 1GB 内存, 5Mbps 带宽 ECS 三台并行下载。
5Mbps 带宽是因为带宽阶梯计价, 5Mbps 之后带宽单价变高,且受网络连接能力限制,即使有更高的带宽也不一定能实现满速,不如多台分别下载。云主机数量是考虑到了公司本身的下载带宽。反代工具使用 nginx ,用 python 生成 url ,下载用 python 的 requests 库(因为都是 windows 机器,装 wget 或者 curl 略麻烦)。不知道有什么更好的建议吗?
P.S. 其实 linode 东京的速度试了一下也还好,而且更便宜,但是没有发票……
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.