平时需要抓取大量数据,想入台刀片机放在家里,求 V 友推荐

2017-01-29 13:49:21 +08:00
 plantparknet
云主机已经有两台,国内一台,跑着 wordpress ,香港一台目前闲置,但国内 ssh 连延时比较明显。两台主机都是入门级配置,“ CPU:2 核,内存:2.0 GB ,磁盘类型:普通磁盘,磁盘:20 GB ,带宽:7 Mbps ,操作系统:CentOS 6.4 64 位"

国内云主机连接方便但跑着 Wordpress ,虽然流量不大,但担心跑的程序或修改的配置对其造成影响,不想花太多精力维护。

主要是平时数据抓取的需求比较大,高峰期一天几百 G 的流量,目前在 Mac 上跑虚拟机,但程序一运行,风扇就开始疯狂的转,最近还出现过几次虚拟机崩溃的情况,虽然分配了 6G 内存,并没有多少改善。多少有些心疼现在的 Mac 。

有朋友推荐 Gen3 ,但发现国内新机配置也较一般,价格似乎有些偏高。淘宝发现有许多二手刀片机,是一个不错的选择, cpu 高达 32 核也才两千左右的价格。

对服务器的需求顺序如下:
CPU : 16 核以上
内存: 6G 以上
硬盘: 500G 以上,最高可到 1T-2T ,现有几块机械的 USB 外接硬盘,不知是否可以使用。

家里还存有几块树莓派,从一代到二代都有几块,还有几块 Intel Galileo ,但这性能似乎很难满足我的需求吧,懒得折腾了,当然有时间可以搭个小集群玩玩。

目前淘宝找到如下的服务器

1.游戏工作室首选 插大显卡 24 核 服务器 静音 HP Proliant DL380 G7
https://item.taobao.com/item.htm?spm=a1z0k.7385961.1997985097.d4918997.9FV5W0&id=38413656832&_u=t2dmg8j26111

2.新到货 新款 2011 针 32 核 E5-2670 C2 CPU 32G PK DELL R620 服务器
https://item.taobao.com/item.htm?spm=a1z2k.6997417.0.0.t6s6WG&scm=12306.1.0.0&id=543998142884

3.原装 IBM X3650 M3 X5650 X5660*2 24 核 云计算 虚拟化平台 服务器
https://item.taobao.com/item.htm?spm=a1z2k.6997417.0.0.t6s6WG&scm=12306.1.0.0&id=523720271697

此外,此类刀片机放在家中,可有好的防尘静音措施么?

先行谢谢各位 V 友了~~

祝各位鸡年都有更多的好机机~~
15001 次点击
所在节点    Linux
116 条回复
WildCat
2017-01-29 18:58:56 +08:00
我要在我家搞这玩意就搞个噪音大的直接扔车库。。。车库收家里 WiFi 信号挺好
WildCat
2017-01-29 19:00:48 +08:00
能问问楼主这样大流量爬虫用什么语言 /框架写的吗?交流下心得

代理池用的免费还是收费的? 最近想做开源代理 IP 爬虫、管理系统
realpg
2017-01-29 19:04:23 +08:00
刀片……楼主知道啥叫刀片么
mazyi
2017-01-29 19:32:52 +08:00
只求代理池可靠来源 ~
ytmsdy
2017-01-29 19:43:38 +08:00
刀片机器放在家里最大的问题是噪音,电费,网络费用什么都是小头。
自己曾经也在家里有一台刀片,但是后来实在吃不消他的噪声,果断关掉。然后丢垃圾堆了。
weizhiyao008
2017-01-29 19:47:10 +08:00
噪音太感人了,可以考虑 x79 和 x99 平台
lan894734188
2017-01-29 20:20:21 +08:00
刀片机是为了机房的计算密度 家用没必要上刀片机 上瘦客户机就行
fxxkgw
2017-01-29 20:52:24 +08:00
你确定能受的了噪音么?
xiaocsl
2017-01-29 20:53:31 +08:00
感觉走歪了,你一定要确认自己确实需要那么高的性能.

说一下我自己的, N3150 + 8G 内存,自己淘汰下来的 SSD . 因为完全没有任何机械部件.基本"0"噪音,功耗还超低,超级省电.

除了夏天,其他时间完全不需要用到风扇,
夏天的时候,我的解决方案:拆下来的普通的 12CM 风扇,剪开线连到 USB 公口上,放到铁皮上面,温度没超过 50 度过.

强烈建议你认真考虑一下,有没有用到那么高性能的需求,毕竟 7*24 开着,真正需要优先考虑的还是噪音,功耗问题.
j2001588
2017-01-29 20:53:49 +08:00
@realpg 运维狗路过,我看也是,楼主说的 这些全是机架服务器,机架服务器的噪音 远比 刀片机低,机架服务器 无非就是噪音相当于 公版游戏显卡的噪音,刀片机的噪音就是飞机场(两人面对面说话基本靠吼 )
xiaocsl
2017-01-29 20:55:02 +08:00
我也是跑爬虫, 250M 下行 完全占满, 7*24 小时跑着.
huntzhan
2017-01-29 21:02:06 +08:00
我觉得是不是直接上 VM 比较好
realpg
2017-01-29 21:13:08 +08:00
@j2001588 #50
1U 机架噪音一样飞机场 受限于高度,只能 4cm 暴力扇
JackyBao
2017-01-29 21:33:34 +08:00
@xiaocsl 很好奇,你们都在爬哪方面的数据?
xmoiduts
2017-01-29 21:38:05 +08:00
@realpg 去年玩 pwm 风扇实验,学校只有 avc 的 4cm 1.88a 风扇。噪音的确相当暴力:开启一个,全实验室的人就别想睡觉了。
然而挺佩服在那里常住的前辈,他把铺盖都搬到实验室了。
plantparknet
2017-01-29 22:36:52 +08:00
@UnknownR 貌似和链接的 G7 是一个系列么

@zhaoxiting1997 详细配置可有么?方便的话可以邮件交流, plantpark.net#Gmail

@03511110 求详细配置

@gamexg 赞!防尘怎么做呢?


@baoguok 确实是想先入个二手的玩玩,也就是大家所说的“洋垃圾”

@ryd994 我知道的有家做数据相关的公司也是购买这类二手服务器放在办公室,不要求上行速度的话,性价比相比各种云要合适一些

@zmj1316 塔式的在淘宝没找到多少家卖二手的,而刀片却以二手居多,所以这样简单粗暴的比较了,如果有好的二手塔式,也欢迎推荐哈~~


@mazyi @WildCat 网上有很多开源的工具收集网上免费的 IP ,但实效和稳定性较差,也有不少付费服务,看自己需求。


@ytmsdy 嗯,确实,因此考虑刀片的第一标准就是噪音的问题,静音当是首选,如果有静音的话。


@realpg @j2001588 sorry ,确实非专业人员,看介绍以及以往认知以为这就是刀片机,谢谢纠正。


@xiaocsl 这貌似很有诱惑力,可有推荐的购买链接么?对主流操作系统 ubuntu centos 支持如何,如果能把下行 250 完全占满看来性能足够了


@huntzhan 我目前用的就是虚拟机,但程序一运行, Mac 风扇便狂转。


@JackyBao low 点的各种资源集合站, B 格高点的一些咨询公司需求的各种数据。全球(或全国)排名前百的互联网公司大部分网络公开数据都是有很大价值的。
zhaoxiting1997
2017-01-29 23:24:32 +08:00
@plantparknet 已发邮件
huntzhan
2017-01-30 00:26:41 +08:00
sorry ,我的意思是租个 cloud VM
irockytan
2017-01-30 00:28:40 +08:00
@zhaoxiting1997 你哪里?我有点兴趣
Reficul
2017-01-30 00:51:08 +08:00
开机的时候和满负载的时候比吸尘器响多了,每个风扇都是开到最大档的电吹风一样。当然空载还是很安静的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/337321

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX