求大数据大牛,跨区域/内网的 3 台云服务器能成功搭建 Hadoop 分布式集群吗?

61 天前
 psyer
三个账号都在 Huawei☁️的同一个区域都有一个服务器,但是无法切换 VPC 组建对等连接的网络。现在只有公网环境能够互相访问,我试了一下如果 Hadoop 的配置文件全部使用公网 IP ,这样搭建出来的 Hadoop 集群会有很多问题,要么 NameNode 不能启动,要么 DataNode 不能启动,要么访问 HDFS 出错…… bug 不断,网上也没有类似的教程,网上几乎都是虚拟机/内网环境搭建的,所以没有什么参考性。问 Ai 也是不断试错,都知道 v2 大佬多,所以我来问问😂
778 次点击
所在节点    问与答
9 条回复
han777
61 天前
试试用 wireguard 组建 VPN ?

hadoop 集群的进程会绑定很多端口号,如果云服务器的防火墙没放开这些端口的话,就会导致集群无法互联。https://www.cnblogs.com/yjt1993/p/10280609.html
psyer
60 天前
@han777 端口这个问题好解决,安全组和服务器防火墙互相放通这些 IP 就行。主要是理论上支持跨内网搭建不,这个问题。我尝试下来好像不行。
psyer
60 天前
@han777 wireguard ?什么作用?
zizon
60 天前
结构上跟内网没区别.只要网络互通就行.

实践上会有延迟问题导致的诸如超时等情况引发状态异常.
defunct9
60 天前
应该可以。开 ssh ,让我上去试试
han777
60 天前
@psyer wireguard 可以使你的多台机器组成一个虚拟的局域网。https://icloudnative.io/posts/wireguard-docs-theory/
psyer
59 天前
@zizon 不行,我搜了一下,好像公网 ip 是 NAT 映射的,hadoop 无法识别本机的公网 ip🤦‍♂️
psyer
59 天前
@han777 感谢,好像这样就能保证安全了,我试试。hadoop 仿佛有无授权漏洞,开在公网无疑是裸奔。
psyer
59 天前
@defunct9 我都试了不行,就不劳驾你了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/1104395

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX