k8s 分布式存储

2022-01-04 16:30:38 +08:00
 pydiff

最近在调研 k8s 上有状态应用，关于分布式存储方面，对比了下，打算用 ceph ，想看看大家生产上的 k8s 都是用什么存储的

6329 次点击
所在节点    Kubernetes
42 条回复
yijihu
2022-01-04 16:34:34 +08:00
ceph nfs 一起用
vicalloy
2022-01-04 16:39:40 +08:00
我比较好奇的是 NFS 的性能损耗有多大。如果性能损耗大的话，部分 IO 敏感的应用是否不上 K8S ？
pydiff
2022-01-04 16:40:05 +08:00
@yijihu 我这边目前已经用 nas 做 nfs 在用，但是还是想看看其他的，ceph 坑多吗
tommydong
2022-01-04 16:40:51 +08:00
ceph 坑还是很多的，小 team 不建议用
pydiff
2022-01-04 16:41:10 +08:00
@vicalloy 我这边自建的单个 nas 的 iops 最大可以达到 4w ，不知道够不够，预计上几万个容器
pydiff
2022-01-04 16:41:33 +08:00
@tommydong 不是小 team ，就是之前大家都没接触过而已
defunct9
2022-01-04 16:52:51 +08:00
glusterfs
liaohongxing
2022-01-04 16:53:40 +08:00
存储附件还马马虎虎 ，要是放 mysql , 你要哭 ，试了几个块存储 和 nas 感觉跟 local path provisione 相差一半左右，忍住没上 k8s
flexbug
2022-01-04 16:53:49 +08:00
minio 可以看看
CallMeReznov
2022-01-04 16:57:26 +08:00
维护过一段时间 ceph,搭建设备拉垮+开发一个 BUCKET 写到死,导致天天爆炸.
至今仍有阴影.
hxsf
2022-01-04 17:40:48 +08:00
已经有 nas 的话，直接试试 iscsi ？
tommydong
2022-01-04 17:48:55 +08:00
都没接触过更不建议了，ceph 真心复杂
szq8014
2022-01-04 17:50:45 +08:00
@CallMeReznov 哈哈哈哈 哈哈 哈哈
tanhui2333
2022-01-04 17:57:38 +08:00
@tommydong 我记得部署就挺复杂的吧
pydiff
2022-01-04 17:58:59 +08:00
@tommydong 这个可以学的嘛，反正有好几个人搞
tommydong
2022-01-04 18:46:40 +08:00
@tanhui2333 部署是有点复杂。不过相比以后的维护和遇到问题 debug 就不值得一提了
Reficul
2022-01-04 19:41:59 +08:00
@tommydong

前同事在他上上家跑路的原因就是因为 Ceph ，hhhhh 。据说是因为一个极小概率发生的数据不一致问题，debug 了 1 个多月毫无头绪最后羞愧辞职。
zmxnv123
2022-01-04 19:59:54 +08:00
拒绝在生产环境使用 c++ 写的开源产品，主要是太复杂了，根本 hold 不住。
FullBridgeRect
2022-01-04 22:20:28 +08:00
商用私有化产品 openstack ？不过这个东西就更复杂了哈哈哈
分布式存储主流的是 ceph glusterfs 这两个，如果单机存储比较充足可以用 iscsi 对外，或者有买存储服务器的就更省事了😉
还有个项目是在 k8s 上面搭 ceph 的，叫 rook ceph ，我没用过不知道坑有多大🤣

===
涉及存储都是一堆坑，k8s 自己又是另一堆坑，我们用阿里云 aws 上 k8s 还是在坑里打滚😂
Deardrops
2022-01-04 22:29:52 +08:00
iomesh 了解一下，国内公司 Smartx 推出，一键部署，社区版可以免费使用。性能不会比 ceph glusterfs 差。

https://www.iomesh.com/
https://www.smartx.com/

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/826135

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX