滴滴昨天晚上(2023.11.27)啥故障有没有内部人士稍微来聊聊

开猿截流，降本增笑

一个字，绝！

10 点多的云服务变更，10:16 分就全挂了，告警、降级、预案全部失效

@egfegdfr 不好说，我见过上线出问题时已经产生了脏数据了，回滚功能没用要顺带回滚数据才能恢复，这就要很长时间了

滴滴攻城狮已经连夜进行抢修！（但因为没办法叫到滴滴回不来公司，已采取步行方式，请耐心等待）

@Orangeee 想起了核酸码故障😱

@Orangeee 你这个梗，跟前阵子语雀崩了访问不了，但是解决方案都存在语雀里面有异曲同工之妙

都是草台

据我不负责任的推测，很有可能又是降本增笑搞的，把经验老的员工裁员了，只留下了成本低的新员工……

在推上看到的消息是说 k8s 集群挂了，服务都挂了，包括内部聊天软件，只能用微信联系处理故障

@dollar #29

有地址嘛，想瞅瞅

不能在外部平台上公开讨论工作信息。安全红线

前段时间我们也 k8s 集群挂了，整个 etcd 集群节点数不够一直启动不起来，恢复这玩意整个不知道咋恢复。。

@killva4624 盲猜最近一两年裁员裁狠了，把底层干活的裁了不少，一个人负责原本两三个人的工作，交接也没交接好

盆友圈看到的

1. ys 机房挂了，需要双机房切流预案，结果预案平台挂了执行不了，需要先恢复预案平台
2. 核心交易链路有重试，错误率高的时候用户也在重试，限流能把错误率提升，用户继续增加重试，错误率继续提升；
3. 部分业务核心交易链路依赖供给端链路，B 端业务复杂还控制新增服务，服务相互依赖严重，内部 rpc 还普遍有 check; 启动 A 服务需要先启动 B 服务，B 服务依赖的 C 服务需要 A 服务启动;
4.止损需要拉群，结果 IM 挂了，需要微信拉 umeet ，还好 umeet 不是 dd 的
5. 早高峰拉研发到班止损，很多打不到车，导致没法止损
6. 双机房预案演练只练切流不练放火，反正非 P 或 Q ，管他 P 为真为假。

@buchikoma 这么详细，看着像是内部人士发的。IM 工具也坏掉了那是很难办了。

@hooych
绝

@soloHm
Angular 1.* 当年文档坏了，去 Github 上反馈，核心团队也[开玩笑]让我去文档网站反馈（实际上是打不开的）

@buchikoma 这么详细应该是真的.

不过我很好奇, 一般双机房就是互备容灾, 咋挂了一个整体业务还 run 不起来了. 双机房个寂寞

@Ericcccccccc #38 这种大业务一般不会随意切流，必定是先告警再手动 check 手动切流，而且切流操作也得是白屏化，这就导致又依赖了一个不稳定服务

大公司就这点不好，夸部门沟通有壁垒，没办法独立完成所有运维操作

@Orangeee 这就是为啥需要反垄断