某公司技术部发生2起本年度PO级特大事故,造成公司资金损失万,原因如下:
由于php工程师直接操作上线redis,执行keys*wxdb(此处省略)cf8*这样的命令,导致redis锁住,导致CPU飙升,引起所有支付链路卡住,等十几秒结束后,所有的请求流量全部挤压到了rds数据库中,使数据库产生了雪崩效应,发生了数据库宕机事件。
该公司表示,如再犯类似事故,将直接开除,并表示之后会逐步收回运维部各项权限。
文章转自
云头条
网友评论:
-最近的互联网线上事故发生如此频繁,是上帝想找阿猿祭天的节奏吗?
-架构做redis的时候麻烦看下redisclusterspecification,FaultTolerantRedis之类的文章,或者直接抄代码也行.不要给运维甩锅了
-keys*应该被运维封禁啊…
-删库肯定要跑路啊,老板要找人砍死我
-出了生产事故不从系统架构设计和流程找原因,直接让运维工程师背锅,拿开除员工作威胁,这样的结果只会是大家都不作为,命令全都让临时工敲
-使用Redis的开发者必须,吸取教训啊!
-PHP工程师:用最好的语言,闯最大的祸。
-近期的运维开发测试必须要集中转发各类锦鲤和杨超越了。
预览时标签不可点收录于合集#个上一篇下一篇