【故障公告】Kubernetes 集群节点宕机造成博客站点故障(被3.5万QPS压垮)
2023-03-20 15:01:07 时间
![](https://img2023.cnblogs.com/blog/35695/202303/35695-20230303190851904-384418611.png)
非常抱歉!今天 18:40-18:55 左右 Kubernetes 集群一台高配节点突然宕机,造成博客站点故障,访问时出现 502 Bad Gateway
,由此给您带来麻烦,请您谅解。
发现故障并定位问题后,我们增加了新节点服务器并重启宕机节点服务器,之后恢复正常。
19:17 左右又出现故障,疑似有异常请求会压垮博客站点的 pod,让博客站点的所有 pod 立马全部宕机。
19:35 左右再次恢复正常。
19:45 又出现所有 pod 同时宕机的情况。
![](https://img2023.cnblogs.com/blog/35695/202303/35695-20230303195300675-1995478235.png)
的确有异常请求
【阿里云】【异常发生】于19:57分,您的负载均衡slb的QPS使用率指标达到312.03%(InstanceQpsUtilization)。智能监控服务提醒您:请及时关注您的相关资源是否有容量风险。请登陆阿里云控制台通过站内信查看详情
原来是有疯狂请求来袭,其中一台负载均衡的最高 QPS 超过 3.5万
。
![](https://img2023.cnblogs.com/blog/35695/202303/35695-20230303201647046-293296396.png)
相关文章
- 金融服务领域的大数据:即时分析
- 影响大数据、机器学习和人工智能未来发展的8个因素
- 从0开始构建一个属于你自己的PHP框架
- 如何将Hadoop集成到工作流程中?这6个优秀实践必看
- SEO公司使用大数据优化其模型的5种方法
- 关于Web Workers你需要了解的七件事
- 深入理解HTTPS原理、过程与实践
- 增强分析:数据和分析的未来
- PHP协程实现过程详解
- AI专家:大数据知识图谱——实战经验总结
- 关于PHP的错误机制总结
- 利用数据分析量化协同过滤算法的两大常见难题
- 怎么做大数据工作流调度系统?大厂架构师一语点破!
- 2019大数据处理必备的十大工具,从Linux到架构师必修
- OpenCV中的KMeans算法介绍与应用
- 教大家如果搭建一套phpstorm+wamp+xdebug调试PHP的环境
- CentOS下三种PHP拓展安装方法
- Go语言HTTP Server源码分析
- Go语言HTTP Server源码分析
- 2017年4月编程语言排行榜:Hack首次进入前五十