8月17日,GitHub.com 出现持续约7小时47分钟的服务故障,Issues、Pull Requests、API、Actions 和 Copilot 等服务受到影响。故障高峰期间,GitHub 网页和 API 请求错误率约为20%,仓库 Archive 与 Raw 内容下载错误率一度达到约50%。
GitHub 在事故复盘中表示,直接原因是美国中部数据中心的负载均衡器发生网络饱和。一个 Istio Sidecar Pod 达到并发上限后未能正确自动扩容,问题随后级联扩散,最终导致4个 HAProxy 节点耗尽连接流量容量,并影响 GitHub 的网关认证路径。
恢复过程中,重试机制进一步放大了故障。GitHub 称,VS Code 中一个潜在的重试问题将部分请求流量放大约10倍,Copilot Token Service 的流量由正常的每秒7000至9000次请求升至70000至100000次,导致 Copilot 的认证服务恢复时间明显延长。GitHub 表示将调整 Istio 自动扩容策略、审查客户端与网关重试机制,并加强负载均衡容量监控与区域故障转移能力。
来源:GitHub Status 官方事故报告