【AI基建运维】Netflix把GPU可靠性当分布式系统问题治理，GPU节点可用率超99.95%

据InfoQ 10月30日报道，Netflix公布其为大规模GPU训练与推理构建的可靠性平台方案，把GPU失效当作分布式系统问题处理。平台构建在Kubernetes之上，采用分层健康检查：设备层通过NVIDIA DCGM监控GPU错误、显存、互连与温度，网络层检查高速弹性网络接口的状态与链路数量，再由节点代理把结果转换为节点条件供控制器决策。检查被设计为“失败关闭”，诊断工具一旦挂起即判定机器不健康，并以内核日志作为兜底。故障响应采用渐进策略：瞬时问题先阻断新任务、允许既有负载继续，问题持续则排空节点迁移负载，处置手段从终止异常任务、重置GPU到重启乃至整机替换，并与Karpenter节点自动修复集成。长任务依赖检查点与弹性worker实现故障后恢复。Netflix称该方案使GPU节点可用率超过99.95%，任务成功率从约98%提升至99.5%以上。

来源：InfoQ

以上资讯由金支点整理发布
关注金支点公众号获取每日行业报告