【可观测性】Datadog为AI Agent可观测性加入在线实验:用真实生产流量对比智能体版本,评测得分与延迟、Token消耗、执行成本同步比对,实验显示新模型成本降44.3%但工具参数错误增多
Datadog为其Agent Observability平台增加Online Experiments能力,让工程团队用真实生产流量对比AI智能体的不同版本,而不再只依赖预设评测数据集。该能力把智能体评测得分与延迟、Token消耗、执行成本、错误等运行指标结合,帮助团队判断模型、提示词、检索策略或工具的改动是否真正提升智能体表现。团队可通过功能开关按比例分配流量,先向小比例用户暴露变更;实验结果可下钻到单条智能体执行轨迹,查看工具调用、传入参数与返回结果,解释不同版本行为差异的原因。Datadog给出的示例中,新旧模型各分得一半流量,基于大模型的评测器按准确性、完整性和结论是否有证据支撑打分,新模型估算成本下降44.3%、质量得分接近,但执行时长与工作流错误有所上升;轨迹显示新模型更常传入无效工具参数,团队据此改进工具处理后才推进模型切换。
来源:InfoQ
![]()
以上资讯由金支点整理发布
关注金支点公众号获取每日行业报告
京公网安备 11010802036102号北京金支点技术服务有限公司保留所有权利 | Copyright © 2005-2026 Beijing Golden Point Outsourcing Service Co., Ltd. All Rights Reserved.