English服务热线:400-610-7333
金支点信创维保服务速览国家铁路局关于印发《“十四五”铁路科技创新规划》的通知 北京金支点荣膺信创数智技术服务能力一级评估,硬核实力护航产业数字化转型【智能运维】ServiceNow与微软在Ignite演示可治理的自主IT【运维智能体】轻型AI中台的智能维护实践【可观测性】Datadog为AI Agent可观测性加入在线实验2026年11月18日-铁路行业资讯日报2026年11月18日-烟草行业资讯日报【可观测性】为什么观测数据无法定位根因【智能运维】腾讯云CloudQ配置告警自动根因分析:监控告警命中后自动发起分析并推送到团队工作群,值班人员收到告警时群里已有分析可参考,自动执行的仅触发分析与推送结果两个环节【运维智能体】AT&T近500个智能体工作流投产、计划2027年增至三倍2026年11月17日-铁路行业资讯日报2026年11月17日-烟草行业资讯日报【可观测性】LinkedIn基于OpenTelemetry构建端到端遥测平台:引入pageForestId扩展traceId,把iOS、Android与Web用户动作和后端服务、数据存储全链路打通【多云监控】多云监控统一实战:拆解调用链跨云断、告警各响各的、成本利用率无法横向比三类断点,给出指标资产接入到成本报表的落地四步与工具评估五问【智能运维】力维智联Naxos贯通AIDC算力底座、算电节能与智能AIOps:300万以上测点接入能力、告警呈现时延小于5秒,结合Crete大模型探索运维知识与运行数据协同
首页  >  资讯动态  >  IT服务快讯
【可观测性】Datadog为AI Agent可观测性加入在线实验2026-11-18 13:10  消息来源:InfoQ

【可观测性】Datadog为AI Agent可观测性加入在线实验:用真实生产流量对比智能体版本,评测得分与延迟、Token消耗、执行成本同步比对,实验显示新模型成本降44.3%但工具参数错误增多

Datadog为其Agent Observability平台增加Online Experiments能力,让工程团队用真实生产流量对比AI智能体的不同版本,而不再只依赖预设评测数据集。该能力把智能体评测得分与延迟、Token消耗、执行成本、错误等运行指标结合,帮助团队判断模型、提示词、检索策略或工具的改动是否真正提升智能体表现。团队可通过功能开关按比例分配流量,先向小比例用户暴露变更;实验结果可下钻到单条智能体执行轨迹,查看工具调用、传入参数与返回结果,解释不同版本行为差异的原因。Datadog给出的示例中,新旧模型各分得一半流量,基于大模型的评测器按准确性、完整性和结论是否有证据支撑打分,新模型估算成本下降44.3%、质量得分接近,但执行时长与工作流错误有所上升;轨迹显示新模型更常传入无效工具参数,团队据此改进工具处理后才推进模型切换。

来源:InfoQ

 

以上资讯由金支点整理发布
关注金支点公众号获取每日行业报告

服务热线:400-610-7333 | 邮箱:service@gpos.cn | 电话:010-82564561/71 | 京ICP备18017976号 | 京公网安备 11010802036102号北京金支点技术服务有限公司保留所有权利 | Copyright © 2005-2026 Beijing Golden Point Outsourcing Service Co., Ltd. All Rights Reserved.