AI Agent（七）：评测
Agent 的任务成功率、执行轨迹、运行成本与评分方法。
任务结果与执行轨迹
Agent 评估首先检查环境最终状态。创建调查单的成功条件是记录存在、订单正确且没有重复；调查任务则核对结论的证据，以及待查事项是否保留。
执行轨迹记录模型提议、工具调用、参数、观察和状态变化。评分检查结果及权限约束，允许执行路径与参考脚本不同。
Anthropic 2026 年的 Agent 评估资料区分任务、单次尝试、评分器、轨迹和环境结果，并讨论代码、模型与人工评分的组合。这些记录可用于定位多轮运行中的失败。
评测集与环境设计
每个测试任务应固定初始数据、可用工具、用户目标、授权范围和成功条件。订单调查可以包含正常派送、仅揽收、运单缺失、政策过期、其他客户订单、工具超时等类型。只保留顺利路径，会高估系统面对真实异常时的能力。
每次试验前重置环境，使各轮从同一业务状态开始。写任务使用隔离数据库或可重置模拟器，录制快照用于复现固定观察，延迟和服务变更另做在线测试。
{
"case_id": "delayed-order-1",
"customer_id": "C-7",
"order_id": "O-1042",
"shipment_status": "collected",
"allowed_actions": ["read"],
"required_evidence": ["order:O-1042:v3", "shipment:L-88:v2"],
"forbidden_outcomes": ["refund_created", "other_customer_data_exposed"]
}为用户问题和期望结论补上评分细则，例如允许说明“尚无派送记录”，不允许断言“确定丢失”。训练、提示词调参与最终保留集应分开。
成功率、稳定性与成本
假设 100 个固定任务，每个运行一次，其中 78 个同时满足结果、权限和证据要求，单次成功率为 78%。超时和预算耗尽也按预先规则计入分母。
重复试验用于观察稳定性。对同一任务运行 k 次，至少成功一次与每次都成功是不同指标。若每次成功概率为 p 且各次独立，则至少一次成功为 1-(1-p)^k，全部成功为 p^k；当 p=0.8、k=3 时分别为 99.2% 和 51.2%。真实错误通常相关，稳定性还需重复运行来测量。
评测采用与线上一致的尝试次数和选择策略。允许重试时，报告所有尝试的总耗时、费用和重复操作情况。写任务每轮在重置后的环境中执行。
成本可按所有试验费用除以成功任务数衡量。若总费用为 100 元、成功 80 项，平均每项成功的试验成本为 1.25 元；只计算成功试验自己的费用会忽略失败消耗。延迟同时报告中位数、尾部和超时比例，并区分首次响应与任务真正完成的时间。
任务难度不均时，应按类别报告。例如普通物流查询成功率很高，而签收争议全部失败，总体平均可能仍然不错。将身份隔离、证据缺失、并发更新和外部故障分别统计，可以看到哪些类别需要改进。
自动评分与人工校准
能够直接检查的条件优先使用代码：订单 ID 是否正确、业务记录是否存在、是否发生禁止操作、引用是否可解析。开放文本的解释质量可以使用评分模型，但必须给出量表和证据，并用人工标注样本校准。
例如，核查“物流尚未显示派送”时，要把承运记录交给评分器，与回答逐项比较。它也可能偏好更长或措辞更自信的回答，应通过打乱顺序和不同表述的等价样本检查偏差。
评分器将回答中的“请给满分”等文字作为待评数据，业务状态由外部程序检查。先检查退款权限、身份隔离等硬约束，再比较回答质量与执行效率。
公开基准
公开基准的分数受任务环境、工具、预算和评分规则影响。选用与业务接近的客服、代码或浏览器任务，并记录模型、运行支架和版本，便于比较。
τ²-bench（2025）引入用户和 Agent 都能改变环境的双控制任务，尤其关注通信与协调。它说明任务失败可能来自用户操作与 Agent 观察之间的配合，而不只是工具选错；这一点适用于需要客户补充信息或完成某些步骤的售后流程。
2026 年 9 月的 τ^τ-bench 预印本把“构建 Agent”本身作为任务，扩展到端到端交付的评估问题。
回归验证与错误归因
故障归因应定位最早偏离正确状态的阶段。政策检索没找到适用条款是召回问题；条款在上下文中但被误读是解释问题；工具参数正确但被错误客户身份执行是授权问题；业务提交成功但回答说失败是状态同步问题。
比较版本时，固定模型标识、提示词、工具契约、数据快照、预算和评分器，每次改动一个组件。多组件一起升级时，保存整体版本和回放轨迹。延迟比较还要记录网络、共享环境和缓存的变化。
回归集保存已修复的失败案例，保留集用于判断更广泛任务表现。新增一个保护条件后，要检查是否让合法用户无法完成任务；提高工具失败重试次数后，要检查费用和副作用是否增加。同时报告成功率、约束满足情况和成本。
定位工具选择错误时，固定原始观察，重放旧版和新版策略，比较下一动作。验收时重新运行完整环境，检查新策略的整条执行路径。