核心判断
一段成功提示,不是一份成功证据。
先定义最终状态
一个 Agent 可以在对话里说任务完成,却没有真正改变目标环境。评价任务成功,需要先说明最终状态是什么:文件是否存在,记录是否正确,指定内容是否可以回读。
Anthropic 的 Agent 评估资料将执行记录与环境中的最终结果区分开。前者帮助理解行为,后者帮助确认任务是否完成。
让测试范围可见
一句准确率没有解释测试对象、条件和评分方式,就很难形成有效判断。评估说明应该让读者知道这组结果到底覆盖什么。
- 成功定义:哪些条件同时成立才算完成?
- 测试样本:来源、数量、常规场景和边界场景分别是什么?
- 运行条件:模型、配置、日期和工具环境是否一致?
- 评分方式:代码检查、人工判断或模型评分如何配合?
- 重复运行:第一次就成功,与多次重试后至少成功一次,要分开说明。
质量、耗时与成本一起看
更复杂的流程可能提高任务完成度,也可能带来更多等待、调用和失败环节。比较时应该保持任务条件一致,并说明是否计算了重试、检索和工具费用。
没有通用的合格成功率,也没有一个适合所有项目的成本标准。小样本结果只代表这个测试范围,不能直接变成生产承诺。
案例页面也应该展示失败
一份有用的案例档案可以放入可公开的输入、输出、验证方法和失败分类。无需公开客户数据或模型私有推理,只需提供足以支撑结论的证据。
当前门户的概念项目尚未开展这些评估,所以档案中保持未验证状态。方法可以先建立,数字只能在实际测量之后加入。
参考资料与内容说明
正文结合公开资料与设计判断整理,不代表 Arlo 已开展相应实验。事实、观点与待验证方法分别说明;后续如有实测,会单独补充条件与结果。
资料核对 / 2026-10-03