智能体评测

评测回答“智能体是否完成任务、过程是否可靠、系统代价是否可接受”。本页汇总通用评测方法，并链接 RAG、记忆等专项评测。

来源拆分自：高德 Agent 研发面，记忆和评测问很细；以下保留原整理中的工程补充与校正。

如何量化一个 Agent 的性能？

视频要点：结果、过程、系统三层指标

层级	核心指标	说明
结果维度（Task-Level）	任务成功率、环境状态匹配	不只看模型说“完成了”，还要检查订单、文件、数据库等真实状态
过程维度（Trajectory）	工具调用准确率、规划效率、自我纠错率	检查 API 是否选对、参数是否正确、路径是否冗余、失败后能否恢复
系统维度（System-Level）	端到端延迟、Token/API 成本、平均交互轮数	同样完成任务时，比较速度、资源消耗和用户操作成本

其中几个指标可以这样落地：

任务成功率 = 成功完成且最终状态正确的任务数 / 总任务数
工具调用准确率 = 工具与参数均正确的调用数 / 总调用数
可恢复失败的纠错率 = 最终恢复成功的可恢复失败数 / 可恢复失败总数
单任务成本 = 模型费用 + 工具/API 费用 + 执行资源费用

三类评估手段

规则与代码断言：单元测试、精确匹配、JSON Schema 校验。适用于存在确定答案的任务。
环境状态机：比较执行前后的数据库、文件、页面或沙盒状态。适合真正产生外部操作的 Agent。
LLM-as-a-Judge：用明确 Rubric 对开放式输出评分。适合邮件、方案、总结等没有唯一答案的任务。

三个落地难点及解法

难点	典型问题	解法
级联错误难归因	第一步规划错后，后续全部失败，无法判断是 Planner、Executor 还是 API 的问题	用 Mock API 固定输入，拆开评测规划层、执行层和工具层
非确定性与环境成本	模型采样、网络和外部环境波动导致结果不可复现	使用 Docker/沙盒快照，每次从相同状态开始；同一 Case 重复运行
开放轨迹与奖励投机	Agent 假装完成、Judge 看漏错误或被输出诱导	多路裁判交叉验证，并用 Human-in-the-loop 定期抽检和校准

完整闭环应是：

固定任务集与环境快照
→ 执行并记录完整轨迹
→ 规则/状态断言优先
→ 开放结果再交给 Judge
→ 汇总成功率、延迟、成本和失败类型
→ 与基线做回归比较

可直接口述的回答

我会从结果、过程、系统三层评测。结果层看任务成功率和最终环境状态；过程层看工具及参数准确率、规划效率和失败恢复能力；系统层看端到端延迟、Token/API 成本与交互轮数。能写断言的任务优先使用确定性规则，外部操作检查真实状态，开放任务才使用带 Rubric 的 LLM Judge。为了可归因和可复现，我会拆分 Planner、Executor、Tool 做模块评测，用 Mock API 与沙盒快照固定环境，同一 Case 重复运行，并用人工抽检校准模型裁判。

补充与校正

轨迹越短不一定越好：多一次校验或重试可能提高可靠性。因此应把轨迹指标当作诊断信号，不能牺牲任务成功率只追求最少步数。
对非确定系统不要只跑一次。至少记录多次运行的成功率分布、均值、尾延迟和成本，并固定模型、提示词、工具版本、随机参数与环境镜像。
通用基准只能测一部分能力：AgentBench 覆盖多种交互环境，SWE-bench 测真实 GitHub Issue 修复，WebArena 测真实感网页任务；最终仍要用自己的业务 Case 做回归集。AgentBench、SWE-bench、WebArena

记忆系统专项评测

基准	时间/状态	重点
LoCoMo	ACL 2024 正式论文	最长约 35 个 session、平均 300 turns；QA、总结、多模态长期对话
LongMemEval	ICLR 2025 正式论文	信息提取、跨 session/时间推理、知识更新、拒答；可扩展历史
MemBench	ACL 2025 Findings 正式论文	事实/反思，参与/观察场景；效果、效率与容量
MemoryAgentBench	预印本，2026-06 更新	增量多轮下的准确检索、测试时学习、长程理解、选择性遗忘
Mem2ActBench	ACL 2026 正式论文	能否主动用长期记忆选择工具并完成参数 grounding
Memora	ACL 2026 Findings	数周至数月的记住、推理、推荐，以及对失效记忆的遗忘感知评价
EvoMemBench	2026 预印本	episode 范围 × 知识/执行内容，比较 15 种方法与长上下文
PM-Bench	COLM 2026	prospective memory：保持延迟意图并在未来线索出现时行动

生产评测应再加入：写入准确率与漏写率、检索 Recall@k/nDCG、冲突更新准确率、错误经验传播率、隐私删除完整性、跨租户泄漏率、p50/p95 延迟、每轮 Token/模型调用成本，以及最终任务成功率。所有公开分数都要记录 reader LLM、embedding、reranker、top-k、提示、数据版本和 judge；否则“同一基准”并不代表可比。