随着 AI Agent 大量涌现我们的 Agent 比 XX 强 20%的宣称满天飞。但这 20% 是怎么测出来的本文系统梳理主流 Agent 评测基准帮你建立科学的 Agent 能力评估体系。一、Agent 评测为何比 LLM 评测难得多### 1.1 LLM 评测的相对简单性传统 LLM 评测MMLU、HumanEval 等有一个核心前提单轮、有标准答案。标准 LLM 评测流程输入问题 → 模型输出 → 对比标准答案 → 得分这很简单也容易出现问题-数据污染评测数据集被包含在训练数据中-刷榜现象模型针对特定评测集过拟合-脱离实用高 MMLU 分数 ≠ 真实使用体验好### 1.2 Agent 评测的独特挑战Agent 评测面临更复杂的挑战挑战 1过程依赖Agent 完成任务需要多步骤决策最终结果相同但路径可能截然不同。只看最终结果会丢失大量信息。任务查询某公司的最新财报Agent A 路径优质 → 确认公司全名 → 找到官方财报链接 → 解析关键数据 → 汇总回答Agent B 路径低质 → 直接搜索 → 获取到过期数据 → 胡乱拼凑 → 碰巧给出相似答案两个 Agent 最终答案可能得分相同但可靠性天差地别。挑战 2工具使用的不确定性Agent 可以调用搜索、代码执行、数据库查询等工具。同一问题工具调用策略不同执行路径完全不同。挑战 3环境交互的副作用Agent 可能修改文件、发送邮件、执行代码——评测时如何构建可重复的沙箱环境挑战 4长任务的累积误差10 步骤的任务每步 90% 准确率整体成功率仅 35%0.9^10。如何区分能力问题和运气问题—## 二、主流 Agent 评测基准全景### 2.1 通用能力评测#### GAIA (General AI Assistants)发布方Meta AI、HuggingFace核心理念评测 AI 助手解决真实世界问题的能力而非学术题目GAIA 的题目来自真实场景需要 Agent 综合运用- 网页搜索- 文件处理PDF、Excel、图片- 代码执行- 多步骤推理GAIA 题目示例Level 2 难度找出 2023 年诺贝尔物理学奖得主在其获奖研究中引用次数最高的论文并告诉我该论文的第三作者在哪所大学取得的博士学位解题需要1. 搜索 2023 年诺贝尔物理学奖得主2. 搜索其主要研究论文3. 查找引用数据4. 找到第三作者信息5. 查询该作者的学历背景GAIA 难度分级| 级别 | 描述 | 人类正确率 | 顶级 AI 正确率 ||------|------|------------|----------------|| Level 1 | 单步或简单两步任务 | 97% | ~65-75% || Level 2 | 需要 3-7 步的中等任务 | 85% | ~35-50% || Level 3 | 需要 7 步的复杂任务 | 62% | ~10-20% |#### SWE-bench (Software Engineering Benchmark)核心能力评测 Agent 解决真实 GitHub Issue 的能力python# SWE-bench 的评测逻辑简化def evaluate_swe_agent(agent, issue): 给 Agent 一个真实的 GitHub Issue 让它修复代码然后运行测试用例验证 # 提供 GitHub Issue 描述和代码库 result agent.solve_issue( repoissue.repo, issue_descriptionissue.body, failing_testsissue.failing_tests ) # 评测标准修复后所有测试用例通过 return run_tests(result.patch, issue.test_suite)SWE-bench Verified 是更难的版本只保留经人工验证确实可以被解决的 Issue。2024-2026 年主要 AI 系统的 SWE-bench 成绩| 系统 | 发布时间 | SWE-bench 成绩 ||------|----------|----------------|| GPT-4无 Agent| 2023 | ~1.7% || Devin第一代| 2024.03 | 13.8% || Claude 3.5 Sonnet SWE-agent | 2024.06 | 49% || 顶级 Agent 系统 | 2025 | 60-70% |### 2.2 工具使用评测#### ToolBench评测 Agent 能否正确使用 16,000 真实 API 工具ToolBench 评测维度1. 工具选择准确率是否选择了最合适的工具2. 参数填写正确率API 参数是否正确3. 错误处理能力工具报错后能否恢复4. 多工具协作能否串联多个工具完成复杂任务#### API-Bank专注于金融和电商 API 的调用准确率评测。### 2.3 代码生成与执行评测#### HumanEvalHumanEval 的增强版增加了- 更多边界条件测试- 对生成代码的安全性检查- 代码可读性评分#### BigCodeBench2024 年推出覆盖更多编程语言和复杂度- 1,140 个高难度编程任务- 要求调用真实的第三方库- 评测代码的功能正确性和运行效率### 2.4 多步骤规划评测#### WebArena在真实浏览器环境中让 Agent 完成网页操作任务python# WebArena 任务示例WEBARENA_TASKS [ { task: 在 Reddit 上搜索关于 Python 异步编程的帖子 找到点赞数最高的帖子并回复一条技术见解, required_actions: [search, navigate, read, submit], success_criterion: reply_posted and_content_relevant }, { task: 在 GitLab 中找到包含 authentication 关键字的最新 issue 并添加 security 标签, required_actions: [search, filter, read, tag], success_criterion: label_added }]#### OSWorld评测 Agent 操作完整操作系统的能力Windows/Linux/Mac- 369 个真实计算机任务- 包括文件管理、应用程序操作、系统配置等- 提供截图作为视觉输入—## 三、评测指标体系深度解析### 3.1 任务完成率 vs. 部分完成率pythondef calculate_completion_metrics(results: list) - dict: 完成率指标的多维度计算 metrics { exact_success: 0, # 完全完成最严格 partial_score: [], # 部分完成得分 step_accuracy: [], # 步骤级准确率 efficiency_score: [], # 完成效率用多少步完成 } for result in results: # 严格成功率 if result[fully_completed]: metrics[exact_success] 1 # 部分得分多少目标子任务被完成 subtask_score ( result[completed_subtasks] / result[total_subtasks] ) metrics[partial_score].append(subtask_score) # 步骤准确率每一步是否做了正确的事 if result[step_results]: step_acc sum(result[step_results]) / len(result[step_results]) metrics[step_accuracy].append(step_acc) # 效率得分最优步骤数/实际步骤数 if result[steps_taken] 0: efficiency result[optimal_steps] / result[steps_taken] metrics[efficiency_score].append(min(efficiency, 1.0)) n len(results) return { exact_success_rate: metrics[exact_success] / n, avg_partial_score: sum(metrics[partial_score]) / n, avg_step_accuracy: sum(metrics[step_accuracy]) / len(metrics[step_accuracy]) if metrics[step_accuracy] else None, avg_efficiency: sum(metrics[efficiency_score]) / len(metrics[efficiency_score]) if metrics[efficiency_score] else None, }### 3.2 错误分析框架单纯的成功率不足以指导改进需要对失败模式进行分类pythonclass AgentFailureAnalyzer: FAILURE_CATEGORIES { planning: [ goal_misunderstood, # 误解任务目标 wrong_strategy, # 策略选择错误 infinite_loop, # 陷入循环 ], tool_use: [ wrong_tool_selected, # 工具选择错误 wrong_parameters, # 参数填写错误 tool_error_not_handled, # 未处理工具报错 ], knowledge: [ factual_error, # 事实性错误 outdated_information, # 使用过时信息 hallucination, # 产生幻觉 ], execution: [ context_lost, # 丢失上下文 early_termination, # 提前终止 output_format_error, # 输出格式错误 ] } def analyze_failures(self, failed_runs: list) - dict: failure_stats {cat: {sub: 0 for sub in subs} for cat, subs in self.FAILURE_CATEGORIES.items()} for run in failed_runs: # 使用 LLM 分析失败原因或人工标注 failure_type self._classify_failure(run) for cat, subs in self.FAILURE_CATEGORIES.items(): if failure_type in subs: failure_stats[cat][failure_type] 1 return failure_stats—## 四、自建 Agent 评测框架### 4.1 评测环境设计pythonfrom abc import ABC, abstractmethodfrom typing import List, Dict, Anyimport asyncioclass AgentEvalEnvironment(ABC): Agent 评测环境的抽象基类 确保评测可重复、隔离、安全 abstractmethod async def setup(self) - None: 初始化评测环境数据库、文件系统等 pass abstractmethod async def teardown(self) - None: 清理评测环境恢复初始状态 pass abstractmethod async def check_success(self, task: dict) - bool: 检查任务是否成功完成 passclass SandboxedFileSystemEnv(AgentEvalEnvironment): 基于 Docker 容器的隔离文件系统环境 def __init__(self, initial_state: dict): self.initial_state initial_state self.container None async def setup(self) - None: # 启动隔离的 Docker 容器 import docker client docker.from_env() self.container client.containers.run( ubuntu:22.04, detachTrue, removeTrue, mem_limit512m, network_disabledTrue, # 禁用网络根据任务需要配置 ) # 初始化文件系统状态 for path, content in self.initial_state.get(files, {}).items(): self._write_file(path, content) async def teardown(self) - None: if self.container: self.container.stop()### 4.2 评测任务标准格式pythonfrom dataclasses import dataclass, fieldfrom typing import List, Optional, Dict, Anydataclassclass AgentEvalTask: 标准化的 Agent 评测任务格式 # 基础信息 task_id: str category: str # coding, research, file_management, etc. difficulty: str # easy, medium, hard # 任务描述 instruction: str # 给 Agent 的任务描述 context: Optional[str] None # 额外上下文 # 环境配置 initial_state: Dict[str, Any] field(default_factorydict) available_tools: List[str] field(default_factorylist) # 评测标准 success_criteria: List[dict] field(default_factorylist) expected_steps: Optional[int] None # 期望步骤数用于效率评分 max_steps: int 20 # 最多允许的步骤数 # 评分权重 weights: Dict[str, float] field(default_factorylambda: { task_completion: 0.6, efficiency: 0.2, process_quality: 0.2, })# 示例任务EXAMPLE_TASK AgentEvalTask( task_idcode_debug_001, categorycoding, difficultymedium, instruction以下 Python 函数有一个 bug请找到并修复它pythondef calculate_average(numbers): total sum(numbers) return total / len(numbers)测试用例calculate_average([]) 应该返回 0但现在会抛出异常。, available_tools[code_editor, python_runner], success_criteria[ {type: test_pass, test: calculate_average([]) 0}, {type: test_pass, test: calculate_average([1,2,3]) 2.0}, ], expected_steps3, max_steps10,)### 4.3 批量评测执行器pythonclass AgentBenchmarkRunner: def __init__(self, agent, task_suite: List[AgentEvalTask]): self.agent agent self.tasks task_suite async def run_benchmark(self, max_concurrent: int 5) - dict: 并发执行所有评测任务 semaphore asyncio.Semaphore(max_concurrent) async def run_single_task(task): async with semaphore: env self._create_environment(task) await env.setup() try: result await self._execute_task(task, env) return result finally: await env.teardown() # 并发执行所有任务 results await asyncio.gather(*[ run_single_task(task) for task in self.tasks ]) return self._aggregate_results(results) def _aggregate_results(self, results: list) - dict: 聚合评测结果 by_category {} by_difficulty {} for result in results: # 按类别聚合 cat result[category] by_category.setdefault(cat, []).append(result[score]) # 按难度聚合 diff result[difficulty] by_difficulty.setdefault(diff, []).append(result[score]) return { overall: { exact_success_rate: sum(r[success] for r in results) / len(results), avg_score: sum(r[score] for r in results) / len(results), }, by_category: { cat: {avg_score: sum(scores)/len(scores), count: len(scores)} for cat, scores in by_category.items() }, by_difficulty: { diff: {avg_score: sum(scores)/len(scores), count: len(scores)} for diff, scores in by_difficulty.items() } }—## 五、如何解读 Benchmark 结果### 5.1 不要只看总分❌ 错误的解读方式我们的 Agent 在 GAIA 上得了 55 分比 A 产品的 50 分高✅ 正确的解读方式我们的 Agent 在 GAIA Level 1 任务上得了 78 分8 vs A但 Level 3 任务只有 18 分-5 vs A。在工具使用类任务上优势明显15但多步骤规划类任务偏弱-8### 5.2 关注数据污染风险pythondef check_data_contamination( training_data: list, benchmark_examples: list, similarity_threshold: float 0.8) - dict: 检查训练数据与评测集的重叠度 from sklearn.metrics.pairwise import cosine_similarity contaminated [] for bench_example in benchmark_examples: bench_embedding embed(bench_example[question]) for train_item in training_data: train_embedding embed(train_item[text]) similarity cosine_similarity([bench_embedding], [train_embedding])[0][0] if similarity similarity_threshold: contaminated.append({ benchmark_id: bench_example[id], train_item_id: train_item[id], similarity: float(similarity) }) return { contamination_rate: len(contaminated) / len(benchmark_examples), contaminated_examples: contaminated }### 5.3 建立场景专项基准通用 Benchmark 往往无法反映你的具体业务场景。建议每个 AI 应用团队建立自己的专项评测集python# 企业内部 Agent 评测最佳实践class InternalAgentBenchmark: 针对企业特定场景的内部评测基准 def build_dataset(self): return [ # 1. 从真实用户请求中采样去除 PII *self._sample_from_production(n200), # 2. 手工设计边界案例 *self._create_edge_cases(), # 3. 从失败案例中学习 *self._sample_from_failures(n50), # 4. 对手场景竞品能处理而我方不能 *self._competitive_scenarios(), ]—## 六、2026 年 Agent 评测趋势1.动态评测集定期更新题目防止数据污染和刷榜2.对话式评测不只评最终结果评整个多轮对话质量3.红队评测标准化安全和对齐能力的标准化评测方法4.现实世界任务从受控 Benchmark 转向真实生产环境任务5.人机协作评测评测 Agent 与人类协作的效率提升—## 七、总结Agent 评测是一个快速演进的领域没有完美的单一基准。务实的做法是-公开 Benchmark用 GAIA、SWE-bench、WebArena 跟踪行业横向对比-内部 Benchmark针对自己的业务场景定制专项评测集 -失败分析深入分析失败模式而非只看成功率数字-定期更新随着业务发展和 Agent 能力提升持续迭代评测集好的评测体系是产品持续进化的基础设施值得投入专门的工程资源建设。