摘要2026年6月11日加州大学伯克利分校联合300领域专家发布Agents’ Last ExamALE基准测试——1490个来自真实专业工作流的任务97.2%采用确定性代码评估。结果令人清醒GPT-5.5最高通过率仅24.0%Claude Fable 5为22.0%最难度级Last-Exam多数模型通过率为0%。这个基准测试以严格的防作弊设计和防污染机制首次真正丈量了AI Agent与专业工作者之间的距离。核心结论AI Agent在学术基准测试上的高分不代表能胜任真实专业工作。ALE揭示——当前最先进的AI模型在真实长流程专业任务中通过率不足四分之一最难度级全军覆没。企业采购AI时应将ALE成绩而非SWE-Bench作为可信参考。什么是Agents’ Last ExamALEAgents’ Last ExamALE是由加州大学伯克利分校负责任去中心化智能中心RDI联合300领域专家顾问委员会推出的基准测试专门评估AI能否执行有经济价值的长期专业工作流。其核心理念是如果AI连最后的考试都通不过它就不具备替代专业工作的能力来源arXiv:2606.054052026-06-03。一、ALE的设计哲学解决现有基准的三大顽疾1.1 现有基准的虚高分问题基准测试问题SWE-Bench ProClaude Opus系列可读取Git历史答案作弊HumanEval仅覆盖简单函数级任务与真实开发差距大GPQA学术知识问答不反映实际工作流能力MATH数学推理能力但不等于解决实际工程问题1.2 ALE的三大革新革新维度具体设计防作弊要求AI通过通用计算机使用代理GCUA框架完成测试无法读取隐藏答案防污染仅公开10%任务约150个1300任务严格保密私有任务逐步轮换确定性评分97.2%的任务采用确定性代码评估仅6.8%使用LLM作为评审1.3 五维能力评估框架ALE将Agent能力拆解为五个维度来源ALE官网2026-06-11维度代号评估内容脑Brain推理能力眼Eye视觉感知身Body任务编排手Hand工具调用脚Foot运行环境支撑二、测试规模与覆盖范围2.1 基本数据项目数据任务总量1490个目标扩容至5000个领域覆盖55个非体力行业细分领域锚定O*NET/SOC 2018任务来源全部来自行业从业者真实工作历史公开任务约150个10%保密任务1300个2.2 真实工作流示例ALE不是学术题而是真实专业场景领域任务示例工业设计Siemens NX中创建3D模型游戏开发Unreal Engine中搭建场景医学影像FSLeyes中做神经影像分析影视后期Adobe After Effects中做视觉特效合成2.3 难度分级分级说明典型通过率Near-Term近期可实现难度较高Full-Spectrum全场景难度中等Last-Exam专业场景前沿最高难度多数模型0%2.4 双轨排行榜排行榜说明完整版包含需要付费商业软件CAD工具、付费API、授权数据集的任务无授权版去掉付费依赖仅用免费工具评估保证模型间公平对比三、模型成绩深度分析3.1 整体排行榜Top 5排名代理框架底层模型通过率平均得分1CodexGPT-5.524.0%42.8%2Ale ClawGPT-5.523.0%45.8%3Claude CodeClaude Fable 522.0%40.5%4OpenClawGPT-5.521.1%41.0%5Cursor CLIComposer 2.520.4%38.5%3.2 最难度级Last-Exam表现模型通过率GPT-5.5 Codex0.0%Claude Fable 5 Claude Code0.0%Composer 2.5 Cursor CLI0.0%Gemini CLI Gemini 3.1 Pro0.0%所有顶尖模型0.0%包括Claude Opus 4.8、Google Gemini CLI在内的所有模型在最难度级通过率均为0.0%——当前没有任何AI模型能完成最高难度的专业工作流任务。3.3 GPT-5.5 vs Claude Fable 5的关键差异维度GPT-5.5Claude Fable 5整体通过率24.0%22.0%复杂多步指令遵守✅ 更擅长严格遵守多部分复杂提示词❌ 存在多步指令遗忘问题工作流完整性✅ 步骤遗漏较少❌ 工作流中会遗漏必要步骤视觉感知一般较强VentureBeat分析指出GPT-5.5的胜利与其在复杂多步任务上的指令遵守能力直接相关。Claude架构在多步指令执行中存在遗忘问题这在ALE的严格测试中暴露得更为明显来源VentureBeat2026-06-11。四、ALE与现有基准的对比4.1 分数差距对比基准测试GPT-5.5典型成绩ALE成绩差距SWE-Bench Pro~82%24%58ppHumanEval~95%--GPQA Diamond~89%--MATH-500~96%--核心发现学术基准测试上的高分与ALE上的低分形成鲜明对比。SWE-Bench Pro上82%的通过率在ALE上仅为24%——这58个百分点的差距正是学术表现与真实工作能力之间的鸿沟。4.2 为什么分数差异如此巨大差异来源学术基准ALE任务复杂度单一任务长流程多步骤工作流评分方式部分允许LLM评审97.2%确定性代码评估防作弊弱强GCUA框架无法读取隐藏答案防污染无90%任务保密定期轮换真实度学术设定来自从业者真实工作历史五、ALE的行业意义5.1 对企业AI采购的启示ALE为企业提供了比SWE-Bench更可信的AI能力评估参考降低采购风险24%的通过率意味着AI在76%的真实专业任务中无法独立完成合理设定预期AI更适合作为辅助工具而非替代方案评估框架升级从跑分选型转向真实场景验证5.2 对AI研发方向的启示ALE揭示的关键差距能力短板占比说明长流程任务编排最大≥15步任务所有模型通过率接近0%跨应用协作严重跨6个以上应用任务通过率0%复杂指令遵守中等多步指令遗漏导致任务失败专业工具操作严重CAD/影视后期等专业工具操作能力缺失5.3 对开发者的实际影响短期不要对AI Agent的自主工作能力过度乐观中期关注ALE成绩的变化趋势判断AI能力提升速度长期ALE可能成为AI是否具备专业工作能力的通行证六、ALE的局限性与争议6.1 已知局限局限说明英语中心任务主要基于美国职业标准非英语市场覆盖不足非体力行业仅覆盖55个非体力行业不含制造业/建筑业等任务规模当前1490个任务目标5000个但尚未完成代理框架依赖测试结果受代理框架Codex/Claude Code等影响不完全反映纯模型能力6.2 行业争议Claude前科问题5月底Datacurve发布的DeepSWE基准测试中Claude成绩曾被质疑ALE中Fable 5的22%是否真实仍需更多第三方验证代理框架差异GPT-5.5使用CodexClaude Fable 5使用Claude Code框架差异可能影响结果FAQQ1ALE和SWE-Bench有什么本质区别ASWE-Bench评估的是AI在GitHub仓库中修复Bug的能力任务相对单一且存在作弊空间如读取Git历史答案。ALE评估的是AI完成真实专业工作流的能力覆盖55个行业97.2%采用确定性代码评估且有严格的防作弊和防污染机制。ALE更接近AI能否替代专业工作者这个终极问题。Q2GPT-5.5的24%通过率说明了什么A说明当前最强的AI模型在真实专业工作流中只能独立完成不到四分之一的任务。这个数字比任何学术基准测试都更能反映AI的真实工作能力。同时也说明AI在长流程任务编排、跨应用协作等方面还有巨大提升空间。Q3最难度级所有模型0%通过率意味着什么A意味着当前AI尚未具备处理最高复杂度专业工作流的能力。这些任务需要深度专业知识、跨工具协作、长程推理能力而这些都是当前AI的短板。好消息是这为AI研发指明了明确的改进方向。Q4ALE对普通开发者有什么影响A直接影响是帮助你设定合理的AI使用预期——不要期望AI能独立完成复杂专业任务。间接影响是随着AI在ALE上的成绩提升你可以更准确地判断AI何时真正准备好承担更复杂的工作。Q5为什么Claude Fable 5在ALE上输给了GPT-5.5A核心原因是Claude在多步指令执行中存在遗忘问题在复杂工作流中会遗漏必要步骤。而GPT-5.5更擅长严格遵守多部分复杂提示词。这与第三方分析的结论一致——OpenAI模型在多步指令遵守方面优于Claude。参考资料UC Berkeley RDI (2026-06-03): “Agents’ Last Exam”, arXiv:2606.05405VentureBeat (2026-06-11): “Surprise upset: GPT-5.5 beats Claude Fable 5 on brutal new Agents’ Last Exam benchmark”ALE官方网站 (2026-06-11): https://agents-last-exam.org/ALE排行榜 (2026-06-11): https://agents-last-exam.org/leaderboardAITNT (2026-06-13): “智能体最后的考试Fable 5竟然不敌GPT 5.5”jqman (2026-06-13): “Agent的最后一场考试来了最强模型得分率仅8.6%”