你以为大模型在思考其实它只是在努力回忆一句话总结Google Research 发现让大模型思考不仅能解数学题还能帮它回忆起本来答不上来的简单事实——背后的两个机制像极了人类考试时的草稿纸效应和联想记忆。论文标题Thinking to Recall: How Reasoning Unlocks Parametric Knowledge in LLMs作者Zorik Gekhman, Roee Aharoni, Eran Ofek, Mor Geva, Roi Reichart, Jonathan Herzig机构Google Research, Technion - Israel Institute of Technology, Tel Aviv University论文链接arXiv:2603.09906一、引子一个反直觉的现象想象一个场景考试时遇到一道简单的填空题——清朝最后一个皇帝是谁你明明知道答案但就是想不起来。这时候你在草稿纸上随手写了几个清朝的年号、几个王爷的名字突然溥仪两个字就蹦了出来。这个场景看起来很日常但如果我告诉你大语言模型LLM也在做同样的事情呢过去一年“推理模型成了AI圈最热的词。OpenAI的o系列、DeepSeek-R1、Gemini 2.5——这些模型在回答问题前会先想一想”生成一段内部推理过程reasoning trace。对于数学证明、代码生成、多步推理这些需要逻辑链条的任务推理的价值显而易见。但Google Research的这篇论文提出了一个让人挠头的问题对于那些根本不需要推理的简单事实问题开启推理模式为什么也能大幅提升正确率“法国的首都是哪里”——这种问题需要什么推理步骤不需要分解、不需要逻辑链、不需要多步计算。模型要么知道要么不知道。但实验结果清楚地表明开启推理后模型能答对的问题范围显著扩大了。这篇论文通过一系列精心设计的对照实验拆解出了两个关键机制并揭示了一个潜在的风险。接下来我们深入看看。二、实验设计如何科学地捉鬼2.1 为什么用 passk 而不是 accuracy这里有一个重要的实验设计选择。如果只看单次回答的准确率pass1我们很难分辨推理帮助模型回忆起了新知识还是推理只是让模型更稳定地输出已知答案。作者采用了passk指标给模型同一个问题采样 k 次只要有一次答对就算通过。这个指标衡量的不是模型多稳定而是模型的知识边界在哪里。如果 pass100 在开启推理后显著提升说明推理真的解锁了模型本来不知道的答案而不仅仅是提高了已知答案的输出概率。这个思路非常聪明。打个比方如果你抽奖100次都没中过说明你确实没有中奖的可能但如果多给你100次机会你就能中一次那说明你本来就在奖池里只是概率太低。passk 就是在测试这个奖池边界。2.2 模型和数据集实验使用了三个支持推理开关切换的混合模型Gemini-2.5-FlashGoogle 轻量级推理模型Gemini-2.5-ProGoogle 旗舰推理模型Qwen3-32B通义千问开源推理模型选择混合模型的好处是可以在完全相同的参数下仅切换推理开关来对比效果排除了模型架构差异带来的干扰。数据集方面使用了两个闭卷QA基准SimpleQA-Verified1000个经过人工验证的事实问题涵盖多种主题EntityQuestions1000个模板化的实体关系问题4种关系类型控制变量更严格2.3 核心指标 Ω(N)为了量化推理对记忆提取的帮助程度作者定义了Ω(N)指标Ω ( N ) ∑ k 1 N w k ⋅ Δ ( k ) ∑ k 1 N w k \Omega(N) \frac{\sum_{k1}^{N} w_k \cdot \Delta(k)}{\sum_{k1}^{N} w_k}Ω(N)∑k1N​wk​∑k1N​wk​⋅Δ(k)​其中Δ ( k ) passk O N − passk O F F \Delta(k) \text{passk}_{ON} - \text{passk}_{OFF}Δ(k)passkON​−passkOFF​权重w k k w_k kwk​k。这个加权设计有其用意更高的 k 值对应的是更难的边界知识给它们更大的权重意味着我们更关注推理在知识边界上的突破能力而非在简单问题上锦上添花。三、核心发现推理确实扩展了知识边界3.1 passk 曲线全面碾压上图展示了三个模型在两个数据集上的 passk 曲线。蓝色线ON始终高于橙色线OFF而且随着 k 的增大差距不但没有缩小反而进一步拉开。最直观的数字Qwen3-32B 在 SimpleQA-Verified 上推理模式的 pass100 几乎是非推理模式的两倍。这意味着开启推理后模型能从参数中挖掘出大量原本无法触及的正确答案。这不是同一批知识回忆得更稳定而是知道了以前不知道的东西。3.2 弱模型获益更多从 Ω(100) 指标来看一个清晰的趋势浮现模型能力越弱pass1越低从推理中获益越多。这就像考试中的差生和优等生优等生本来就能轻松回忆起大部分知识草稿纸对他的帮助有限但对差生来说草稿纸上的涂涂画画可能就是唤醒模糊记忆的关键。另一个有趣的观察是SimpleQA-Verified 上的 Ω 普遍高于 EntityQuestions。这很可能是因为 SimpleQA 的基线准确率更低更多边界知识可以被解锁而 EntityQuestions 的模板化问题本身就相对容易提升空间自然更小。3.3 问题复杂度不是决定因素一个自然的反驳是“也许SimpleQA里的问题并不’简单’推理帮助的其实是那些需要多步分解的复杂问题”作者对此做了细致的分析将问题分为简单和复杂两类分别计算 Ω。结果显示两类问题的 Ω 置信区间高度重叠没有统计显著差异。也就是说推理对简单问题和复杂问题的帮助程度基本一致。这排除了推理只在复杂问题上有用的解释进一步确认推理的核心作用不是逻辑分解而是改善知识提取本身。四、机制一计算缓冲效应——草稿纸本身就有用4.1 实验用废话填充推理为了测试推理token的语义内容是否重要作者设计了一个大胆的实验ON正常推理模式ON Dummy将推理轨迹替换为与原始长度相同的无意义填充词“Let me think.” 重复N次然后让模型生成最终答案ON Single Dummy只用一次 “Let me think.”OFF关闭推理结果出人意料模式SimpleQA (pass1)EntityQuestions (pass1)OFF0.2060.457ON Single Dummy~0.22~0.50ON Dummy匹配长度0.2620.554ON完整推理更高更高即便推理内容完全是废话仅仅是多处理了一些token模型的回忆能力就提升了。在 SimpleQA 上从 0.206 跳到 0.262提升了约 27%。这意味着什么Transformer 在生成推理 token 的过程中内部的注意力机制和前馈网络在进行额外的隐式计算。这些计算与文本的语义内容无关而是利用多层网络的迭代处理来预热或激活与问题相关的参数空间。4.2 长度的非单调效应更有趣的是增加虚拟推理的长度并非单调有益。性能在大约 2048 tokens 处达到峰值之后开始饱和甚至下降。这像极了人类考试时在草稿纸上瞎写——写一页有助于唤醒记忆但如果你花半小时写了十页废话反而会分散注意力。这个发现也暗示了一个工程应用方向如果你只需要计算缓冲效果不需要花费大量token在真正的推理上一段适中长度的预热可能就够了。4.3 深层含义Transformer 的隐式计算这个发现触及了一个更深层的理论问题Transformer 的前向传播中到底在做什么传统理解是每个token的生成依赖于之前所有token的注意力分布。但计算缓冲效应告诉我们即使之前的token在语义上毫无意义模型也能利用这些额外的前向传播步骤来进行某种形式的深度检索。一个可能的解释是模型的知识存储在参数中的方式并不总是能被直接访问的。某些知识可能需要多次前向传播才能被激活——就像深埋在地下的水脉需要多钻几次才能打到。推理 token 提供的额外计算步骤相当于给了模型更多次钻探的机会。五、机制二事实启动效应——联想记忆的力量5.1 实验设计计算缓冲效应只能解释推理收益的一部分。那么推理轨迹的语义内容是否也有独立贡献作者用一个精妙的实验来回答用 Gemini-2.5-Flash 在推理模式下回答问题提取推理轨迹中的事实陈述关闭推理将这些事实作为上下文context提供给模型对比多种条件OFF纯关闭推理OFF Dummy关闭推理 等长填充词上下文OFF Facts关闭推理 事实列表上下文ON Dummy推理模式 虚拟推理轨迹ON Facts推理模式 事实列表覆盖推理轨迹ON完整推理模式5.2 结果解读结果非常漂亮OFF Facts 显著优于 OFF Dummy同样长度的上下文有语义的事实远比无意义填充词有效。这直接证明了事实的语义内容有独立价值。ON Facts 在 EntityQuestions 上接近甚至匹敌完整推理 ON仅用一个事实列表就能达到完整推理的效果而且消耗的 token 更少。事实启动效应解释了推理收益的主体部分。这就是联想记忆在起作用。当模型在推理过程中说出与问题主题相关的事实时这些事实像多米诺骨牌一样激活了相关的参数区域最终让正确答案浮出水面。举个具体的例子论文中的案例当被问到尼泊尔第10任国王是谁时模型在推理过程中列举了前9任国王的名字。这些名字本身就是正确答案的语义近邻它们的出现大大提高了第10任国王名字被正确检索的概率。就像你在背一首长诗时从头开始默念自然就能接上后面忘记的部分。5.3 实际应用推理轨迹选择基于以上发现作者提出了一个直接的应用通过筛选推理轨迹来提升准确率。选择策略SimpleQA-VerifiedEntityQuestionsRegular随机选择27.956.9Only Facts保留含事实的轨迹30.2 (8.2%)58.4 (2.6%)Only Correct Facts保留含正确事实的轨迹31.3 (12.2%)59.8 (5.1%)在测试时如果我们能判断推理轨迹中的事实是否正确比如通过外部知识库验证然后只保留那些包含正确事实的轨迹准确率可以在 SimpleQA 上提升 12.2%。这是一个在工程上非常实用的策略。六、暗面幻觉的传播链6.1 生成式自检索的代价事实启动是一把双刃剑。当模型在推理中生成了正确的中间事实正确答案更可能被检索到但如果模型生成了错误的中间事实幻觉情况就完全反转了。作者对推理轨迹中的事实陈述进行了真实性标注然后统计了包含幻觉事实 vs 不包含幻觉事实的轨迹的最终答案正确率轨迹类型SimpleQA 正确率EntityQuestions 正确率Clean无幻觉中间事实41.4%71.1%Hallucinated有幻觉中间事实26.4%32.2%差距触目惊心。在 EntityQuestions 上包含幻觉事实的轨迹最终答案正确率从 71.1% 骤降到 32.2%——砍掉了一半多。6.2 问题内对比排除混淆因素一个合理的质疑是“也许产生幻觉的轨迹本身就对应更难的问题所以正确率低不是因为幻觉而是因为问题难。”为了排除这个混淆因素作者做了一个精细的问题内对比对于同一个问题的多次采样k100分别统计 Clean 轨迹和 Hallucinated 轨迹的正确率然后做回归分析。上图中每个点代表一个问题。X轴是该问题下 Clean 轨迹的正确率Y轴是 Hallucinated 轨迹的正确率。如果幻觉没有影响点应该分布在对角线上。实际结果是回归斜率 0.84SimpleQA和 0.86EntityQuestions均显著小于 1大部分点落在对角线下方红色即 Hallucinated 轨迹的正确率系统性地低于 Clean 轨迹这意味着即使控制了问题难度幻觉中间事实依然会显著降低最终答案的正确率。幻觉不是弱问题的副产品而是一个独立的伤害因素。6.3 幻觉传播的机制这个发现的深层含义是推理模型中存在一条幻觉传播链。模型在推理中生成的中间内容不是写完就扔的草稿而是会反过来影响后续生成的锚点。一个错误的中间事实会把模型的检索方向带偏就像考试时在草稿纸上写错了一个公式后面的计算就全歪了。这对推理模型的部署提出了严肃的警告推理时间越长、中间步骤越多幻觉传播的风险也越大。盲目增加推理长度不仅浪费token还可能适得其反。七、个人分析与思考7.1 这篇论文做对了什么首先实验设计的严谨性值得学习。作者没有简单地对比 ON 和 OFF 的准确率然后宣布推理有用而是通过 passk 指标区分了知识边界扩展和输出稳定性提升通过 Dummy 实验分离了计算缓冲和语义内容两个变量通过问题内对比排除了问题难度这个混淆因素。每一步都在做减法层层剥离最终锁定因果关系。这是做机制研究的典范。其次实用价值明确。推理轨迹选择策略Table 1是一个可以立刻落地的工程方法。在RAG系统中我们可以对模型的推理轨迹进行事实性验证优先采用包含正确中间事实的轨迹这比单纯的 self-consistency多数投票更有针对性。7.2 局限与疑问模型覆盖范围有限。实验只用了三个模型两个 Gemini 一个 Qwen且都是混合模型。对于 DeepSeek-R1、OpenAI o系列这些纯推理模型结论是否成立还需验证。特别是不同模型的推理训练方式不同RLHF、GRPO、蒸馏计算缓冲和事实启动的相对贡献可能会有显著差异。因果方向的不确定性。幻觉传播实验虽然控制了问题难度但仍存在一种可能模型在某些采样中状态不好比如注意力分布的随机波动同时导致了中间幻觉和最终错误而不是幻觉导致了错误。要彻底确认因果方向可能需要更激进的干预实验比如人为向 Clean 轨迹注入假事实。计算缓冲的理论解释不够深入。论文证明了计算缓冲效应的存在但没有深入探讨其神经网络层面的机制。这些额外的前向传播到底激活了什么是注意力头的重新组合是MLP层中的知识路径切换这些问题需要更细粒度的 mechanistic interpretability 研究来回答。7.3 对工程实践的启示1. 推理预算分配策略既然计算缓冲在 ~2048 tokens 处饱和那对于简单事实问题可以设计一种轻量推理模式生成固定长度的推理 token不需要是有意义的推理然后直接输出答案。这比完整推理节省大量 token同时保留了计算缓冲的收益。2. 推理轨迹的质量监控幻觉传播的发现意味着在生产环境中对推理轨迹进行实时的事实性检查是有价值的。可以设计一个轻量级的 fact-checker在推理过程中监控中间事实的可靠性一旦检测到幻觉就截断当前轨迹并重新采样。3. RAG 推理的协同设计事实启动效应暗示了一种新的 RAG 范式不是把检索到的文档直接拼在 prompt 里而是让模型在推理阶段自主检索相关事实。当然这需要模型具备可靠的参数化知识。一个折中方案是先用 RAG 检索相关事实然后以推理轨迹的形式注入模拟事实启动效应。4. 推理蒸馏的新视角如果推理的核心价值不仅是逻辑分解还包括知识激活那推理蒸馏把大模型的推理能力迁移到小模型的策略可能需要调整。传统的蒸馏关注推理步骤的正确性但这篇论文提示我们也应该关注推理过程中事实召回的丰富性。八、总结这篇论文回答了一个看似简单实则深刻的问题为什么让大模型思考能帮它回忆起更多事实答案分为两层计算缓冲推理 token 提供了额外的前向传播步骤让模型有更多机会从参数深处挖掘出正确答案。哪怕这些 token 是废话也有效。事实启动推理过程中生成的相关事实充当语义桥梁激活了正确答案所在的参数区域。这是推理收益的主要来源。但天下没有免费的午餐。推理过程中的幻觉中间事实会反向传播显著降低最终答案的正确率。推理模型不是想得越多越好而是想得对才行。从更宏观的视角看这篇论文揭示了一个深刻的洞察推理和记忆在 LLM 中不是割裂的两个模块而是深度耦合的。推理不仅服务于逻辑推导更是知识检索的催化剂。这改变了我们对推理模型到底在做什么的理解——它们不只是在思考也在回忆。或者用一句更接地气的话说大模型的推理本质上是给自己出了一张联想草稿纸。草稿纸上写的内容越相关、越准确最终的回忆就越可靠。但如果草稿纸上写满了胡话那还不如不写。觉得有启发的话欢迎点赞、在看、转发。跟进最新AI前沿关注我的微信公众号机器懂语言