反向传播是现代深度学习的核心算法但它在生物脑中如何实现仍存在根本困难它需要严格分离的前向与反向阶段、全局协调、精确的误差信号传输以及近似对称的权重结构。预测编码提供了一条不同路线大脑不是被动接收世界而是持续预测感官输入并用预测误差来更新内部模型。若把学习理解为一种能量或自由能最小化过程神经活动与突触权重都可以通过局部误差信号连续调整。问题的起点大脑如何学习人工智能的成功在很大程度上建立在反向传播和梯度下降之上。只要一个神经网络的输入、权重、激活函数和损失函数可以写成一个可微分的数学函数计算机就能利用链式法则精确计算每个参数对最终误差的贡献并沿着误差下降最快的方向更新权重。这一机制极其强大几乎支撑了现代机器学习从图像识别、语音处理到大型语言模型的主要进展。然而生物大脑并不像数字计算机那样工作。人脑没有一个中央控制器去协调全脑神经元先做一次前向传播再冻结活动再逐层反向传播误差最后同步更新所有突触。神经组织中的信号传递相对缓慢神经元和突触又高度局部化、异步化、并行化。大脑在感知、行动和学习时并不会“按暂停键”。因此核心问题不是反向传播是否有用而是如果大脑不太可能严格执行反向传播它是否使用了另一种能够解决信用分配问题、同时又符合神经生物学约束的学习机制预测编码正是在这个问题上变得重要。它既是一种关于大脑感知和学习的理论也是一种可能启发新型人工智能架构的计算框架。信用分配所有学习系统都必须解决的根本难题所谓信用分配问题是指当一个复杂系统产生了错误输出时我们如何判断系统内部哪些参数应该负责、应该如何改变、改变多少。对于一个多层神经网络最终错误可能来自最上层的分类器也可能来自低层特征提取不佳还可能来自中间层表示结构不合适。学习的本质就是把整体表现的成败分解为局部参数的调整方向。在工程神经网络中反向传播给出了一个优雅答案把整个网络看成一个复合函数用链式法则从输出误差向输入方向逐层求导。这样每个权重都能得到一个明确梯度告诉它下一步应该增大还是减小。这个方法在硅基计算机上非常高效因为计算图、内存、同步控制和矩阵运算都可以精确管理。但在大脑中这种形式的全局精确求导面临两类最尖锐的困难。第一是连续处理问题大脑无法把感知和学习分成互不干扰的阶段。第二是局部自治问题真实突触只能访问局部可获得的信息不可能知道整个网络的全局损失函数和远端神经元的精确导数。预测编码的吸引力正是因为它试图用局部误差、连续动力学和近似Hebbian可塑性来完成类似的信用分配。反向传播为什么难以直接映射到大脑标准反向传播通常包含严格的阶段分离。首先输入信号自下而上通过网络得到输出预测随后输出与目标值比较产生误差接着误差自上而下逐层反传最后权重根据梯度同步更新。这个过程对机器来说自然对神经组织却并不自然。如果大脑严格执行这种机制它就需要在学习时临时冻结前向活动等待反向误差信号传回再逐层更新突触。由于生物神经信号传递速度有限这将导致感知和行动出现频繁的短暂中断。现实中的大脑并非如此我们在看、听、走路、说话和学习时神经系统始终处在连续流动中。感知、预测、误差修正和突触可塑性同时发生。另一个困难是全局协调。反向传播要求不同层级以精确次序解冻、传递和更新还要求反馈通路携带与前馈权重相匹配的误差信息。这就是所谓“权重传输问题”。生物脑当然存在节律、注意系统和多巴胺等神经递质但这些机制通常在较粗的时间和空间尺度上调节神经活动很难满足反向传播所要求的逐细胞、逐突触精度。反向传播与预测编码的核心差异维度反向传播预测编码信息流前向计算与反向误差传播通常分阶段进行预测自上而下传递误差自下而上传递可连续并行发生学习信号依赖全局损失函数的梯度依赖局部预测误差生物合理性需要冻结活动、全局协调和近似权重对称可由局部误差神经元和局部突触可塑性近似实现计算形式显式自动微分与链式法则能量/自由能最小化下的活动松弛与权重更新AI 启发高效训练深度网络的主流方法可能支持并行、局部、连续、类脑和神经形态学习预测编码的基本思想预测编码的核心思想很简单大脑并不是一台被动接收刺激的机器而是一个主动预测系统。它不断构造关于世界的内部模型用高层表示去预测低层感官活动当预测与实际输入不一致时差异被编码为预测误差进而驱动内部模型更新。在视觉系统中低层可能对应边缘、纹理、颜色和局部运动等较原始特征高层则表示物体、场景、类别和行为意义。高层向低层发送“我认为你应该看到什么”的预测低层向高层返回“你的预测错在哪里”的误差信号。这样大脑不必传递所有冗余信息只需要重点处理没有被模型解释的部分。这一思想不仅有计算效率上的意义也有生存意义。对于动物来说预测意味着提前准备预测捕食者、预测食物、预测身体状态、预测他人行为。更好的预测可以减少不确定性使行动更快速、更节省能量也更符合环境约束。能量形式把学习看成预测误差的最小化为了把预测编码变成一个可计算的学习算法可以把网络状态写成一个能量函数。这个能量并不一定是物理能量而是一个衡量系统整体预测误差大小的标量。最常见的直觉形式是E 1/2Σ_l ||ε_l||² 其中ε_l x_l − f(W_{l1} x_{l1})这里x_l表示第l层神经活动W_{l1}表示从更高层到当前层的预测权重f是非线性函数ε_l是当前层实际活动与高层预测之间的误差。系统的目标就是让所有层级的误差平方和尽可能小。这个框架有一个重要直觉网络中的神经活动并不是一次性前向算完而是在能量地形中逐渐“松弛”到一个较低能量状态。就像一个弹簧系统会自动寻找张力较小的位置预测编码网络也会通过调节神经活动让实际活动、上层预测和下层误差之间达到相对平衡。活动更新每个神经元在两种力量之间寻找平衡在预测编码网络中一个表征神经元的活动更新受到两类局部信号影响。第一类来自它自己的预测误差如果它的实际活动高于上层对它的预测它会被拉低如果低于预测它会被拉高。第二类来自它所预测的下层神经元如果下层仍有很大误差它就需要调整自身活动以便更好地解释下层输入。因此每个神经元并不是听从一个全局损失函数而是在局部层级中协调两件事一方面让自己符合上层模型另一方面让自己更好地预测下层活动。这个局部折中过程构成了预测编码的推断过程。从神经生物学角度看这种形式很有吸引力。它不要求所有神经元同步切换模式也不要求一个中央控制器逐层调度。神经元只需接收来自相邻层的预测与误差信息就能连续更新自身状态。误差神经元预测编码为什么需要两类神经群体预测编码最重要的结构假设之一是神经系统可能区分两类功能性群体一类编码表征或预测另一类编码预测误差。表征神经元负责维持对当前世界状态的解释误差神经元负责比较实际活动与预测活动之间的差异。在一个层级中误差神经元可以被看成比较器它接收来自同层表征神经元的兴奋性输入同时接收来自高层预测的抑制性输入。如果两者匹配误差信号很小如果不匹配误差信号就变强。随后这些误差信号向上传递通知高层模型需要修正。这也解释了预测编码为什么可以具体落实为神经连接结构自上而下的连接传递预测自下而上的连接传递预测误差同层局部回路则完成实际活动与预测活动之间的比较。权重更新局部Hebbian可塑性如何承担学习如果神经活动的更新对应“当前输入下如何解释世界”那么权重更新对应“长期经验中如何改变模型”。在预测编码中连接权重也沿着降低能量的方向调整。简化地说某条突触的改变可以由突触前活动与突触后误差信号的乘积决定ΔW ∝预测误差×突触前活动这与神经科学中的Hebbian可塑性思想相呼应共同活动的神经元更容易加强连接。不过预测编码中的规则更精细因为它不是简单地让所有共同放电的神经元连接增强而是让连接调整服务于减少预测误差。这种学习方式具有重要生物合理性。突触只需要知道局部可获得的信息突触前神经元活动、突触后误差信号以及局部调制状态。它不需要读取全局损失也不需要等待远端层级传回精确导数。预测编码与反向传播的关系预测编码常被称为反向传播的生物合理替代方案但更准确地说它在某些条件下可以近似甚至重现反向传播的梯度计算。Whittington与Bogacz的工作显示预测编码网络可以在局部Hebbian突触可塑性的基础上近似误差反向传播。后续研究进一步表明预测编码可以沿更一般的计算图近似反向传播梯度。这说明二者并不是完全互不相干的阵营。反向传播提供了工程上非常高效的全局优化工具预测编码则提供了一种通过神经活动松弛、局部误差传播和局部可塑性实现相似学习目标的动力学机制。换言之预测编码的价值在于提供一种可能更适合生物组织、神经形态硬件和分布式智能系统的学习范式。它把学习从一次性矩阵求导重新解释为一个连续发生的局部自组织过程。为什么它可能启发下一代AI从人工智能角度看预测编码至少具有四个潜在吸引力。第一它天然支持并行计算。每个层级和局部回路都可以根据相邻误差持续更新不必等待一个全局反向阶段完成。第二它适合神经形态硬件因为局部更新和事件驱动处理更接近神经芯片与脉冲神经网络的实现方式。第三它可能更适合持续学习。标准深度网络容易出现灾难性遗忘新任务的全局误差更新可能覆盖旧知识结构。预测编码的局部误差更新有潜力更好地保留已有模型结构虽然这一优势在不同任务、架构和训练条件下仍需具体验证。第四预测编码与生成模型、变分推断和主动推断之间存在深层联系。它不只是学习输入到输出的映射而是学习一个可以解释输入、生成预测并处理不确定性的内部模型。这一点使其与未来面向世界模型、机器人、具身智能和自主智能体的AI架构具有天然关联。必须保持清醒预测编码不是万能答案尽管预测编码极具吸引力但它不是已经取代反向传播的万能算法。首先工程深度学习中反向传播仍然效率极高、工具链成熟、可扩展性强。预测编码网络往往需要迭代松弛到平衡状态这在某些任务中可能带来额外计算开销。其次生物合理性并不等于生物真实性。预测编码可以解释许多神经现象但真实大脑远比标准层级预测编码模型复杂皮层并非严格层状前馈-反馈结构神经调质、振荡、胶质细胞、树突计算、身体反馈和主动行为都参与学习。第三预测编码是否在所有脑区、所有任务、所有学习阶段都占据核心地位仍是开放问题。它更像一种强有力的理论框架和算法族而不是一条已经被完全证实的统一定律。结论预测编码的真正意义预测编码的重要性在于它把学习重新放回了生物系统的真实约束中。它不再假设大脑是一台执行全局反向传播的数字计算机而是假设大脑是一个持续预测、持续比较、持续修正的动力学系统。每个神经元和突触都在局部误差信号的驱动下参与整体模型的更新。预测编码提出了一个深刻方向未来的AI如果要更加稳健、节能、可解释、可持续学习并且更接近生物智能可能需要从“全局误差反传的工程机器”走向“局部预测误差驱动的动态系统”。这正是预测编码作为脑启发学习框架的理论魅力和技术价值。参考文献Rao, R. P. N., Ballard, D. H. (1999). Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects. Nature Neuroscience, 2, 79–87.Bogacz, R. (2017). A tutorial on the free-energy framework for modelling perception and learning. Journal of Mathematical Psychology, 76, 198–211.Friston, K. (2018). Does predictive coding have a future? Nature Neuroscience, 21, 1019–1021.Huang, Y., Rao, R. P. N. (2011). Predictive coding. Wiley Interdisciplinary Reviews: Cognitive Science, 2, 580–593.Keller, G. B., Mrsic-Flogel, T. D. (2018). Predictive processing: a canonical cortical computation. Neuron, 100, 424–435.Lillicrap, T. P., Santoro, A., Marris, L., Akerman, C. J., Hinton, G. (2020). Backpropagation and the brain. Nature Reviews Neuroscience, 21, 335–346.Whittington, J. C. R., Bogacz, R. (2017). An approximation of the error backpropagation algorithm in a predictive coding network with local Hebbian synaptic plasticity. Neural Computation, 29, 1229–1262.Millidge, B., Tschantz, A., Buckley, C. L. (2022). Predictive coding approximates backprop along arbitrary computation graphs. Neural Computation, 34, 1329–1368.Millidge, B., Seth, A., Buckley, C. L. (2021). Predictive Coding: a Theoretical and Experimental Review. arXiv:2107.12979.Song, Y., Millidge, B., Salvatori, T., Lukasiewicz, T., Xu, Z., Bogacz, R. (2024). Inferring neural activity before plasticity as a foundation for learning beyond backpropagation. Nature Neuroscience, 27, 348–358.Salvatori, T., Mali, A., Buckley, C. L., Lukasiewicz, T., Rao, R. P. N., Friston, K., Ororbia, A. (2025). A Survey on Brain-Inspired Deep Learning via Predictive Coding. arXiv:2308.07870.扫描或长按识别二维码获取超强医疗模型MedGPT免费使用额度病例实测百川“百小应” VS MedGPTMedGPT全新升级连神经外科医生都说厉害MedGPT的官方网址实测蚂蚁阿福跟MedGPT比差太远