‍♂️ 个人主页小李同学_LSH的主页✍ 作者简介LLM学习者 希望大家多多支持我们一起进步如果文章对你有帮助的话欢迎评论 点赞 收藏 加关注目录一、先把直觉讲透Dense 模型和 MoE 模型到底差在哪二、MoE 的核心到底怎么计算三、为什么 MoE 会让人觉得“参数暴涨但计算没有等比例爆炸”四、MoE 为什么突然这么火看时间线就明白了第一阶段稀疏专家路由被正式提出第二阶段MoE 被推到超大规模训练第三阶段路由方式被简化第四阶段开源社区真正用起来五、MoE 真正强在哪不是“省计算”这么简单1. 容量扩展更自然2. 专家更容易形成分工3. 性能—成本比可能更优六、但 MoE 绝对不是白捡的午餐它最难的 4 个点1. 路由塌缩2. 负载均衡很难3. 跨设备通信很重4. 训练稳定性不容易七、为什么 MoE 常常要加“负载均衡损失”八、小结如果说过去两年大模型领域最容易被误解的概念之一MoE 一定排得上号。很多人第一次看到它都会本能地以为“哦MoE 不就是把一个大模型拆成很多小模型吗”这句话不能说全错但也远远不够。真正让 MoE 值得反复研究的地方不是“拆”而是它把一件事做对了不是让所有参数对每个 token 都工作而是让“最合适的那几个专家”来处理当前输入。这听起来像一个小改动背后却对应着一个非常大的工程目标在不把每一步计算量线性拉爆的前提下继续把模型总参数规模往上做。所以这篇文章我想把 MoE 讲成一篇真正“能看懂、能发博客、能写进脑子里”的版本。你看完之后至少要搞清楚五件事MoE 到底解决了什么问题MoE 的核心计算流程是什么为什么它能做到“总参数大但每步激活参数不一定大”为什么它训练起来并不轻松什么场景适合用 MoE什么场景不适合一、先把直觉讲透Dense 模型和 MoE 模型到底差在哪你可以先把普通稠密模型想成这样一个问题来了所有老师都要同时上场。而 MoE 更像一个问题来了先有个分诊台判断这题该交给哪几个专家然后只有这些专家上场。这就是最核心的差别Dense 模型所有参数几乎每个 token 都参与计算MoE 模型只有一小部分专家参数会对当前 token 激活二、MoE 的核心到底怎么计算MoE 最核心的结构其实很简单可以概括成三步第一步先有一个router路由器看当前 token。第二步router 给每个专家打分。第三步只选top-k个专家参与计算再把输出融合。如果把输入写成 x第 i 个专家写成 Ei(x)router 给出的权重写成 pi​那么最常见的 MoE 表达可以写成这条式子基本就是 MoE 的灵魂。它的含义很直白不是所有专家都算一遍而是只算最相关的那几个专家最后再按 router 的权重合并输出很多现代 LLM 里的 MoE本质上就是把 Transformer block 里的 FFN 层替换成多个专家版 FFN再加一个 router。三、为什么 MoE 会让人觉得“参数暴涨但计算没有等比例爆炸”这件事必须讲清楚因为它是 MoE 最大的吸引力。对于稠密模型如果你把 FFN 做大几乎每一步计算都会一起变大。但 MoE 不是这样。只要 k≪N你就会得到一个非常关键的性质总参数可以很大但单 token 的激活计算量只增长一小部分。这正是 MoE 的魅力。维度Dense 模型MoE 模型总参数量参数基本都参与计算参数很多但只激活一部分单 token 计算接近全部参数相关只和少量专家相关扩容方式直接增大全模型增加专家数量风险计算与显存同步变大路由、负载、通信更复杂四、MoE 为什么突然这么火看时间线就明白了MoE 不是最近才出现的概念但它真正从“研究点子”变成“主流架构备选项”中间经历了几次关键跃迁。第一阶段稀疏专家路由被正式提出这一阶段的核心价值是conditional computation条件计算终于被做成了可训练层。第二阶段MoE 被推到超大规模训练大家开始意识到原来可以用稀疏激活的方式把模型总参数继续往上做。第三阶段路由方式被简化随着 top-1、top-2 等路由设计逐渐成熟MoE 从“概念很强”开始走向“工程上更能落地”。第四阶段开源社区真正用起来当越来越多开源模型开始采用 MoE大家才真正感受到MoE 不是论文里的炫技而是现实中的架构选项。时间代表阶段关键意义早期稀疏专家路由提出MoE 结构正式成型中期超大规模训练探索把 MoE 推到超大参数量级后期top-k 路由成熟训练和推理更可行近年开源强模型采用MoE 成为主流路线之一五、MoE 真正强在哪不是“省计算”这么简单很多人提到 MoE第一反应是“它更省算力”。这只说对了一半。MoE 真正强的地方其实有三个层面。1. 容量扩展更自然在稠密模型里想提高容量往往意味着每一步都更贵在 MoE 里你可以更多地增加“可用参数总量”而不必让每个 token 都付出同样的计算代价。2. 专家更容易形成分工不同专家会在训练中逐渐专门化有的更擅长代码有的更擅长数学有的更擅长某种语言现象有的更擅长长文本模式这种“专家专精”是 MoE 特别迷人的地方。3. 性能—成本比可能更优很多 MoE 模型给人的强烈印象就是总参数很大激活参数没那么夸张最终效果却很强这意味着在某些条件下它的“单位计算换来多少能力”会更划算。六、但 MoE 绝对不是白捡的午餐它最难的 4 个点如果 MoE 只有优点那今天所有模型早就都变成 MoE 了。现实是它有很明显的工程门槛。1. 路由塌缩最常见的问题是router 总是偏爱少数几个专家导致其他专家几乎学不到东西。这会直接破坏“专家分工”的初衷。2. 负载均衡很难如果某些专家太忙某些专家太闲训练和推理都会出现资源利用不均。3. 跨设备通信很重因为不同专家往往被分布在不同设备上token 被路由到不同专家时会带来显著通信开销。4. 训练稳定性不容易MoE 往往比 dense 模型更容易出现训练不稳收敛异常路由偏置专家利用率失衡七、为什么 MoE 常常要加“负载均衡损失”为了处理负载均衡问题很多 MoE 训练目标会在任务损失之外再加辅助项。一个简化后的表达可以写成这里Ltask原始任务损失Lbalance​负载均衡损失λ平衡系数它的直觉非常简单除了学会任务本身还要防止 router 把流量都挤到几个专家上。难点具体表现常见应对思路路由塌缩少数专家被过度使用负载均衡损失、改进路由负载不均专家冷热不均capacity 设计、balance 策略通信开销token 跨设备流动expert parallel、系统优化训练不稳定梯度与收敛异常简化路由、优化训练策略所谓top-k本质上就是每个 token 会激活几个专家。情况是否推荐 MoE原因想继续扩大总参数但不想每步计算同步爆炸推荐这是 MoE 最经典的使用理由多任务、多领域预训练推荐更容易形成专家分工早期原型验证不优先复杂度通常不划算团队系统能力不足不优先并行、通信、调度门槛高小规模模型实验不一定dense 可能更简单直接八、小结MoE 的核心不是“多个小模型拼起来”而是“按 token 稀疏激活专家”。它最大的价值是总参数可以很大但每个 token 的激活参数不一定等比例增加。它真正难的不是概念而是路由、负载均衡、通信和训练稳定性。MoE 不是边缘路线而是今天大模型架构的重要分支。它不是所有团队都该立刻采用的架构但绝对是理解大模型效率与规模扩展时绕不过去的一课。MoE 最吸引人的地方不是“把模型拆开了”而是它第一次让我们更认真地思考是不是每个 token都真的值得叫醒整个模型