ELBOEvidence Lower BOund和 VLBVariational Lower Bound是同一个概念的两种叫法VLB 通常写成“损失形式”要最小化ELBO 通常写成“下界形式”要最大化二者关系含义对 log pθ(x) 的一个“下界”是能保证的最好情况要最大化是要优化的损失函数要最小化1 从哪里来真正的优化目标因为是数据出现的概率越大越合理所以最小化但上述优化目标是高维积分无法计算在变分推断Variational Inference中我们的目标是最大化数据的对数似然 og p(x) logp(x)但通常难以直接计算intractable。通过 Jensen 不等式可以推导出一个下界最大化 ELBO ⟺ 同时做到两件事提高数据重建质量让近似后验 q(z∣x) 接近先验 p(z)q(x1:T | x0) 给定 x0生成整条“加噪轨迹”的概率上式子计算过程1、原始目标 要优化但 pθ(x0) ∫ pθ(x0:T) dx1:T 算不了2、插入一个“1”这里用的是乘以 1 q / q3、写成期望4、取log5、用詹森不等式得6、乘负号变成损失7、定义这个上界为把VLB拆解成若干KL散度之和光有下界还不够本身仍然包含复杂的联合分布还是难以直接计算。所以推导的目的是把拆开变成一堆独立的小项之和拆开后每一项都是两个高斯分布之间的KL散度而两个高斯的KL散度有闭合公式可以直接代入均值和方差算出来不需要积分或采样。每一项的含义项含义训练时怎么处理最终噪声和先验的差距基本是常数对梯度没有贡献忽略因为 q 没有参数且趋近纯高斯两个分布本来就很接近主体真实去噪和模型的差距主要训练目标让模型学会每步去噪​从重建的质量像素是离散值需要用单独的解码器处理这部分推导的意义是把无法直接优化的对数似然转化为一堆可解析计算的KL散度之和从而让模型的每一步去噪都有了明确的、可计算的训练信号。