【PTQ】PTQViT/IPTQ-ViT (arXiv 2022)问题: ViT 中的非线性函数GELU、Softmax在纯整数推理中存在计算障碍。核心创新:模块方法作用多项式近似 GELU用低阶多项式逼近 GELU将非线性运算转化为整数可执行的乘加Bit-shifting Softmax用位移操作近似 Softmax避免浮点指数计算实现纯整数推理结果: 实现了无需重训练的全整数 ViT保持有竞争力的精度。意义: 为非线性函数的整数近似提供了新范式。本文提出了 IPTQ-ViT这是一种面向全整型视觉变换器Vision Transformer的无重新训练后训练量化PTQ框架。我们提出了两种近似函数一种基于多项式的 GELU 激活函数专门针对视觉数据进行优化另一种基于位移运算的 Softmax 函数旨在提高 PTQ 中的近似精度。此外我们还提出了一种统一的评估指标该指标综合考量量化敏感性、扰动影响以及计算成本用于为每个激活层选择最优的近似函数。introduce如表 1 所示这些基于 QAT 函数的启发式应用记为 I-ViT* 和 I-BERT*在 W8A8 和 W4A8 设置下均导致精度严重下降至 0.08%。这种性能损失源于两个关键问题1现有近似函数是为语言数据分布量身定制的难以很好地泛化到视觉任务2PTQ 在不重新训练的情况下进行量化难以补偿非线性函数近似误差。图1可视化了在使用I-BERT的近似函数时ViT-B中GELU层的扭曲激活分布。与图1a相比图1b结果表明专为语言模型设计的近似函数在基于PTQ训练后量化的过程中无法维持稳定的分布从而导致量化误差增加和显著的性能下降。相比之下图1(d)显示即使采用基于语言模型的近似方法重新训练仍可稳定激活分布。此外表2分析了ViT-B中GELU和Softmax层的量化敏感性以信噪比SQNR为指标。较低的SQNR意味着较高的量化误差表明该层对量化更加敏感从而导致精度损失。启发式应用基于QAT的函数I-BERT* 和 I-ViT*在更深层次的网络中会显著增加这种敏感性。值得注意的是与第4层相比I-ViT* 在第5层的量化敏感性增加了3.2倍。这两种方法中观察到的敏感性增加表明其简单的近似函数无法减少PTQ过程中的量化误差从而导致精度下降。为了克服这些局限性我们提出了近似方法和一种量化流程使ViT能够在不重新训练的情况下仅使用整数运算。如表1所示我们的IPTQ-ViT优于当前最先进的PTQ方法FQ-ViT专门针对非线性操作设计在W8A8和W4A8设置下均实现了更高的精度。4. Method图2展示了IPTQ-ViT的整体量化流程。该框架包含三个阶段1逐层进行统一度量分析2基于该度量结果为每个非线性层分配近似函数3对混合量化模型进行校准。近似函数的搜索空间由四种类型定义位移 [14]、多项式 [12]、对数 [19] 以及我们提出的方法。不同非线性层类型所支持的近似函数搜索空间各不相同iSoftmax——对数、多项式、位移、位移操作以及我们提出的 Efficient Bit-SoftmaxiiGELU——多项式近似、位移操作以及我们提出的数据感知的 Poly-GELUiiiLayerNorm——对数运算、多项式近似和位移操作。对于每个非线性层我们为所有候选近似函数计算一个度量指标并选择得分最高的那个函数。这种逐层的选择机制构建出一个混合量化模型。例如ViT-B 包含 49 个激活层每个 Transformer 块中有 2 个 LayerNorm、1 个 Softmax 和 1 个 GELU共 12 个块再加上第一个块之前的 1 个额外 LayerNorm。因此整个模型可以由 159 次计算构成。最后对该模型应用后训练量化PTQ校准以确定最终的量化参数。4.3. Data-aware Poly-GELU for Integer-only GELU其中 erferf 是误差函数Error Function涉及复杂的积分计算。痛点误差函数计算成本很高尤其在资源受限的设备如手机、嵌入式芯片或需要高速推理的场景下计算 erferf 会拖慢速度I-BERT [12]与先前方法[12]中基于语言数据的固定近似范围不同我们的方法通过从视觉数据中计算最小值和最大值来确定近似范围并据此重新计算多项式系数。有关近似范围及其影响的更多细节请参见附录G.1。此外我们将四次多项式扩展以提高方程(3)定义的误差函数erf近似的精度其系数 a 为 −0.019913系数 b 为 −2.698088。这些系数在推理前已被预量化为常数。由此得到的多项式 GELU 函数如公式 (5) 所定义。数据感知的多项式 GELUPoly-GELU根据多项式阶数在计算成本与精度之间进行权衡。我们通过量化管道在不同阶数下评估模型精度从而经验性地确定最优多项式阶数。第一句“The resulting polynomial GELU function is defined in Eq. (5).”由此得到的多项式 GELU 函数定义如公式 (5) 所示。含义作者之前通过某种数学推导或拟合方法得到了一个用多项式近似表达 GELU 的新函数其具体数学形式就在公式 (5) 中。第二句“Data-aware Poly-GELU establishes a trade-off between computational cost and accuracy depending on the polynomial degree.”Data-aware Poly-GELU 根据多项式的阶数degree在计算成本和精度之间建立了权衡。核心概念多项式阶数 (Polynomial Degree)多项式可以写成a n x n a n − 1 x n − 1 . . . a 0 x a_n x^n a_{n-1} x^{n-1} ... a_0 xan​xnan−1​xn−1...a0​x。这里的n nn就是阶数。低阶多项式如二次或三次计算非常快乘法少加法少但可能无法完美拟合 GELU 曲线导致精度损失较大。高阶多项式如七次或更高能更精确地逼近原始 GELU 函数精度更高但计算量随着阶数增加而显著增加需要更多的乘法和加法运算。权衡 (Trade-off)作者指出你可以通过调整这个“阶数”来决定你想要速度还是精度。核心概念Data-aware数据感知这意味着这个多项式系数并不是通用的而是根据训练数据分布或模型特定层的数据统计特征进行定制优化的。不同层的数据分布不同因此最优的多项式参数也可能不同。第三句“We empirically determine the optimal polynomial degree by evaluating model accuracy across different degrees within our quantization pipeline.”我们在量化管道中通过评估不同阶数下的模型准确性经验性地确定了最佳多项式阶数。含义没有纯粹的数学理论直接告诉我们应该选几阶最好。作者采用了一种实验方法尝试使用 3 阶多项式跑一遍量化后的模型看准确率是多少。尝试 5 阶再看准确率。尝试 7 阶再看准确率。找到那个“性价比”最高的点即精度损失最小同时计算复杂度可接受的那个阶数。公式 (5) 解析Data-aware-Poly-GELU ( x ) 1 2 ⋅ x ⋅ [ 1 Lours ( x 2 ) ] \text{Data-aware-Poly-GELU}(x) \frac{1}{2} \cdot x \cdot \left[ 1 \text{Lours}\left( \frac{x}{\sqrt{2}} \right) \right]Data-aware-Poly-GELU(x)21​⋅x⋅[1Lours(2​x​)]结构分析这个公式保留了标准 GELU 的基本结构0.5 ⋅ x ⋅ [ 1 … ] 0.5 \cdot x \cdot [1 \dots]0.5⋅x⋅[1…]。关键变化标准 GELU 中的误差函数erf \text{erf}erf被替换成了Lours ( ⋅ ) \text{Lours}(\cdot)Lours(⋅)。考虑到上下文提到 “polynomial degree”这里的Lours \text{Lours}Lours应该是一个关于输入x / 2 x/\sqrt{2}x/2​的多项式函数。x / 2 x/\sqrt{2}x/2​这是 GELU 内部的标准预处理步骤用于标准化输入分布。4.4. Efficient Bit-exp for Integer-only SoftmaxI-ViT尽管在量化感知训练QAT中重新训练可以补偿由位运算移位近似引入的量化误差但这种方法在后训练量化PTQ中并不可行。为克服这一局限我们提出了一种近似函数称为“高效位指展开”Efficient Bit-exp。我们将公式10的左侧重构为以 2 为底的指数函数以替代原本过于简化的线性形式。随后按照公式11所示通过泰勒级数对其进行近似。由于高阶多项式会显著增加计算开销而分数输入S Δ ⋅ ( − r ) S_\Delta \cdot (-r)SΔ​⋅(−r)的取值范围有限我们采用了一次多项式见公式 12以最小化计算负担。此外我们将常数ln ⁡ 2 \ln 2ln2近似为二进制值( 0.1011 ) b (0.1011)_b(0.1011)b​从而使得该指数函数的实现仅需依赖位运算移位和加法操作从而消除了复杂的乘法运算。改进后的指数近似函数如公式14所定义。Efficient Bit-exp 用于近似式6的分子而分母则由这些近似值之和表示。为生成概率分布我们采用了 I-ViT [14] 引入的整数除法IntDiv。基于 Efficient Bit-exp 和 IntDiv我们定义了纯整数 Softmax 函数 Efficient Bit-Softmax如式15所示其中 M 为一个较大的整数用于防止溢出b 表示位宽。这一精确的指数近似使得在 PTQ 下能够进行纯整数的 Softmax 计算。4.5. Unified Metric for Approximation Function Assignment为了在后训练量化PTQ中为每个激活层分配最优的非线性近似函数我们提出了一种统一度量Unified Metric该度量同时考量三个因素量化敏感性Q、量化扰动P和计算成本C。在流水线流程的第 2 阶段见图 2为每个层选择具有最高统一度量分数的近似函数。虽然信量化噪比SQNR被广泛用于评估量化敏感性但它在对数尺度上测量相对误差可能会掩盖绝对误差中有意义的差异。这表明仅靠 SQNR 可能不足以充分捕捉误差累积。为了解决这一局限性我们额外引入了公式 (19) 中定义的扰动 P通过同时考虑 SQNR 和扰动为分配适当的近似函数提供更丰富的指导。为了评估每种近似函数的效率我们将统一度量 (Ω \OmegaΩ) 中的算术运算和位运算的数量纳入考量其计算方式类似于 FLOPs。与先前的量化研究类似我们将此操作计数作为计算成本的间接度量。由于Ω \OmegaΩ的各因子在量级和符号上存在差异我们如公式 (17) 所定义采用 Softplus 函数对度量成分的各分量进行归一化处理。变换后的N ( P ) N (P)N(P)和N ( C ) N (C)N(C)被转换为倒数形式因为较低的值更为可取。如公式 (16) 所示统一度量定义为这三个因子的调和平均数以平衡它们的贡献从而避免极端值带来不成比例的影响。8. 结论我们提出了 IPTQ-ViT这是首个能够支持全整数型视觉变换器Vision Transformer的后训练量化PTQ框架此前借助常规 PTQ 技术难以实现这一目标。通过为非线性层引入量身定制的近似方法并采用统一的指标以优化函数分配IPTQ-ViT 在不重新训练的前提下实现了高精度且高效的纯整数推理。实验结果表明该框架优于已有的 PTQ 基线方法在精度上与纯整数量化感知训练QAT方法相当并展现出良好的实际部署潜力且已验证其延迟性能。