AscendQuantV2【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√Atlas 200I/500 A2 推理产品×Atlas 推理系列产品√Atlas 训练系列产品×Kirin X90 处理器系列产品√Kirin 9030 处理器系列产品√功能说明算子功能对输入x进行量化操作支持设置axis以指定scale和offset对应的轴scale和offset的shape需要满足和axis指定x的轴相等或1。axis当前支持设置最后两个维度。计算公式sqrt_mode为false时计算公式为$$ y round((x * scale) offset) $$sqrt_mode为true时计算公式为$$ y round((x * scale * scale) offset) $$参数说明参数名输入/输出/属性描述数据类型数据格式x输入需要执行量化的输入对应公式中的x。FLOAT16、FLOAT32、BFLOAT16NDscale输入量化中的scale值对应公式中的scale。FLOAT16、FLOAT32、BFLOAT16NDoffset可选输入反量化中的offset值对应公式中的offset。FLOAT16、FLOAT32、BFLOAT16NDsqrt_mode可选属性指定scale参与计算的逻辑对应公式中的sqrtMode。默认值为false。BOOL-round_mode可选属性指定cast到int8输出的转换方式。支持取值roundceiltruncfloor。默认值为round。STRING-dst_type可选属性指定输出的数据类型。默认值为DT_INT8。INT-axis可选属性指定scale和offset对应x的维度。默认值为-1。INT-y输出表示AscendQuantV2的结果输出y对应公式中的y。shape与输入x的shape一致。INT8、INT4、HIFLOAT8、FLOAT8_E5M2、FLOAT8_E4M3FNNDAtlas 推理系列产品 数据类型输入Tensor数据类型不支持BFLOAT16。输出Tensor数据类型仅支持INT8。round_mode支持取值roundceiltruncfloor。dst_type支持取值2表示INT8。axis只支持指定x的最后一个维度假设输入x维度是xDimNumaxis取值是-1或xDimNum-1。Atlas A2 训练系列产品/Atlas A2 推理系列产品 、 Atlas A3 训练系列产品/Atlas A3 推理系列产品 输出Tensor数据类型仅支持INT8、INT4。dst_type支持取值229分别表示INT8、INT4。axis支持指定x的最后两个维度假设输入x维度是xDimNumaxis取值范围是[-2-1]或[xDimNum-2xDimNum-1]。Ascend 950PR/Ascend 950DT round_modedst_type表示FLOAT8_E5M2或FLOAT8_E4M3FN时只支持round。dst_type表示HIFLOAT8时支持round和hybrid。dst_type表示其他类型时支持roundceiltrunc和floor。axis支持指定x的最后两个维度假设输入x维度是xDimNumaxis取值范围是[-2-1]或[xDimNum-2xDimNum-1]。Kirin X90/Kirin 9030 处理器系列产品:x、scale、offset不支持BFLOAT16y数据类型不支持INT4、HIFLOAT8、FLOAT8_E5M2、FLOAT8_E4M3FN。约束说明无调用说明调用方式样例代码说明aclnn接口test_aclnn_ascend_quant通过aclnnAscendQuant接口方式调用AscendQuantV2算子。aclnn接口test_aclnn_ascend_quant_v3通过aclnnAscendQuantV3接口方式调用AscendQuantV2算子。图模式-通过算子IR构图方式调用AscendQuantV2算子。【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考