量化感知训练配置参数说明【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct如果通过create_quant_retrain_config接口生成的config.json量化感知训练配置文件推理精度不满足要求则需要参见该章节不断调整config.json文件中的内容直至精度满足要求该文件部分内容样例请参见接口中的调用示例部分用户修改json文件时请确保层名唯一。配置文件中参数说明如下其中表9~表11的参数说明在手动调整量化配置文件时才会使用。表 2version参数说明作用控制量化配置文件版本号。类型int取值范围1参数说明目前仅有一个版本号1。推荐配置1必选或可选可选表 3batch_num参数说明作用控制量化感知训练推理阶段使用多少个batch的数据。类型int取值范围大于0参数说明如果不配置则使用默认值1建议校准集图片数量不超过50张根据batch的大小batch_size计算相应的batch_num数值。batch_num*batch_size为量化使用的校准集图片数量。其中batch_size为每个batch所用的图片数量。推荐配置1必选或可选可选表 4retrain_enable参数说明作用该层是否进行量化感知训练。类型bool取值范围true或false参数说明true该层需要进行量化感知训练。false该层不进行量化感知训练。推荐配置true必选或可选可选表 5retrain_data_config参数说明作用该层数据量化配置。类型object取值范围-参数说明包含如下参数algo量化算法选择默认是ulq_quantize。clip_max截断量化算法上限默认不选。clip_min截断量化算法下限默认不选。fixed_min截断量化算法最小值固定为0默认不选。dst_type用以选择INT8或INT4量化位宽默认为INT8。推荐配置-必选或可选可选表 6retrain_weight_config参数说明作用该层权重量化配置。类型object取值范围-参数说明包含如下参数algo量化算法选择默认是arq_retrainchannel_wise推荐配置-必选或可选可选表 7algo参数说明作用该层选择使用的量化算法。类型object取值范围-参数说明ulq_quantizeulq截断上下限量化算法。arq_retrainarq量化算法。推荐配置数据量化使用ulq_quantize权重量化使用arq_retrain。必选或可选可选表 8channel_wise参数说明作用是否对每个channel采用不同的量化因子。类型bool取值范围true或false参数说明true每个channel独立量化量化因子不同。false每个channel同时量化共享量化因子。推荐配置true必选或可选可选表 9fixed_min参数说明作用设置数据量化算法下限的开关。类型bool取值范围true或false参数说明true数据量化算法固定下限并且下限为0。false数据量化算法不固定下限。如果不选此项AMCT根据图的结构自动设置。如果选择此项并且网络模型量化层的前一层是relu层则该参数需要手动设置为true如果为非relu层则要手动设置为false。推荐配置不选此项必选或可选可选表 10clip_max参数说明作用数据量化算法上限。类型float取值范围clip_max0根据不同层activation的数据分布找到最大值max推荐取值范围为0.3*max~1.7*max参数说明截断上下限数据量化算法如果选择此项则固定算法截断上限。如果不选此项通过ifmr算法学习获取上限。推荐配置不选此项必选或可选可选表 11clip_min参数说明作用数据量化算法下限。类型float取值范围clip_min0根据不同层activation的数据分布找到最小值min推荐取值范围为0.3*min~1.7*min参数说明截断上下限数据量化算法如果选择此项则固定算法截断下限。如果不选此项通过ifmr算法学习获取下限。推荐配置不选此项必选或可选可选表 12dst_type参数说明作用量化类型。类型string取值范围INT8或INT4默认为INT8。当前版本仅支持INT8。参数说明量化时用于选择是INT8量化还是INT4量化。推荐配置-必选或可选可选【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考