010-61934861

举报
帖子标题
如何提升量化精度
*举报原因
取消
首页 > 开发者论坛 > 如何提升量化精度
如何提升量化精度
Flower 2024-01-04 16:47
举报 391 0 2

请问有什么方法可减少量化损失,保证量化后定点模型的业务精度?


经了解有以下几种,欢迎各位大佬补充~

1. 在执行量化命令Knight quant onnx 时,可选择使用--bit-width 16bit,若需要平衡模型精度和性能可考虑使用8/16bit 混合量化;

2. 在执行量化命令Knight quant onnx 时,选择使用不同的quant-mode, 针对不同的校准数据,对模型精度会有影响;

3. 增加量化数据,一般选取一两百条数据, 根据不同业务模型不同;

4. 使用清微提供的QAT 工具包也就是Finetune-Lib,进行量化感知训练,可针对性的提升量化精度;

发表评论
全部评论(0)