请问有什么方法可减少量化损失,保证量化后定点模型的业务精度?
经了解有以下几种,欢迎各位大佬补充~
1. 在执行量化命令Knight quant onnx 时,可选择使用--bit-width 16bit,若需要平衡模型精度和性能可考虑使用8/16bit 混合量化;
2. 在执行量化命令Knight quant onnx 时,选择使用不同的quant-mode, 针对不同的校准数据,对模型精度会有影响;
3. 增加量化数据,一般选取一两百条数据, 根据不同业务模型不同;
4. 使用清微提供的QAT 工具包也就是Finetune-Lib,进行量化感知训练,可针对性的提升量化精度;