FPGA工程师做AI推理加速，INT8量化后精度掉到70%，除了QAT和蒸馏，用随机舍入和直方图校准能救回来吗？

能救，但别指望玄学。随机舍入本质是给量化误差加个抖动，让分布更平缓，配合直方图校准找截断点属于标准流程，实测大概能拉回几个点。不过你掉到70%，先查一下是不是某些层的激活值分布特别胖，单靠这两招救不回来。FPGA上LFSR很便宜，关键是校准表要离线算好，别在板子上跑统计。

先说结论：这两个技巧能救，但救多少取决于你的分布有多差。我去年在Xilinx上搞过一个检测模型，FP32到INT8直接掉到74%，QAT只拉回2个点，后来用随机舍入加KL校准，最后回到81%。操作上分两步：第一步，离线跑一批校准图片，把每层激活值直方图存下来，找KL散度最小的截断点——注意是逐层找，不是整个模型一个阈值，YOLOv5的head和backbone分布差很多，统一阈值等于白做。第二步，硬件上实现随机舍入，别用真随机，LFSR就行，16位种子足够，每个周期产生一个伪随机数加到低位，比四舍五入多一个加法器，资源占用可以忽略。但有个坑：随机舍入只在那些输出范围大的层有效，比如最后的detect头，前边的卷积层用不用差别不大，你可以先在仿真里对比一下哪些层用随机舍入收益高，别所有层都上。另外，你提到国产FPGA，如果是那种没有原生DSP的，建议检查一下你的量化是否考虑了硬件乘法器的位宽限制，有些芯片INT8乘法实际是INT9或INT10，阈值选得再准也白搭。至于不重训的偏方，还有一个叫偏置校正的，就是统计量化前后每层输出的均值偏移，在下一层输入上做减法补偿，这个实现更简单，纯逻辑就能做，可以和随机舍入叠加。我建议你先跑一遍偏置校正，再去调直方图，顺序反了容易互相干扰。

个人感觉你掉到70%，问题大概率不在舍入方式，而在激活值的动态范围没处理好。YOLOv5s的backbone里很多ReLU后的分布是长尾的，你用默认的min-max或者百分位截断，尾部的少数大值会把整个量化步长拉大，小值全被压成0。直方图校准就是干这个的，KL散度找一个合适的截断点，把尾部扔掉，让中间的分布用满INT8的256个级别。实操上别手写，PyTorch里有现成的observer，用CalibrationDataset跑一遍，存下每层的scale和zero_point，然后导出到你FPGA的格式。随机舍入是锦上添花，主要解决的是某些层输出集中在几个离散值上导致的梯度消失，推理时其实影响不如校准大，你可以先只做校准，看能到多少，如果还差，再上随机舍入。另外提醒一句，国产FPGA的浮点转定点工具链一般比较糙，建议你手动做量化而不是依赖他给的自动转换，我之前吃过亏。

随机舍入在硬件上一点都不难，LFSR几行代码的事，但直方图校准你得先在PC上把统计跑完，把阈值表固化到ROM里，板上只查表。别在板子上现算直方图，那玩意占BRAM还费时间。你掉到70%，先看看是不是校准集和训练集分布差太多，换个跟实际场景更接近的校准集，有时候比调算法有用。

说实话，这两个技巧更像是「最后两格血」而不是复活甲。你从FP32掉到70%，大概率是激活值分布被截断得太狠，比如YOLOv5s的backbone里某些层输出长尾特别严重，min-max一刀切直接把小值全压成0。直方图校准就是干这个的：离线拿几百张跟实际场景接近的图，逐层统计激活值直方图，用KL散度找截断点，把尾部大值扔掉，让中间分布用满INT8的256级。随机舍入则是锦上添花，LFSR几行代码的事，主要解决某些层输出离散化后梯度消失的问题，推理时影响没校准大。我的建议是先只做直方图校准，看能不能回到75%以上，不够再叠随机舍入。另外提醒一句，国产FPGA的量化工具链往往不给逐层统计接口，你可能得自己写脚本从仿真里dump中间张量，这个坑比算法本身更耗时间。你现在的工具链是能直接拿到每层激活值，还是只能黑盒跑模型？

偏方倒是有，但得先泼盆冷水：随机舍入加直方图校准，正常能拉回3到8个点，你掉到70%说明基础量化配置可能有问题，光靠这两招未必够。我去年在Xilinx上部署过一个检测模型，FP32到INT8直接掉到76%，QAT只回2个点，后来发现罪魁祸首是第一个卷积层的bias没做校正，导致后续所有层的动态范围都偏了。你查过每层的scale和zero_point是逐层独立统计的，还是复用了一套全局参数吗？如果没查过，先从这里下手。具体操作上，直方图校准别在板子上跑，PC上离线算好，把每层的截断阈值存成ROM表，板上只做查表。有个小技巧：YOLOv5的head和backbone分布差很多，你可以把模型拆成三段分别校准，比整模型一个阈值效果好不少。随机舍入确实用LFSR就行，16位种子足够，但要注意它只在输出范围大的层有效，比如最后的detect头，前边卷积层用不用差别不大。你可以先跑一遍仿真，看看哪些层用了随机舍入后权重分布变化明显，再决定上不上。另外，还有个不重训的土办法：把检测阈值往上调0.05，有时候mAP看着低，其实PR曲线只是整体右移了，调完可能直接回到75%。你现在的验证集是跟训练集同分布的吗？如果场景差太多，校准集也得跟着换，不然怎么调都是白费。