2026年FPGA秋招，海思和英伟达的面试题都考了卷积加速器，脉动阵列的DSP复用策略怎么答才能满分？

海思那个手撕题，关键不是让你真写出一个完整的脉动阵列，而是看你能不能快速判断资源瓶颈。我个人做法是：先算一下一次卷积需要多少乘加，比如3×3输入通道C、输出通道K，一次操作是9CK次乘加，DSP数量直接对标这个数。如果不够，第一层复用策略是时分复用，也就是一个DSP分时处理多个乘加，代价是控制逻辑和延迟；第二层是权重缓冲深度设计，把常用的权重预取到寄存器里，减少DSP读端口争抢。英伟达那边问INT8量化后mAP掉到78%，这其实是QAT里常见的校准集过拟合问题。建议顺序是：先做BN融合，把batch norm的参数吸收到卷积权重里，这一步能减少量化误差；然后用少量校准集（几百张图就行）fine-tune量化参数，不要动原模型权重；最后如果还掉点，加一层蒸馏，用FP32教师模型指导学生模型的输出分布。注意QAT的learning rate要设得很小，一般是原训练lr的十分之一。你目前手头有现成的量化工具链吗？比如TensorRT或ONNX Runtime，还是纯手写？

关于DSP复用，面试官想听的是你懂不懂脉动阵列的数据流。一种常用做法是设计成权重静止型脉动阵列，权重预存在PE内部寄存器里，输入数据从左边流入，部分和从下往上累加。这样DSP只负责做乘加，权重更新不需要额外DSP。如果DSP还是不够，就把3×3卷积拆成行卷积和列卷积两级流水，每级用更少的DSP。QAT那边，我补充一个细节：蒸馏时温度系数T一般设4到8，太高会把教师模型的噪声也学过来。

DSP不够用的时候，别急着堆资源，先查查你卷积的乘加次数是不是真的全得用DSP。3×3卷积里有些权重是固定的，比如1或2的幂次，用移位加查找表就能搞定，省下来的DSP留给关键通道。面试官其实更想看你有没有资源拆解的意识，不是真让你现场改架构。

海思那个手撕题，我当年面的时候也踩过坑。他问DSP不够，其实是想听你能不能把3×3卷积拆成行卷积和列卷积两级——行方向用三个乘加器，列方向用三个加法器，这样原本9个DSP就能减到3个。不过代价是延迟多了两拍，吞吐量会掉一点，你得在面试时主动提这个trade-off。QAT那边，英伟达问mAP掉到78%，我建议你先做BN融合，这一步能把量化误差降0.5到1个点。然后校准集别贪多，几百张图就够了，多了反而过拟合。如果还掉点，加蒸馏时温度系数T设4到6，太高会把教师模型的噪声学过来。另外注意，蒸馏的loss权重一般是0.7教师+0.3标签，这个比例可以调。你目前有实际的卷积加速器项目经验吗？还是只在课程作业里写过？

DSP复用说白了就是分时共享和权重预取。对于3×3卷积，你可以把权重存在PE内部的寄存器里，输入数据流式通过，一个DSP分时处理多个乘加。控制逻辑稍微复杂点，但资源省得很明显。QAT调参的顺序别搞反：先BN融合，再微调量化参数，最后蒸馏。蒸馏时用FP32教师模型指导INT8学生，温度系数一般设4到8，校准集用几百张图就够。你要是能把脉动阵列的数据流图画清楚，面试基本稳了。

其实海思那道手撕题，面试官真正想看的不是你能写出多漂亮的脉动阵列代码，而是你能不能快速判断资源瓶颈在哪。我自己的经验是：先算一下一次3×3卷积需要多少乘加，比如输入通道C输出通道K，一次就是9CK次乘加，DSP数量直接对标这个数。如果不够，第一层复用策略是时分复用——一个DSP分时处理多个乘加，代价是控制逻辑和延迟；第二层是权重缓冲深度设计，把常用的权重预取到寄存器里，减少DSP读端口争抢。你提到QAT调参，那顺序真不能搞反：先BN融合，再微调量化参数，最后蒸馏。校准集用几百张图就行，多了反而过拟合。你目前有实际的卷积加速器项目经验吗？还是只在课程作业里写过？

英伟达那个mAP掉到78%的问题，我面完复盘发现他们其实想听你讲出完整的QAT流水线。先说DSP复用部分吧，因为很多人会忽略这两者其实是联动的——INT8量化后如果DSP复用没做好，计算单元空闲就会导致吞吐量下降，mAP掉点有时不全是量化误差。具体到DSP复用，脉动阵列里一种常用做法是设计成权重静止型：权重预存在PE内部的寄存器里，输入数据从左往右流，部分和从下往上累加，这样一个DSP只负责乘加，权重更新不需要额外DSP。如果DSP还不够，就把3×3卷积拆成行卷积和列卷积两级流水，行方向用三个乘加器，列方向用三个加法器，这样原本9个DSP就能减到3个，但代价是延迟多了两拍，吞吐量会掉一点。回到QAT，我建议的顺序是：先做BN融合，把batch norm的参数吸收到卷积权重里，这一步能减少量化误差0.5到1个点；然后用几百张校准集fine-tune量化参数，注意不要动原模型权重；如果还掉点，加一层知识蒸馏，温度系数T设4到6，教师模型用FP32的原始权重，学生模型是INT8的量化版本。蒸馏损失权重一般是0.7教师输出加0.3标签，这个比例可以调。另外，校准集的选择也关键，尽量覆盖不同光照和角度的样本，避免单一场景过拟合。你当时海思那道题是现场让你写Verilog代码，还是只问思路？

关于DSP复用，我补充一个容易被忽略的点：3×3卷积里有些权重其实是固定的，比如1或2的幂次，用移位加查找表就能搞定，根本不需要DSP。面试官问DSP不够用，其实更想看你有没有资源拆解的意识，不是真让你现场改架构。你可以在面试时主动提：先遍历所有权重，看看哪些可以用移位器或LUT替代，剩下的DSP只服务那些不可简化的乘加。这样既能省资源，又能体现你对底层硬件的理解。QAT那边，我见过有人把蒸馏温度系数设到10以上，结果教师模型的噪声全学过来了，mAP反而更低。一般T设4到8比较稳，校准集里多放几张边缘场景图效果更好。你当时英伟达面试官有没有追问校准集的具体选择策略？

说实话，海思和英伟达这两道题其实考的是同一个底层思维——资源与精度的取舍，但回答侧重点完全不同。海思那边，面试官盯着的是你手撕代码时的资源拆解能力，不是让你真堆DSP。我建议你把3×3卷积的权重先扫一遍，挑出那些值为1、2、4之类2的幂次的权重，直接写成移位加法，比如w=4就是输入左移两位，w=3就拆成2+1，用两个移位器加一个加法器搞定，一个DSP都不占。剩下的不可简化权重才用DSP做乘加。这一步做完，DSP数量通常能砍掉三四成。然后才是脉动阵列的PE复用——权重静止型，把权重锁在PE内部的寄存器里，输入数据从左往右流，部分和从下往上累加，这样每个DSP在一个时钟周期只做一次乘加，但通过流水线把吞吐率拉满。如果你还想再省，就把3×3拆成行卷积和列卷积两级，每级只用三个DSP，总共六个，比原来的九个省三分之一，代价是延迟多两拍，吞吐量会轻微下降，面试时主动提这个trade-off能加分。至于英伟达那个mAP掉点问题，QAT调参千万别一上来就调蒸馏温度。我踩过的坑是：先做BN融合，把batch norm的参数吸收进卷积权重里，这一步通常能追回0.5到1个点；然后用几百张校准集（别贪多，多了反而过拟合）微调量化参数，但只动scale和zero_point，不动原模型权重；最后如果还掉点，再加蒸馏，温度系数T设4到6，教师loss权重0.7，学生label loss权重0.3。你目前有实际在FPGA上跑过QAT后的模型吗？还是只做过仿真验证？