我们队今年FPGA大赛选了安路的FPGA做实时AI语音降噪，LSTM模型里全连接层的乘法太多了，DSP资源根本不够用。听说可以用查找表和移位来近似替代乘法器，但不知道具体怎么做。比如一个权重是0.3，怎么用移位和加法近似？这样替换后精度会掉多少？资源占用能省多少？有没有人实际在安路或者高云上做过类似的优化？求具体公式和资源对比，急！
3 个回答
CSD编码是正路，0.3拆成0.25+0.0625就是2^-2+2^-4，移位加一次就行。精度看你怎么量化权重，一般1-2%损失够用，DSP能省六成以上。安路的话注意查表用LUT6，别硬塞BRAM，布线会哭。你们LSTM层数多的话建议只对全连接层做，RNN单元内部乘法先留着。
个人感觉你们最该先验证的是精度敏感度，别一上来就全换。LSTM里遗忘门和输出门的权重对量化误差特别敏感，输入门稍微糙点还行。建议用MATLAB或者Python先离线模拟：把权重转成CSD后跑一遍测试集，看信噪比掉多少，如果掉超过3dB就说明这层必须留DSP。具体公式就是0.3=0.25+0.0625，也就是右移2位加右移4位，硬件上两个加法器加一个移位器，比乘法器省一个DSP。资源对比的话，安路乘法器一个占3个DSP块，移位加法只占LUT和FF，大概能省一半以上DSP，但LUT用量会翻倍。你们如果时序余量够就大胆换，不够就只换部分层。最后提醒一句，安路的IP核里有个乘法器共享模式，可以先试试那个，说不定不用自己折腾。
先别急着全换，把权重分布拉出来看看。0.3这种小数用CSD拆成2的幂次和，本质上是用加法和移位换乘法器，但代价是权重被量化成有限位宽，LSTM这种对梯度敏感的结构，误差会随层数累积。我建议你们分两步走：第一步用Python脚本把所有权重做CSD编码，统计最大误差和平均误差，挑出误差超过2%的层单独保留DSP；第二步是查表法，把输入激活值量化到8bit，权重量化到6bit，做一个64×256的查找表，BRAM够的话查一次只要一个周期，比移位加法链省LUT。实际在安路上做过类似语音增强，DSP用量从120降到40左右，LUT涨了大概30%，时序没崩。但要注意CSD对负权重要处理符号位，别直接取反，用补码再拆。另外你们板子具体型号是EG4还是EL2？BRAM和LUT比例差挺多的，查表方案要按型号调。
发表回答
登录后可在本页底部提交回答