我们队今年用安路FPGA做电赛的实时AI语音降噪项目，模型是轻量级RNN，但综合后发现DSP48资源爆了，差了好几十个。听说可以通过时分复用和乘法器共享来硬挤，但具体怎么操作？比如多个乘法操作共用一个DSP，时序上怎么调度？会不会影响实时性？求大佬给个实际可行的方案，最好有伪代码或状态机设计思路，急！
回答 3
兄弟，你这情况其实挺典型的——小模型但DSP吃紧，安路的DSP48数量本来就偏少，加上AI语音降噪里RNN的乘加运算密集，很容易爆。时分复用的核心思路是：如果多个乘法操作不要求在同一时钟周期完成，就可以让它们分时共用同一个DSP，把DSP的吞吐率往上提。具体操作上，我建议你先做两件事：一是把RNN里的所有权重和输入拆成独立的乘法操作，统计出最大并行度；二是明确你的采样率——比如16kHz音频，帧长10ms，那每帧有160个采样点，每个采样点经过RNN时可能产生几十次乘法，但很多乘法在时间上是有先后顺序的，不需要同时算。
实操步骤：第一步，写一个状态机，状态数等于你需要的乘法操作总数除以可用DSP数（取整）。比如你有100个乘法需要做，但只有50个DSP，那就建一个两状态的状态机，每个状态里让每个DSP算一个乘法。第二步，把每个乘法操作的输入数据（权重、输入值）用寄存器存好，状态机切换时更新这些寄存器的值。第三步，控制好输出累加：如果RNN层是多个乘加求和，你需要在每个状态结束时把DSP的输出累加到一个寄存器里，等所有状态跑完再送出结果。时序上，如果你的系统时钟是100MHz，每帧10ms就是100万个时钟周期，而你的乘法操作可能只需要几百个周期，所以实时性完全没问题，关键是要保证状态机在音频数据到达之前算完。
伪代码思路：always @(posedge clk) begin case(state) 0: dsp_in_a <= weight[0]; dsp_in_b <= input[0]; state <= 1; 1: acc <= acc + dsp_out; dsp_in_a <= weight[1]; dsp_in_b <= input[1]; state <= 0; … endcase end。注意要在每个状态结束时锁存DSP输出，避免数据冲突。另外，安路EDA工具里可以设置DSP的流水线级数，适当增加流水线能提高频率，但会增加延迟，你根据自己的时钟约束调整。最后提醒：先仿真验证调度逻辑，别直接上板，否则很难debug。对了，你们用的安路哪款芯片？不同系列的DSP数量和布局差别挺大，这会影响你调度策略的粒度。
别想复杂了，时分复用说白了就是用一个DSP在多个时钟周期里干多个乘法活。你差几十个DSP，那就把乘法操作数除以可用DSP数，得到轮转次数。比如剩下10个DSP，每个DSP轮转5次就能顶50个乘法。
状态机设计就设几个状态，每个状态给DSP喂不同的输入，输出累加。实时性不用担心，语音降噪的帧间隔通常有几千到几万个时钟周期，你那点乘法运算量完全塞得进去。关键是注意数据对齐：权重和输入要在正确的拍数准备好，别让DSP空等。
另外，如果RNN里有些乘法权重是固定的（比如训练好的），可以用ROM存起来，状态机按地址读取。安路的IP核里也有乘法器共享选项，可以看看能不能直接用。先写个简单的测试代码，把调度逻辑验证了再集成到主项目里。
你这个问题其实关键不在于怎么把乘法塞进DSP，而在于你的RNN层能不能拆成串行计算。我遇到过很多队伍，一上来就说DSP不够，结果一分析发现他们把所有乘法都当成并行在做，实际上RNN的循环结构天然就有时间依赖——当前时刻的隐状态要等到上一时刻算完才能用，那这些乘法在硬件上本来就该串行。你缺几十个DSP，大概率是你在同一拍里把不同时间步的乘法全展开了，这没必要。
具体操作上，你先拿一个RNN层的时间步展开图，把每个时间步内需要的乘法数按顺序列出来。假设你的RNN隐层大小是64，那每个时间步里矩阵向量乘需要6464=4096次乘法，但这是整个矩阵乘的总量。实际你用一个DSP做乘加，一次算一个权重和输入的乘积，那一个时间步就需要4096个时钟周期去完成这个矩阵乘。如果一帧有160个采样点，每个采样点经过RNN时假设有4个时间步，那一帧的总乘法周期数就是40964160=2.6M左右。你算一下你的帧间隔——16kHz采样率、10ms帧长的话，帧间隔是16000个时钟周期（假设主频100MHz）。2.6M远大于16K，那说明你用单个DSP根本来不及。这时候你才需要上并行，用多个DSP把每个时间步内的乘法并行掉。
所以正确的做法是：先算清楚你的实时性要求——帧间隔内有多少个时钟周期。然后用这个数除以每个时间步需要的乘法数，得到你最少需要的DSP数量。比如帧间隔16K，每个时间步4096次乘法，那你至少需要4个DSP才能在一个帧间隔内算完一个时间步，但如果你有4个时间步，那需要16个DSP。你差了几十个，说明你的模型或者帧率设置需要调整，而不是硬靠时分复用去挤。时分复用只能解决乘法操作在时间上不重叠的问题，不能解决总计算量超过可用时间窗口的问题。
建议你先按这个思路重新估算一下你需要的DSP数，别盲目拆乘法。如果算下来确实差一点，比如差5-10个，那可以试试把某些权重矩阵里数值接近0的乘法省掉，或者用安路DSP48的双乘法器模式（有些型号支持一个DSP做两个独立的18×18乘法）。如果差太多，那只能砍模型大小或降采样率。你目前帧长设的是多少？
发表回答
登录后可在本页底部提交回答
游