本科毕设选题想做基于FPGA的CNN加速，手头只有一块ZYNQ-7020开发板，资源比较紧张（DSP和BRAM有限）。目前已经用PyTorch训练好了一个轻量级模型（比如MobileNet）。想请教一下，在将模型部署到PL侧时，除了常规的循环展开和流水线，还有哪些针对FPGA资源的架构优化技巧？比如如何高效利用片上内存管理特征图和权重，如何设计计算单元阵列（PE Array）来平衡性能和资源消耗？有没有一些开源框架或参考设计可以学习？
回答 5
首先得明确，ZYNQ-7020的DSP和BRAM确实不多，所以你的核心思路必须是‘精打细算’。我建议从数据复用和内存分级入手。特征图和权重不要一股脑全塞进BRAM，根据卷积层的数据局部性，可以设计一个小的行缓存（line buffer）来复用输入特征图的行数据，同时权重分批加载。计算单元阵列（PE）别贪大，比如先做2×2或4×4的小阵列，每个PE尽量复用，通过时间上的循环展开来弥补空间上的不足。开源的话，可以看看Vitis AI的文档，虽然主要针对UltraScale+，但里面一些量化、内存管理的思路可以借鉴。另外，清华大学的‘FPGAConvNet’框架（虽然是学术项目）的架构设计论文很值得一读，它强调了基于数据流的优化。
同学，咱俩情况类似，我也是用7020做毕设的。我的经验是，一定要先做量化！把训练好的浮点模型量化成8位甚至4位整数，能大幅减少BRAM存储权重和特征图的开销，DSP也能用更少的资源做定点乘加。架构设计上，我采用了‘权重固定、输入流动’的方式，即把每一层的权重预先存储在BRAM中，计算时让输入特征图流过PE阵列。PE阵列我设计成了1维的（比如8个PE），这样控制简单，资源占用少，通过深度流水线也能达到不错的吞吐率。注意哦，片外DDR带宽是瓶颈，尽量让数据在片上多复用几次再回DDR。参考设计可以搜一下‘FINN’框架，来自Xilinx研究实验室，专为极致量化网络设计，虽然你的MobileNet可能比他们的网络大，但思想可以学。
从硬件架构师的角度提几点。第一，内存映射是关键。ZYNQ有PS端的DDR和PL端的BRAM/URAM。把每一层卷积的权重、偏置和输入输出特征图在DDR中的地址规划好，通过AXI总线高效搬运。在PL内部，设计一个双缓冲（double buffer）机制：一组BRAM用于当前计算，另一组预取下一批数据，隐藏数据传输延迟。第二，PE阵列的设计要匹配你的数据流。对于MobileNet的深度可分离卷积，可以设计两种PE：一种处理逐通道卷积（depthwise），一种处理点卷积（pointwise），分别优化。第三，控制逻辑要精简，用状态机而非微处理器，节省LUT。开源参考，可以看看HLS实现的CNN加速器，比如‘CHaiDNN’（Xilinx）或‘DeepBurning’（学术界），但注意HLS生成的电路效率可能不如手写RTL，可作为架构参考。
我主要分享一下我踩过的坑和优化技巧。1. 模型剪枝和量化必须做，在部署前用PyTorch的量化工具跑一下，能压缩模型体积，有时精度损失很小。2. 充分利用ZYNQ的PS端。可以把一些计算量小的层（如全局池化、softmax）放在PS的ARM核上用C代码实现，节省PL资源。3. PE阵列计算时，考虑Winograd算法变换，它能减少卷积的乘法操作次数，从而节省DSP，但会稍微增加控制复杂度和临时存储。在7020上小规模试试3×3卷积的Winograd。4. BRAM不够用时，可以用分布式RAM（用LUT拼）存一些小的查找表或缓冲区。5. 学习资料：强烈推荐在GitHub上搜索‘CNN-FPGA’或‘ZYNQ CNN’，有很多毕业设计开源项目，虽然代码质量参差不齐，但看他们的架构报告和资源占用表非常有启发。
简单直接说几点思路。1. 核心思想：时间换空间。资源有限就别追求大并行阵列了，设计一个高度流水线化的、复用性强的单PE或小规模PE，让它高效地循环处理所有数据。2. 数据流模式选择：输出固定（OFM）还是输入固定（IFM）？根据你的模型和内存带宽定。通常带宽紧张时，用输出固定模式可以减少中间特征图的写出。3. 片上缓存策略：为每个PE配一个小的权重FIFO和输入缓存，从大的片上缓冲区（由多个BRAM组成）中按需取数。4. 工具链：可以尝试用Xilinx的Vitis AI量化部署流程，它支持DPU架构，但7020可能不是官方支持主力，你可以尝试自定义一个精简DPU。5. 务实建议：毕设时间有限，先瞄准一个网络层（如卷积层）做精做透，实现一个可配置的IP核，然后再扩展到整个网络。参考设计看Xilinx的‘PYNQ’社区项目，有些图像分类例子。
发表回答
登录后可在本页底部提交回答
游