2026年了，FPGA工程师想转行做AI芯片架构师，需要补哪些系统知识？

我先说个可能不太中听的判断：你做通信基带和图像接口的FPGA，跟AI芯片架构师之间的差距，不是补几门课能抹平的，但也不是完全没戏。关键在你怎么定义『架构师』——如果是那种画数据流图、拍buffer大小、定PE阵列规模的岗位，那你得先把深度学习推理那套搬运算搞明白，不然连MAC和权重复用都聊不顺。我的建议是别先啃Eyeriss，那篇对新手太劝退。你先在Zynq上跑一个YOLOv5s或者哪怕LeNet的定点推理，用HLS或者RTL都行，把卷积、池化、全连接每一层的数据量和计算量手算一遍，再对比你实际写的加速器用了多少cycle，存算比到底卡在哪。这比读十篇论文都有用。等你跑通一个，再回头读Eyeriss和Systolic Array的综述，你会发现原来论文里说的『数据复用』就是你FPGA上挪dataflow时纠结的那点事。另外提醒一句：别只盯着架构岗，很多AI芯片公司也招『AI软件栈工程师』或『工具链开发』，你FPGA的时序功底做算子调度其实很吃香，路线没那么窄。你现在的板卡是Ultrascale还是Versal？如果是Versal，AI Engine那条路其实也值得看看。

我的路线可能跟别人不太一样，先说结论：先学深度学习原理，但别学太深，够你理解算子的计算模式就停；然后把80%的时间花在『把ONNX模型跑进你自己的RTL加速器』这个闭环上。为什么？因为架构师面试考的不是你会不会训练模型，而是你能不能回答『这个3×3卷积，如果输入是224x224x64，输出128通道，你要用多少PE、多少片上SRAM才能让DDR带宽不是瓶颈？』——这题本质是算术，不是玄学。你FPGA时序能过，说明你懂流水线，但AI加速器真正的门槛是『数据流引擎』思维：同一份权重怎么被多个PE共享，activation怎么在片上流转，这些跟你原来做图像接口时那种『数据进来按行缓存』的思路完全不是一回事。我建议你按这个顺序走：第一，搞懂卷积的im2col和winograd两种实现，手推一遍计算量；第二，学一下TVM或者Xilinx的Vitis AI里是怎么做算子调度的，不用会写pass，看懂日志里『tile size』『burst length』为什么影响性能就行；第三，找一块便宜的国产FPGA或者老款Kintex，把MobileNetV2的depthwise卷积单独拎出来做一个加速器，只做这一层，但要做透：要考虑不同HLS流水线策略、不同阵列尺寸下的DSP利用率和BRAM占用曲线。做完这个，你再回去看Eyeriss的论文，你会发现它讲的就是你怎么选dataflow时踩过的坑。至于面试官常问的『存算比为什么重要』，其实是在考你知不知道DRAM功耗比MAC高两个数量级——这个数字你要能脱口而出，并能用『同样算力下，如果片上存储不够，数据搬运时间会吃掉计算时间』来解释，而不是背定义。最后说句扎心的：架构师岗位很多要求懂编译或体系结构，你纯RTL背景容易被当成『高级码农』，所以最好在简历里突出你做过片上网络或异构接口的调度，哪怕只是AXI互联的仲裁逻辑。你现在手头有没有跑过任何深度学习框架？哪怕只是用Python跑个mnist推理也算，这决定你补课的起点在哪。

我来说点实际的。别被『AI芯片架构师』这个title吓住，很多公司说的架构师其实就是『懂AI计算模式的RTL工程师』，不是让你去发明新架构。你5年FPGA，时序和接口都熟，这已经是很大本钱了。缺的其实是两层：第一层是『深度学习推理到底在算什么』，第二层是『为什么AI芯片要专门设计数据流』。第一层我推荐你看Karpathy的zero to hero那套视频里讲反向传播和矩阵乘的部分，不用看训练，只看推理就够了。第二层是重点，你从FPGA角度切入：你原来写图像接口，数据进来是按行存的，但卷积是window滑动的，这就导致同一个数据会被多个卷积核复用——你的FPGA如果做成最朴素的方式，每个周期从DDR搬数据，那功耗和带宽肯定爆。所以AI芯片才要有脉动阵列、要有片上buffer分层。你把这个『复用』讲清楚了，面试就算过一大半。然后我建议你下载一个开源RISC-V加NPU的核，比如有人的hbird或者香山（虽然香山是CPU，但结构有参考性），打开RTL看看里面数据是怎么从AXI进到systolic array的，比你纯看论文直观得多。学习路径上，我强烈建议你别一上来就啃Eyeriss，先把CS231n里卷积那两三节课看完，然后直接做一个小项目：在Vivado HLS里写一个3×3卷积加速器，只支持stride=1，但要把ping-pong buffer和output stationary做出来，能跑出正确结果就行。做完这个，你再去看Eyeriss里的『row stationary』，你会发现它只是把你的做法推广到多维度。面试前再背一下关键数字：MAC单位功耗约0.2pJ，DRAM访问约20pJ，这个『存算比』是几乎所有AI芯片面试必问的。最后提醒一个坑：别去学CUDA或TensorRT那些软件栈，除非你想转编译器方向，否则面试官问你硬件，你答软件反而显得不专。你通信基带背景做AI加速器有个天然优势——你对数据帧和同步的理解，在搞多核NPU的DMA调度时很有用，面试时记得把这个经历往『异构数据流调度』上靠。你平时用Vivado还是Quartus？这影响我给你推荐哪家的开源IP。

兄弟，你时序熟这是优点，但架构师不是让你去优化时序的。你去看脉动阵列论文，先别管那些数学推导，你就在纸上画一个4×4的PE网格，然后把一个3×3卷积的权重流和激活流手动走一遍，你会发现权重是斜着进去的，这跟你做图像接口时那种规规矩矩的行缓冲完全是两个世界。你把这个走通了，再去看Eyeriss里讲『data reuse』那几页，你会发现它就是在教你：同一个输入像素，怎么被多个PE都访问到，而不需要从DDR读多次。这就是AI芯片和普通FPGA设计的本质区别——普通FPGA优化的是延迟，AI芯片优化的是『每焦耳能算多少次MAC』。你原来做通信基带，其实也关心功耗，但那是ASIC的功耗，不是架构级的存算比。你现在可以这样过渡：找你们公司或者自己买一块带DSP的板子，跑一个开源的NPU软核，比如有人的Gemmini或者NVDLA（虽然NVDLA比较老，但结构清晰），打开RTL看它的systolic array怎么处理不同卷积大小，然后试着改一下它的PE数量，看看对资源占用和吞吐的影响曲线。这个比你自己从零写要快得多。面试时如果被问到『为什么用脉动阵列而不用SIMD』，你要能回答：因为卷积的权重是静态的，可以预先加载到PE里，让数据流从旁边流过，这样每个周期每个PE都能算一次MAC，而SIMD需要从寄存器堆取操作数，功耗更高。这个答案比背定义有说服力。你原来做图像接口，对行缓冲和帧同步很熟，这在搞line buffer型加速器时是优势，但AI芯片大多是2D PE阵列，你要把思维从『按行处理』跳到『按tile处理』，这个跳跃需要时间，别急。你接下来三个月能抽多少时间学习？这决定我建议你是看视频还是直接啃论文。

你这个问题我特别有感触，因为我就是从FPGA岗跳到AI芯片方向的。先说结论：别先啃Eyeriss，那篇论文对没有AI背景的人就是劝退文，你读三遍也未必能把它和你的时序经验挂上钩。我当时的路线是反着来的——先在自己板子上把YOLOv5s的每一层计算量和数据量手算一遍，从输入到输出，包括padding、stride、通道数变化，算完你就明白为什么AI芯片要专门设计数据流了。你算的时候会发现一个关键矛盾：224x224x64的输入，做3×3卷积，如果每个周期从DDR搬数据，带宽根本不够，这就逼着你思考片上buffer怎么分层、数据怎么复用。这个思考过程才是从FPGA思维转向架构师思维的核心——普通FPGA优化的是延迟和吞吐，AI芯片优化的是'每焦耳能算多少次MAC'，也就是存算比。当你把这个矛盾想透了，再回头看Eyeriss里讲的'data reuse'，你会发现它就是在教你：同一个输入像素怎么被多个PE共享，权重怎么在PE间流转，而不需要反复从DDR读。我建议你按这个顺序：第一，搞懂im2col和winograd两种卷积实现，手推一遍计算量，这能帮你建立算力直觉；第二，找个开源NPU核（比如有人的Gemmini）在Zynq上跑一遍，别只看代码，要看它的数据通路为什么这么设计；第三，把ONNX模型量化后跑进你自己的RTL加速器，哪怕只跑LeNet，这个闭环做完，你面试时就能回答'这个3×3卷积用多少PE、多少SRAM才不卡带宽'这类问题了。最后提醒一点：你时序熟是优点，但架构师面试不会考你时序收敛，而是考你对数据流和存储层次的理解，别把精力花错地方。你现在是打算先补深度学习原理还是直接上加速器架构论文？

个人感觉你缺的不是深度学习训练那套，而是推理侧的计算模式。最直接的办法：拿一张真卷积分层图，手动标出每个输入像素被几个输出通道复用、权重被几个空间位置复用，画一张数据流图。画完你就懂为什么AI芯片要片上buffer了。别一上来读论文，先把你手上FPGA的图像接口工程改造一下，加一个简单的2D卷积加速模块，你会发现原来的行缓冲思路根本不够用——数据复用才是核心。这个改通了，再去读Eyeriss会顺畅很多。

兄弟，别被title骗了，很多公司说的架构师其实就是懂AI计算的RTL工程师。你先拿LeNet跑通定点推理，手算每层访存量，比读十篇论文都好使。顺便问下，你现在的板子是Zynq还是纯FPGA？有没有DSP资源？

兄弟，5年FPGA经验转AI架构师，你最大的优势不是Verilog熟，而是你见过数据在DDR和片上SRAM之间怎么折腾。通信基带里那种多通道、多帧的流水处理，其实跟AI加速器里的数据流有七分像，只是你之前没往那个方向想。我的建议是别先啃Eyeriss，那玩意儿对没做过AI的人就是天书。你先干一件事：拿你手头最熟的图像接口工程，把那个2D卷积的模块拆了重写，这次别按像素行缓存做，你改成按输入通道分块、输出通道分块，然后手动算一下：一个3×3卷积，输入是128通道，输出也是128通道，如果片上buffer只有256KB，你一次能放几个输入通道的数据？权重又要分几次从DDR搬？算完你会发现，原来你以前做图像接口时那个行缓冲的思路，在AI里根本不够用——因为AI算的是三维数据，你以前是二维的。这个坎迈过去，你就明白为什么AI芯片要有脉动阵列、要有数据复用。然后你再去看Eyeriss里讲『data reuse』那几页，保证一看就通。面试官问存算比，你直接拿这个例子算给他看：一个MAC要搬几个字节，如果DDR带宽是固定的，你要多少PE才能让计算不闲着。这就是架构师的基本功，不是玄学。你先别急着报班学深度学习，你只需要知道卷积、池化、全连接的计算模式就行，训练那套跟你没关系。等你把这个重写工程做完，再去读Systolic Array的综述，你会发现论文里的图你都能画出来了。顺便问一句，你现在的板子有DSP资源吗？还是纯逻辑跑？这决定了你第一步实验能跑多大的模型。