---
title: FPGA实现PCIe Gen4接口：TLP包解析与DMA传输设计
url: "https://www.fpgalearn.com/33256.html"
kind: article
id: 33256
excerpt: 本文档旨在提供一份从零开始，在FPGA上实现PCIe Gen4接口，并完成TLP（Transaction Layer Packet）包解析与DMA（Direct…
published_at: 2026-04-17
author: FPGA小白
tags: fpga, Gen4, PCIe
word_count: 7059
source: "https://www.fpgalearn.com"
---

# FPGA实现PCIe Gen4接口：TLP包解析与DMA传输设计

> 标签：fpga、Gen4、PCIe
> 本文档旨在提供一份从零开始，在FPGA上实现PCIe Gen4接口，并完成TLP（Transaction Layer Packet）包解析与DMA（Direct…

> 本文档旨在提供一份从零开始，在FPGA上实现PCIe Gen4接口，并完成TLP（Transaction Layer Packet）包解析与DMA（Direct…

本文档旨在提供一份从零开始，在FPGA上实现PCIe Gen4接口，并完成TLP（Transaction Layer Packet）包解析与DMA（Direct Memory Access）传输设计的完整实施手册。我们将遵循“先跑通，再优化”的原则，帮助读者快速构建一个可工作的原型系统。
## Quick Start
- **步骤1：环境准备**：安装Vivado 2022.1或更高版本，并获取支持PCIe Gen4的FPGA开发板（如Xilinx VCU118）。
- **步骤2：创建工程**：在Vivado中新建工程，选择对应器件型号，并添加PCIe IP核（XDMA或PCIe Hard IP）。
- **步骤3：配置IP核**：将IP核配置为Gen4 x4或x8模式，启用DMA功能，并生成Example Design。
- **步骤4：分析Example Design**：重点研究生成的顶层模块、用户逻辑接口（AXI4-Stream）以及约束文件。
- **步骤5：编写TLP解析模块**：创建一个模块，输入为来自IP核的AXI4-Stream TLP数据，输出解析后的包头字段（如地址、长度、类型）和有效载荷指针。
- **步骤6：设计DMA引擎**：设计一个状态机，根据解析出的TLP命令（Memory Read/Write），通过AXI4 Master接口读写DDR内存，并生成完成TLP（Cpl/CplD）。
- **步骤7：集成与仿真**：将解析模块和DMA引擎集成到Example Design的用户逻辑中，编写Testbench模拟主机发起读写请求。
- **步骤8：综合与实现**：运行综合与实现，重点关注时序报告，确保PCIe接口和用户逻辑满足时序要求。
- **步骤9：上板验证**：生成比特流，下载到FPGA。在主机端（如Windows/Linux）使用驱动程序或测试程序发起DMA传输，验证功能。
- **步骤10：性能测试**：使用性能测试工具（如CrystalDiskMark、自定义测试程序）测量实际DMA读写带宽。
## 前置条件与环境
| **项目** | **推荐值/说明** | **替代方案/注意点** |
| --- | --- | --- |
| FPGA开发板 | Xilinx VCU118 (VU9P) / Altera Stratix 10 GX | 必须包含PCIe Gen4硬核。VCU128、U200等亦可。 |
| EDA工具 | Xilinx Vivado 2022.1+ / Intel Quartus Prime 21.3+ | 确保版本支持目标器件的PCIe Gen4 IP。 |
| PCIe IP核 | Xilinx XDMA Subsystem for PCIe / Intel PCIe Hard IP for Gen4 | XDMA集成DMA引擎，简化设计；Hard IP更底层，灵活性高。 |
| 仿真工具 | Vivado Simulator / ModelSim/QuestaSim | 用于前期功能验证。需准备PCIe TLP BFM（Bus Functional Model）。 |
| 参考时钟 | 100MHz差分晶振（提供给PCIe IP核参考） | 必须满足PCIe规范要求的精度（±300ppm）。 |
| 主机环境 | 支持PCIe Gen4的x86/ARM平台，Windows 10/11或Linux 5.x+ | 需安装FPGA厂商提供的驱动程序或自行开发驱动。 |
| 约束文件(.xdc/.sdc) | 必须包含PCIe参考时钟、复位管脚、差分数据线（TX/RX）的约束。 | 通常由IP核生成或开发板提供，切勿遗漏。 |
| 用户逻辑接口 | AXI4-Stream (TLP数据) / AXI4-Lite (控制) / AXI4 (DMA内存访问) | 理解这些接口的握手协议是设计关键。 |
## 验证与结果</h2
## 目标与验收标准
<!– /wp:headin
## 目标与验收标准
- **功能验收**：
- 主机能正确识别FPGA PCIe设备（在设备管理器或lspci中可见）。
- 主机向FPGA映射的BAR（Base Address Register）空间进行读写操作，FPGA能正确响应。
- 主机能发起DMA写操作（主机→FPGA DDR），数据能正确写入指定内存地址。
- 主机能发起DMA读操作（FPGA DDR→主机），能正确返回请求的数据。
- **性能验收**：在Gen4 x4链路下，实测DMA顺序读写带宽不低于6.0 GB/s（理论峰值约7.88 GB/s）。
- **资源与时序验收**：设计在目标频率（如250MHz AXI用户时钟）下无时序违例，逻辑资源（LUT/FF）和BRAM使用率在预算范围内。
- **波形验收**：仿真中能清晰抓取到MemWr/MemRd TLP的解析过程、AXI4总线上的DMA数据传输以及CplD TLP的生成与发送。
## 实施步骤
### 阶段一：工程搭建与IP核配置
1. 使用Vivado IP Integrator，添加并双击配置“XDMA for PCIe” IP核。
2. 在“Basic”标签页：选择PCIe链路为Gen4 x4，AXI数据宽度512-bit。
3. 在“DMA Configuration”标签页：启用“AXI Memory Mapped”接口，配置Descriptor和Data宽度。
4. 在“PCIe ID”等标签页：设置合适的Vendor ID、Device ID，这将决定主机识别到的设备标识。
5. 生成IP核及其Example Design，这是后续开发的基础框架。
**常见坑与排查：**
- **坑1：IP核生成后，PCIe链路训练失败（LTSSM不进入L0状态）。**
**排查：**首先检查物理连接和板卡供电。其次，在约束文件中确认PCIe参考时钟（refclk）的引脚位置和I/O标准（如DIFF_HSTL）是否正确。最后，检查IP核配置的参考时钟频率是否与板载晶振一致。
- **坑2：主机无法发现FPGA设备。**
**排查：**检查IP核配置的Vendor/Device ID是否与驱动程序中期望的ID匹配。确认FPGA的PCIe复位信号已正确释放。使用ILA（集成逻辑分析仪）抓取IP核的状态信号，如`user_lnk_up`，确认链路是否已启动。
### 阶段二：TLP解析模块设计
XDMA IP核将TLP包转换为AXI4-Stream格式输出给用户逻辑。解析模块需识别TLP类型并提取关键字段。
```
// 简化的TLP包头定义（DW0和DW1）
typedef struct packed {
    logic [9:0]  length;    // 以DW计的数据载荷长度
    logic [2:0]  fmt;       // 格式：3‘b000=MemRd, 3’b010=MemWr, 3‘b100=Cpl, 3’b110=CplD
    logic [4:0]  type;      // 类型：5‘b00000=Memory
    logic        tc;
    logic [2:0]  attr;
    logic        ep;
    logic [1:0]  th;
    logic [1:0]  td;
    logic        nonposted;
    logic [15:0] requester_id;
    logic [7:0]  tag;
    logic [3:0]  last_be;
    logic [3:0]  first_be;
    logic [63:0] address;   // 64位地址（对于MemRd/Wr）
} tlp_header_t;

module tlp_parser (
    input  wire         axis_clk,
    input  wire         axis_rst_n,
    // 来自XDMA的AXI4-Stream接口 (TLP数据)
    input  wire [255:0] s_axis_tdata, // Gen4 x4下为256-bit，实际可能更宽
    input  wire         s_axis_tvalid,
    input  wire         s_axis_tlast,
    output wire         s_axis_tready,
    // 解析输出
    output tlp_header_t parsed_header,
    output logic        header_valid,
    output logic        is_mem_write, // 简化信号
    output logic        is_mem_read
);
    // 关键逻辑：在tvalid & tready时，解析第一个beat（DW0，DW1）的数据。
    // 注意TLP包头可能占用1个或2个beat（取决于地址位宽和是否带EP）。
    always_ff @(posedge axis_clk) begin
        if (!axis_rst_n) begin
            header_valid <= 1'b0;
        end else if (s_axis_tvalid & s_axis_tready & !header_valid) begin
            // 假设第一个beat包含完整的头
            parsed_header <= {s_axis_tdata[95:0], s_axis_tdata[255:96]}; // 根据字节序调整
            header_valid <= 1'b1;
            is_mem_write <= (s_axis_tdata[31:29] == 3'b010); // 简化判断
            is_mem_read  <= (s_axis_tdata[31:29] == 3'b000);
        end else if (header_valid & ...) begin
            // 处理数据载荷或下一个包
        end
    end
    assign s_axis_tready = ...; // 流控逻辑
endmodule
```
**常见坑与排查：**
- **坑1：解析出的地址或长度错误。**
**排查：**首先确认字节序（Endianness）。PCIe TLP采用Little Endian，但AXI-Stream总线上的数据排列顺序需查阅IP核手册。使用ILA抓取原始的`s_axis_tdata`，与PCIe协议规范对比，验证DW0/DW1的位域。
- **坑2：背压（tready）处理不当导致丢包。**
**排查：**TLP解析模块必须能及时接收数据。如果下游DMA引擎忙，需使用FIFO缓冲TLP数据。监控FIFO的满信号，确保不会溢出。
### 阶段三：DMA引擎设计
DMA引擎是核心，它根据解析的MemRd/Wr TLP，通过AXI4 Master接口访问DDR内存。
```
module dma_engine #(
    parameter AXI_ADDR_WIDTH = 64,
    parameter AXI_DATA_WIDTH = 512
)(
    input  wire                          aclk,
    input  wire                          aresetn,
    // 来自TLP解析器的命令
    input  tlp_header_t                  cmd_header,
    input  logic                         cmd_valid,
    output logic                         cmd_ready,
    // 用于读取TLP数据载荷的流接口（对于MemWr）
    input  wire [AXI_DATA_WIDTH-1:0]     s_axis_write_data,
    input  wire                          s_axis_write_tlast,
    // AXI4 Master接口（连接DDR控制器）
    output wire [AXI_ADDR_WIDTH-1:0]     m_axi_awaddr,
    output wire                          m_axi_awvalid,
    input  wire                          m_axi_awready,
    // ... 其他AXI写通道信号
    output wire [AXI_DATA_WIDTH-1:0]     m_axi_wdata,
    output wire                          m_axi_wlast,
    // ... 其他AXI读通道信号
    // 用于生成CplD的流接口（对于MemRd）
    output wire [AXI_DATA_WIDTH-1:0]     m_axis_read_data,
    output wire                          m_axis_read_tlast
);
    typedef enum logic [2:0] {IDLE, DECODE, WRITE_DATA, READ_ADDR, READ_DATA, SEND_CPLD} state_t;
    state_t curr_state, next_state;

    logic [63:0] dma_addr;
    logic [9:0]  dma_length_dw;
    logic        dma_is_read;

    // 状态机核心
    always_ff @(posedge aclk) begin
        if (!aresetn) curr_state <= IDLE;
        else curr_state <= next_state;
    end

    always_comb begin
        next_state = curr_state;
        case (curr_state)
            IDLE: if (cmd_valid) next_state = DECODE;
            DECODE: begin
                if (dma_is_read) next_state = READ_ADDR;
                else next_state = WRITE_DATA;
            end
            WRITE_DATA: if (axi_write_burst_done) next_state = IDLE;
            READ_ADDR: if (m_axi_arready) next_state = READ_DATA;
            READ_DATA: if (axi_read_burst_done) next_state = SEND_CPLD;
            SEND_CPLD: if (cpld_sent) next_state = IDLE;
        endcase
    end

    // 关键控制信号赋值
    assign cmd_ready = (curr_state == IDLE);
    assign dma_is_read = is_mem_read; // 来自解析器
    assign dma_addr = cmd_header.address;
    assign dma_length_dw = cmd_header.length;

    // AXI总线事务生成逻辑（略）
    // 注意：需要将TLP长度（DW）转换为AXI突发长度（beat数），并处理地址对齐。
endmodule
```
**常见坑与排查：**
- **坑1：DMA写数据丢失或错位。**
**排查：**确保TLP数据载荷的AXI-Stream与DMA引擎的AXI写数据通道（W通道）之间的时钟域和流量控制正确。检查突发传输（Burst）的`wlast`信号是否在最后一个数据beat时拉高。
- **坑2：MemRd请求超时，主机收不到CplD包。**
**排查：**PCIe协议规定主机在发出MemRd后，期待在特定时间内收到完成包。检查DMA引擎的读数据路径延迟。使用ILA监控从发出`m_axi_arvalid`到收到第一个`m_axi_rdata`的周期数。如果延迟过大，需优化DDR访问模式或使用Cache。
### 阶段四：约束、验证与上板
1. **时序约束**：为XDMA IP核生成的用户时钟（如`user_clk`）创建时钟约束。为所有AXI接口相关的信号创建输入/输出延迟约束。
```
# 示例：用户时钟约束
create_clock -name user_clk -period 4.000 [get_pins your_ip/inst/xx/user_clk_out]
# 示例：AXI接口约束（假设与外部DDR控制器接口）
set_input_delay -clock [get_clocks user_clk] -max 1.5 [get_ports m_axi_*ready]
set_output_delay -clock [get_clocks user_clk] -max 1.5 [get_ports m_axi_*valid]
```
2. **功能仿真**：编写Testbench，模拟主机发送MemWr和MemRd TLP包，检查DMA引擎是否发起正确的AXI事务并返回CplD。
3. **上板调试**：充分利用Vivado Hardware Manager中的ILA。关键触发点：`user_lnk_up`, TLP包头解析结果，AXI通道的`valid/ready`握手，DDR读写突发开始与结束。
## 原理与设计说明
1. **为什么使用XDMA IP而非更底层的Hard IP？**
这是**开发效率与灵活性**的权衡。XDMA IP集成了DMA控制器、中断管理、配置空间管理等复杂模块，并提供了成熟的AXI4用户接口，极大降低了开发门槛和风险。代价是用户对底层TLP流转的控制力减弱，且IP占用资源较多。对于需要定制特殊TLP流程（如原子操作、自定义消息）的应用，应选择更底层的Hard IP。
2. **为什么DMA引擎的AXI数据位宽通常设为512-bit？**
这是**吞吐率与逻辑复杂度**的权衡。PCIe Gen4 x4每个通道的原始速率为16 GT/s，x4链路的总带宽约为7.88 GB/s。512-bit @ 250MHz的AXI总线理论带宽为16 GB/s，足以满足线速需求，且与DDR4控制器的高效位宽（通常为512-bit）对齐，避免了数据宽度转换的开销。更窄的位宽（如256-bit）需要更高的时钟频率才能达到同等带宽，对时序收敛挑战更大。
3. **如何处理非对齐（Unaligned）访问？**
这是**通用性与资源消耗**的权衡。PCIe允许TLP的起始地址不是DW（4字节）对齐的。一个健壮的DMA引擎需要处理这种情况。简单方案是：当遇到非对齐访问时，先将对齐部分的数据通过AXI突发传输，再单独处理头尾的非对齐字节（通过字节使能信号`wstrb`控制）。这增加了状态机的复杂度。如果确信上层驱动只会发起对齐访问，则可以简化设计，在遇到非对齐请求时返回错误。
## 验证与结果</h2