RDMA 让网卡绕过 CPU 直接读写对端内存,是高性能存储与 AI 训练的底座,但它对丢包极为敏感,轻微丢包就会让吞吐断崖式下跌。RoCEv2 因此必须把以太网调成无损网络。本文说明其配置逻辑与常见坑。

丢包为什么对 RDMA 是致命的

RoCEv2 基于以太网传输,但丢包后依赖代价较高的重传机制恢复,一次丢包往往引发成批报文回退,吞吐可能直接跌一个数量级。传统网络允许偶发丢包重来,无损网络的要求则是在拥塞形成队列溢出之前,逐跳地把流量压下来,把丢弃概率压到接近零。

PFC 与 ECN 的分工

  • ECN:队列接近水位时对报文打标,接收方回传拥塞信号,发送端先降速,属于早期预警
  • PFC:按优先级暂停上游发送,防止本跳缓存溢出丢弃,属于最后兜底
  • 顺序建议:先定 ECN 水位,再在专用优先级开 PFC,最后检查 PFC Watchdog 防死锁

配置要点与注意事项

PFC 只在承载 RDMA 的优先级上启用,全优先级开启容易造成暂停帧逐跳扩散形成风暴;ECN 水位设太低会频繁限速,一般从厂商默认值起步再压测微调。网卡选支持硬件 RDMA 与多队列 QoS 的型号,例如 PCI-EX8 25G双光口光纤网卡(英特尔Intel XXV710芯片);骨干侧可用 PCI-EX16 100G单光口光纤网卡(英特尔Intel E810芯片) 接入 Leaf。

无损网络调优没有一劳永逸的参数,需要在业务低峰反复压测。EB-LINK 的高速网卡与模块可按交换机写码配套,细节可电询 0755-83179002。