RoCE 把 RDMA 直接跑在以太网上,延迟低、宿主机 CPU 占用接近于零,是全闪存存储和高性能计算的热门选择,但前提是网络无损,一旦丢包吞吐会大幅跳水。
前提:PFC 与 ECN 要一起开
- PFC 优先级流控负责让拥塞端口的报文不被丢弃,需要为存储流量指定独立的无损队列。
- ECN 显式拥塞通知让发送端提前降速,减少暂停帧的连锁反应。
- 交换机与网卡的参数必须端到端一致,漏配一个节点,压测时问题才会集中暴露。
网卡与速率:先确认支持再谈固件
预算允许建议直接上 100G,例如 PCI-EX16 100G双光口光纤网卡(英特尔Intel E810芯片),启用前与交换机侧确认所支持的 RDMA 模式并核对固件驱动版本。机柜内互联优先 100G DAC高速电缆,成本与功耗都低;跨楼链路改用光模块加跳线,华东某大数据中心楼间 100G 光纤互联升级(华东某大数据中心楼宇间 100G 光纤互联升级)即按此思路实施。
上线验证:三类数据都要跑
先用 perftest 套件跑吞吐与延迟基线,再观察两端 PFC 与 ECN 计数器的触发频率是否正常,最后逐级加压,盯着延迟分位数与抖动,发现异常回退参数重调,不要带病上线。
EB-LINK 的 25G/100G 网卡与互联线缆均逐只测试后发货,存储网方案可致电 0755-83179002 咨询。