技术概述
AI服务器网络吞吐测试是评估智算服务器在高速网络环境下数据收发能力的专业检测技术,通过模拟分布式训练与推理场景下的真实流量模型,量化带宽利用率、传输时延、丢包率与集合通信效率等关键指标,为算力集群建设、设备选型与网络调优提供客观数据支撑,已成为智算中心部署验收与运维体系中的重要技术环节。
检测样品
本检测的样品范围覆盖AI服务器网络链路的各个层面,送检方可根据实际需求选择整机送检或部件送检,常见样品类型包括:
- AI服务器整机:配置8卡GPU加速卡的多节点训练服务器、推理服务器、存储节点及管理节点;
- 网络接口设备:智能网卡(SmartNIC)、DPU加速卡、RDMA网卡(200G/400G以太网卡、InfiniBand网卡)等;
- 网络互联设备:智算中心交换机、轨优交换机、高速光模块、AOC/DAC线缆等;
- 配套部件:光纤跳线、PCIe转接卡、散热与供电组件等可能影响网络性能的附属部件。
送检样品应保持硬件配置完整,固件、驱动与操作系统版本明确,并在送检前记录基础配置信息,以便测试环境与实际部署环境保持一致。对于整机样品,需保证网卡插槽位置、PCIe拓扑、GPU互联拓扑等关键配置与出厂状态一致,避免因配置差异导致测试结果偏离真实性能水平。多节点测试还需明确组网拓扑、互联带宽与交换机端口分配方案。
检测项目
检测项目按照链路带宽、传输质量与多机协同三个层次设置,全面覆盖从单网口到集群互联的性能维度。
1. AI服务器网络吞吐测试核心带宽指标
带宽类指标是衡量网络传输能力最直接的参数,检测内容包括:
- 单向最大吞吐量:在单条流或多条流条件下测量服务器单个网口的收发速率峰值;
- 双向聚合吞吐量:评估网口在全双工模式下同时收发的总带宽能力;
- 线速利用率:实测吞吐量与理论线速的比值,用于判断链路是否达到设计带宽的95%以上;
- 多网口聚合吞吐量:针对配置多张高速网卡的服务器,验证全部网口并发工作时的总吞吐水平。
2. 时延与丢包类指标
在分布式训练场景中,时延与丢包直接决定梯度同步效率,是仅次于带宽的关键指标:
- 平均往返时延(RTT)与单向传输时延;
- 时延抖动:多次测量时延的波动幅度与分布特征;
- 丢包率:不同报文尺寸、不同负载压力下的丢包比例;
- 乱序报文比例:评估网络传输质量对RoCEv2等协议收敛效果的影响。
3. 集合通信与稳定性指标
面向多机多卡协同场景,检测项目进一步扩展至集合通信层面:
- AllReduce聚合带宽与总线带宽(BusBandwidth);
- AllGather、ReduceScatter、Broadcast等典型集合通信操作的吞吐效率;
- 长时稳定性:连续24小时至72小时满负载传输下吞吐的衰减幅度;
- 拥塞控制与自适应路由效率:高负载压力下的吞吐保持能力。
检测方法
检测报告有什么用途?
检测方法依据组网技术类型与测试目标分层实施,兼顾标准规范与智算场景特色。
1. 标准基准流量测试方法
参照RFC 2544、RFC 6349等通用网络性能测试规范,使用基准流量工具(如iperf3、netperf、DPDK流量发生器)在不同报文长度、不同流数组合下进行吞吐、时延、丢包的逐级测试。测试时以固定时长发送流量,逐级提高发送速率直至出现丢包,取不丢包前提下的最大速率作为吞吐量结果;时延测试采用时间戳比对方式,记录测试仪与被测服务器之间报文的往返时间并统计分布。该方法可覆盖TCP、UDP以及基于RDMA的流量模型,适用于以太网与InfiniBand两类主流组网技术。
2. AI服务器网络吞吐测试的集合通信验证方法
针对多节点训练场景,采用集合通信基准测试套件(如nccl-tests)在真实GPU服务器集群上执行AllReduce、AllGather等典型通信原语测试。测试过程将若干台服务器通过待验证网络互联,运行多进程通信任务,分别记录不同消息尺寸下的算法带宽与总线带宽,并从两个维度进行评估。该方法直接反映网络对大模型分布式训练的支撑能力,是区别于传统网络性能检测的特色环节。测试中通常结合多任务并发、跨轨流量等工况,验证参数面网络在接近真实负载下的吞吐表现。
3. 长时压力与故障恢复测试方法
在完成峰值测试后,以满负载流量持续运行24小时以上,周期性采样吞吐、时延与丢包数据,观察性能衰减与异常波动;同时模拟链路中断、端口故障、光模块异常等场景,验证网络吞吐的恢复时间与自愈能力,确保检测结论覆盖极端工况,避免仅凭瞬时峰值数据得出片面判断。
检测仪器
检测过程依托专业仪器与软件工具链的组合使用,主要设备包括:
- 专业网络性能测试仪:具备400G及以上端口能力,可线速发送与捕获流量,用于带宽、时延、丢包的仪器级测量;
- 高精度时间同步设备:提供PTP/GPS级时钟源,保障单向时延测量的微秒级精度;
- 光与链路层测量仪器:光功率计、光误码仪、数字诊断分析仪表,用于核查光模块收发光功率与误码性能;
- 软件工具链:iperf3、DPDK流量发生器、集合通信基准套件等,用于构建贴近真实业务的流量模型;
- 环境与辅助监测仪器:温湿度记录仪、功耗分析仪,用于排除环境因素对测试结果的干扰。
在开展AI服务器网络吞吐测试时,仪器端口的速率等级必须不低于被测链路的标称带宽,时间同步精度需满足微秒级要求;测试前所有仪器均需完成计量核查,测试仪与被测设备之间的线缆、光模块应使用经过验证的合格配件,避免测试链路自身引入额外瓶颈,确保数据真实反映服务器网络的实际能力。
常见问题
问题一:AI服务器网络吞吐测试的检测周期是多久?
一般为7-15个工作日。实际周期受多重因素影响:检测项目的数量与深度(仅做带宽测试还是包含集合通信与长时稳定性)、送检样品数量、组网拓扑的复杂程度以及是否需要搭建多节点集群环境等。基础带宽类项目周期较短,涉及72小时长时稳定性的综合测试则会相应延长数日;若有明确的交付节点,可与检测服务方沟通加急安排。
问题二:AI服务器网络吞吐测试的检测价格是多少?
检测价格受检测项目的范围、所选测试方法的复杂程度、送检样品的数量与规格、检测周期的长短以及是否需要定制化测试方案等因素综合影响,难以一概而论。基础的单网口带宽测试与包含多节点集群搭建、集合通信验证及长时稳定性考核的综合测试,在资源投入上存在明显差异。建议在送检前明确测试需求与样品清单,联系检测服务方获取针对性报价,以便获得与实际需求匹配的方案。
问题三:送检前需要做哪些准备工作?
建议提前完成以下准备:确认服务器硬件配置(GPU卡数量、网卡型号与槽位、PCIe拓扑)与实际部署保持一致;记录固件、驱动、操作系统的版本信息;提供期望达到的测试指标与验收阈值;如涉及多节点测试,还需说明组网拓扑与互联带宽。充分的准备可减少测试过程中的环境调整时间,提高检测效率。
问题四:测试过程中是否需要提供真实业务数据?
不需要。网络吞吐测试使用的是按协议构造的合成流量或标准基准通信任务,不会读取、复制或存储送检方的业务数据与模型文件,数据安全风险可控。测试关注的是网络链路的传输性能本身,与业务内容无关。
问题五:哪些因素可能导致实测吞吐量低于理论带宽?
常见原因包括:网卡与交换机端口协商速率不匹配、光模块或线缆规格偏低、PCIe链路宽度或代际不足、无损网络参数(如PFC、ECN)配置不当、交换机缓冲区溢出、固件或驱动版本过旧、测试工具的流数与报文长度设置不合理等。检测过程中会对上述环节逐项排查,并在结果中标注瓶颈所在,便于后续优化整改。
问题六:以太网与InfiniBand组网的测试有什么差异?
两类网络在链路层协议、拥塞控制机制与集合通信实现上存在差异。以太网场景需额外关注RoCEv2无损网络配置对吞吐的影响;InfiniBand场景则侧重自适应路由效率与链路宽度协商状态。整体测试流程一致,但指标权重与流量模型会依据组网技术做相应调整,以贴合各自的实际运行特性。





















