InfiniBand，简而言之，是一种计算机网络通信标准，广泛应用于高性能计算环境中，提供高吞吐带宽和极低的网络传输时延。它不仅能够实现计算机内部的数据互联，还能用于外部设备之间的数据传输。InfiniBand网络的灵活性使其能够通过交换机实现横向扩展，适应不同规模的组网需求。
纳多德，作为NVIDIA网络产品的Elite Partner，拥有丰富的InfiniBand网络建设与应用加速经验。纳多德利用QM8700、QM8790交换机、HDR网卡以及AOC/DAC光模块，构建起InfiniBand高性能网络，大幅提升数据吞吐量和网络计算能力，满足日益增长的计算需求。
InfiniBand技术与传统的以太网、Fibre Channel等相比，具有明显优势。它被InfiniBand Trade Association（IBTA）推荐，并已在大多数TOP500超级计算机中得到应用。近年来，随着AI和大数据应用的兴起，InfiniBand网络也被广泛应用于高性能集群部署。
尽管NVIDIA已推出400G NDR解决方案，但100G解决方案仍被不少客户采用。与Omni-Path相比，InfiniBand方案在设备成本、运维成本以及功耗上都具有显著优势，更加环保。
在InfiniBand的产品方案中，HDR因其灵活的速率选择而受到广泛应用。HDR交换机分为框式和盒式两种，其中框式交换机可提供高达800个HDR 200Gb/s端口，盒式交换机则集成40个200G QSFP56端口，可根据需求拆分为80个100G HDR端口。
HDR网卡则提供了更丰富的选择，包括单口和双口、不同PCIe类型的网卡，以及支持100G和200G传输速率的选项。纳多德根据客户需求，提供完整的产品组合方案，实现超强性能和可扩展性。
InfiniBand网络架构虽然简单，但方案选择却多样化。纳多德作为NVIDIA Elite级别合作伙伴，能够根据不同客户的需求，提供最优的InfiniBand解决方案。纳多德的资深技术工程师拥有丰富的方案设计经验，能够根据用户的应用场景，提供最适合的交换机、网卡和连接件组合，以更低的成本实现更高的性能，为高性能计算和人工智能等领域提供高效的支持。
水之积也不厚，则其负大舟也无力，如果将高性能计算、机器学习、大数据、云、web3.0 、存储平台等应用看作“舟”，那InfiniBand网络无疑是承载这些大舟的水。随着数据的爆发式增长，这些应用对网络带宽、延时、效率的要求不断提升，面对这些挑战，NVIDIA也相继推出InfiniBand 100G EDR、200G HDR以及400G NDR的解决方案。
纳多德是NVIDIA网络产品的Elite Partner，在InfiniBand高性能网络建设与应用加速方面拥有深刻的业务理解和丰富的项目实施经验。纳多德基于QM8700、QM8790交换机、HDR网卡与AOC/DAC/光模块，构建InfiniBand高性能网络，提供更出色的数据吞吐和网络计算能力，满足越来越高的计算需求。
什么是InfiniBand？
InfiniBand (IB) 是一个计算机网络通信标准，在高性能计算（HPC）领域有广泛的应用，可以提供高吞吐带宽和超低的网络传输时延。IB可以用于计算机内部或外部的数据互联。通过直连或者交换机互联的方式，提供服务器与存储，存储设备之间的高性能网络。IB网络可以通过交换机网络实现横向扩展，适应各种规模的组网需求。
图一 InfiniBand速率演进
作为计算机集群互联技术，IB技术相比以太网/Fibre Channel 和已经淘汰的Omni-Path技术有明显的优势，是InfiniBand Trade Association（IBTA）主要推荐的网络通信技术。从2014年开始，大多数的TOP500 超级计算机都采用了InfiniBand网络技术。近些年，AI/大数据相关的应用，也已经大规模的采用IB网络实现高性能的集群部署，其中Top100的超算中心有62%是使用的IB技术（2022年6月数据）。
图二 Top 100超算中心网络选择
InfiniBand较Omni-Path的优势
尽管NVIDIA已经推出了IB 400G NDR的解决方案，但现阶段仍有部分客户在使用100G解决方案。对于100G的高性能网络，常用的方案有Omni-Path和IB两种，虽然速率相同，性能相似，但网络结构差异巨大。以400节点集群为例，使用IB方案只需要15台NVIDIA Quantum 8000系列交换机+200条200G分支线缆与200条200G直连线缆；而使用Omni-Path则需要24台交换机+876条100G直连线缆（384节点）。IB方案在前期的设备成本以及后期运维成本上都极具优势，且整体功耗远低于Omni-Path，更加环保。
图三 InfiniBand方案与Omni-Path方案对比
InfiniBand HDR产品方案介绍
从客户端的需求来看，EDR正逐步退出市场，NDR速率太高，目前只有头部客户尝试使用，HDR凭借HDR 100G与HDR 200G的灵活性得到了广泛应用。在这里，纳多德针对HDR产品方案做详细介绍。
HDR交换机
HDR交换机有两类，一类是HDR CS8500框式交换机，一台29U的交换机提供最多800 个HDR 200Gb/s 端口，每个200G端口支持拆分为2X100G，即可支持1600个HDR100 100Gb/s端口。
另一类是QM8000系列盒式交换机，1U的面板上集成了40个200G QSFP56端口，最多可拆分为80个HDR 100G端口用来下连100G HDR网卡，同时每个端口也支持EDR，与EDR的网卡直连，需要注意的是200G HDR端口只能降速至100G与EDR网卡互联，无法拆分为2X100G连接两张EDR网卡。
图四 QM8700前面板
200G HDR盒式交换机有两种选择：QM8700和QM8790，两个型号交换机唯一区别在管理方式上，QM8700有control口支持带外管理，QM8790则需要NVIDIA Unified Fabric Manager (UFM®) platform进行管理。
图五 QM8790前面板
对于QM8700和QM8790，每个型号的交换机都有两种风向选择，其中8790-HS2F为 P2C airflow(前后风道) 风扇模块上蓝色标记，如果不认识标记，也可以用手浮在交换机的进风和出风口来辨别；8790-HS2R为 C2P airflow(后前风道)风扇模块上红色标记。这里P2C和C2P中 P表示Power电源，C表示Cable（线路接口），P2C（Power to Cable），C2P（Cable to Power ）这里参照系是Power电源侧为前，Cable线路接口侧为后。
表一 HDR交换机型号参数
QM8700和QM8790在实际使用中一般有两种方式，一是与200G HDR网卡互连，直接使用200G to 200G AOC/DAC即可；还有一种常见的使用方式是与100G HDR网卡互连，需要使用200G to 2X100G线缆，在使用的时候是将交换机的一个物理200G（4X50G） QSFP56端口拆分为2个虚拟的100G（2X50G）端口，在拆分之后该端口的符号从x/y更改为x/ Y /z，其中“x/ Y”表示拆分之前端口的先前符号，“z”表示产生的单车道端口的编号(1,2)，然后将每个子物理端口作为单个端口。
图六 HDR二层胖树典型结构
HDR网卡
HDR的网卡相对交换机来说种类丰富很多。首先，在速率上有两种选择HDR100与HDR，其中HDR100网卡支持100G的传输速率，2个HDR100端口可通过200G to 2X100G线缆与HDR交换机互联。与100G EDR网卡不同，HDR100网卡的100G端口既支持4X25G NRZ传输，也支持2X50G PAM4传输。HDR网卡支持200G的传输速率，可直接使用200G直连线缆与交换机互联。除了有两种接口速率之外，每种速率的网卡可根据业务需求选择单口和双口以及PCIe的类型，纳多德提供的常用IB HDR网卡型号如下：
表二 HDR网卡型号参数
InfiniBand网络架构简单，但方案选择却有多样，100G速率既有100G EDR方案，也有100G HDR方案；200速率也有HDR和200G NDR两种选择，不同的方案下使用到的网卡、连接件、交换机都有较大区别。
NADDOD作为NVIDIA Elite级别合作伙伴，可以根据不同客户的需求提供完整的InfiniBand解决方案。纳多德资深技术工程师拥有丰富的InfiniBand高性能网络方案设计与项目实施服务经验，可根据用户不同的应用场景，提供最优的QM8700/QM8790交换机+HDR网卡+AOC/DAC/光模块产品组合方案，实现超强性能和可扩展性，以更低的成本和出色的性能，为高性能计算 (HPC)、人工智能等应用提高投资回报率。
审核编辑：刘清
