エクサスケール HPC や兆単位のパラメーターを持つ AI モデルをビジネスのスピードに合わせて動かすには、大規模に高速化するために、サーバークラスター内のあらゆる GPU 間で高速でシームレスな通信を行う必要があります。
第 4 世代 NVLink は NVIDIA の DGX™ サーバーと HGX™ サーバーでマルチ GPU IO (入出力) を、GPU あたり双方向で毎秒 900 ギガバイト (GB/s) 、帯域幅は PCIe Gen5 の 7 倍以上の帯域幅で拡張することができます。
第 3 世代の NVIDIA NVSwitch™ は、これまで Infiniband でのみ利用可能だった Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ のネットワーク内コンピューティングをサポートし、前世代の A100 Tensor コア GPU と比較すると、H200 または H100 の GPU サーバー 8 台で、All-Reduce のスループットが 2 倍に向上しています。
DGX GH200 システムと NVLink Switch System の組み合わせでは、最大 256 基の H200 を接続したクラスターをサポートし、毎秒 57.6 テラバイトの All-to-All 帯域幅を提供します。