NVIDIA DGX H100

DGX H100

新アーキテクチャ Hopper
「NVIDIA H100 Tensor Core GPU」8基搭載

3月21日-24日開催のNVIDIA GTC 2022 基調講演にて、NVIDIA社の新しいGPUアーキテクチャNVIDIA Hopper 採用「NVIDIA H100 GPU」が発表され、同時に、H100 GPU を搭載した「NVIDIA DGX H100」が発表されました。

NVIDIAのエリートパートナーであるGDEPソリューションズ株式会社は、NVIDIA H100 GPUならびに「NVIDIA DGX H100」を国内での製品発売時期に合わせて取り扱いを開始予定です。

NVIDIA社は、NVIDIA H100 Tensor Core GPUを搭載した世界初のAIプラットフォーム、第4世代の「NVIDIA DGX システム」を発表しました。
8基のNVIDIA H100 GPUが、NVIDIA NVlLink で1つに接続されており、新しいFP8 精度で前世代（DGX A100）の6倍以上となる「32 ペタフロップス」のAI性能を発揮します。

「NVIDIA DGX H100」は、次世代の NVIDIA DGX POD および NVIDIA DGX SuperPOD AIインフラストラクチャプラットフォームの構成要素となり、最新の DGX SuperPODアーキテクチャには、合計 256基の H100 GPUを搭載し、最大32のノードを接続する新しい NVIDIA NVLink Switch System が実装されています。
FP8 では1エクサフロップスの性能となり、前世代（DGX A100）の6倍以上の高速化を実現し、次世代の DGX SuperPOD は、数兆のパラメータを持つ膨大なLLMワークロードを処理できる能力によって、AIのパフォーマンスをさらに加速します。

✓ 合計640ギガバイトのGPUメモリ
　NVIDIA H100 GPU × 8基、GPUあたり NVIDIA® NVLink® 接続 × 18
　GPUからGPUへの双方向帯域幅の900ギガバイト/秒

✓ NVIDIA NVSWITCHES™ × 4
　 7.2テラバイト/秒の双方向GPU-GPU帯域幅、前世代の1.5倍！

✓ NVIDIA CONNECTX®-7 × 8、
　 NVIDIA BLUEFIELD® DPU 400GB/秒ネットワークインターフェイス × 2
　ピーク双方向ネットワーク帯域幅 1テラバイト/秒

✓ デュアル × 86CPU と2テラバイトのシステムメモリ
　最も集中的なAIジョブに対応する強力なCPU

✓ 30TB NVMe SSD
　最大のパフォーマンスを実現する高速ストレージ

NVIDIA DGX H100は、第4世代の「NVIDIA DGX システム」

NVIDIA DGX SuperPOD

DGX H100システムは、次世代 NVIDIA DGX POD および NVIDIA DGX SuperPOD のAIインフラストラクチャプラットフォームを構成します。

NVIDIA DGX SuperPODは、インフラストラクチャではなく洞察に焦点を当てたい組織向けのターンキーAIデータセンターソリューションを提供し、最高のコンピューティング、ソフトウェアツール、専門知識、および継続的なイノベーションをシームレスに提供します。

NVIDIA DGX H100スペック

暫定仕様は下表の通りです。

DGX H100 & 前世代 DGX A100でスペック比較！

Spec	NVIDIA DGX H100	前世代 NVIDIA DGX A100
GPU	NVIDIA H100 Tensor Core GPU 80 GB x 8基	NVIDIA A100 Tensor Core GPU 80 GB x 8基
GPUメモリ	Total 640 GB	Total 640 GB
性能	32 petaFLOPS FP8	AIで 5 petaFLOPS INT8で 10petaFLOPS
NVIDIA NVSwitches	4x	6
CPU	Dual x86	Dual AMD Rome 7742 2.25 GHz(base), 3.4 GHz(max boost) Total 128 コア
システムメモリ	2 TB	2 TB
ネットワーク	OSFP x 4 ports serving Single-Port NVIDIA ConnectX-7 x 8 400Gb/s InfiniBand/Ethernet Dual-Port NVIDIA BlueField-3 x 2 DPUs VPI 400 Gb/s InfiniBand/Ethernet x 1 200 Gb/s InfiniBand/Ethernet x 1	Single-Port Mellanox ConnectX-6 VPI 200Gb/s HDR InfiniBand × 8 Dual-Port Mellanox ConnectX-6 VPI 10/25/50/100/200 Gb/s Ethernet × 2
ストレージ	OS: 1.92 TB M.2 NVMe E drives × 2 内部ストレージ: 30 TB (3.84 TB × 8) U.2 NVMe drives	OS: 1.92 TB M.2 NVMe drives × 2 内部ストレージ: 30 TB (3.84 TB × 8) U.2 NVMe drives
ソフトウェア	DGX H100システムには、Ubuntu Linuxに基づいてDGXソフトウェアスタック（DGX用に最適化されたすべての必要なパッケージとドライバー）を含むDGX OSがプリインストールされています。オプションで、お客様はUbuntu LinuxまたはRedHat EnterpriseLinuxと必要なDGXソフトウェアスタックを個別にインストールできます。	Ubuntu Linux OS Red Hat Enterprise Linux 7,8 / CentOS 7,8
最大消費電力	10.2 kW max	6.5 kW max
運用温度範囲	5 ℃ - 30 ℃	5 ℃ - 30 ℃