NVIDIA HGX H200 8-GPU

GPU-сервер NVIDIA HGX H200 8-GPU — высокопроизводительная вычислительная платформа для задач генеративного искусственного интеллекта, обучения глубоких нейронных сетей, высокопроизводительных вычислений (HPC) и анализа данных. Сервер оптимизирован для работы с большими языковыми моделями (LLM), включая Llama2 и GPT-3, обеспечивая ускорение инференса до 1,9 раза по сравнению с предыдущим поколением. Платформа востребована в научных исследованиях, фармацевтике, финансовом моделировании и климатическом прогнозировании.

Преимущества модели

– Восемь GPU NVIDIA H200 SXM на базе архитектуры Hopper с суммарным объёмом HBM3e-памяти 1,1 ТБ и пропускной способностью 4,8 ТБ/с на каждый ускоритель, что позволяет эффективно обрабатывать модели с миллиардами параметров.

– Высокоскоростная интерконнект-система NVIDIA NVLink и NVSwitch обеспечивает GPU-to-GPU пропускную способность 900 ГБ/с, минимизируя задержки при распределённых вычислениях.

– Совокупная производительность FP8 превышает 32 петафлопс, что делает платформу одной из наиболее мощных для задач глубокого обучения.

– Энергоэффективность на уровне предыдущего поколения при существенном росте производительности сокращает совокупную стоимость владения (TCO).

Комплектация

– Базовая плата NVIDIA HGX с восемью GPU H200 SXM; два серверных процессора (Intel Xeon 5-го поколения или AMD EPYC серии 9000 в зависимости от OEM-исполнения); до 32 слотов DDR5-памяти; накопители NVMe U.2/M.2; сетевые адаптеры NVIDIA ConnectX-7 (до 8 портов 400G InfiniBand/Ethernet). Конкретная конфигурация зависит от производителя сервера.

Совместимость и монтаж

Серверы на базе HGX H200 8-GPU выпускаются ведущими OEM-партнёрами (Supermicro, Dell, Lenovo, ASRock Rack, Aivres и др.) в форм-факторах 6U–8U для стандартных 19-дюймовых стоек. Платформа совместима с процессорами Intel Xeon Scalable 4-го/5-го поколения и AMD EPYC 9004/9005. Поддерживается как воздушное, так и жидкостное охлаждение; GPU-модуль устанавливается на выдвижной лоток для упрощённого обслуживания.

Кэш L2
40 МБ

Максимальная частота GPU
2.505 ГГц

Ширина шины памяти
5120 бит (HBM3e)

Максимальная мощность TDP
700 Вт (за GPU, конфигурируется)

NVLink (за GPU)
900 ГБ/с (четвёртое поколение)

Общий NVLink (все GPU)
7.2 ТБ/с (900 ГБ/с × 8 GPU)

NVLink конфигурация
Полносвязная топология между 8 GPU

Поддержка Transformer Engine
Да (третье поколение, FP8/FP16 смешанная точность)

Поддержка спектра структурированной разреженности
2:4 спектр (удваивает эффективную пропускную способность)

Динамическое переключение частоты
Поддерживается (динамическая оптимизация энергии)

PCIe интерфейс
PCIe Gen 5.0 x16 (128 ГБ/с)

NVSwitch интеграция
4x NVIDIA NVSwitch (четвёртое поколение) для полносвязной топологии (900 ГБ/с GPU-to-GPU)

Media Engine
7x NVDEC (видеодекодер), 7x NVENC (видеокодер), 7x NVJPEG (JPEG кодер-декодер)

CUDA Compute Capability
9.0

Multi-Instance GPU (MIG)
До 7 независимых GPU экземпляров на GPU (18 ГБ на экземпляр, H200 SXM) или 16.5 ГБ (H200 NVL)

Тип процессора (стандартно, для DGX H200)
Двойной Intel Xeon Platinum 8480C (Sapphire Rapids)

Ядра CPU (всего)
112 ядер (56 на процессор)

Потоков на ядро
2 потока на ядро

Базовая частота CPU
2.00 ГГц

Максимальная частота CPU
3.80 ГГц

Памяти системы (стандартно, DGX H200)
2 ТБ DDR5-4800 RDIMM

Слотов DIMM
32 слота DDR5 (16 заполнено стандартно в DGX)

Пропускная способность памяти CPU
408 ГБ/с

PCIe линии (CPU)
80 PCIe Gen 5 линий

Сетевые адаптеры (DGX H200)
4x OSFP порта + 2x двухпортовых QSFP112 ConnectX-7 VPI @ 400 Гб/с (InfiniBand/Ethernet)

Общая сетевая пропускная способность
3.2 ТБ/с (8 портов × 400 Гб/с)

Управление сетью
10 Гб/с встроенный NIC, 100 Гб/с Ethernet NIC

Поддержка RDMA
Встроенная поддержка GPUDirect RDMA

Поддержка MPI
Через NVIDIA NCCL 2+ и MPI поверх InfiniBand/Ethernet

Внутреннее хранилище OS
2x 1.92 ТБ NVMe M.2 SSD (для DGX H200)

Внутреннее хранилище данных
8x 3.84 ТБ NVMe U.2 (для DGX H200)

Максимальное внутреннее хранилище (HGX вариант)
30+ ТБ (конфигурируется)

Интерфейс хранилища
PCIe Gen 4/5 NVMe U.2/M.2

Поддерживаемые конфигурации RAID
RAID 0, 1, 5, 6, 10 (конфигурируется)

Максимальное потребление системы (DGX H200)
10.2 кВт (стандартная конфигурация) или 14.3 кВт (CTS - Custom Thermal Solution)

TDP за GPU
700 Вт × 8 = 5.6 кВт (только GPU)

Блоки питания (DGX H200)
Встроенные избыточные PSU (конфигурируется)

Входное напряжение
200-240В AC или 277/480В AC (конфигурируется)

Форм-фактор системы (DGX H200)
6U rackmount

Форм-фактор системы (HGX вариант Supermicro)
8U rackmount

Физический размер (DGX H200)
19.0" × 35.3" × 14.0" (482.2 × 897.1 × 356 мм)

Вес системы (DGX H200)
287.6 фунтов (130.45 кг)

Упакованный вес (DGX H200)
376 фунтов (170.45 кг)

Охлаждение
Воздушное охлаждение (стандартно) или жидкостное (опционально, CTS)

Диапазон рабочей температуры
5°C до 30°C (рекомендуется для оптимальной производительности)

Максимальная рабочая температура GPU
83°C

Операционные системы
NVIDIA DGX OS, Ubuntu Linux, Red Hat Enterprise Linux, Rocky Linux

Базовое программное обеспечение
NVIDIA AI Enterprise (предустановлено)

Поддерживаемые фреймворки
PyTorch, TensorFlow, JAX, MXNet, MLflow

Платформы вывода
TensorRT 8+, ONNX Runtime, vLLM, Text Generation WebUI

Специализированные библиотеки
RAPIDS, CUDA-X, cuDNN, cuBLAS, NCCL 2+, Magnum IO

Утилиты для управления
NVIDIA-SMI, DCGM (Data Center GPU Manager), NVIDIA DGX Management Console

Software Stack
NVIDIA Base Command (оркестрация и кластер-менеджмент), NVIDIA AI Enterprise

Поддержка Base Command
Да (встроена в DGX OS)

CUDA версия
CUDA 11+ (CUDA 12 рекомендуется)

Поддержка виртуализации
KVM, Docker, Kubernetes, NVIDIA vGPU

Поддержка контейнеризации
NVIDIA Container Toolkit

SR-IOV поддержка
Да (для виртуализации)

Unified memory поддержка
Да

GPUDirect Storage
Поддерживается

Совокупная пропускная способность памяти GPU
38.4 ТБ/с

Совокупный NVLink
14.4 ТБ/с (в обе стороны)

Производительность обучения LLM vs H100 HGX
1.9x выше (GPT-3 175B)

Производительность вывода LLM vs H100 HGX
2x выше (Llama2 70B)

Производительность HPC vs H100 HGX
110x выше (зависит от приложения)