NVIDIA HGX H100 8-GPU

GPU-сервер NVIDIA HGX H100 8-GPU — высокопроизводительная вычислительная платформа на базе архитектуры NVIDIA Hopper, предназначенная для обучения и инференса масштабных моделей искусственного интеллекта, включая LLM и генеративные нейросети. Система применяется в задачах глубокого обучения, высокопроизводительных вычислений (HPC), научного моделирования, анализа геномов, климатических симуляций и рендеринга. Платформа оптимизирована для ЦОД и кластерных развёртываний с высокими требованиями к пропускной способности и плотности GPU.

Преимущества модели

– Восемь GPU H100 SXM5 объединены через четыре коммутатора NVSwitch третьего поколения с полносвязной (all-to-all) топологией, обеспечивая пропускную способность NVLink 900 ГБ/с между любыми двумя GPU.

– Tensor Core четвёртого поколения с поддержкой формата FP8 ускоряют обучение трансформеров до 4× по сравнению с предыдущим поколением благодаря встроенному Transformer Engine.

– Совокупная память GPU составляет 640 ГБ HBM3 с агрегированной пропускной способностью 24 ТБ/с, что позволяет размещать крупные модели внутри одного узла.

– Аппаратное ускорение коллективных операций (all-reduce, multicast, SHARP) в NVSwitch снижает нагрузку на GPU при распределённом обучении.

Комплектация

– Базовая плата NVIDIA HGX H100 с восемью GPU H100 80GB SXM5 и четырьмя NVSwitch.

– Совместимые серверные платформы (Supermicro SYS-821GE-TNHR, Dell PowerEdge XE9680, ASUS ESC N8A-E12 и др.) включают двухсокетную конфигурацию CPU, слоты для DDR5, NVMe-накопители и сетевые адаптеры ConnectX-7.

– Возможность воздушного или прямого жидкостного охлаждения в зависимости от исполнения шасси.

Совместимость и монтаж

Платформа устанавливается в стандартные 19-дюймовые стойки. Форм-фактор зависит от производителя шасси: 6U (Dell XE9680), 7U (ASUS ESC N8A-E12) или 8U (Supermicro). Поддерживаются процессоры Intel Xeon Scalable 4-го/5-го поколения или AMD EPYC серии 9004. Подключение GPU к CPU выполняется через PCIe Gen5 x16. Сетевое масштабирование реализуется по InfiniBand NDR или Ethernet 400G с поддержкой GPUDirect RDMA.

Кэш L2
40 МБ

Максимальная частота GPU
2.505 ГГц

Ширина шины памяти
5120 бит (HBM2e)

Максимальная мощность TDP
700 Вт (за GPU, конфигурируется)

NVLink (за GPU)
900 ГБ/с (четвёртое поколение)

Общий NVLink (все GPU)
7.2 ТБ/с совокупный (900 ГБ/с × 8 GPU)

NVLink конфигурация
Полносвязная топология между 8 GPU

NVSwitch
4x третьего поколения (для 8-GPU конфигурации)

Пропускная способность NVSwitch GPU-to-GPU
900 ГБ/с

Совокупная сетевая пропускная способность
7.2 ТБ/с (совокупный NVSwitch)

Поддержка Transformer Engine
Да (третье поколение, FP8/FP16 смешанная точность)

Поддержка спектра структурированной разреженности
2:4 спектр (удваивает эффективную пропускную способность)

Динамическое переключение частоты
Поддерживается

PCIe интерфейс
PCIe Gen 5.0 x16 (128 ГБ/с)

Media Engine
7x NVDEC (видеодекодер), 7x NVENC (видеокодер), 7x NVJPEG (JPEG кодер-декодер)

CUDA Compute Capability
9.0

Multi-Instance GPU (MIG)
До 7 независимых GPU экземпляров на GPU (10 ГБ на экземпляр), всего до 56 MIG экземпляров на системе

Поддержка DPX инструкций
Да (ускорение динамического программирования, до 7x ускорение)

Тип процессора (DGX H100)
Двойной Intel Xeon Platinum 8480C (Sapphire Rapids)

Ядра CPU (всего)
112 ядер (56 на процессор)

Потоков на ядро
2 потока на ядро

Базовая частота CPU
2.00 ГГц

Максимальная частота CPU
3.80 ГГц

Памяти системы (DGX H100)
2 ТБ DDR5 RDIMM

Слотов DIMM
32 слота DDR5

Пропускная способность памяти CPU
408 ГБ/с

PCIe линии (CPU)
80 PCIe Gen 5 линий

Общая сетевая пропускная способность
3.2 ТБ/с (8 портов × 400 Гб/с InfiniBand/Ethernet)

Управление сетью
10 Гб/с встроенный NIC, 100 Гб/с Ethernet NIC

Поддержка RDMA
Встроенная поддержка GPUDirect RDMA

Поддержка MPI
Через NVIDIA NCCL 2+ и MPI поверх InfiniBand/Ethernet

Интегрированный DPU
Нет (доступна опция BlueField-3 DPU как опция)

Внутреннее хранилище OS
2x 1.92 ТБ NVMe M.2 SSD (RAID 1)

Внутреннее хранилище данных
8x 3.84 ТБ NVMe U.2 (RAID 0)

Максимальное внутреннее хранилище
30.72 ТБ

Интерфейс хранилища
PCIe Gen 4 NVMe

Поддерживаемые конфигурации RAID
RAID 0, 1, 5, 6, 10

Максимальное потребление системы
10.2 кВт (стандартная конфигурация DGX H100)

TDP за GPU
700 Вт × 8 = 5.6 кВт (только GPU)

Блоки питания
Встроенные избыточные PSU

Входное напряжение
200-240В AC или 277/480В AC (конфигурируется)

Форм-фактор системы (DGX H100)
6U rackmount

Форм-фактор (HGX H100 вариант)
8U rackmount (конфигурируется)

Физический размер (DGX H100)
Высота: 14.0 дюйма (356 мм), Ширина: 19.0 дюйма (482.2 мм), Глубина: 35.3 дюйма (897.1 мм)

Вес системы
287.6 фунтов (130.45 кг)

Упакованный вес
376 фунтов (170.45 кг)

Охлаждение
Воздушное охлаждение (встроенное)

Диапазон рабочей температуры
5°C до 30°C (41°F до 86°F)

Максимальная рабочая температура GPU
83°C

Операционные системы
NVIDIA DGX OS, Ubuntu Linux, Red Hat Enterprise Linux, Rocky Linux

Базовое программное обеспечение
NVIDIA AI Enterprise, NVIDIA Base Command

Поддерживаемые фреймворки
PyTorch, TensorFlow, JAX, MXNet, MLflow

Платформы вывода
TensorRT 8+, ONNX Runtime, vLLM, Text Generation WebUI

Специализированные библиотеки
RAPIDS, CUDA-X, cuDNN, cuBLAS, NCCL 2+, Magnum IO

Утилиты для управления
NVIDIA-SMI, DCGM (Data Center GPU Manager), NVIDIA DGX Management Console

Software Stack
NVIDIA Base Command (оркестрация и кластер-менеджмент), NVIDIA AI Enterprise

CUDA версия
CUDA 11+ (CUDA 12 рекомендуется)

Поддержка виртуализации
KVM, Docker, Kubernetes, NVIDIA vGPU

Поддержка контейнеризации
NVIDIA Container Toolkit

SR-IOV поддержка
Да (для виртуализации)

Unified memory поддержка
Да

GPUDirect Storage
Поддерживается

Совокупная пропускная способность памяти GPU
26.8 ТБ/с (27 ТБ/с стандартно)

Совокупный NVSwitch
7.2 ТБ/с (максимум)

Производительность обучения LLM vs A100 HGX
4x выше (GPT-3 175B обучение)

Производительность вывода LLM vs A100 HGX
30x выше (Megatron 530B, 2 секунды latency)

Производительность HPC vs A100 HGX
3x выше для FP64 вычислений, 7x выше для DPX алгоритмов