NVIDIA HGX B200 8-GPU

GPU-сервер на базе платформы NVIDIA HGX B200 предназначен для высокопроизводительных вычислений в сфере искусственного интеллекта, машинного обучения, обработки больших языковых моделей и аналитики данных. Платформа оптимизирована для обучения и инференса моделей с триллионами параметров. HGX B200 обеспечивает до 15-кратное ускорение инференса в реальном времени по сравнению с H100, снижая энергопотребление и стоимость эксплуатации до 12 раз. Система подходит для дата-центров, научных вычислений и корпоративных AI-проектов.

Преимущества модели

– Восемь GPU NVIDIA Blackwell B200 на архитектуре SXM6 с суммарным объёмом памяти HBM3e до 1,44 ТБ и пропускной способностью до 62 ТБ/с

– Высокоскоростной интерконнект NVLink пятого поколения с пропускной способностью GPU-to-GPU до 1,8 ТБ/с и NVSwitch пятого поколения с общей пропускной способностью 14,4 ТБ/с

– Поддержка точностей FP4, FP8, FP16, BF16, TF32 для ускорения обучения и инференса через Tensor Engine второго поколения

– Технология Multi-Instance GPU (MIG) для разделения ресурсов одного GPU на независимые экземпляры

– Совместимость с сетевыми адаптерами NVIDIA ConnectX-7 и DPU BlueField-3 для построения AI-кластеров

Комплектация

– Базовая плата HGX B200 с 8 модулями NVIDIA Blackwell B200 SXM6

– Интегрированные NVSwitch-чипы для GPU-to-GPU-связи

– Интерфейс PCIe Gen5 для подключения к хост-системе

– Поддержка воздушного или жидкостного охлаждения (в зависимости от конфигурации серверного шасси)

Совместимость и монтаж

Платформа HGX B200 интегрируется в серверы форм-фактора 6U–8U для установки в стандартные 19-дюймовые стойки. Совместимость подтверждена с двухсокетными системами на базе процессоров Intel Xeon 6-го поколения и AMD EPYC 9-й серии. Серверы-партнёров включают решения от Lenovo (SR680a V3 B200, SR780a V3), ASRock Rack, Supermicro и других OEM-производителей.

Пропускная способность памяти GPU
8 ТБ/с (за GPU)

Общая пропускная способность памяти (8 GPU)
64 ТБ/с (8 × 8 ТБ/с)

Кэш L2
~40 МБ

Максимальная частота GPU
2.55 ГГц

Ширина шины памяти
6144 бит (HBM3e)

Максимальная мощность TDP
1000 Вт (за GPU, конфигурируется)

NVLink (за GPU)
900 ГБ/с (пятое поколение)

Общий NVLink (все GPU)
14.4 ТБ/с (7.2 ТБ/с в каждом направлении)

NVLink конфигурация
Полносвязная топология между 8 GPU

Поддержка Transformer Engine
Да (второе поколение, FP8/FP6 смешанная точность)

Поддержка спектра структурированной разреженности
2:4 спектр (удваивает эффективную пропускную способность)

Динамическое переключение частоты
Поддерживается

PCIe интерфейс
PCIe Gen 5.0 x16 (128 ГБ/с)

NVSwitch интеграция
Четвёртое поколение NVSwitch для полносвязной топологии (900 ГБ/с GPU-to-GPU)

Media Engine
7x NVDEC (видеодекодер), 7x NVENC (видеокодер), 7x NVJPEG (JPEG кодер-декодер)

Decompression Engine
Встроенный декомпрессионный движок для ускорения запросов к БД

CUDA Compute Capability
10.0

Multi-Instance GPU (MIG)
До 7 независимых GPU экземпляров на GPU (23 ГБ на экземпляр)

Шифрование памяти
Поддерживается

Поддержка ECC память
Поддерживается (HBM ECC)

Тип процессора (стандартно)
Двойной Intel Xeon 6900 series (P-cores) или AMD EPYC 9005 series или Intel 5/4th Gen Scalable

Ядра CPU (всего)
До 128 ядер (Intel Xeon 6) или 192 ядра (AMD EPYC)

Потоков на ядро
2 потока на ядро

Базовая частота CPU
2.0-2.5 ГГц

Максимальная частота CPU
3.5-4.2 ГГц

Памяти системы (стандартно)
1.5 ТБ DDR5 (24 DIMM) или 2.4 ТБ (32 DIMM, конфигурируется)

Слотов DIMM
24-32 слота DDR5 (в зависимости от модели)

Пропускная способность памяти CPU
408 ГБ/с (Intel) / 512 ГБ/с (AMD)

PCIe линии (CPU)
80-128 PCIe Gen 5 линий

Сетевые адаптеры (стандартно)
8x NVIDIA ConnectX-7 VPI @ 400 Гб/с (InfiniBand/Ethernet)

Опциональные сетевые адаптеры
8x NVIDIA BlueField-3 SuperNIC @ 400 Гб/с

Общая сетевая пропускная способность
3.2 ТБ/с (8 портов × 400 Гб/с)

Поддержка RDMA
Встроенная поддержка GPUDirect RDMA

Поддержка MPI
Через NVIDIA NCCL 3+ и MPI поверх InfiniBand/Ethernet

DPU (Data Processing Unit)
Опционально 2x NVIDIA BlueField-3 DPU на систему

Внутреннее хранилище OS
2x 1.92 ТБ NVMe M.2 SSD (RAID 1)

Внутреннее хранилище данных
8x 2.5" NVMe горячая замена (до 30+ ТБ конфигурируется)

Максимальное внутреннее хранилище
30+ ТБ

Интерфейс хранилища
PCIe Gen 4/5 NVMe U.2/E1.S

Поддерживаемые конфигурации RAID
RAID 0, 1, 5, 6, 10

Контроллер хранилища
Supermicro SAS3808 или эквивалент

Максимальное потребление системы (GPU + CPU + система)
~8 кВт (базовое потребление, зависит от конфигурации)

TDP за GPU
1000 Вт × 8 = 8 кВт (только GPU)

Полное потребление системы
~10 кВт (с CPU, памятью, охлаждением, сетью)

Блоки питания
4x 6.6 кВт (6600 Вт) Titanium-уровня избыточные PSU

Входное напряжение
200-240В AC или 277/480В AC (конфигурируется)

Форм-фактор системы
4U rackmount (жидкостное охлаждение)

Физический размер
Стандартный 4U сервер (457 × 356 × 178 мм приблизительно)

Высота сервера
4U

Диапазон рабочей температуры
5°C до 40°C (рекомендуется для оптимальной производительности)

Максимальная рабочая температура GPU
83°C

Операционные системы
Ubuntu Linux, Red Hat Enterprise Linux, Rocky Linux, CentOS

Базовое программное обеспечение
NVIDIA DGX OS (опционально) или пользовательская ОС

Поддерживаемые фреймворки
PyTorch, TensorFlow, JAX, MXNet, vLLM

Платформы вывода
TensorRT-LLM, ONNX Runtime, TensorRT 9+

Специализированные библиотеки
RAPIDS, CUDA-X, cuDNN 9+, cuBLAS, NCCL 3+, Magnum IO

Утилиты для управления
NVIDIA-SMI, DCGM (Data Center GPU Manager), Supermicro SuperCloud Composer

Software Stack
NVIDIA AI Enterprise, NVIDIA Base Command, NVIDIA Magnum IO

CUDA версия
CUDA 12+ (рекомендуется)

Поддержка виртуализации
KVM, Docker, Kubernetes, NVIDIA vGPU

Поддержка контейнеризации
NVIDIA Container Toolkit