NVIDIA HGX B300 8-GPU

NVIDIA HGX B300 8-GPU — серверная платформа на базе восьми GPU NVIDIA Blackwell Ultra (B300) в форм-факторе SXM. Предназначена для задач генеративного искусственного интеллекта, обучения крупных языковых моделей (LLM), высокопроизводительных вычислений (HPC), научного моделирования, анализа больших данных и глубокого обучения. Платформа обеспечивает производительность до 144 PFLOPS (FP4) и до 72 PFLOPS (FP8), что позволяет ускорять как обучение, так и инференс современных нейросетей с триллионами параметров.

Преимущества модели

– Восемь GPU NVIDIA Blackwell Ultra с суммарным объёмом памяти HBM3e до 2,3 ТБ (288 ГБ на каждый GPU), что обеспечивает работу с моделями сверхбольшого масштаба. – Интерконнект NVLink пятого поколения с пропускной способностью до 1,8 ТБ/с между GPU и общей полосой переключения NVLink Switch до 14,4 ТБ/с. – Встроенные сетевые контроллеры NVIDIA ConnectX-8 SuperNIC непосредственно на базовой плате HGX, обеспечивающие до 800 Гбит/с на порт и поддержку InfiniBand Quantum-X800 и Spectrum-X Ethernet. – Производительность Attention Engine вдвое выше по сравнению с предыдущим поколением HGX B200.

Комплектация

– Базовая плата (baseboard) NVIDIA HGX B300 NVL8 с восемью GPU Blackwell Ultra SXM и двумя чипами NVLink Switch. – Восемь интегрированных сетевых контроллеров ConnectX-8 SuperNIC. – Коннекторы OCP UBB для подключения к серверному шасси. – Система охлаждения: воздушная (с башенными радиаторами) или жидкостная (в зависимости от реализации OEM-партнёра).

Совместимость и монтаж

Платформа устанавливается в серверы форм-фактора 8U (воздушное охлаждение) или 4U/2OU (жидкостное охлаждение). Поддерживает двухсокетные конфигурации на процессорах Intel Xeon 6-го поколения (серии 6700/6500 с P-ядрами, сокет LGA-4710) или AMD EPYC 9005/9004. Предусмотрена интеграция с сетевой инфраструктурой NVIDIA и стойками стандарта ORV3. Доступны решения от Supermicro, ASUS, 2CRSi, Lenovo и других OEM-производителей.

Пропускная способность памяти GPU
8.0 ТБ/с (за GPU)

Кэш L2
192 МБ

Кэш Tensor Memory (TMEM)
256 КБ на SM (40.96 МБ всего)

FP64 (двойная точность)
10 ТФЛОПС (плотность)

FP32 (одинарная точность)
125 ТФЛОПС

FP16/BF16 (полутекущая точность)
2.5 петаФЛОПС (с разреженностью)

FP8 Tensor Core
9 ПФЛОПС (плотность)

FP6 Tensor Core
72 ПФЛОПС (с разреженностью)

NVFP4 (новый формат)
15 ПФЛОПС (плотность), 144 ПФЛОПС (с разреженностью)

INT8 Tensor Core
9 ПОТФС (плотность), 72 ПОТФС (с разреженностью)

TF32 Tensor Core
18 ПФЛОПС

Максимальная частота GPU
2.655 ГГц

Ширина шины памяти
8192 бит (16 × 512-битных каналов)

Максимальная мощность TDP
1400 Вт (за GPU, максимум 1100-1200 Вт стандартно)

NVLink (за GPU)
1.8 ТБ/с (пятое поколение, двусторонний)

NVLink конфигурация
16 NVLink соединений на GPU для полносвязной топологии

Поддержка Transformer Engine
Да (второе поколение, FP8/FP6/NVFP4 смешанная точность)

Поддержка спектра структурированной разреженности
2:4 спектр

Динамическое переключение частоты
Поддерживается (динамическое масштабирование напряжения и частоты)

PCIe интерфейс
PCIe Gen 6.0 x16 (256 ГБ/с)

NVSwitch интеграция
2x NVIDIA NVSwitch (пятое поколение) для полносвязной топологии (1.8 ТБ/с GPU-to-GPU)

Media Engine
7x NVDEC (видеодекодер), 7x NVENC (видеокодер), 7x JPEG (JPEG кодер-декодер)

Decompression Engine
Встроенный декомпрессионный движок (800 ГБ/с пропускной способности)

CUDA Compute Capability
10.0

Multi-Instance GPU (MIG)
До 8 независимых GPU экземпляров на GPU (36 ГБ на экземпляр)

Максимальное потребление системы (GPU + CPU + система)
~14 кВт (14000 Вт)

Блоки питания
2x 3200-3300 Вт с избыточностью (конфигурируется)

Форм-фактор
8-way HGX (базовая платформа) или 8U/4U сервер (в конфигурации)

Физический размер (типичный сервер)
449 × 356 × 950 мм (8U конфигурация)

Охлаждение
Жидкостное охлаждение (необходимо для полной производительности) / Опционально воздушное (4U)

Диапазон рабочей температуры
5°C до 40°C (рекомендуется для оптимальной производительности)

Максимальная рабочая температура
83°C

Тип процессора (стандартно)
Двойной Intel Xeon 6700/6500 series (E-cores) или AMD EPYC 9005 series

Ядра CPU (всего)
До 128 ядер (Intel) или 192 ядер (AMD)

Потоков на ядро
2 потока на ядро

Базовая частота CPU
2.0-2.5 ГГц (в зависимости от конфигурации)

Максимальная частота CPU
3.5-4.2 ГГц (в зависимости от модели)

Памяти системы (стандартно)
2 ТБ DDR5-6400 (конфигурируется до 4-8 ТБ)

Слотов DIMM
32 слота (возможно 2DPC конфигурация)

Пропускная способность памяти CPU
408 ГБ/с (Intel) / 512 ГБ/с (AMD)

PCIe линии (CPU)
80-128 PCIe Gen 5 линий (в зависимости от конфигурации)

Сетевые адаптеры (стандартно)
8x NVIDIA ConnectX-8 VPI @ 800 Гб/с (InfiniBand/Ethernet)

Опциональные сетевые адаптеры
Поддержка NVIDIA BlueField-3 DPU (400 Гб/с)

Общая сетевая пропускная способность
1.6 ТБ/с (8 × 200 Гб/с × 1 порт)

Поддержка RDMA
Встроенная поддержка GPUDirect RDMA

Поддержка MPI
Через NVIDIA NCCL 3+ и MPI поверх InfiniBand/Ethernet

Внутреннее хранилище OS
2x 1.92 ТБ NVMe M.2 SSD (RAID 1)

Внутреннее хранилище данных
8x 3.84 ТБ NVMe E1.S (RAID 0, 1, 5, 10 конфигурируется)

Максимальное внутреннее хранилище
30+ ТБ (расширяемо)

Интерфейс хранилища
PCIe Gen 4/5 NVMe

Поддерживаемые конфигурации RAID
RAID 0, 1, 5, 6, 10 (зависит от платформы)

Контроллер хранилища
S3808N или эквивалент

Операционные системы
Ubuntu Linux, Red Hat Enterprise Linux, Rocky Linux, CentOS

Базовое программное обеспечение
NVIDIA DGX OS (в DGX B300) или пользовательская ОС

Поддерживаемые фреймворки
PyTorch, TensorFlow, JAX, MXNet, vLLM

Платформы вывода
TensorRT-LLM, ONNX Runtime, TensorRT 9+

Специализированные библиотеки
RAPIDS, CUDA-X, cuDNN 9+, cuBLAS, nccl 3+, NVIDIA Magnum IO

Утилиты для управления
NVIDIA-SMI, DCGM (Data Center GPU Manager), NVIDIA Mission Control

Software Stack
NVIDIA AI Enterprise, NVIDIA Base Command

Общая пропускная способность GPU памяти (8 GPU)
64 ТБ/с (8.0 ТБ/с × 8 GPU)

Общая пропускная способность NVLink (8 GPU)
14.4 ТБ/с (1.8 ТБ/с × 8 GPU)

Внимание Performance vs B200
2x выше

Форм-фактор сервера
8U rackmount (стандартно) или 4U жидкостное охлаждение (вариант)