Tilda Publishing
Привет, любопытный друг. Да, это Tilda. Потому что мы хотим быстро внедрять и управлять решением, а не ждать
в очереди разработчика. Контроль, предсказуемость и отказоустойчивость — наша главная идея.
Подберём типовое или произведем на заказ серверное оборудование, предоставим расчёт и поможем интегрировать в систему.

Заполните форму запроса слева или отправьте описание вашей задачи на почту get@work-system.ru

При отправке письма на почту укажите номер телефона вашего специалиста для обсуждения аналогов оборудования в случае необходимости

NVIDIA H100 OEM 80GB HBM3

Видеоускоритель NVIDIA H100 80GB HBM3 — высокопроизводительное решение для центров обработки данных, предназначенное для задач глубокого обучения, обработки естественного языка и высокопроизводительных вычислений. Ускоритель оптимизирован для обучения и инференса больших языковых моделей (LLM) с триллионами параметров, ускоряя их обработку до 30 раз по сравнению с предыдущим поколением. Применяется в научных исследованиях, разработке генеративного ИИ, молекулярном моделировании и аналитике больших данных.

Преимущества модели

– Архитектура NVIDIA Hopper с тензорными ядрами четвёртого поколения обеспечивает до 4-кратного ускорения обучения моделей GPT-3 (175B) относительно предыдущей генерации. – Transformer Engine с поддержкой точности FP8 позволяет эффективно обрабатывать трансформерные модели при сохранении точности вычислений. – Технология Multi-Instance GPU (MIG) даёт возможность разделить один ускоритель на семь изолированных инстансов для параллельного выполнения задач. – Поддержка NVLink четвёртого поколения со скоростью до 900 ГБ/с для объединения до 256 GPU в кластер. – Встроенные функции конфиденциальных вычислений (Confidential Computing) для защиты данных.

Комплектация

OEM-версия поставляется как отдельный видеоускоритель без розничной упаковки и дополнительных аксессуаров. Комплектность определяется политикой конкретного дистрибьютора или системного интегратора.

Совместимость и монтаж

Ускоритель выпускается в форм-факторах SXM5 и PCIe. PCIe-версия представляет собой двухслотовую карту с воздушным охлаждением и интерфейсом PCIe Gen5. SXM5-версия устанавливается в серверы с базовыми платами NVIDIA HGX H100, системы NVIDIA DGX H100, а также в NVIDIA-Certified системы от партнёров (Dell, HPE, Lenovo, Supermicro и др.) с конфигурациями от 4 до 8 GPU.

Конфигурация памяти
Гибридный тип (SXM версия использует HBM3, PCIe версия использует HBM2e)

Пропускная способность памяти
3.35 ТБ/s (SXM с HBM3)

Ширина шины памяти
5120 бит (HBM3) или 6016 бит (H100 NVL)

Кэш L2
40 МБ

Совокупный кэш
304 МБ L2 + локальные регистры

Максимальная частота GPU
2.505 ГГц (максимум буста)

Базовая частота GPU
1095 МГц (минимум)

Ширина шины памяти (HBM3)
6016 бит

Частота памяти HBM3
2619 МГц

Максимальная мощность TDP
700 Вт (конфигурируется, может быть 350-700W)

Поддержка Transformer Engine
Да (второго поколения, FP8/FP16 смешанная точность)

Поддержка спектра структурированной разреженности
2:4 спектр (удваивает эффективную пропускную способность)

Динамическое переключение частоты
Поддерживается

PCIe интерфейс (SXM версия)
PCIe Gen 5.0 x16 (через модуль в HGX системе)

NVLink (SXM версия)
900 ГБ/s (четвёртое поколение, в HGX конфигурациях)

NVLink Support
Да (600-900 ГБ/s в зависимости от конфигурации)

Поддержка Multi-Instance GPU (MIG)
Да, до 7 независимых экземпляров (10 ГБ на экземпляр)

Шифрование памяти
Поддерживается

Поддержка ECC память
Поддерживается (HBM3 ECC)

Конфиденциальное вычисление NVIDIA
Поддерживается (встроенное в Hopper)

Поддержка DPX инструкций
Да (ускорение динамического программирования, 40x vs CPU, 7x vs A100)

Форм-фактор (SXM версия)
SXM (Socket Multiplier) - модульная интеграция в HGX/DGX системы

Охлаждение (SXM)
Жидкостное охлаждение (в системе DGX/HGX)

Диапазон рабочей температуры
5°C до 35°C (в центре обработки данных)

Максимальная рабочая температура GPU
83°C

CUDA Compute Capability
9.0

Поддержка виртуализации
KVM, Docker, Kubernetes, NVIDIA vGPU

SR-IOV поддержка
Да (для виртуализации, 32 виртуальных функции)

Unified memory поддержка
Да

GPUDirect Storage
Поддерживается (NVIDIA GPUDirect RDMA)

Поддержка вычислительных фреймворков
PyTorch, TensorFlow, JAX, MXNet, CNTK

Платформы вывода
TensorRT 8+, ONNX Runtime

API графики
DirectX 12, OpenGL 4.6, Vulkan 1.3

API вычислений
CUDA 11.8+, DirectCompute, OpenCL 3.0

CUDA версия
CUDA 11.8+ (рекомендуется CUDA 12+)

Media Engines (за GPU)
7 NVDEC + 7 NVENC + 7 JPEG (максимум 7 одновременных потоков)
Похожие серверы