Tilda Publishing
Привет, любопытный друг. Да, это Tilda. Потому что мы хотим быстро внедрять и управлять решением, а не ждать
в очереди разработчика. Контроль, предсказуемость и отказоустойчивость — наша главная идея.
Подберём типовое или произведем на заказ серверное оборудование, предоставим расчёт и поможем интегрировать в систему.

Заполните форму запроса слева или отправьте описание вашей задачи на почту get@work-system.ru

При отправке письма на почту укажите номер телефона вашего специалиста для обсуждения аналогов оборудования в случае необходимости

NVIDIA H200 NVL 141GB HBM3e

NVIDIA H200 NVL — графический ускоритель на базе архитектуры NVIDIA Hopper, предназначенный для задач генеративного ИИ, глубокого обучения и высокопроизводительных вычислений (HPC). Ускоритель оптимизирован для инференса больших языковых моделей (LLM), включая Llama2 и GPT-3, а также для обучения и тонкой настройки нейросетей. Модель обеспечивает ускорение научных вычислений в области симуляций, сейсмического анализа, медицинских исследований и финансовой аналитики. Благодаря увеличенному объёму памяти HBM3e ускоритель позволяет работать с моделями, которые ранее требовали нескольких GPU.

Преимущества модели

– Первый GPU с памятью HBM3e объёмом 141 ГБ и пропускной способностью 4,8 ТБ/с — на 50% больше ёмкости и на 40% выше скорость по сравнению с H100 NVL.

– Поддержка 2-way и 4-way NVLink-мостов для объединения до четырёх GPU с общей пропускной способностью до 1,8 ТБ/с и объединённым пулом памяти до 564 ГБ.

– Ускорение инференса LLM до 1,7× и HPC-приложений до 1,3× относительно предыдущего поколения H100 NVL.

– Поддержка Multi-Instance GPU (MIG) — разделение на 7 изолированных инстансов.

– В комплект входит 5-летняя лицензия NVIDIA AI Enterprise, включающая NVIDIA NIM и Blueprints.

Комплектация

– Графический ускоритель NVIDIA H200 NVL.

– Вспомогательный кабель питания.

– NVLink-мосты (2-way или 4-way) приобретаются отдельно.

Совместимость и монтаж

Ускоритель выполнен в форм-факторе полноразмерной двухслотовой карты PCIe Gen 5.0 x16 (FHFL) с пассивным охлаждением и TDP 600 Вт. Предназначен для установки в стоечные серверы с воздушным охлаждением — поддерживаются платформы Lenovo ThinkSystem SR675 V3, SR650a V4, Dell PowerEdge XE7745 и другие NVIDIA-Certified Systems. Ускоритель совместим с ОС Windows Server 2022/2025, RHEL 8.10/9.x, SUSE SLES 15 SP6, Ubuntu 24.04 и VMware vSphere 8/9.

Ширина шины памяти
6016 бит (HBM3e)

Частота памяти
3201 МГц

Пропускная способность памяти
4.8 ТБ/s (максимум 4813 ГБ/s)

Кэш L2
40 МБ

Совокупный кэш
304 МБ L2 + локальные регистры

Максимальная частота GPU
1785 МГц (максимум буста)

Базовая частота GPU
1230 МГц (минимум)

Поддержка Transformer Engine
Да (второго поколения, FP8/FP16 смешанная точность)

Поддержка спектра структурированной разреженности
2:4 спектр (удваивает эффективную пропускную способность)

Динамическое переключение частоты
Поддерживается

PCIe интерфейс
PCIe Gen 5.0 x16 (128 ГБ/s, поддерживает также Gen5 x8 и Gen4 x16)

NVLink (2-way)
900 ГБ/s (четвёртое поколение, через NVLink Bridge)

NVLink (4-way)
900 ГБ/s (четвёртое поколение, через 4-way NVLink Bridge)

Поддержка Multi-Instance GPU (MIG)
Да, до 7 независимых экземпляров (16.5 ГБ на экземпляр)

Форм-фактор
PCIe Dual Slot (10.5 дюйма)

Охлаждение
Пассивное (требует циркуляции воздуха в корпусе сервера)

Диапазон рабочей температуры
5°C до 40°C (рекомендуется)

Максимальная рабочая температура GPU
83°C

Максимальная мощность TDP
600 Вт (конфигурируется, может быть 450-600W)

CUDA Compute Capability
9.0

SR-IOV поддержка
Да (32 виртуальные функции)

Unified memory поддержка
Да

GPUDirect Storage
Поддерживается (NVIDIA GPUDirect RDMA)

Поддержка вычислительных фреймворков
PyTorch, TensorFlow, JAX, MXNet, CNTK

Платформы вывода
TensorRT 8+, ONNX Runtime

API графики
DirectX 12, OpenGL 4.6, Vulkan 1.3

API вычислений
CUDA 12+, DirectCompute, OpenCL 3.0

CUDA версия
CUDA 12+ (рекомендуется)

Media Engines (за GPU)
7 NVDEC + 7 NVENC + 7 JPEG (максимум 7 одновременных потоков)

Поддержка RT ядер
Нет встроенных RT ядер (графическая производительность ограничена)

Программное обеспечение
NVIDIA AI Enterprise (5-года подписка, включена)

Подсистема ID
0x1996

VBIOS EEPROM
8 МБ

UEFI поддержка
Да

BAR0 размер
16 МБ

BAR2 размер
256 ГБ
Похожие серверы