Tilda Publishing
Привет, любопытный друг. Да, это Tilda. Потому что мы хотим быстро внедрять и управлять решением, а не ждать
в очереди разработчика. Контроль, предсказуемость и отказоустойчивость — наша главная идея.
в очереди разработчика. Контроль, предсказуемость и отказоустойчивость — наша главная идея.
Заказать обратный звонок
Оставьте номер телефона — мы свяжемся с вами в ближайшее время, ответим на вопросы и подберём оптимальное решение.
Для запросов и ТЗ
с 9:30 до 18:00
Подберём типовое или произведем на заказ серверное оборудование, предоставим расчёт и поможем интегрировать в систему.
Заполните форму запроса слева или отправьте описание вашей задачи на почту get@work-system.ru
При отправке письма на почту укажите номер телефона вашего специалиста для обсуждения аналогов оборудования в случае необходимости
Заполните форму запроса слева или отправьте описание вашей задачи на почту get@work-system.ru
При отправке письма на почту укажите номер телефона вашего специалиста для обсуждения аналогов оборудования в случае необходимости
Все об охлаждении серверов для ИИ: технологии и методы для современных центров обработки данных
Обновлено: Февраль 2026.
Серверы ИИ в центрах обработки данных создают принципиально новые задачи охлаждения. Современные GPU потребляют до 1000–1500 Вт на чип — в два-три раза больше, чем у предыдущих поколений. Одна стойка Blackwell Ultra может потреблять до 140 кВт, и плотности продолжают расти. При плотности стойки 100+ кВт традиционные методы охлаждения становятся неэффективными: воздух не справляется с отводом тепла, растёт энергопотребление на вентиляторы, появляются локальные перегревы.
Тепловой режим влияет на всю инфраструктуру — про серверы и сети. Перегрев вызывает троттлинг GPU, снижает производительность систем обучения моделей и увеличивает риск отказов оборудования. Для современных серверов важно правильно выбрать архитектуру охлаждения — от этого зависят стабильность работы, энергоэффективность и экономика проекта.
Тепловой режим влияет на всю инфраструктуру — про серверы и сети. Перегрев вызывает троттлинг GPU, снижает производительность систем обучения моделей и увеличивает риск отказов оборудования. Для современных серверов важно правильно выбрать архитектуру охлаждения — от этого зависят стабильность работы, энергоэффективность и экономика проекта.
Навигация по разделам:
Быстрый ответ: какое охлаждение нужно для ИИ-серверов уже сегодня
Выбор метода охлаждения зависит от плотности мощности на стойку. Традиционное воздушное охлаждение упирается примерно в 25 кВт на стойку, а Direct-to-Chip способно справляться до 100 кВт. Rear Door Heat Exchanger (RDHx) — промежуточное решение для brownfield-модернизации при 20–50 кВт. Прямое жидкостное охлаждение (DLC) становится обязательным от 50 кВт и выше. Иммерсионное охлаждение применяют при плотности 100+ кВт, когда нужна максимальная компактность и отсутствие шума.
Для существующих центров обработки данных (brownfield) критична совместимость с текущей инфраструктурой: высота потолков, несущая способность пола, наличие подвода воды. Для новых проектов (greenfield) жидкостное охлаждение проектируют с нуля — это позволяет избежать дорогостоящих доработок позже.
Для существующих центров обработки данных (brownfield) критична совместимость с текущей инфраструктурой: высота потолков, несущая способность пола, наличие подвода воды. Для новых проектов (greenfield) жидкостное охлаждение проектируют с нуля — это позволяет избежать дорогостоящих доработок позже.
Основные тезисы:
- До 20 кВт/стойку — воздушное охлаждение с оптимизацией коридоров
- 20–50 кВт — RDHx или гибридные схемы (жидкость + воздух)
- 50–100 кВт — Direct-to-Chip (DLC), отвод 80–90% тепла жидкостью
- 100+ кВт — иммерсия (однофазная или двухфазная)
При выборе учитывайте не только текущую нагрузку, но и планы масштабирования на 18–36 месяцев. Мощность AI-процессоров продолжит расти до 4,4 кВт с NVIDIA Feynman в 2028 году — воздух физически не сможет отвести такое количество тепла.
Рекомендации по выбору метода охлаждения в зависимости от плотности мощности
Плотность, кВт/стойку
Рекомендуемый метод
Что критично проверить
Типичный сценарий
≤15
Воздушное (оптимизированное)
Коридоры, герметизация, ΔT на входе/выходе
Brownfield с legacy-серверами
15–40
RDHx или гибрид (воздух + жидкость)
Подвод воды, место для CDU, пол
Brownfield с модернизацией под GPU
40–80
DLC (Direct-to-Chip)
Качество воды/гликоля, датчики утечек, сервис платформы
Greenfield AI-кластеры; brownfield с усиленной гидравликой
80+
Иммерсия (однофазная/двухфазная)
Совместимость материалов, обучение персонала, пожарная безопасность
Greenfield HPC/AI; экстремальная плотность
Почему ИИ-серверы требуют особого охлаждения: от TDP до 100+ кВт на стойку
Рост TDP и тепловых потоков: GPU vs CPU (почему это ломает старые допущения)
TDP (Thermal Design Power) указывает на типичное тепловыделение при средней нагрузке, но реальное потребление GPU часто превышает паспортное значение на 20–40% при пиковых операциях. NVIDIA H100 потребляет ~700 Вт, H200 — до 920 Вт, новые Blackwell B200/B300 — 1000–1500 Вт на чип. Для сравнения: типичный серверный CPU Intel Xeon или AMD EPYC потребляет 250–400 Вт.
TDP (Thermal Design Power) указывает на типичное тепловыделение при средней нагрузке, но реальное потребление GPU часто превышает паспортное значение на 20–40% при пиковых операциях. NVIDIA H100 потребляет ~700 Вт, H200 — до 920 Вт, новые Blackwell B200/B300 — 1000–1500 Вт на чип. Для сравнения: типичный серверный CPU Intel Xeon или AMD EPYC потребляет 250–400 Вт.
Плотность размещения и стойка как «тепловой узел»
Плотность измеряется в кВт на стойку. Стандартная стойка 42U при плотности 100 кВт требует подвода мощности, сопоставимого с небольшим домом. Воздушные коридоры проектируются с учётом объёма подаваемого холодного воздуха (CFM), но при высокой плотности возникает рециркуляция: горячий воздух из выхлопа попадает обратно на вход серверов.
Плотность измеряется в кВт на стойку. Стандартная стойка 42U при плотности 100 кВт требует подвода мощности, сопоставимого с небольшим домом. Воздушные коридоры проектируются с учётом объёма подаваемого холодного воздуха (CFM), но при высокой плотности возникает рециркуляция: горячий воздух из выхлопа попадает обратно на вход серверов.
Симптомы перегрева при высокой плотности:
- Рост температур в верхних юнитах стойки (на 5–10 °C выше нижних)
- Вентиляторы работают на 90–100% от максимальных оборотов
- Локальные hot spots (точки с температурой выше допустимого диапазона)
Цена перегрева для ИИ: производительность, надежность, SLA
Троттлинг GPU приводит к падению throughput (количество обработанных данных в единицу времени). Для коммерческих AI-сервисов это означает увеличение времени обучения моделей или снижение скорости инференса. В распределённых задачах (например, обучение больших языковых моделей) один перегретый узел тормозит весь кластер.
Ошибки памяти (ECC corrections) растут при температуре выше рекомендуемой. Если частота коррекций превышает пороговое значение, система может автоматически вывести модуль из работы — это вызывает перебалансировку нагрузки и временное падение доступности сервиса.
Стабильность сетевого оборудования также зависит от температуры: сетевые адаптеры (NIC), коммутаторы и инфраструктура interconnect деградируют при перегреве. Растёт число повторных передач пакетов (retransmissions), что снижает эффективную пропускную способность.
Троттлинг GPU приводит к падению throughput (количество обработанных данных в единицу времени). Для коммерческих AI-сервисов это означает увеличение времени обучения моделей или снижение скорости инференса. В распределённых задачах (например, обучение больших языковых моделей) один перегретый узел тормозит весь кластер.
Ошибки памяти (ECC corrections) растут при температуре выше рекомендуемой. Если частота коррекций превышает пороговое значение, система может автоматически вывести модуль из работы — это вызывает перебалансировку нагрузки и временное падение доступности сервиса.
Стабильность сетевого оборудования также зависит от температуры: сетевые адаптеры (NIC), коммутаторы и инфраструктура interconnect деградируют при перегреве. Растёт число повторных передач пакетов (retransmissions), что снижает эффективную пропускную способность.
Почему традиционное воздушное охлаждение не справляется с плотностью серверов ИИ
Воздушное охлаждение основано на циркуляции воздуха через холодные и горячие коридоры. Холодный воздух подаётся снизу (через фальшпол) или из in-row-кондиционеров, проходит через серверы, нагревается и выбрасывается в горячий коридор. Оттуда воздух забирается CRAC/CRAH-установками, охлаждается и возвращается в цикл.
Ключевые ограничения:
Низкая теплоёмкость воздуха.
Для отвода 100 кВт тепла требуется около 10 000 CFM (кубических футов в минуту) воздушного потока. Это в разы больше, чем расход воды при жидкостном охлаждении.
Рост энергозатрат на вентиляторы.
Мощность вентилятора масштабируется по кубу скорости вращения: увеличение CFM на 20% требует роста мощности на 73% (1,2³ = 1,73). По оценке Red Chalk, вентиляторы могут потреблять 15–25% общей энергии ЦОД.
Шум и вибрации.
При 10 000 CFM уровень шума достигает 85–95 дБА в горячих проходах. OSHA (США) требует средств защиты слуха при уровне выше 85 дБА, а европейские нормы ограничивают шум на границе объекта.
Риск рециркуляции и «горячих карманов».
При высокой плотности стоек горячий воздух из выхлопа смешивается с холодным на входе — возникают зоны с температурой выше допустимой. Даже герметизация коридоров не всегда решает проблему.
Ограничение по температуре на входе и ΔT.
ASHRAE рекомендует температуру на входе 18–27 °C, но при плотности 40–80 кВт/стойку воздух на выходе достигает 50–60 °C. Высокий ΔT усложняет балансировку системы.
Сложность модернизации.
Увеличение плотности требует доработки воздушных коридоров, установки дополнительных CRAC/CRAH, усиления герметизации. Это дорого и часто невозможно без остановки работы ЦОД.
Для отвода 100 кВт тепла требуется около 10 000 CFM (кубических футов в минуту) воздушного потока. Это в разы больше, чем расход воды при жидкостном охлаждении.
Рост энергозатрат на вентиляторы.
Мощность вентилятора масштабируется по кубу скорости вращения: увеличение CFM на 20% требует роста мощности на 73% (1,2³ = 1,73). По оценке Red Chalk, вентиляторы могут потреблять 15–25% общей энергии ЦОД.
Шум и вибрации.
При 10 000 CFM уровень шума достигает 85–95 дБА в горячих проходах. OSHA (США) требует средств защиты слуха при уровне выше 85 дБА, а европейские нормы ограничивают шум на границе объекта.
Риск рециркуляции и «горячих карманов».
При высокой плотности стоек горячий воздух из выхлопа смешивается с холодным на входе — возникают зоны с температурой выше допустимой. Даже герметизация коридоров не всегда решает проблему.
Ограничение по температуре на входе и ΔT.
ASHRAE рекомендует температуру на входе 18–27 °C, но при плотности 40–80 кВт/стойку воздух на выходе достигает 50–60 °C. Высокий ΔT усложняет балансировку системы.
Сложность модернизации.
Увеличение плотности требует доработки воздушных коридоров, установки дополнительных CRAC/CRAH, усиления герметизации. Это дорого и часто невозможно без остановки работы ЦОД.
Традиционное воздушное охлаждение «упирается» примерно в 25 кВт на стойку. При 40–80+ кВт/стойку воздушное охлаждение становится экономически неэффективным: затраты на электроэнергию и оборудование превышают стоимость перехода на жидкостные системы.
Жидкостное охлаждение как базовый стандарт для ИИ-кластеров: обзор вариантов
Жидкостное охлаждение отводит тепло ближе к источнику — от чипов или компонентов на плате. Это снижает зависимость от воздушного тракта и позволяет обрабатывать плотности мощности, недостижимые для воздуха. К 2024 году жидкостное охлаждение заняло 46% рынка охлаждения ЦОД, при 54% у воздуха.
RDHx (rear door heat exchanger) как «мост» от воздуха к жидкости
Rear Door Heat Exchanger (RDHx) — это теплообменник, установленный на задней двери стойки вместо обычной панели. Горячий воздух проходит через RDHx, отдаёт тепло водяному контуру и выходит охлаждённым. Это гибридное решение: серверы продолжают работать с воздушным охлаждением, но основная часть тепла снимается жидкостью.
Когда RDHx уместен:
- Brownfield-модернизация, когда замена серверов на DLC-платформы невозможна или дорого
- Плотность 20–50 кВт/стойку (выше — лучше переходить сразу на DLC)
- Ограничения по бюджету или срокам внедрения
Плюсы:
- Не требует замены серверов
- Снижает температуру в горячем коридоре и нагрузку на HVAC
- Можно установить на часть стоек, оставив остальные на воздушном охлаждении
Минусы:
- Не отводит тепло от чипов напрямую — эффективность ниже, чем у DLC
- Требует подвода воды к каждой стойке (трубопроводы, коллекторы)
- Риск конденсации при низкой температуре воды в контуре
- Рост перепада давления в воздушном тракте (увеличивается нагрузка на вентиляторы серверов)
RDHx — временное решение для перехода от воздуха к жидкости. При росте плотности выше 50 кВт лучше проектировать DLC с самого начала.
Технология прямого жидкостного охлаждения (DLC) для эффективного отвода тепла
Прямое жидкостное охлаждение (Direct-to-Chip, DLC) подаёт охлаждающую жидкость непосредственно на горячие компоненты: GPU, CPU, VRM и память. Холодные пластины (cold plates) устанавливаются поверх чипов через термоинтерфейс, жидкость протекает через каналы внутри пластины, забирает тепло и направляется в CDU.
Контур DLC замкнутый: жидкость циркулирует между серверами и CDU, не смешиваясь с facility water. Это позволяет поддерживать высокое качество теплоносителя (чистота, отсутствие коррозии, стабильный pH) и избежать загрязнения чипов или утечек внутрь серверов.
Контур DLC замкнутый: жидкость циркулирует между серверами и CDU, не смешиваясь с facility water. Это позволяет поддерживать высокое качество теплоносителя (чистота, отсутствие коррозии, стабильный pH) и избежать загрязнения чипов или утечек внутрь серверов.
Как устроен контур:
CDU (in-rack или in-row)
— насос прокачивает жидкость через коллекторы к серверам.
Коллекторы и quick disconnect
— позволяют быстро отключить сервер для обслуживания без остановки всего контура.
Cold plates
— контактируют с GPU/CPU через термоинтерфейс; каналы внутри пластины отводят тепло.
Датчики температуры и давления
— контролируют inlet/outlet температуру и расход жидкости. Если температура выходит за рамки, система подаёт сигнал или снижает нагрузку на сервер.
Теплообменник в CDU
— передаёт тепло от TCS к FWS (facility water system).
— насос прокачивает жидкость через коллекторы к серверам.
Коллекторы и quick disconnect
— позволяют быстро отключить сервер для обслуживания без остановки всего контура.
Cold plates
— контактируют с GPU/CPU через термоинтерфейс; каналы внутри пластины отводят тепло.
Датчики температуры и давления
— контролируют inlet/outlet температуру и расход жидкости. Если температура выходит за рамки, система подаёт сигнал или снижает нагрузку на сервер.
Теплообменник в CDU
— передаёт тепло от TCS к FWS (facility water system).
Однофазное vs двухфазное DLC:
Однофазное — жидкость циркулирует без изменения агрегатного состояния. Проще в обслуживании, меньше рисков, но требует большего расхода жидкости.
Двухфазное — жидкость испаряется при контакте с горячим чипом, пар конденсируется в охлаждённой зоне. Эффективность теплоотдачи выше в 10–100 раз, но система сложнее (требуется герметичность, контроль давления конденсации).
Двухфазное — жидкость испаряется при контакте с горячим чипом, пар конденсируется в охлаждённой зоне. Эффективность теплоотдачи выше в 10–100 раз, но система сложнее (требуется герметичность, контроль давления конденсации).
Преимущества DLC:
- Отводит 80–90% тепла жидкостью — снижает нагрузку на воздушное охлаждение
- По Red Chalk, Direct-to-Chip системы могут эффективно управлять тепловыми нагрузками до 100 кВт на стойку
- Снижает шум (вентиляторы работают на минимальных оборотах)
- Повышает энергоэффективность (PUE ~1,05–1,15 vs 1,4–1,8 для воздуха)
Ограничения:
- Требует серверных платформ с поддержкой DLC (OCP, OEM-решения)
- Риск утечек — критично для дата-центров; нужна система leak detection
- Обслуживание сложнее: требуется обучение персонала, регулярный контроль качества теплоносителя
- Совместимость материалов: нельзя смешивать медь и алюминий в одном контуре (гальваническая коррозия)
Иммерсионное охлаждение: полное погружение серверов в диэлектрическую жидкость
Иммерсионное охлаждение погружает серверные платы или целые серверы в ванну с диэлектрической жидкостью (не проводит электричество). Жидкость контактирует напрямую с компонентами — GPU, CPU, памятью, VRM — и отводит тепло без воздушного тракта. Это позволяет охлаждать плотности 100+ кВт/стойку в компактном объёме.
Чем охлаждают сервера ИИ в иммерсии: фторированные диэлектрические жидкости (3M Novec, Fluorinert), синтетические эфиры или минеральные масла с высокой диэлектрической прочностью. Жидкость не должна разрушать пластики, резины и покрытия на платах.
Чем охлаждают сервера ИИ в иммерсии: фторированные диэлектрические жидкости (3M Novec, Fluorinert), синтетические эфиры или минеральные масла с высокой диэлектрической прочностью. Жидкость не должна разрушать пластики, резины и покрытия на платах.
Ключевые отличия от DLC:
- В иммерсии компоненты полностью погружены в жидкость — нет необходимости в холодных пластинах
- Исчезает воздушный тракт: вентиляторы, воздушные коридоры не нужны
- Шум практически отсутствует (нет вентиляторов)
- Пыль и загрязнения не попадают на платы
Где иммерсия даёт максимум:
- Экстремальная плотность (>100 кВт/стойку): серверы размещаются плотно, без воздушных зазоров
- Ограничения по шуму (дата-центры в жилых зонах, офисы)
- Ограничения по воздушному охлаждению (высокая температура окружающей среды, запылённые помещения)
- Максимальная энергоэффективность (PUE ~1,01–1,05)
Требования к совместимости материалов: диэлектрические жидкости могут разрушать некоторые пластики (ABS, PVC) и резиновые уплотнения. Перед погружением проверьте спецификации производителя серверов на совместимость с конкретной жидкостью.
Сервис: извлечение сервера из ванны требует стекания жидкости (5–10 минут), очистки контактов и компонентов перед диагностикой. Это сложнее, чем обслуживание DLC или воздушных систем.
Сервис: извлечение сервера из ванны требует стекания жидкости (5–10 минут), очистки контактов и компонентов перед диагностикой. Это сложнее, чем обслуживание DLC или воздушных систем.
Однофазная vs двухфазная иммерсия: различия, риски, эксплуатация
Однофазная: проще сервис, ниже барьер внедрения, требования к циркуляции и фильтрации
В однофазной иммерсии жидкость циркулирует через серверы и теплообменник без изменения агрегатного состояния. Насос прокачивает жидкость через ванну, жидкость нагревается, проходит через теплообменник, охлаждается и возвращается в ванну.
В однофазной иммерсии жидкость циркулирует через серверы и теплообменник без изменения агрегатного состояния. Насос прокачивает жидкость через ванну, жидкость нагревается, проходит через теплообменник, охлаждается и возвращается в ванну.
Преимущества:
- Простое обслуживание: доступ к серверам — открыть крышку ванны, извлечь модуль
- Резервуар может быть открытым (не требуется герметичность)
- Фильтрация жидкости каждые 1–2 года — удаление частиц, контроль качества
- Меньше рисков утечек и конденсации
Требования:
- Высокий расход жидкости (10–20 л/мин на киловатт тепла)
- Фильтры для удаления частиц и загрязнений
- Контроль температуры жидкости (не превышать точку разложения)
PUE: 1,02–1,03 (по данным операторов однофазных систем).
Двухфазная: максимальная теплоотдача, сложнее контроль, требования к герметичности и конденсации
В двухфазной иммерсии жидкость испаряется при контакте с горячими компонентами (GPU, CPU), пар поднимается к охлаждённой поверхности конденсатора, конденсируется и стекает обратно в ванну. Тепло отводится за счёт фазового перехода — это в 10–100 раз эффективнее, чем однофазное охлаждение.
Преимущества:
- Максимальный теплоотвод (до 300 Вт/см² по заявлениям Accelsius)
- Не требуется насос для циркуляции жидкости (пассивный контур)
- Компактность: меньший объём жидкости на единицу тепла
Требования:
- Герметичный резервуар (испарившаяся жидкость не должна выходить наружу)
- Контроль давления конденсации и температуры кипения
- Сложная архитектура: конденсатор, система контроля уровня жидкости, датчики давления
Риски:
- Утечка паров жидкости при разгерметизации
- Сложнее обслуживание: требуется остановка и слив для доступа к серверам
- Высокая стоимость жидкостей (в 2–4 раза дороже однофазных)
PUE: 1,01–1,02.
Диэлектрические жидкости: ключевые свойства и критерии выбора
Диэлектрическая жидкость для иммерсионного охлаждения должна соответствовать набору требований: не проводить электричество, отводить тепло, не разрушать материалы серверов, быть безопасной для персонала и окружающей среды.
Что спросить у поставщика:
- Паспорт безопасности (SDS) с указанием диэлектрической прочности, вязкости, точек вспышки/кипения
- Результаты тестов на совместимость с материалами серверов (пластики, резины, покрытия плат)
- Рекомендации по фильтрации, контролю качества и регенерации жидкости
- Регламент утилизации отработанной жидкости
Сравнение методов охлаждения: Воздух vs Жидкость vs Иммерсия
Выбор метода охлаждения зависит от плотности мощности, ограничений площадки, бюджета и требований к энергоэффективности. Воздух остаётся стандартом для legacy-инфраструктуры и низкой плотности. Жидкостное охлаждение (DLC) становится обязательным для ИИ-кластеров с плотностью 50+ кВт/стойку. Иммерсия применяется в проектах с экстремальной плотностью или жёсткими ограничениями по шуму и пространству.
Сравнение методов охлаждения по ключевым критериям
Метод
Типичная плотность кВт/стойку
Энергоэффективность / PUE-потенциал
Сложность внедрения
Обслуживание | Лучший сценарий
Воздух
≤25
PUE 1,4–1,8
Низкая (стандартная инфраструктура)
Простое (замена фильтров, чистка вентиляторов)
Legacy-ЦОД, офисные серверные, low-density compute
Legacy-ЦОД, офисные серверные, low-density compute
DLC
40–100
PUE 1,05–1,15
Высокая (требует DLC-платформ, CDU, трубопроводы)
Сложное (контроль качества жидкости, leak detection, обучение персонала)
Greenfield AI-кластеры, brownfield с модернизацией под GPU
Greenfield AI-кластеры, brownfield с модернизацией под GPU
Иммерсия
100+
PUE ~1,01–1,05
Очень высокая (специальные резервуары, совместимость материалов, обучение)
Средне-сложное (регенерация жидкости, очистка серверов после извлечения)
Экстремальная плотность, шумочувствительные зоны, HPC/криптомайнинг
Экстремальная плотность, шумочувствительные зоны, HPC/криптомайнинг
RDHx
20–50
PUE 1,2–1,3
Средняя (установка на существующие стойки, подвод воды)
Среднее (контроль утечек, чистка теплообменника)
Brownfield-модернизация без замены серверов
Brownfield-модернизация без замены серверов
Резюме выбора:
- До 25 кВт — воздух с оптимизацией коридоров, герметизацией, контролем температуры.
- 25–50 кВт — гибридные схемы (RDHx + воздух) или DLC при планах роста плотности.
- 50–100 кВт — DLC обязательно; проектировать с учётом масштабирования и резервирования.
- 100+ кВт — иммерсия или двухфазное DLC (при доступности совместимых платформ).
Учитывайте климат: в зонах с температурой наружного воздуха ниже 35 °C >80% года free cooling (dry cooler) снижает OpEx на 40–60%. В жарких регионах требуются чиллеры — это увеличивает энергопотребление и стоимость эксплуатации.
Влияние эффективного охлаждения на производительность и надёжность систем ИИ
Эффективное охлаждение напрямую влияет на производительность систем ИИ. При температуре GPU ниже критической троттлинг отсутствует — чип работает на максимальной частоте, throughput (количество операций в секунду) стабилен. Это сокращает время обучения моделей и снижает стоимость вычислений.
Основные выгоды эффективного охлаждения:
Меньше троттлинга → стабильнее производительность систем. GPU и CPU не снижают частоты при перегреве, задачи выполняются за расчётное время.
Выше плотность размещения → больше GPU/стойку без перегрева. Жидкостное охлаждение позволяет разместить 8–16 GPU в одной стойке vs 4–6 при воздушном охлаждении.
Надёжность сервера и срок службы компонентов. Низкие температуры продлевают жизнь VRM, памяти HBM, конденсаторов и PSU. Это снижает число отказов и простоев.
Предсказуемее SLA/время обучения/стоимость инференса. Стабильная температура → предсказуемая производительность → точные оценки времени выполнения задач.
Ниже шум/потребление на вентиляторах → выше полезная мощность охлаждения. Вентиляторы серверов работают на минимальных оборотах (20–40% от максимума), энергия идёт на вычисления, а не на охлаждение воздуха.
Выше плотность размещения → больше GPU/стойку без перегрева. Жидкостное охлаждение позволяет разместить 8–16 GPU в одной стойке vs 4–6 при воздушном охлаждении.
Надёжность сервера и срок службы компонентов. Низкие температуры продлевают жизнь VRM, памяти HBM, конденсаторов и PSU. Это снижает число отказов и простоев.
Предсказуемее SLA/время обучения/стоимость инференса. Стабильная температура → предсказуемая производительность → точные оценки времени выполнения задач.
Ниже шум/потребление на вентиляторах → выше полезная мощность охлаждения. Вентиляторы серверов работают на минимальных оборотах (20–40% от максимума), энергия идёт на вычисления, а не на охлаждение воздуха.
Мощность охлаждения (cooling capacity) определяет, сколько тепла система может отвести без роста температуры. При воздушном охлаждении мощность ограничена CFM и ΔT — увеличение одного из параметров приводит к росту энергопотребления. Жидкостное охлаждение снимает тепло точечно, что позволяет наращивать плотность без пропорционального роста затрат на охлаждение.
Центры обработки данных с DLC или иммерсией достигают PUE 1,05–1,15 vs 1,4–1,8 для воздуха. Это значит, что на каждый киловатт ИТ-нагрузки тратится всего 0,05–0,15 кВт на инфраструктуру охлаждения (vs 0,4–0,8 кВт при воздухе).
Центры обработки данных с DLC или иммерсией достигают PUE 1,05–1,15 vs 1,4–1,8 для воздуха. Это значит, что на каждый киловатт ИТ-нагрузки тратится всего 0,05–0,15 кВт на инфраструктуру охлаждения (vs 0,4–0,8 кВт при воздухе).
Энергоэффективность и Green AI: PUE, отказ от чиллеров
Как жидкость снижает энергопотребление (где именно экономия)
Жидкостное охлаждение снижает энергопотребление центра обработки данных за счёт нескольких факторов:
Жидкостное охлаждение снижает энергопотребление центра обработки данных за счёт нескольких факторов:
1.
Вентиляторы.
При DLC вентиляторы серверов работают на минимальных оборотах (20–40%), потому что основное тепло снимается жидкостью. Это экономит 10–15% от общего энергопотребления ЦОД.
2.
Компрессоры чиллеров.
Жидкостное охлаждение позволяет использовать dry cooler (free cooling) при температуре наружного воздуха ниже 35 °C. Чиллер включается только в жаркие месяцы — это снижает энергопотребление на охлаждение на 40–60% в год (в климатических зонах 1–3 по ASHRAE).
3.
Меньше рециркуляции воздуха.
Точечный отвод тепла от чипов минимизирует нагрев воздуха в серверной — CRAC/CRAH работают с меньшей нагрузкой.
4.
Выше допустимая температура воды (warm water cooling).
Для DLC допустимо использовать воду с температурой 30–50 °C на входе в CDU. Это позволя
Вентиляторы.
При DLC вентиляторы серверов работают на минимальных оборотах (20–40%), потому что основное тепло снимается жидкостью. Это экономит 10–15% от общего энергопотребления ЦОД.
2.
Компрессоры чиллеров.
Жидкостное охлаждение позволяет использовать dry cooler (free cooling) при температуре наружного воздуха ниже 35 °C. Чиллер включается только в жаркие месяцы — это снижает энергопотребление на охлаждение на 40–60% в год (в климатических зонах 1–3 по ASHRAE).
3.
Меньше рециркуляции воздуха.
Точечный отвод тепла от чипов минимизирует нагрев воздуха в серверной — CRAC/CRAH работают с меньшей нагрузкой.
4.
Выше допустимая температура воды (warm water cooling).
Для DLC допустимо использовать воду с температурой 30–50 °C на входе в CDU. Это позволя
Суммарная экономия: переход с воздушного охлаждения (PUE 1,4–1,8) на DLC (PUE 1,05–1,15) снижает энергопотребление инфраструктуры на 40–60%. Для ЦОД мощностью 1 МВт это ~400–600 кВт экономии, или ~$300–500 тыс./год при тарифе $0,10/кВтч.
Внедрение в ЦОД: greenfield vs brownfield и типовые «подводные камни»
Greenfield: как заложить жидкость правильно с нуля
Greenfield-проекты (строительство нового ЦОД) позволяют проектировать жидкостное охлаждение с нуля, избегая ограничений существующей инфраструктуры. Это даёт максимальную гибкость и эффективность, но требует тщательной проработки на этапе проектирования.
Greenfield-проекты (строительство нового ЦОД) позволяют проектировать жидкостное охлаждение с нуля, избегая ограничений существующей инфраструктуры. Это даёт максимальную гибкость и эффективность, но требует тщательной проработки на этапе проектирования.
Рекомендации:
- Закладывайте мощность CDU и dry cooler с запасом 30–50% — это дешевле, чем модернизация через 2–3 года
- Используйте модульную архитектуру: каждый ряд стоек — отдельный контур с резервированием
- Автоматизируйте мониторинг: интеграция с DCIM/BMS для контроля температуры, расхода, давления, утечек
Brownfield: как модернизировать без остановки бизнеса
Brownfield-модернизация (внедрение жидкостного охлаждения в существующий ЦОД) сложнее greenfield, потому что требует учёта ограничений площадки: высота потолков, несущая способность пола, подвод воды, доступное пространство для CDU.
Ключевые ограничения:
Гидравлика: подвод воды от чиллеров или dry cooler к зоне серверных. Если трубы проходят через занятые зоны — требуется координация с эксплуатацией.
Электричество: CDU потребляет 5–10 кВт на единицу (насосы, управление). Проверьте доступность мощности на вводе в стойку.
Высота и вес: in-rack CDU занимает 4–7U, весит 50–150 кг. In-row CDU требует места между стойками. Проверьте несущую способность пола (требуется >500 кг/м² для стоек с жидкостным охлаждением).
Тепловые коридоры: при переходе на DLC часть стоек остаётся на воздушном охлаждении — важно избежать смешения потоков и рециркуляции.
Электричество: CDU потребляет 5–10 кВт на единицу (насосы, управление). Проверьте доступность мощности на вводе в стойку.
Высота и вес: in-rack CDU занимает 4–7U, весит 50–150 кг. In-row CDU требует места между стойками. Проверьте несущую способность пола (требуется >500 кг/м² для стоек с жидкостным охлаждением).
Тепловые коридоры: при переходе на DLC часть стоек остаётся на воздушном охлаждении — важно избежать смешения потоков и рециркуляции.
Этапность внедрения:
1.
Аудит:
измерение текущей плотности, температур, расхода воздуха; оценка ограничений площадки.
2.
Пилот:
установка DLC на 1–2 стойки с новыми серверами; тестирование контура, мониторинг утечек, обучение персонала.
3.
Расширение:
постепенный перевод критичных стоек на жидкость; параллельная работа воздуха и жидкости.
4.
Оптимизация:
настройка setpoint температуры, интеграция с BMS, выявление узких мест.
Аудит:
измерение текущей плотности, температур, расхода воздуха; оценка ограничений площадки.
2.
Пилот:
установка DLC на 1–2 стойки с новыми серверами; тестирование контура, мониторинг утечек, обучение персонала.
3.
Расширение:
постепенный перевод критичных стоек на жидкость; параллельная работа воздуха и жидкости.
4.
Оптимизация:
настройка setpoint температуры, интеграция с BMS, выявление узких мест.
Риски простоя: основной риск — утечки при подключении/отключении quick disconnect. Минимизация: использовать качественные разъёмы, обучить персонал, проводить подключение при минимальной нагрузке на сервер.
Эксплуатация и обслуживание: утечки, качество теплоносителя, сервис серверов
Leak detection: датчики, зоны контроля, регламент реакции
Утечки — главный риск жидкостного охлаждения. Даже небольшая течь (несколько капель в минуту) может привести к короткому замыканию оборудования или коррозии компонентов.
Утечки — главный риск жидкостного охлаждения. Даже небольшая течь (несколько капель в минуту) может привести к короткому замыканию оборудования или коррозии компонентов.
Система обнаружения утечек:
- Кабельные датчики влажности под стойками, вдоль трубопроводов и в зонах quick disconnect
- Датчики падения давления в контуре (резкое падение — признак крупной утечки)
- Визуальный контроль: регулярный осмотр соединений, фланцев, уплотнений
Зоны контроля:
- Под каждой стойкой с DLC
- В зонах прокладки магистральных труб (коридоры, технические помещения)
- Рядом с CDU и теплообменниками
Сервис DLC и иммерсии: доступ, расходники, обучение персонала
Доступ к серверам:
- DLC: quick disconnect позволяет отключить сервер от контура за 2–5 минут; после отключения сервер извлекается как обычный.
- Иммерсия: требуется стекание жидкости (5–10 минут), очистка контактов и компонентов перед диагностикой.
Расходники:
- Фильтры для CDU (замена раз в 3–6 месяцев)
- Ингибиторы коррозии и биоциды (добавление раз в 6–12 месяцев)
- Термоинтерфейс для cold plates (замена при переустановке чипов)
- Уплотнения и прокладки для quick disconnect (замена при износе)
Обучение персонала:
- Процедуры подключения/отключения quick disconnect
- Контроль качества теплоносителя (забор проб, интерпретация результатов)
- Реакция на утечки и аварийные ситуации
- Техника безопасности при работе с диэлектрическими жидкостями (СИЗ, вентиляция, первая помощь)
Экономика охлаждения: CapEx/OpEx, ROI и скрытые расходы
Из чего складываются затраты: что забывают в 70% проектов
Переход на жидкостное охлаждение требует учёта не только стоимости оборудования (CDU, cold plates, трубопроводы), но и скрытых расходов, которые часто упускают на этапе планирования.
Переход на жидкостное охлаждение требует учёта не только стоимости оборудования (CDU, cold plates, трубопроводы), но и скрытых расходов, которые часто упускают на этапе планирования.
Часто забывают:
- Стоимость простоя при модернизации (brownfield)
- Обучение персонала и сертификация
- Регулярный анализ качества теплоносителя
- Замена фильтров и ингибиторов
- Утилизация отработанной жидкости (для иммерсии)
ROI (Return on Investment) перехода на жидкостное охлаждение рассчитывается как отношение экономии к первоначальным затратам. Основные источники экономии: снижение энергопотребления, увеличение плотности размещения (больше серверов на единицу площади), сокращение простоев.
Входные данные:
- Цена электроэнергии ($/кВтч)
- PUE текущий (воздушное охлаждение) и целевой (жидкостное)
- Часы работы в год (обычно 8760 ч)
- Часы free cooling (когда dry cooler работает без чиллера)
- Стоимость простоя ($/час) для критичных приложений
- Плотность стойки (кВт ИТ-нагрузки)
- Стоимость площади ($/м²/год)
- Срок проекта (обычно 10 лет для TCO)
FAQ: частые вопросы про охлаждение серверов ИИ
Да, при использовании диэлектрических жидкостей. Диэлектрик не проводит электричество, поэтому контакт с платами и компонентами безопасен. Жидкости проходят испытания на диэлектрическую прочность (>30 кВ/мм) и совместимость с материалами серверов. Персонал должен пройти обучение по обращению с жидкостями, использовать СИЗ при заливке/сливе. Утилизация отработанной жидкости производится согласно паспорту безопасности (SDS).
Выбор зависит от типа системы (однофазная/двухфазная), бюджета и требований к экологии. Для двухфазной иммерсии применяют фторированные жидкости (3M Novec, Fluorinert) с температурой кипения 49–60 °C — они обеспечивают максимальный теплоотвод (10–100× vs однофазные), но дороже в 2–4 раза. Для однофазной подходят синтетические эфиры с высокой точкой вспышки (>300 °C) и совместимостью с пластиками/резинами. Проверьте паспорт безопасности (SDS) на диэлектрическую прочность, вязкость, совместимость материалов, GWP (Global Warming Potential). Уточните у поставщика регламент фильтрации, регенерации и утилизации.
DLC (Direct-to-Chip) подаёт жидкость напрямую на чипы через холодные пластины, отводя 80–90% тепла. Это эффективно при плотности 50–100 кВт/стойку, но требует серверов с поддержкой DLC и сложного контура (CDU, quick disconnect, датчики утечек). RDHx (Rear Door Heat Exchanger) — это теплообменник на задней двери стойки, через который проходит горячий воздух из серверов. Серверы остаются на воздушном охлаждении, жидкость снимает тепло из воздуха. RDHx уместен при 20–50 кВт/стойку, brownfield-модернизации без замены серверов, ограниченном бюджете. Выбор: если плотность <50 кВт и нельзя заменить серверы — RDHx; если >50 кВт или планируете рост — DLC.