Когда люди настраивают рабочую станцию ИИ, первое, на что они обычно смотрят, это модель GPU, емкость VRAM и количество карт.
Охлаждение часто наступает позже.
Обычно это хорошо для стандартного рабочего стола. Но рабочие нагрузки ИИ различны. Выводы с большой моделью, тонкая настройка, обучение с несколькими GPU, рендеринг и другие вычислительные задачи могут удерживать как CPU, так и графические процессоры под постоянной нагрузкой в течение нескольких часов.
Если система не может достаточно быстро переместить тепло, часы GPU начинают падать. В этот момент производительность, указанная на спецификации, больше не отражает то, что машина может фактически доставить.
Таким образом, выбор между воздушным охлаждением и жидкостным охлаждением зависит не только от того, какая из них производит более низкую температуру. Это зависит от того, что ожидается от рабочей станции, сколько графических процессоров она несет и как долго она должна оставаться под нагрузкой.
Охлаждение воздуха против жидкого охлаждения
Охлаждение воздуха подходит для одного GPU. Системы Multi-GPU отличаются.
Охлаждение воздуха является зрелым, надежным и экономически эффективным. Для одно-GPU рабочей станции, рабочих нагрузок ИИ с меньшей мощностью или случайных выводов и обучения, хорошо продуманной настройки воздушного потока обычно более чем достаточно.
Все меняется после установки нескольких графических процессоров.
В рабочей станции с двумя или четырьмя GPU каждая видеокарта сбрасывает тепло в одно и то же шасси. CPU, источник питания и материнская плата VRM добавляют тепло одновременно. При очень небольшом пространстве между картами горячий выхлоп от одной GPU также может повлиять на следующую.
Воздушное охлаждение справляется с этим, главным образом, путем перемещения большего количества воздуха. Это означает более высокие скорости вентилятора. Температура может улучшиться, но шума, накопления пыли и долгосрочных колебаний производительности становится все труднее избежать.
Жидкое охлаждение использует другой подход. Вместо того, чтобы полагаться в основном на поток воздуха шасси, охлаждающая жидкость переносит тепло от CPU и GPU и передает его радиатору. Для систем высокой плотности, работающих под постоянной нагрузкой, это дает системе охлаждения больше пространства для маневра.
Длинный забег имеет большее значение, чем короткий бенчмарк
Рабочая станция не завершает свою работу после одного тестового запуска.
Многие задания ИИ работают часами. Учебные нагрузки могут продолжаться в течение нескольких дней. Система, которая хорошо работает в течение десяти минут, но начинает дросселировать позже, не обеспечивает свою номинальную вычислительную производительность в реальном использовании.
Существующие данные испытаний показывают:
- Использование вычислений с воздушным охлаждением при полной нагрузке: около 82%
- Использование жидкостных вычислений: выше 90%
- Температура ядра с жидкостным охлаждением: ниже 60°C
- Повышение скорости обучения: 20%+
На стандартном ПК эти различия могут выглядеть не драматично. При рабочей нагрузке, которая работает 24 часа в сутки, они имеют гораздо большее значение.
Для локальных LLM, точной настройки модели, научных вычислений или работы с длинным рендерингом стабильные тактовые частоты часто более ценны, чем короткие всплески пиковой производительности.
Шум является еще одним соображением, особенно для рабочих станций, установленных в инженерных офисах, лабораториях, дизайн-студиях, отделах исследований и разработок и локальных средах разработки ИИ.
Существующие данные показывают, что рабочая станция с воздушным охлаждением четырех GPU может превышать 80 дБ при полной нагрузке. Настройка с жидким охлаждением может работать при полной нагрузке около 35-40 дБ, что делает ее более практичной для офисных и лабораторных условий.
Стабильность, техническое обслуживание и стоимость
Все больше компаний начинают запускать модели ИИ локально. Некоторым необходимо хранить данные внутри внутренней сети, в то время как другим нужно часто настраивать модели или же они хотят получить прямой доступ к локальным ресурсам GPU.
Как только это происходит, рабочая станция перестает быть просто мощным рабочим столом. Она начинает вести себя как маленький вычислительный узел. Она может выполнять вывод в течение дня, обучение в течение ночи и обработку данных в фоновом режиме.
В такой настройке охлаждение имеет практическую работу: не допускать падения частоты GPU во время длительной работы.
Обслуживание также должно быть частью расчета.
Более высокий воздушный поток означает больше пыли, поступающей на шасси. Пыль накапливается на вентиляторах, фильтрах и радиаторах, постепенно снижая эффективность охлаждения. Текущие данные свидетельствуют о том, что система с воздушным охлаждением обычно нуждается в очистке и обслуживании охлаждения примерно каждые шесть месяцев.
Для нескольких машин, которыми можно управлять. Для компаний, работающих на десяти, двадцати или более рабочих станциях, очистка, отключения, проверка и послеоперационные испытания требуют времени.
Существующие данные также показывают:
- Годовая частота отказов с воздушным охлаждением при длительной высокотемпературной работе: около 2%
- Годовая частота отказов с жидкостным охлаждением: около 0.2%
- Расширение срока службы: примерно 30%
- Безопасный период содержания герметичного жидкостного охлаждения: около 5-7 лет
Для бизнеса реальная стоимость аппаратного сбоя обычно не является счетом за ремонт. Это рабочая нагрузка, которая перестает работать.
Рабочая станция с жидкостным охлаждением обычно стоит примерно на 10-20% дороже на момент покупки, однако ожидается, что рабочие станции с искусственным интеллектом будут оставаться в эксплуатации в течение нескольких лет.
В течение 3-5 лет энергопотребление, кондиционирование воздуха, техническое обслуживание, простои и замена оборудования становятся частью общей стоимости.
Существующие данные показывают, что система с жидкостным охлаждением может снизить затраты на электроэнергию, связанные с охлаждением, примерно на 15%.
Если машина используется лишь изредка, то лишние затраты могут быть неоправданными.Если она работает под большой нагрузкой в течение года, разница может постепенно компенсироваться более низкими затратами на охлаждение, меньшим обслуживанием и более стабильной работой.
Когда каждое охлаждение имеет смысл?
Охлаждение воздуха является хорошим выбором для:
- Конфигурации Single-GPU
- Рабочие нагрузки ИИ с более низким энергопотреблением
- Случайный вывод или обучение
- Офисные и дизайнерские работы
- Окружающая среда, где шум не является серьезной проблемой
- Проекты, в которых первоначальная стоимость покупки имеет наибольшее значение
Правильно спроектированная рабочая станция с воздушным охлаждением по-прежнему предлагает отличную ценность. Нет причин использовать жидкое охлаждение просто потому, что это звучит более продвинуто.
Охлаждение жидкости становится более актуальным для:
- Dual-GPU, четыре-GPU, или более крупные много-GPU конфигурации
- Длинная модель обучения или тонкой настройки рабочих мест
- 24/7 вычисляет рабочие нагрузки
- Долгосрочное локальное развертывание LLM
- Научные вычисления
- Промышленные R&D
- Осуществление и другие устойчивые рабочие нагрузки
- офисные или лабораторные помещения, где шум имеет значение;
- Развертывания, где обслуживание и простои должны быть низкими
Чем больше графических процессоров вы устанавливаете, тем выше становится потребляемая мощность системы. И чем дольше работает рабочая нагрузка, тем более важным становится охлаждение для реальной производительности.
CPS PCCOOLERZОхлаждение всей рабочей станции
В мощной рабочей станции ИИ CPU часто не является самым сложным компонентом для охлаждения.
Реальная тепловая нагрузка может исходить от нескольких графических процессоров, работающих на полной мощности в течение длительных периодов времени. Помещение высококачественного жидкостного охладителя на CPU само по себе не решает общую тепловую проблему.
CPS PCCOOLER использует полную архитектуру жидкостного охлаждения CPU + GPU, поддерживая конфигурации от одного GPU до 11 графических процессоров.
Система предназначена для сред с высокой плотностью и устойчивой нагрузкой, таких как:
- Местное развертывание LLM
- Модульное обучение и тонкая настройка
- Вычисления Multi-GPU
- Научная нагрузка
- Долгосрочные приложения AI
Цель состоит не только в том, чтобы сделать рабочую станцию более холодной.
Это должно поддерживать стабильность системы, когда оборудование фактически используется так, как предполагается использовать рабочую станцию ИИ.
Финальный вынос
Для системы с одним GPU или более легкой рабочей нагрузкой ИИ охлаждение воздуха по-прежнему практично и экономически эффективно.
Для систем с несколькими GPU, непрерывного обучения, локального развертывания ИИ и вычислительных нагрузок 24/7 жидкостное охлаждение становится гораздо более ценным.
В конце концов, самый полезный вопрос заключается не в том, насколько впечатляюще выглядит рабочая станция на бумаге.
Это вот что:
После нескольких часов работы или нескольких дней, могут ли графические процессоры по-прежнему поддерживать тактовую частоту, как они должны?
Если они могут, то производительность вычислений на спецификации на самом деле что-то значит.