Четыре флагманские видеокарты RTX 5090 на стенде, многодневное обучение модели — и узкое место не там, где его ждали. Видеокарты простаивали в ожидании данных. Дальше — про HYPERPC G4 PRO RACK, который закрыл этот разрыв.
Что было до: видеокарты быстрее дисков
Клиент — команда из направления разработки программного обеспечения и информационной безопасности. Работают с обучением моделей машинного обучения на больших наборах данных: исследования, опытные образцы, прикладные задачи безопасности.
Имевшийся узел с четырьмя видеокартами RTX 5090 не давал отдачи, на которую рассчитывали. G4 PRO RACK — конфигурация в линейке HYPERPC AMPERE, спроектированная под обучение моделей машинного обучения на четырёх видеокартах одновременно. На длинных циклах обучения видеокарты простаивали — данные на чтение приходили медленнее, чем графические процессоры успевали их обрабатывать.
Узкое место было в дисковой подсистеме. Накопитель оказался медленнее видеокарт, и весь смысл четырёх флагманов терялся в ожидании данных.
Четыре видеокарты RTX 5090 в едином контуре
В системе установлены четыре NVIDIA GeForce RTX 5090. У каждой по 32 ГБ видеопамяти — итого 128 ГБ совокупного объёма на параллельные процессы обучения. Воздушное охлаждение четырёх флагманских видеокарт в плотной компоновке физически не справляется с тепловыделением, поэтому решение — индивидуальный жидкостной контур.
Видеокарты переведены на индивидуальное жидкостное охлаждение и подключены к единому общему контуру вместе с процессором. Это даёт устойчивые рабочие частоты при многодневной нагрузке и убирает тепловой сброс, на который обычно уходит часть полезной производительности.
Threadripper PRO 7985WX — 64 ядра без узкого места
Процессор подаёт данные на четыре видеокарты одновременно и обслуживает фоновые задачи: подготовку данных, виртуализацию, обмен с накопителями. Для такой нагрузки нужен запас по ядрам и по пропускной способности шины.
В системе установлен AMD Ryzen Threadripper PRO 7985WX — 64 физических ядра, 128 потоков. Многоканальный режим серверной оперативной памяти DDR5 ECC обеспечивает непрерывный поток данных к процессору, а через него — к видеокартам.
NVMe Gen5: 14.7 ГБ/с убирает узкое место дисков
Чтобы видеокарты не простаивали в ожидании данных, дисковая подсистема должна работать на уровне, сопоставимом с самими видеокартами.
В системе установлены накопители NVMe SSD M.2 PCIe Gen5 со скоростью чтения выше 14.7 ГБ/с. По сравнению с привычными Gen4-накопителями скорость выросла в два раза. Этого достаточно, чтобы дисковая подсистема перестала быть узким местом для обучения моделей.
Единый жидкостной контур и 8-портовый терминал
На все нагревающиеся компоненты — процессор, четыре видеокарты, модули питания процессора, оперативную память — выведено единое жидкостное охлаждение. Точкой распределения работает 8-портовый терминал: к нему подключены отдельные ветки контура для каждого узла.
Такое решение даёт две вещи. Во-первых, тепло снимается с гарантированной скоростью независимо от компоновки — нет горячих карманов в корпусе. Во-вторых, обслуживание упрощается: можно снять или заменить водоблок отдельной видеокарты, не разбирая контур целиком.
Стабильные частоты при многодневных вычислениях без теплового сброса — рабочий режим, под который проектируется станция для обучения моделей.
Два блока питания и нестандартная компоновка
Четыре видеокарты под полной нагрузкой плюс 64-ядерный процессор требуют существенной электрической мощности. В системе установлены два блока питания Super Flower по 2000 Вт, суммарно 4000 Вт.
Второй блок интегрирован над материнской платой на индивидуальном креплении — это нестандартная компоновка, продиктованная задачей разместить два блока в одном стоечном корпусе с сохранением воздушных коридоров и доступа к разъёмам.
Кому подходит такая конфигурация
Вычислительный узел на 4 видеокартах RTX 5090, 64-ядерном процессоре и накопителях Gen5 работает под:
- обучение моделей машинного обучения и нейросетей в командах разработки программного обеспечения;
- исследовательские задачи в области информационной безопасности — антифрод, обнаружение аномалий, анализ вредоносного кода;
- научно-исследовательские и опытно-конструкторские работы, где скорость доступа к данным становится узким местом;
- задачи трёхмерного рендеринга и работы с видео в высоком разрешении на длинных циклах.
HYPERPC AMPERE производится под задачу клиента. Количество видеокарт, объём оперативной памяти, конфигурация жидкостного контура, формат корпуса — каждый параметр определяется по запросу.
Что делать, если у вас похожая задача
Если ваша рабочая станция или сервер не отдаёт ту производительность, которую обещают спецификации компонентов — узкое место часто не там, где его ждут.
Пришлите типовой профиль нагрузки: какие модели обучаете, какие данные подаются на видеокарты, какие наблюдаются простои. В ответ — конфигурация HYPERPC AMPERE под вашу задачу и срок развёртывания.
💬 Свяжитесь с нами:
📱 Telegram → t.me/hyperpc_ru_bot
📱 WhatsApp → wa.me/79255388341
📱 VK → vk.com
📱 MAX → max.ru
📧 Почта → sales@hyperpc.ru, server@hyperpc.ru
Листая дальше, вы попадёте на сайт HYPERPC — смотрите конфигурации серверов, оставляйте заявку на нестандартную конфигурацию. Проектируем то, чего нет в каталоге — просто опишите задачу.