384 ГБ совокупной видеопамяти и 2 ТБ оперативной — это локальный вычислительный узел, на котором команда перестала арендовать облако. Дальше — про четыре RTX PRO 6000 Blackwell, индивидуальный жидкостной контур и PCIe 5.0 в полной конфигурации.
Что было до: облако упиралось в стоимость и контроль данных
Клиент работает с обучением нейросетей и обработкой больших массивов данных. Ранее команда арендовала облачные вычислительные ресурсы — это давало гибкость, но при росте объёма работ ежемесячные платежи превышали стоимость собственной инфраструктуры на горизонте года.
Главные проблемы облачной модели — стоимость на длинных циклах обучения и расположение данных на стороне внешнего провайдера. Для задач, связанных с обучающими наборами и весами собственных моделей, обе проблемы критичны.
Требование к проекту — локальная вычислительная станция, на которой объём видеопамяти, оперативной памяти и хранилища закрывает текущие задачи команды с запасом, а данные не покидают периметр организации.
Четыре RTX PRO 6000 Blackwell: 384 ГБ совокупной видеопамяти
В системе установлены четыре NVIDIA RTX PRO 6000 Blackwell. У каждой по 96 ГБ видеопамяти — суммарно 384 ГБ совокупного объёма единого пула. На этом объёме крупные нейросетевые модели обучаются целиком, без выгрузки промежуточных весов на диск.
Архитектура Blackwell спроектирована именно под обучение нейросетей: тензорные ядра нового поколения ускоряют ключевые операции на длинных циклах обучения, и при том же программном коде производительность заметно выше предыдущих поколений.
PCIe 5.0 в режиме x16 на все четыре видеокарты
При параллельной работе четырёх видеокарт на одной шине типичная проблема — сужение каждой линии до x8 или ниже. Это сразу съедает часть прироста от добавления карт. Решение — материнская плата ASUS PRO WS WRX90E-SAGE SE с поддержкой PCIe 5.0 в режиме x16/x16/x16/x16.
Каждая видеокарта получает полную шину Gen5 без сужения. Это критично при обмене данными между видеокартами и между процессором и видеокартами — узкое место в шине здесь отсутствует.
Threadripper PRO 7995WX — 96 ядер для подготовки данных
Четыре видеокарты обслуживаются процессором AMD Ryzen Threadripper PRO 7995WX — 96 физических ядер, 192 потока. Высокое число ядер критично именно под параллельную подготовку обучающих данных, которая идёт постоянно фоном к самому обучению.
2 ТБ оперативной памяти и 16 ТБ NVMe
В системе установлено 2 ТБ серверной оперативной памяти Samsung ECC DDR5-4800 в восьми модулях по 256 ГБ. Этот объём нужен для подготовки обучающих выборок и кэширования промежуточных результатов длинных циклов обучения.
Системные накопители — четыре Samsung 9100 PRO по 4 ТБ, суммарно 16 ТБ на NVMe-шине. Скорость чтения — до 14,8 ГБ/с. Подача данных на четыре видеокарты идёт без задержек дисковой подсистемы.
Индивидуальное жидкостное охлаждение: 55–60°C под нагрузкой
Под четырьмя серверными видеокартами в плотной компоновке воздушное охлаждение физически не справляется. Решение — индивидуальный жидкостной контур с водоблоками на процессоре и всех четырёх видеокартах.
Контур держит температуру видеокарт на уровне 55–60°C под полной нагрузкой. Дополнительно установлено 18 вентиляторов Thermalright TL-B12-EXTREM с высоким статическим давлением. Тонкая настройка кривых вращения держит шум приемлемым для офисного размещения.
Параллельная работа четырёх флагманских видеокарт в едином контуре охлаждения и оперативная память от 2 ТБ — это ключевые требования, под которые рассчитывалась платформа. На таких параметрах команда может перевести обучение с облака на собственный узел без потери в скорости.
Результат: отказ от облачных вычислений
После запуска системы команда перевела обучение моделей с облачной инфраструктуры на локальный узел. Станция работает в режиме круглосуточной нагрузки, 384 ГБ совокупной видеопамяти и 2 ТБ оперативной памяти закрывают текущие задачи команды с запасом.
Пиковое потребление под полной нагрузкой превышает 2 кВт. За энергоснабжение отвечает блок питания на 3000 Вт в сертификации 80 PLUS Platinum — высокая эффективность преобразования снижает тепловые потери на самом блоке.
Кому подходит такая конфигурация
Локальная вычислительная станция на четырёх флагманских видеокартах работает под:
- команды обучения больших языковых моделей и других нейросетей с длительными циклами обучения;
- исследовательские группы в области машинного обучения и науки о данных, которым нужна локальная инфраструктура взамен арендованного облака;
- корпоративные платформы машинного обучения с требованием размещения данных в закрытом контуре организации;
- трёхмерную визуализацию профессионального уровня и научные расчёты с большой совокупной видеопамятью.
HYPERPC AMPERE производится под задачу клиента. Количество видеокарт, объём оперативной памяти, конфигурация жидкостного контура, формат корпуса — каждый параметр определяется по запросу.
Что делать, если у вас похожая задача
Если ваша команда обучает модели в облаке и упирается в стоимость или в требования к расположению данных — есть смысл начать с разговора.
Пришлите профиль задачи: какие модели обучаете, объём обучающих данных, текущие облачные расходы, требования к закрытому контуру. В ответ — конфигурация HYPERPC AMPERE под вашу задачу и срок развёртывания.
💬 Свяжитесь с нами:
📱 Telegram → t.me/hyperpc_ru_bot
📱 WhatsApp → wa.me/79255388341
📱 VK → vk.com
📱 MAX → max.ru
📧 Почта → sales@hyperpc.ru, server@hyperpc.ru
Листая дальше, вы попадёте на сайт HYPERPC — смотрите конфигурации серверов, оставляйте заявку на нестандартную конфигурацию. Проектируем то, чего нет в каталоге — просто опишите задачу.