Один расчёт гидрогазодинамики занимал по несколько суток. Инженеры ждали результат вместо того, чтобы проверять гипотезы. Вычислительный узел, который снял этот потолок, развернули за 10 рабочих дней. Дальше — что внутри.
Что было до: расчёт модели — несколько суток
Клиент — инженерный центр, который проектирует процессы вычислительной гидрогазодинамики. На входе — трёхмерные расчётные сетки и математические модели. На выходе — данные для проектных решений в промышленности.
Существующая инфраструктура с такой нагрузкой не справлялась.
Один расчёт занимал по несколько дней. Это означало простаивающих инженеров, сорванные сроки и невозможность работы по шагам — поправил параметр, прогнал, посмотрел результат, скорректировал. На многосуточных циклах так работать физически невозможно.
Задача звучала коротко: вычислительный узел, который снимет потолок. Срок на проект — 10 рабочих дней.
Архитектура: монолитный узел и 1.5 ТБ оперативной памяти
Под расчёты гидрогазодинамики есть два разных подхода: кластер из нескольких узлов или один монолитный узел с большим числом ядер и памяти. Для задач клиента выбрали второй вариант.
Расчёты на больших сетках упираются не столько в количество ядер, сколько в пропускную способность памяти: каждое ядро должно непрерывно получать данные из оперативной памяти, иначе оно простаивает.
На кластере между узлами добавляется сетевой обмен, и часть времени уходит на синхронизацию. Монолит снимает эту задержку — все ядра работают с единым адресным пространством памяти.
Базовая конфигурация:
- Процессоры: 2 × AMD EPYC 9754 — 256 физических ядер, 512 потоков
- Оперативная память: 1.5 ТБ DDR5-4800, 24 модуля по 64 ГБ, 12-канальный режим на каждом процессоре
- Накопители: 1 × 3.84 ТБ NVMe SSD + 2 × 3.84 ТБ SATA SSD в RAID 1
- Питание: 4 × 3000 Вт с резервированием
- Формат: стоечный 4U
1.5 ТБ — рабочий объём под задачу, не запас. Расчётная сетка с миллиардами ячеек занимает сотни гигабайт уже в исходном состоянии. Плюс промежуточные массивы решателя, временные данные, кэш — в сумме 800 ГБ – 1.2 ТБ. Всё должно лежать в памяти целиком, иначе расчёт уходит в подкачку и теряет порядок в скорости.
Отдельная точка — 12 каналов на каждом EPYC 9754. Использовать их частично значит терять десятки процентов пропускной способности. Здесь все 24 слота заняты, каждое из 256 ядер получает свою долю памяти без простоев.
Когда расчёт упирается в память, а не в количество ядер — кластер становится дороже монолита. Мы посчитали обе конфигурации заранее, разница была не в стоимости железа, а в неделях работы инженеров клиента.
Хранилище и питание под круглосуточную нагрузку
Дисковая подсистема разделена на три зоны под разные сценарии. NVMe SSD на 3.84 ТБ — диск для временных файлов решателя: контрольные точки, выгрузка частей сетки, которые не помещаются в память. Здесь критичны скорость операций ввода-вывода и задержки.
Два SATA SSD по 3.84 ТБ в RAID 1 — хранилище исходных моделей и финальных отчётов. Зеркалирование закрывает риск отказа одного диска.
Под полной нагрузкой 256 ядер EPYC и полной оперативной памяти узел потребляет существенную мощность. В машине стоят четыре блока по 3000 Вт с резервированием: два в активном режиме, два — в горячем резерве. При отказе одного нагрузка перераспределяется автоматически, обслуживание возможно без выключения системы. Для расчётов, где один цикл занимает десятки часов, это закрывает риск отката на контрольную точку.
Производство и развёртывание — 10 рабочих дней
От подтверждения конфигурации до передачи готовой системы клиенту — 10 рабочих дней. Сюда вошло согласование архитектуры, поставка компонентов, производство, нагрузочное испытание, монтаж в стойку клиента и пусконаладка. Этапы шли параллельно: компоненты заказывались на финализации архитектуры, испытание начиналось сразу после производства.
Под корпоративных клиентов с подобными запросами процедура стандартная: договор с фиксированным временем реакции по обращениям, после развёртывания — гарантийная поддержка.
Серийных решений в этой нише нет. Каждый проект — отдельная задача: посчитать узкое место в нагрузке, подобрать сочетание процессоров, памяти и хранилища, удержаться в сроках. К нам приходят, когда стандартный конструктор серверов закончился, а задача — нет.
Результат: расчёты с дней до часов
Время одного полного расчёта у клиента сократилось с нескольких суток до нескольких часов.
Чтобы понимать порядок: типичный стационарный расчёт модели на десятки миллионов ячеек на парке из 64 ядер Xeon занимает 16–24 часа. На 256 ядрах EPYC 9754 с пропускной способностью DDR5-4800 в 12 каналов — несколько часов на той же модели.
Это другой режим работы инженерного отдела. Раньше цикл «изменили параметр — запустили — посмотрели результат» занимал неделю. Теперь — рабочий день. Можно проверять больше гипотез на проектном этапе, отсекать неудачные варианты раньше, сокращать общий срок инженерного решения.
Система HYPERPC AMPERE работает круглосуточно. По мере роста нагрузки клиент может добавлять аналогичные узлы под параллельные задачи или встраивать их в существующий вычислительный кластер.
Кому подходит такая конфигурация
Вычислительный узел на 256 ядрах с большим объёмом памяти — это не только гидрогазодинамика. Аналогичная архитектура работает под:
- конечно-элементный анализ (ANSYS, Abaqus, COMSOL) в задачах прочности, термодинамики, электромагнетизма;
- молекулярное моделирование и квантовую химию;
- расчёт многомерных оптимизаций в исследованиях и разработках;
- обработку больших научных наборов данных, где задача упирается в объём памяти и пропускную способность шины.
HYPERPC AMPERE производится под задачу клиента. Процессор, объём памяти, конфигурация хранилища, форматное исполнение корпуса — каждый параметр определяется по запросу.
Что делать, если у вас похожая задача
Если вы упираетесь в производительность существующей инфраструктуры — есть смысл начать с разговора.
Пришлите типовой расчёт: какое программное обеспечение, размер сетки, текущее время прогона, что не устраивает. В ответ — конфигурация HYPERPC AMPERE под вашу задачу и срок развёртывания.
💬 Свяжитесь с нами:
📱 Telegram → t.me/hyperpc_ru_bot
📱 WhatsApp → wa.me/79255388341
📱 VK → vk.com
📱 MAX → max.ru
📧 Почта → sales@hyperpc.ru, server@hyperpc.ru
Листая дальше, вы попадёте на сайт HYPERPC — смотрите конфигурации серверов, оставляйте заявку на нестандартную конфигурацию. Проектируем то, чего нет в каталоге — просто опишите задачу.