Сети для ИИ и GPU-кластеров
Сети для ИИ: как объединить серверы в эффективную систему
Зачем GPU-кластеру подходящая сеть, какое оборудование использовать и что учитывать при подборе
Для искусственного интеллекта важны не только серверы
При создании ИИ-инфраструктуры основное внимание обычно уделяют вычислительным ускорителям - GPU. Они выполняют вычисления, но в большой системе должны ещё и быстро обмениваться данными.
Если несколько серверов совместно обучают модель, медленная или перегруженная сеть может заставлять ускорители ждать друг друга. Оборудование работает, но задача выполняется дольше.
ГК «Зеон» предлагает подбор и поставку оборудования для серверной и сетевой инфраструктуры: коммутаторов, сетевых адаптеров, оптических модулей, кабелей и сопутствующих решений. Конфигурацию подбираем под задачу заказчика.
Почему обычной сети может быть недостаточно
Представьте команду, участники которой выполняют разные части одной работы, а затем обмениваются результатами. Если один участник задерживается, остальные не всегда могут продолжить.
Похожим образом устроены некоторые этапы распределённого обучения ИИ. GPU выполняют вычисления параллельно, затем обмениваются результатами. Задержки этого обмена влияют на время всей задачи.
Крупные потоки данных
Несколько интенсивных передач могут загрузить отдельные соединения, даже если в других частях сети ещё остаётся свободная пропускная способность.
Резкие всплески нагрузки
Несколько узлов могут одновременно отправлять данные одному получателю. Возникают очереди, а при переполнении буферов возможны потери пакетов.
Ожидание вместо вычислений
Повторная передача данных и перегрузки увеличивают время обмена. Часть GPU может ждать, вместо того чтобы выполнять полезную работу.
Четыре задачи сети ИИ-кластера
В инфраструктуре ИИ полезно разделять четыре сетевых сегмента. У каждого своё назначение и требования.
Доступ пользователей и приложений
Через этот сегмент поступают запросы к ИИ-сервису и возвращаются ответы. По назначению он близок к обычной сети центра обработки данных.
Обмен между GPU-серверами
Здесь передаются данные совместных вычислений. При распределённом обучении особенно важны пропускная способность, управление перегрузками и предсказуемое время передачи.
Работа с хранилищем
Обеспечивает доступ к наборам данных и сохранение промежуточных состояний модели. Скорость этого сегмента влияет на загрузку и сохранение информации.
Управление оборудованием
Используется администраторами для подключения к средствам управления серверами и служебным консолям. Его требования отличаются от сети вычислительного обмена.
Ethernet, InfiniBand и RoCE — простыми словами
Ethernet
Семейство технологий, широко используемых в корпоративных сетях и ЦОД. Ethernet можно применять и для ИИ-кластеров, если оборудование и настройки соответствуют вычислительной нагрузке.
InfiniBand
Технология соединения вычислительных узлов, применяемая в высокопроизводительных системах и ИИ-кластерах. Один из вариантов для интенсивного обмена между серверами.
RDMA и RoCE
RDMA позволяет передавать данные между областями памяти узлов с меньшим участием центрального процессора в передаче. RoCE позволяет использовать RDMA в Ethernet-сети.
Всем ли нужны соединения 400G и 800G
Нет. Скорость сети выбирают под задачу, а не только по количеству установленных GPU. Важны способ распределения вычислений, объём обмена и требования ко времени выполнения.
Запуск готовой модели
Если модель работает на одном сервере и запросы не требуют распределённых вычислений, отдельная сеть обмена между GPU-серверами может не понадобиться.
Дообучение на нескольких узлах
Требуется оценить объём обмена. Для части сценариев можно рассматривать 100G RoCE, но достаточность такой сети проверяется для конкретной конфигурации.
Крупное распределённое обучение
При интенсивном взаимодействии множества GPU рассматривают сети 400G, 800G и соответствующую архитектуру. Итоговый выбор подтверждается расчётами и проверкой нагрузки.
Коммутаторы для серверной инфраструктуры
Для сети ЦОД, подключения оборудования и объединения сетевых сегментов можно рассмотреть следующие модели. Пригодность для конкретной роли определяется требованиями проекта.
KORNFELD D2132
Коммутатор для рассмотрения в проектах высокоскоростной сети центра обработки данных.
AQ-N6000-32C
Коммутатор для инфраструктуры ЦОД. Режимы и скорости портов уточняются по спецификации выбранного исполнения.
MES5500-32
Вариант для проектов, которым требуются многочисленные высокоскоростные сетевые соединения.
Когда нужна более высокая пропускная способность
Для высокоскоростных соединений между сегментами инфраструктуры можно рассматривать коммутаторы 400G. Для вычислительного обмена между GPU необходима дополнительная проверка функций и поведения сети под нагрузкой.
FDS-7532D1-R
Вариант для инфраструктуры с высокими требованиями к пропускной способности соединений. Исполнение по питанию и направлению воздушного потока подбирается отдельно.
MES5700-32
Ещё одна платформа для рассмотрения в проектах высокоскоростной сети. В презентации указана коммутирующая способность 25,6 Тбит/с.
Если для закупки нужно реестровое оборудование
Сообщите требования к российскому происхождению и подтверждающим документам при обращении. Важен статус конкретной модели и исполнения, а не только российский бренд.
При подготовке предложения необходимо проверить актуальную реестровую запись, соответствие поставляемой модификации и условия конкретной закупки. Реестровый статус и пригодность для ИИ-нагрузки оцениваются отдельно.
Что нужно для подбора оборудования
- Задача: запуск готовой модели, дообучение или распределённое обучение.
- Количество серверов, тип GPU и установленные сетевые адаптеры.
- Требования к сети пользователей, хранилищу и обмену между вычислительными узлами.
- Существующая схема сети и доступные интерфейсы.
- Требования к резервированию, электропитанию и охлаждению.
- Бюджет, сроки и требования к происхождению оборудования.
Подберём оборудование для вашей инфраструктуры
Планируете ИИ-кластер, расширение ЦОД или обновление серверной сети? Обратитесь в ГК «Зеон». Обсудим требования, подберём оборудование и подготовим предложение на поставку.
Модели и характеристики приведены как ориентиры для подбора по материалам продуктовой презентации. Актуальные спецификации, функции ПО, реестровые записи, наличие и сроки поставки уточняются при подготовке предложения. Приведённые модели не являются готовой спецификацией ИИ-кластера.