Серверы и сети для искусственного интеллекта
Подбор и поставка оборудования под задачи вашего бизнеса от ГК «Зеон»
Что нужно для работы искусственного интеллекта
За ИИ-сервисом стоит вычислительная инфраструктура: серверы обрабатывают запросы, накопители хранят модели и рабочие данные, а сеть связывает оборудование с пользователями и между собой.
Для одних задач достаточно одного сервера. Для других нужны несколько вычислительных узлов, быстрое хранилище и высокоскоростная сеть. Поэтому подбор начинается не с самой дорогой модели, а с понимания того, что система должна делать.
ГК «Зеон» предлагает подбор и поставку серверного, сетевого оборудования и решений для хранения данных. Комплектацию и условия поставки согласуем под задачи заказчика.
Для каких задач нужна такая инфраструктура
Корпоративный ИИ-ассистент
Ответы на вопросы сотрудников, подготовка черновиков, кратких изложений и помощь в работе с внутренними материалами.
Поиск по документам
Работа с базой знаний, инструкциями и регламентами. Система находит нужные фрагменты и использует их при подготовке ответа.
Обработка изображений и видео
Вычислительная основа для систем компьютерного зрения: анализа изображений, распознавания объектов и обработки видеопотоков.
Работа с речью
Инфраструктура для распознавания речи, расшифровки записей и обработки аудиоматериалов.
Дообучение моделей
Адаптация готовой модели под специализированные данные и задачи организации. Требования зависят от модели и метода дообучения.
Вычисления и аналитика
Обработка больших объёмов данных, научные и инженерные расчёты, вычислительно сложные рабочие процессы.
Чем GPU-сервер отличается от обычного
Обычный сервер выполняет вычисления прежде всего на центральных процессорах — CPU. В GPU-сервер дополнительно устанавливают вычислительные ускорители — GPU.
GPU хорошо подходят для большого числа параллельных операций, которые используются во многих задачах ИИ. Но количество ускорителей — не единственный важный параметр.
Память GPU
В ней размещаются данные, необходимые для вычислений. Объём памяти влияет на выбор модели и доступные режимы работы.
Оперативная память и накопители
Они нужны для подготовки данных, работы приложений, хранения моделей и загрузки информации в вычислительные ускорители.
Питание и охлаждение
Несколько GPU создают серьёзную нагрузку на электропитание и охлаждение. Возможности серверной проверяют до выбора окончательной конфигурации.
Примеры серверных платформ
Ниже — конкретные модели для обсуждения конфигурации. Это примеры разных подходов к построению вычислительной инфраструктуры, а не универсальный список оборудования для любого ИИ-проекта.
Dell PowerEdge R760xa
Стоечный сервер с воздушным охлаждением для ИИ, машинного обучения, аналитики и других задач с GPU.
- До двух процессоров Intel Xeon Scalable.
- 32 слота оперативной памяти DDR5.
- До четырёх двухслотовых GPU в соответствующей конфигурации.
- Форм-фактор 2U для установки в стойку.
Supermicro AS-4125GS-TNRT
Серверная платформа для ИИ и высокопроизводительных вычислений с несколькими GPU.
- Платформа на AMD EPYC.
- 24 слота оперативной памяти DDR5.
- Поддержка до восьми двухслотовых GPU.
- Форм-фактор 4U для установки в стойку.
GIGABYTE G593-SD0-AAX1
Специализированная система с NVIDIA HGX H100 для ресурсоёмких задач ИИ и вычислений.
- Восемь GPU NVIDIA H100 в составе HGX.
- Связь между GPU через NVLink и NVSwitch.
- Два процессора Intel Xeon Scalable 4-го или 5-го поколения.
- 32 слота DDR5, форм-фактор 5U.
Почему важна сеть между серверами
Если задача выполняется на одном сервере, обмен между несколькими вычислительными узлами может вообще не понадобиться. Но при распределении работы на несколько серверов сеть становится частью вычислительной системы.
Представьте команду, в которой каждый выполняет свою часть задачи, а затем передаёт результат остальным. Если обмен задерживается, часть команды ждёт. Похожая ситуация возникает при распределённом обучении моделей: ускорители могут простаивать, пока не завершится передача данных.
Пропускная способность
Определяет, какой объём данных сеть может передать. Скорость выбирают под нагрузку, а не только по принципу «чем больше, тем лучше».
Задержки и перегрузки
Одновременная передача больших потоков может создавать очереди. Это влияет на время выполнения общей задачи.
Совместимость компонентов
Коммутаторы, сетевые адаптеры, кабели и оптические модули должны работать как согласованная система.
Российское сетевое оборудование для серверной инфраструктуры
Для объединения серверов и систем хранения данных можно использовать оборудование российских производителей. В числе вариантов для подбора — реестровые коммутаторы YADRO, Aquarius и Fplus с интерфейсами 100 и 400 Гбит/с.
YADRO KORNFELD D2132
Коммутатор для объединения сегментов сети центра обработки данных. Применяется на уровне агрегации — там, где сходятся соединения от других коммутаторов.
- 32 порта с поддержкой скорости 100 Гбит/с.
- Коммутирующая способность — до 6,4 Тбит/с.
- Поддержка VXLAN/EVPN для построения масштабируемой сети ЦОД.
- Резервируемые блоки питания и охлаждение с горячей заменой.
- Включен в реестр Минпромторга.
Aquarius AQ-N6000-32C
Управляемый коммутатор для построения сети центра обработки данных. Подходит для проектов, в которых нужно объединить серверное оборудование высокоскоростными соединениями.
- 32 порта QSFP28: 16 × 100G и 16 × 40/100G.
- Коммутирующая способность — 6,4 Тбит/с.
- Поддержка VXLAN, BGP EVPN и MLAG.
- Два блока питания и модули охлаждения с горячей заменой.
- Включен в реестр Минпромторга.
Fplus FDS-7532D1-R
Высокоскоростной коммутатор для центров обработки данных, ядра и агрегации сети. Позволяет строить соединения со скоростью до 400 Гбит/с на порт.
- 32 порта 400GE QSFP-DD.
- Коммутирующая способность — 25,6 Тбит/с.
- Форм-фактор 1U для установки в стандартную 19-дюймовую стойку.
- Резервируемые блоки питания и вентиляторные модули с горячей заменой.
- Включен в реестр Минпромторга.
Подбор российского оборудования в ГК «Зеон»
Если для проекта требуется оборудование российских производителей, сообщите об этом при обращении. Подберём серверы, системы хранения и сетевые устройства с учётом технических требований и условий закупки.
Рассмотрим решения YADRO, Aquarius, Fplus и других производителей. Конкретные модели, исполнения, подтверждающие документы, сроки и условия поставки согласуем в коммерческом предложении.
Из чего состоит решение
Пользователи и приложения
Отправляют запросы к ИИ-сервису и получают результаты.
Вычислительные серверы
Запускают модель и выполняют вычисления на CPU и GPU.
Хранение данных
Содержит модели, документы, наборы данных и результаты.
Сеть и управление
Связывает компоненты и обеспечивает доступ администраторов.
Что можно заказать в ГК «Зеон»
Серверы и вычислительные компоненты
Серверные платформы, совместимые GPU, процессоры, оперативную память и накопители под согласованную конфигурацию.
Сетевое оборудование
Коммутаторы, сетевые адаптеры, кабели и оптические модули для соединения серверов и доступа к сервисам.
Хранение данных
Серверы хранения, системы хранения данных и накопители с учётом объёма информации и требуемой скорости доступа.
Оборудование для серверной
Стойки, источники бесперебойного питания и сопутствующее оборудование, необходимое для размещения выбранной системы.
Что сообщить для подбора
Готовая спецификация не обязательна. Начать можно с описания задачи: что вы хотите запустить и какой результат получить.
- Назначение системы: ИИ-ассистент, поиск, обработка видео, дообучение или другие вычисления.
- Название модели и программного обеспечения, если они уже выбраны.
- Число пользователей или одновременных запросов.
- Объём данных и требования к хранению.
- Имеющиеся серверы, сеть и возможности серверной.
- Бюджет, сроки и требования к происхождению оборудования.
Подберём оборудование под вашу задачу
Планируете запустить ИИ-сервис, расширить вычислительные мощности или объединить серверы в кластер? Обратитесь в ГК «Зеон». Обсудим требования, подберём конфигурацию и подготовим предложение на поставку.
Характеристики серверных платформ приведены по данным производителей. Модели служат примерами для подбора и не подтверждают наличие на складе. Окончательная спецификация, доступность оборудования, сроки и гарантийные условия согласуются в коммерческом предложении.