Сервер для нейросетей

Главное правило: модель и её активации должны поместиться в VRAM. Инференс языковой модели на 7-13 млрд параметров без квантизации требует около 16-28 ГБ, то есть идёт на одной карте 24 ГБ. Модель на 70 млрд параметров это уже 2-4 карты по 48-80 ГБ или агрессивная квантизация до 4 бит. Обучение и файнтюн с нуля требуют кратно больше памяти под градиенты и оптимизатор, поэтому берут карты по 80 ГБ и связку из нескольких GPU. Для Stable Diffusion и рендера хватает 24-48 ГБ. Назовите модель, число параметров и режим работы, и мы посчитаем нужный VRAM и число карт с запасом.

RTX 4090 даёт отличную цену за TFLOPS, но это потребительская карта без ECC-памяти, без NVLink и с ограничениями NVIDIA на использование в дата-центрах. Профессиональные ускорители RTX 6000 Ada, L40S, A100 и H100 несут больше VRAM (48-80 ГБ против 24), память с коррекцией ошибок ECC что критично для долгого обучения, поддержку NVLink и NVSwitch для связки карт, а версии SXM имеют память HBM с пропускной способностью в разы выше. Для прототипов и инференса 4090 оправдана, для промышленного обучения нужны профессиональные карты. Подскажем, где какой класс выгоднее под задачу и бюджет.

NVLink это высокоскоростная шина прямой связи между видеокартами в обход PCIe. При обучении на нескольких GPU карты постоянно обмениваются градиентами, и пропускная способность канала между ними определяет, будет ли масштабирование линейным. PCIe 5.0 x16 даёт около 64 ГБ/с, а NVLink между картами до 900 ГБ/с, что на порядок быстрее. В платформах HGX все 8 карт связаны через NVSwitch на полной скорости и работают как единый пул памяти. Для одиночной карты или инференса NVLink не нужен, для распределённого обучения на 4-8 GPU он обязателен, иначе шина станет узким местом и карты будут простаивать в ожидании данных.

Это самый недооценённый момент. RTX 4090 потребляет до 450 Вт, H100 до 700 Вт, а узел из восьми карт с процессорами уходит за 6 кВт. Под это нужны блоки питания 2000-3200 Вт с резервированием и отдельная силовая линия в стойку, обычная офисная розетка не потянет. До четырёх карт обычно хватает воздушного охлаждения в корпусе 4U с правильным продувом, плотные 8-карточные платформы часто требуют жидкостного охлаждения. Мы делаем тепловой и силовой расчёт заранее: считаем суммарный TDP, подбираем корпус, вентиляторы и при необходимости СВО, чтобы карты держали частоты и не уходили в троттлинг.

Зависит от задачи и формата корпуса. Под прототипы и инференс одной модели хватает 1-2 карт. Под инференс-ферму или одновременное обслуживание нескольких моделей берут 4 карты в 4U. Под распределённое обучение больших моделей нужна платформа на 8 GPU с NVSwitch, где карты работают как единый вычислительный пул. Больше восьми карт в одном узле обычно не ставят, дальше масштабируются несколькими серверами с быстрой сетью InfiniBand между ними. Важно, чтобы CPU, память и хранилище не стали узким местом и успевали подавать данные на карты. Опишите модель и режим работы, и мы подберём оптимальное число GPU на узел.

Нет, мы поставляем только оригинальные новые ускорители от производителя, без карт с майнинг-износом и без серого ремаркированного товара. Карты после длительного майнинга работали месяцами под предельной нагрузкой, у них деградирует память и система охлаждения, а гарантия чаще всего аннулирована, что недопустимо для серверов под обучение, где сбой памяти портит многодневный расчёт. Профессиональные ускорители идут с ECC-памятью и гарантией вендора в Казахстане. На каждую карту даём гарантию и по запросу предоставляем серийные номера и документы для постановки на учёт.

Если нужная конфигурация есть на складе в Алматы, отгружаем за 1-3 рабочих дня. Сборка на заказ под ваше ТЗ занимает обычно от 5 до 10 дней с учётом стресс-теста карт и контроля температур под полной нагрузкой. Платформа NVIDIA HGX с H100 или A100 под заказ поставляется от двух до шести недель в зависимости от наличия у дистрибьютора, так как топовые ускорители часто идут под заказ из-за дефицита. Точный срок называем сразу в КП и фиксируем в договоре. В регионы Казахстана добавляется время на доставку транспортной компанией, его тоже закладываем заранее, чтобы вы планировали запуск проекта реалистично.

Да, если платформа выбрана с запасом. При подборе мы оставляем свободные слоты PCIe, резерв по мощности блока питания и место в корпусе под рост, чтобы позже доставить карты без замены сервера. Важно учитывать охлаждение: добавление карт увеличивает тепловыделение, поэтому запас по продуву и питанию закладываем сразу. Если изначально брали узел на 2 карты с прицелом на 4, апгрейд проходит безболезненно. Связку через NVLink или NVSwitch нужно планировать заранее, она зависит от модели карт. Когда придёт время расширения, поможем подобрать совместимые ускорители и проведём апгрейд с проверкой стабильности.

Да, с компаниями и ИП работаем по договору поставки и безналичному расчёту с выставлением счёта и счёта-фактуры (ЭСФ). После отгрузки подписываем накладную и акт приёма-передачи. Реквизиты, проект договора и спецификацию конфигурации с точными моделями карт присылаем заранее, чтобы бухгалтерия и отдел снабжения успели всё провести и согласовать бюджет, ведь GPU-серверы это крупная закупка. Поможем с документами для постановки дорогостоящего оборудования на учёт. Для тендеров и госзакупок подготовим полный комплект документов и технические характеристики под требования технической спецификации.

Да, по запросу разворачиваем полный программный стек: ставим ОС Linux, драйверы NVIDIA CUDA или AMD ROCm, библиотеки cuDNN и NCCL, контейнерную среду Docker с NVIDIA Container Toolkit. Под инференс настраиваем vLLM или TensorRT-LLM, под обучение готовим окружение PyTorch или TensorFlow с распределённым режимом на всех картах. Проверяем, что все GPU видны системе, NVLink активен и нагрузка раскладывается по картам. Если у вас уже есть пайплайн, подгоним среду под ваши версии библиотек. Объём настройки согласуем заранее и включаем в смету, чтобы вы получили сервер, готовый запускать обучение.

Вся вычислительная мощность здесь лежит на нескольких ускорителях, а CPU, память и шина PCIe подобраны так, чтобы успевать подавать данные на карты и не быть узким местом. Ключевые черты GPU-платформы под обучение: усиленное питание на 2000-3200 Вт с резервированием, охлаждение под тепловыделение карт по 450-700 Вт, поддержка NVLink и NVSwitch для связки, корпус 4U с большим числом слотов PCIe 5.0. Просто воткнуть тяжёлые ускорители без расчёта питания и охлаждения нельзя, карты уйдут в троттлинг. Поэтому под нейросети собираем именно специализированную платформу с запасом по мощности и продуву.

A100 это поколение архитектуры Ampere с 80 ГБ HBM2e, проверенное и доступнее по цене, его до сих пор широко используют под обучение и инференс. H100 это архитектура Hopper с 80 ГБ HBM3, заметно выше пропускная способность памяти, есть Transformer Engine с поддержкой FP8, что ускоряет обучение больших языковых моделей в разы. Если бюджет ограничен, а задачи не упираются в самые большие модели, A100 даёт отличное соотношение цены и мощности. Под обучение современных LLM с нуля берут H100. Обе доступны в версии SXM с NVSwitch для 8-карточных платформ. Подскажем под вашу модель, что выгоднее по деньгам.

Да, GPU-серверы отлично подходят не только под нейросети, но и под рендер-фермы, обработку видео и 3D-графику. Для рендера в Blender, Octane, Redshift и V-Ray важны число карт и объём VRAM под тяжёлые сцены, здесь хорошо работают RTX 4090, RTX 6000 Ada и L40S. Под транскодинг и обработку видео профессиональные карты несут аппаратные энкодеры NVENC. Студии часто берут узел на 2-4 картах, который днём гонит рендер, а в свободное время используется под инференс. Опишите ваш софт и типовые сцены, и мы подберём карты с нужным VRAM и числом ядер под рендер и графику с запасом на рост.