Видеокарты для машинного обучения

Зависит от модели и размера батча. Под классификацию изображений и небольшие модели хватает 12-24 ГБ. Для дообучения LLM на 7-13 млрд параметров и генеративных диффузионных моделей нужно от 24 ГБ, а с полноценным файнтюном без квантования от 48 ГБ. Крупные модели на 70 млрд параметров требуют 80 ГБ HBM или разбивки на несколько карт. Правило простое: в VRAM должны поместиться веса модели, состояния оптимизатора и батч данных. Опишите архитектуру модели и задачу, и мы подберём карту с запасом памяти под рост, чтобы вы не упёрлись в нехватку VRAM на середине проекта.

RTX 4090 это лучшая цена за производительность на одной карте: 24 ГБ памяти и мощные тензорные ядра за разумные деньги, идеально под ресёрч, прототипы и инференс. A100 дороже в разы, но даёт 80 ГБ памяти HBM2e с пропускной способностью свыше 2 ТБ/с и шину NVLink для быстрой связки карт, что критично при обучении крупных моделей и сборке кластеров. Если модель влезает в 24 ГБ и работаете на одной карте, берите 4090. Если нужна большая память, многокарточный параллелизм или круглосуточная нагрузка в дата-центре, выбирайте A100 или H100. Подскажем оптимальный вариант под вашу задачу и бюджет.

NVLink это высокоскоростная шина прямой связи между видеокартами от NVIDIA, она нужна, когда модель не влезает в память одной карты и её разбивают на несколько GPU. На A100 NVLink даёт до 600 ГБ/с, на H100 до 900 ГБ/с, тогда как обмен по обычной шине PCIe 5.0 ограничен примерно 64 ГБ/с. При тензорном и пайплайн-параллелизме карты постоянно обмениваются данными, и без NVLink этот обмен становится узким местом, замедляя обучение. На игровых картах RTX 4090 NVLink отсутствует, поэтому для серьёзного многокарточного обучения берут A100 или H100. Под одну карту NVLink не нужен.

Да, RTX 4090 и подобные игровые карты отлично подходят под обучение и инференс на одной карте, многие стартапы и лаборатории работают именно на них из-за цены. Но есть нюансы: у игровых карт нет NVLink, поэтому многокарточный параллелизм идёт только по PCIe, лицензия NVIDIA ограничивает их использование в дата-центрах, а турбинное охлаждение плохо переносит плотную установку в стойку. Для одиночной рабочей станции или небольшого сервера на 1-2 карты это рабочий и выгодный выбор. Для плотных стоек, кластеров и круглосуточной дата-центровой нагрузки берут профессиональные L40S, A100 или H100.

Видеокарты NVIDIA работают со всем стандартным ML-стеком: CUDA Toolkit, cuDNN, TensorRT, фреймворки PyTorch, TensorFlow, JAX, библиотеки Hugging Face Transformers и vLLM для инференса. По запросу мы преднастраиваем сервер: ставим Ubuntu, актуальные драйверы NVIDIA, CUDA нужной версии под ваш фреймворк, настраиваем многокарточный режим и контейнеры с поддержкой GPU через NVIDIA Container Toolkit. Карты AMD Instinct работают через ROCm и поддерживаются в PyTorch и TensorFlow. Вы получаете сервер, на котором обучение запускается сразу, а не голое железо, на котором ещё неделю настраивают окружение.

GPU-сервер это серверная платформа, спроектированная под установку нескольких видеокарт: усиленное питание с блоками на 2-3 кВт и резервом, продуманный воздушный поток под высокий TDP карт, слоты PCIe 5.0 с нужным числом линий на каждую карту, а в топовых моделях шина NVSwitch для связи всех GPU. Обычный сервер под такие нагрузки не рассчитан: не хватит питания, охлаждения и слотов. Мы собираем GPU-серверы на шасси Supermicro и брендовых платформах под 2, 4 или 8 ускорителей, с двумя процессорами, памятью DDR5 и быстрыми NVMe под датасеты. Конфигурацию считаем под ваше число карт и задачу.

RTX 4090 при наличии на складе в Алматы отгружаем за 1-3 рабочих дня. GPU-сервер в сборке под ваше ТЗ занимает обычно от 5 до 10 дней с учётом комплектации, теста и прогона под нагрузкой. Дата-центровые A100 и H100 под заказ поставляются от двух до четырёх недель в зависимости от модели и наличия у дистрибьютора, так как это дефицитные позиции. Точный срок называем сразу в коммерческом предложении и фиксируем в договоре. В регионы Казахстана добавляется время на доставку транспортной компанией, его учитываем заранее, чтобы вы планировали запуск проекта без сюрпризов.

Да, поставляем только оригинальные новые видеокарты от производителя, без серого товара и без бывших в майнинге карт, у которых выработан ресурс памяти и системы охлаждения. Под ML это принципиально: на долгих прогонах обучения важны стабильность памяти и теплоотвод, а изношенная карта даёт сбои и ошибки в расчётах. На профессиональных картах память идёт с ECC и коррекцией ошибок. На каждую позицию даём гарантию: на профессиональные и дата-центровые карты гарантия вендора в Казахстане, на сборку сервера наша гарантия. По запросу предоставляем серийные номера и документы для постановки на учёт и тендеров.

Да, с компаниями и ИП работаем по договору поставки и безналичному расчёту с выставлением счёта и счёта-фактуры (ЭСФ). После отгрузки подписываем накладную и акт приёма-передачи. Реквизиты, проект договора и спецификацию конфигурации с моделями карт и характеристиками присылаем заранее, чтобы бухгалтерия и отдел снабжения успели всё провести и согласовать. Под закупку дорогих GPU-серверов готовим полный пакет документов. Для тендеров и госзакупок подготовим технические характеристики под требования заказчика. Помогаем с документами для постановки оборудования на учёт и амортизации.

Да, если изначально заложить запас. При сборке GPU-сервера мы подбираем шасси с резервом слотов PCIe, блоки питания с запасом по мощности и охлаждение под максимальное число карт, чтобы позже можно было дозаполнить сервер. Например, начать с 4 карт и со временем дойти до 8 без замены платформы. Это заметно дешевле, чем менять весь сервер. Когда придёт время расширения, поможем подобрать совместимые карты той же модели для корректной работы NVLink и многокарточного режима. Если же платформа собрана впритык по питанию и слотам, наращивание упрётся в потолок, поэтому запас планируем заранее под ваш горизонт роста.

Да, на профессиональные и дата-центровые карты NVIDIA действует гарантия производителя в Казахстане, на собранный GPU-сервер мы даём собственную гарантию на сборку и комплектующие. Дополнительно оформляем сервисное обслуживание: диагностика, замена вышедших из строя карт и блоков питания, удалённая поддержка по настройке драйверов и многокарточного режима. Для продакшн-инференса и непрерывного обучения предлагаем расширенную поддержку с приоритетным временем реакции и подменным фондом, чтобы простой кластера был минимальным. Условия гарантии и сервиса прописываем в договоре без скрытых оговорок, отдельно оговариваем порядок RMA по дата-центровым картам.

Да, под инференс больших языковых моделей подбираем карты по объёму модели и требуемой пропускной способности запросов. Для моделей до 13 млрд параметров в квантованном виде хватает одной RTX 4090 или L40S. Под модели на 70 млрд параметров и выше нужна память от 80 ГБ или связка карт через NVLink, здесь работают A100 и H100. Под высокую нагрузку с множеством одновременных запросов считаем число карт исходя из желаемого throughput в токенах в секунду. По запросу преднастраиваем сервер с vLLM или TensorRT-LLM для эффективного батчинга запросов. Опишите модель и ожидаемую нагрузку, и мы подберём конфигурацию под ваш бюджет и SLA.

H100 это следующее поколение после A100 на архитектуре Hopper. Главные отличия: память HBM3 с пропускной способностью около 3.3 ТБ/с против HBM2e и 2 ТБ/с у A100, поддержка формата FP8 с движком Transformer Engine, который ускоряет обучение и инференс трансформеров в несколько раз, и более быстрый NVLink до 900 ГБ/с. На практике H100 даёт кратный прирост на больших языковых моделях, но стоит заметно дороже и дефицитнее. A100 остаётся отличным выбором по соотношению цена-производительность под крупные модели, когда максимальная скорость Hopper не критична. Под ваш бюджет и задачу подскажем, оправдан ли переход на H100 или достаточно A100.