Видеокарты для нейросетей

Для серьёзного обучения больших языковых моделей берут дата-центровые NVIDIA H100 или A100 на 80 ГБ HBM. У них тензорные ядра с поддержкой FP8 и BF16, ECC-память и NVLink для связки нескольких карт в единый пул памяти. H100 даёт около 990 TFLOPS в FP16 и втрое быстрее A100 на трансформерах за счёт Transformer Engine. Под обучение моделей от 70B нужна связка из 4-8 карт через NVLink или NVSwitch. RTX 4090 для полноценного обучения крупных LLM не подходит из-за 24 ГБ памяти и отсутствия NVLink, её берут под инференс и LoRA-файнтюн.

Да, RTX 4090 это самый популярный бюджетный выбор под ML-задачи. 24 ГБ GDDR6X и около 330 тензорных TFLOPS в FP16 закрывают инференс моделей до 13B в квантизации, LoRA-файнтюн, диффузионные модели и рендер. Это в разы дешевле дата-центровых карт при сопоставимой вычислительной мощности на коротких задачах. Минусы: нет ECC-памяти, нет NVLink для связки карт, нет официальной лицензии на круглосуточную работу в стойке, и карта занимает 3,5 слота, что мешает плотной сборке. Под эксперименты и инференс - отличный вариант, под продакшн 24/7 лучше L40S.

Зависит от размера модели и режима. Инференс модели на 7-8B параметров в FP16 требует около 16-20 ГБ, поэтому хватит RTX 4090 на 24 ГБ. LoRA-файнтюн моделей 13-34B укладывается в 48 ГБ RTX 6000 Ada или L40S. Полный файнтюн и обучение моделей от 70B требуют 80 ГБ на карту и связки из нескольких A100 или H100. Под диффузионные модели вроде Stable Diffusion и FLUX обычно достаточно 24-48 ГБ. Если памяти не хватает, модель либо не загрузится, либо придётся резать батч и квантовать. Опишите модель и режим - посчитаем точный объём и число карт.

Дата-центровые A100, H100 и L40S имеют ECC-память с коррекцией ошибок, что критично для долгих расчётов, где сбой бита портит весь прогон обучения. У них пассивное охлаждение под сквозной серверный обдув и заводская валидация на круглосуточную нагрузку 24/7. Есть NVLink и NVSwitch для объединения памяти нескольких карт в единый пул, чего нет у игровых. Они занимают два слота и плотно ставятся в сервер на 8 карт. Игровые RTX дешевле и быстрее на коротких задачах, но без ECC, NVLink и лицензии на стойку. Под продакшн и обучение берут дата-центровые, под бюджет и эксперименты - RTX.

NVLink это высокоскоростной канал прямой связи между видеокартами, минуя медленную шину PCIe. У H100 он даёт до 900 ГБ/с против примерно 64 ГБ/с по PCIe 5.0, то есть карты обмениваются данными в разы быстрее. Это обязательно для эффективного распределённого обучения, когда модель не влезает на одну карту и разбивается на несколько GPU: без NVLink обмен градиентами становится узким местом и съедает выигрыш от добавления карт. В платформах SXM с NVSwitch память всех 8 карт объединяется в единый пул. PCIe-версии карт соединяются мостами NVLink попарно. Под обучение крупных моделей NVLink практически обязателен.

Да, собираем GPU-серверы на 4 и 8 видеокарт под обучение и инференс. Подбираем серверную платформу с нужным числом слотов PCIe или плату-носитель SXM, процессоры, объём памяти, NVMe под датасеты и сетевые карты 25-100 GbE. Закладываем резервные блоки питания и охлаждение под полную загрузку всех GPU, считаем энергобаланс и тепловыделение под вашу стойку. Прогоняем сервер под нагрузкой, тестируем память каждой карты, по запросу ставим CUDA, cuDNN и фреймворки PyTorch или TensorFlow и проверяем обучение на тестовом прогоне. Отдаём готовый к работе сервер, а не набор железа.

Да, работаем с интеграторами, студиями рендера, дата-центрами и ML-командами оптом от партии. На опт действует отдельный прайс ниже розничного, цена фиксируется в спецификации. Под крупные поставки бронируем объём у дистрибьюторов и согласуем график отгрузок партиями. Для тендеров и госзакупок готовим полный комплект документов: технические характеристики, сертификаты, серийные номера. Реквизиты, проект договора и спецификацию присылаем заранее, чтобы снабжение и бухгалтерия успели всё провести. Поможем с подбором конфигурации под проект и с документами для постановки оборудования на учёт.

Нет, поставляем только оригинальные новые карты от производителя, без восстановленных после майнинга и серого ремаркированного товара. Майнинговые карты работают на износ под постоянной нагрузкой, у них деградирует память и часто перепаяны компоненты, поэтому для долгого обучения нейросетей они рискованны. На каждую позицию даём гарантию: на игровые и профессиональные карты - гарантию вендора, действующую в Казахстане, на сборку сервера - собственную гарантию на работу и комплектующие. По запросу предоставляем серийные номера и документы для проверки и постановки на учёт. Перед отгрузкой тестируем память каждой карты на стенде.

Для круглосуточного инференса в стойке лучший выбор - NVIDIA L40S на 48 ГБ ECC. Она рассчитана на работу 24/7 под серверным обдувом, имеет пассивное охлаждение в два слота, ECC-память и хорошую энергоэффективность при 350 Вт. По производительности FP16 она близка к RTX 4090, но с вдвое большим объёмом памяти и заводской валидацией под дата-центр. Под высоконагруженный инференс крупных моделей берут H100, под бюджетный инференс без требований к 24/7 подойдёт и RTX 4090. Опишите модель, целевую задержку и число запросов в секунду - подберём карту и число GPU под вашу нагрузку.

Технически в одном сервере можно поставить разные карты, но для распределённого обучения это плохая идея: NVLink работает только между одинаковыми картами, а при обучении на разнородных GPU скорость падает до самой медленной и слабой по памяти карты. Для обучения и связки через NVLink берут одинаковые модели карт. Совмещение оправдано в другом сценарии: одна мощная карта под обучение и отдельная под вспомогательные задачи или инференс, когда они работают независимо. Под кластер мы всегда подбираем одинаковые GPU, чтобы память объединялась корректно и не было узких мест. Подскажем оптимальную схему под вашу задачу.

Это считаем заранее, потому что GPU под нагрузкой очень прожорливы: RTX 4090 это 450 Вт, L40S - 350 Вт, H100 SXM - до 700 Вт на карту. Сервер на 8 карт H100 закладывает по питанию свыше 10 кВт плюс процессоры и обвязка, поэтому нужны резервные блоки питания нужной мощности, отдельные линии и стойка с подводом такой мощности. По теплу дата-центровые карты рассчитаны на сквозной обдув сервера, игровые требуют корпуса с сильным продувом. Мы считаем полный энергобаланс и тепловыделение под вашу стойку и ИБП, чтобы сервер держал полную загрузку без троттлинга и аварийных отключений.

Да, по запросу готовим GPU-сервер программно под ключ: ставим драйверы NVIDIA, CUDA Toolkit, cuDNN и NCCL, разворачиваем фреймворки PyTorch или TensorFlow в нужных версиях, настраиваем контейнеризацию через Docker и NVIDIA Container Toolkit под изоляцию задач. Проверяем, что все карты видны системе, корректно работает NVLink и проходит тестовый прогон обучения или инференса. Можем настроить мониторинг загрузки GPU, температуры и памяти. Если у вас уже есть ML-стек, согласуем версии заранее, чтобы избежать конфликтов CUDA и фреймворков. Объём настройки включаем в смету, чтобы вы получили готовый к расчётам сервер.

Да, с компаниями и ИП работаем по договору поставки и безналичному расчёту с выставлением счёта и счёта-фактуры (ЭСФ). После отгрузки подписываем накладную и акт приёма-передачи. Реквизиты, проект договора и спецификацию с конфигурацией карт или сервера присылаем заранее, чтобы бухгалтерия и отдел снабжения успели всё провести и согласовать бюджет. Поможем с документами для постановки оборудования на учёт. Для тендеров и госзакупок подготовим полный комплект документов с техническими характеристиками под требования закупки. На опт от партии оформляем спецификацию с фиксированными ценами и графиком отгрузок.