Видеокарты для инференса

Главный критерий это объём VRAM под размер модели. Модель на 7-13 млрд параметров комфортно идёт на RTX 4090 с 24 ГБ. Модель на 30-34 млрд требует 48 ГБ - это L40S или RTX 6000 Ada. Под 70 млрд и больше нужны A100 или H100 на 80 ГБ либо связка карт через NVLink. Под генерацию изображений Stable Diffusion и SDXL хватает 24 ГБ, под видеогенерацию берут 48 ГБ и выше. Назовите модель, точность весов и желаемую задержку, и мы бесплатно подберём карту с запасом на KV-кэш и батч и пришлём расчёт.

При обучении нейросеть подбирает веса: идёт прямой и обратный проход, нужны огромная память под градиенты и оптимизатор, высокая вычислительная мощность и часто связка из множества карт через NVLink. При инференсе веса уже готовы, идёт только прямой проход: память расходуется в основном на сами веса и KV-кэш контекста, а нагрузка упирается в пропускную способность памяти, а не в вычислительные блоки. Поэтому под инференс часто хватает карты дешевле и с меньшим числом ядер, но с достаточной VRAM и быстрой памятью. Под обе задачи подберём оптимальную конфигурацию без переплаты.

Считают по числу параметров и точности: примерно 2 байта на параметр в FP16, 1 байт в INT8, 0,5 байта в INT4, плюс запас на KV-кэш под длину контекста и число параллельных запросов. Модель на 7 млрд в FP16 требует около 14 ГБ, в INT4 около 4 ГБ. Модель на 70 млрд в FP16 это около 140 ГБ, в INT8 около 70 ГБ, в INT4 около 35 ГБ. Поэтому крупные модели либо квантуют, либо разносят на несколько карт. Мы рассчитаем нужный объём VRAM под вашу модель, точность и контекст и подберём одну карту или связку, чтобы всё влезло с запасом.

L40S это карта на архитектуре Ada с 48 ГБ GDDR6, поддержкой FP8 и пассивным охлаждением под стойку, оптимальна по цене и энергопотреблению под инференс LLM средних размеров и генеративный ИИ. A100 это 80 ГБ памяти HBM2e с пропускной способностью около 2 ТБ/с и NVLink для связки карт - её берут под тяжёлый инференс крупных моделей, высокий поток запросов и обучение. Если модель влезает в 48 ГБ и нагрузка средняя, L40S выгоднее. Если нужны 80 ГБ на карту, высокая пропускная способность памяти или объединение карт в общую память, нужна A100. Подскажем без переплаты за лишний класс.

Да, RTX 4090 с 24 ГБ GDDR6X и 16384 ядрами CUDA хорошо тянет инференс LLM до 13 млрд параметров и генерацию изображений Stable Diffusion и SDXL, давая производительность, сопоставимую с куда более дорогими картами при цене в разы ниже. Ограничения для дата-центра: нет ECC-памяти и NVLink, активное охлаждение шумит и требует места, TDP 450 Вт нагружает питание. Для локальной ML-станции, студии рендера или старта проекта это рациональный выбор. Под промышленный круглосуточный поток и крупные модели лучше профессиональные L40S или A100. Подскажем, где 4090 экономит, а где нужна серверная карта.

Квантизация снижает точность весов, чтобы уместить модель в меньшую VRAM и ускорить инференс. FP16 это базовая точность без потери качества. INT8 урезает память вдвое при минимальной потере точности, FP8 на картах Ada и Hopper даёт похожий эффект с аппаратной поддержкой Tensor Cores. INT4 сжимает модель вчетверо и позволяет запустить 70 млрд параметров на одной карте 48 ГБ, но требует аккуратной калибровки под задачу. Если важна максимальная точность, берут FP16 и больше памяти, если важнее уместить модель и снизить стоимость, используют INT8 или INT4. Учтём это при подборе карты под целевую задержку и качество.

Зависит от размера модели. Если модель влезает в одну карту, NVLink не нужен - достаточно PCIe. NVLink становится важен, когда модель не помещается в одну карту и её разбивают на несколько по схеме тензорного параллелизма: тогда карты постоянно обмениваются данными, и узкая шина PCIe становится тормозом. A100 и H100 объединяются через NVLink и NVSwitch в общую быструю память, что критично для крупных LLM. Карты вроде L40S и RTX 4090 NVLink не имеют, поэтому их связывают через PCIe, что подходит для запуска нескольких независимых моделей. Подберём схему под вашу модель и число карт.

Да, собираем GPU-серверы на платформах Supermicro, Gigabyte или ASUS под 4-8 видеокарт: шасси 4U или 5U, два процессора Xeon или EPYC, DDR5 ECC, резервные блоки питания суммарно от 3000 Вт и усиленное охлаждение под высокий теплоотвод. Карты связываем через PCIe 5.0, а A100 и H100 - через NVLink для общей памяти. Такой сервер тянет крупные модели с тензорным параллелизмом или несколько моделей одновременно под разные сервисы. Считаем питание, охлаждение и сетевой интерфейс под нагрузку, прогоняем под стресс-тестом перед отгрузкой. Конфигурацию собираем под ваше ТЗ и бюджет.

Это часто недооценивают. Одна RTX 4090 это 450 Вт, L40S 350 Вт, H100 до 700 Вт - сервер на 8 карт легко требует свыше 6 кВт с учётом процессоров и обвязки, поэтому ставят резервные блоки питания суммарно от 3000 Вт и закладывают запас по линии электропитания. Охлаждение тоже критично: пассивные серверные карты L40S и A100 рассчитаны на сквозной поток воздуха в стойке, активные 4090 требуют места и шумят. При сборке мы рассчитываем суммарное потребление, подбираем БП с запасом и шасси с нужным теплоотводом, а по Алматы поможем с организацией питания и ИБП под GPU-стойку.

Да, поставляем только оригинальные видеокарты от производителя и официальных дистрибьюторов, без серого ремаркированного товара и без карт после майнинга, выданных за новые. Серверные карты L40S, A100 и H100 идут с ECC-памятью и предназначены для круглосуточной нагрузки. На каждую позицию даём гарантию: на профессиональные карты гарантия вендора, действующая в Казахстане, на сборку GPU-сервера гарантия на работу и комплектующие. По запросу предоставляем серийные номера и документы для постановки на учёт и прохождения тендерных требований. Перед отгрузкой проверяем каждую карту на стенде.

Если нужные карты есть на складе в Алматы, отгружаем за 1-3 рабочих дня. Сборка GPU-сервера под ваше ТЗ занимает обычно от 5 до 10 дней с учётом теста и прогона под нагрузкой на стенде. Серверные A100 и H100 под заказ поставляются от одной до трёх недель в зависимости от модели и наличия у дистрибьютора. Точный срок называем сразу в коммерческом предложении и фиксируем в договоре. В регионы Казахстана добавляется время на доставку транспортной компанией, его тоже учитываем заранее, чтобы вы планировали запуск без сюрпризов по срокам.

Да, с компаниями и ИП работаем по договору поставки и безналичному расчёту с выставлением счёта и счёта-фактуры (ЭСФ). После отгрузки подписываем накладную и акт приёма-передачи. Реквизиты, проект договора и спецификацию конфигурации присылаем заранее, чтобы бухгалтерия и отдел снабжения успели всё провести и согласовать. Помогаем с документами для постановки оборудования на учёт. Для тендеров и госзакупок готовим необходимый комплект документов и технические характеристики под требования. Работаем с интеграторами, студиями рендера, ML-командами и дата-центрами как с постоянными поставщиками с отсрочкой по согласованию.

Да, если изначально собрать сервер с запасом. При подборе GPU-сервера мы закладываем свободные слоты PCIe, запас по блокам питания и охлаждению, чтобы позже можно было дозаполнить шасси картами без замены платформы. Например, стартовать на 2-4 картах и доукомплектовать до 8 по мере роста нагрузки. Если же платформа собрана впритык по питанию или слотам, наращивание упрётся в потолок, поэтому запас планируем заранее под рост на 1-2 года. Когда придёт время расширения, подберём совместимые карты той же или новой серии и проведём апгрейд с проверкой на стенде. Это дешевле, чем менять сервер целиком.