NVIDIA H100 80GB

H100 это следующее поколение после A100 на новой архитектуре Hopper. Главное отличие это Transformer Engine с поддержкой FP8, который даёт до 9 раз быстрее обучение трансформеров и кратно больше токенов в секунду на инференсе. Память тоже быстрее: 80 ГБ HBM3 с полосой до 3.35 ТБ/с против HBM2e и 2 ТБ/с у A100. По сырому FP16 H100 выдаёт до 1979 TFLOPS против 624 у A100. Если задача это обучение и прод-инференс больших языковых моделей, H100 окупается скоростью. A100 берут, когда бюджет важнее и нужна память подешевле.

SXM5 это модуль для платы-носителя HGX с TDP до 700 Вт, полным NVLink на 900 ГБ/с и максимумом производительности, его ставят в плотные сборки на 8 карт в дата-центрах. PCIe-версия это обычная карта в слот Gen5 x16 с TDP 350 Вт и NVLink-мостом на пары карт, она проще в интеграции в стандартные серверы и сборки на 4 GPU. SXM5 быстрее и плотнее, но требует специальной платформы. PCIe гибче и дешевле в интеграции. Если у вас обычный сервер или нужно до 4 карт, берите PCIe, если строите узел кластера на 8 GPU, берите SXM5. Подберём под вашу платформу.

Зависит от размера модели и сроков. Для дообучения и LoRA небольших моделей хватает 1-2 карт по 80 ГБ. Для обучения моделей на десятки миллиардов параметров с нуля считают узлами по 8x H100 SXM5 и собирают кластер из нескольких узлов через InfiniBand. Ключевой ограничитель это память: если модель и батч не влезают в 80 ГБ, нужно больше карт и распределённое обучение. Опишите размер модели, датасет и желаемое время обучения, и мы посчитаем нужное число карт и предложим конфигурацию узла с запасом.

Да, и это одно из главных применений. Благодаря FP8 и Transformer Engine H100 выдаёт кратно больше токенов в секунду на инференсе LLM, чем A100 или потребительские карты. 80 ГБ памяти позволяют держать крупные модели целиком на одной карте без разбиения, а для совсем больших моделей берут пару карт по NVLink или версию NVL на 94 ГБ. Под высоконагруженный прод-инференс собираем серверы на 4 и 8 H100 с балансировкой нагрузки. Если задача это API-сервис на собственной модели, H100 даёт лучшую плотность запросов на карту.

Да, продаём как отдельные карты, так и собранные GPU-серверы. Одну H100 PCIe можно поставить в подходящий сервер с слотом Gen5 x16, достаточным питанием и охлаждением, мы проверим совместимость с вашей платформой по питанию, длине слота и BIOS. Под рабочую станцию для обучения чаще берут сразу 2-4 карты, чтобы был запас памяти и масштабирование по NVLink. SXM5-версию отдельной картой ставить некуда, она требует платы HGX, поэтому её поставляем в составе платформы. Подскажем, что выгоднее под вашу задачу.

H100 PCIe требует сервер с слотами PCIe Gen5 x16, мощным блоком питания (одна карта 350 Вт, плюс процессоры и обвязка) и серьёзным охлаждением, потому что карта пассивная и рассчитана на проток воздуха в стойке. Под 4 карты берут двухпроцессорную платформу на EPYC или Xeon с достаточным числом линий PCIe и резервом питания. SXM5-версия ставится только в готовую платформу HGX H100 на 4 или 8 модулей с NVSwitch. Мы либо подберём и соберём GPU-сервер целиком, либо проверим, подойдёт ли ваш существующий сервер под установку карт.

Поставляем только оригинальные ускорители NVIDIA, без серого, ремаркированного или восстановленного товара. H100 это дата-центровый продукт, реплик у него быть не может, но на рынке встречаются карты сомнительного происхождения и без гарантии, мы с такими не работаем. На каждую карту даём гарантию и по запросу предоставляем серийные номера для проверки и постановки на учёт. Каждый GPU перед отгрузкой проходит тест на стенде: проверяем память, температуры и производительность под нагрузкой, чтобы вы получили рабочую карту, а не кота в мешке.

H100 это дефицитный товар с ограниченным наличием, поэтому сроки зависят от формата и партии. Если нужная версия есть на складе в Алматы, отгружаем за 1-5 рабочих дней. Поставка под заказ обычно занимает от 2 до 6 недель в зависимости от исполнения и объёма. Сборка GPU-сервера на 4 или 8 карт под ваше ТЗ это 2-4 недели с тестом и прогоном. Точный срок и подтверждённое наличие называем до оплаты и фиксируем в договоре, чтобы не было сюрпризов. В регионы добавляется время на доставку, его тоже закладываем заранее.

H100 NVL это специальная версия с увеличенной памятью 94 ГБ HBM3 на карту, которая поставляется парой, соединённой мостом NVLink, что даёт суммарно 188 ГБ на связку. Её создали под инференс и обучение очень крупных языковых моделей, которым не хватает 80 ГБ. По вычислительной части она близка к SXM5, но в формате PCIe-карт с высоким TDP. Если ваша модель упирается именно в объём памяти и не помещается в 80 ГБ без жёсткого разбиения, NVL это правильный выбор. Под обычные задачи переплачивать за лишнюю память смысла нет, хватит стандартной H100 80GB.

Да, с компаниями и ИП работаем по договору поставки и безналичному расчёту с выставлением счёта и счёта-фактуры (ЭСФ). После отгрузки подписываем накладную и акт приёма-передачи. Реквизиты, проект договора и спецификацию по картам или GPU-серверу присылаем заранее, чтобы бухгалтерия и отдел снабжения успели всё провести и согласовать бюджет, а суммы на H100 серьёзные. Поможем с документами для постановки оборудования на учёт. Для тендеров и госзакупок подготовим полный комплект документов и технические характеристики под требования закупки.

Да, по запросу устанавливаем и настраиваем софт: драйверы NVIDIA, CUDA Toolkit, cuDNN, NCCL для многокарточной связи, контейнерную среду с NVIDIA Container Toolkit под Docker. Проверяем масштабирование на нескольких картах, корректную работу NVLink и температурный режим под нагрузкой. По желанию разворачиваем готовую среду для обучения или инференса: PyTorch, vLLM, TensorRT-LLM или ваш стек. Если строим узел кластера, настраиваем сеть InfiniBand и проверяем пропускную способность между узлами. Объём настройки согласуем заранее и включаем в смету, чтобы вы получили готовую к работе систему.

Да, на оригинальные карты NVIDIA действует гарантия производителя, на собранные GPU-серверы мы даём собственную гарантию на платформу и сборку. Дополнительно оформляем сервисное обслуживание: диагностика, замена вышедших из строя компонентов, удалённая поддержка по настройке и драйверам. Для производственных AI-систем предлагаем расширенную поддержку с приоритетным временем реакции, потому что простой кластера стоит дорого. Серийные номера и условия гарантии прописываем в договоре без скрытых оговорок. При сбое поможем оперативно диагностировать проблему и решить вопрос замены или ремонта по гарантии.

Да, если бюджет под H100 не вытягивается, есть варианты под конкретную задачу. Под обучение с меньшими сроками берут A100 80GB, она дешевле и тоже даёт 80 ГБ памяти. Под инференс LLM и генеративную графику отлично подходит L40S с 48 ГБ за заметно меньшие деньги. Под рабочую станцию инженера или дизайнера с задачами AI и рендера берут RTX 6000 Ada на 48 ГБ. Мы не навязываем самую дорогую карту: опишите реальную нагрузку и бюджет, и подберём ускоритель с оптимальным соотношением цены и производительности именно под вашу задачу.