AMR Equipment

AMR EQUIPMENT / ШАБЛОН RFQ

ТЗ на GPU-сервер: шаблон запроса КП и сравнения предложений

Чтобы сравнить коммерческие предложения на GPU-сервер, отправьте поставщикам одинаковое техническое задание и попросите ответить по каждому пункту. Названия GPU недостаточно: предложения могут различаться топологией, памятью хоста, сетевыми адаптерами, комплектацией и условиями сервиса. Разницу нужно увидеть до заказа.

Файлы для подготовки запроса

Опубликовано

Ниже два рабочих файла: шаблон запроса КП в Markdown и матрица сравнения трёх предложений в CSV. Их можно скачать, заполнить и отправить выбранным поставщикам. Пустые поля специально оставлены пустыми: они не означают согласие поставщика с требованием. Если архитектура ещё не выбрана, начните с руководства по выбору GPU-сервера.

Сначала опишите задачу и критерий результата

Укажите модель и её версию, режим работы: инференс, дообучение или обучение. Для инференса нужны точность весов, длины входного и выходного контекста, параллельные запросы и целевые метрики. Для обучения добавьте метод, размер batch и параметры данных. Напишите, какие значения обязательны, какие желательны, а какие пока неизвестны.

Фраза «сервер для LLM» оставляет слишком много вариантов. Полезнее запрос: «инференс указанной модели, согласованный профиль запросов, требуемая задержка и пропускная способность, проверка по приложенному сценарию». Числа подставляет заказчик. Если теста пока нет, включите его согласование в список открытых вопросов, без обещания конкретного результата.

Зафиксируйте GPU и границы NVLink

В RFQ должны быть точные модель и артикул GPU, количество, форм-фактор, память на один GPU и схема соединений. Отдельный пункт: сколько GPU входит в один NVLink-домен, то есть в группу с соответствующей связностью. Попросите схему топологии и состав мостов или коммутационной платформы.

Например, NVIDIA различает H200 SXM и H200 NVL: у обеих версий указано 141 ГБ памяти на GPU, но форм-фактор и межсоединения различаются. Для H200 NVL NVIDIA описывает двух- или четырёхсторонние мосты NVLink. Поэтому восемь установленных карт сами по себе не подтверждают единый восьмикарточный NVLink-домен. Спецификация NVIDIA H200.

141 × 8 = 1128 ГБ суммарной физической памяти GPU. Это не означает единую память, автоматически доступную модели. Для размещения модели на нескольких GPU требуется поддерживаемое программное распределение, например шардинг; полезная ёмкость также зависит от весов, KV-кэша и рабочих буферов. Hugging Face описывает tensor parallelism как разделение слоёв между ускорителями и отмечает необходимость быстрого обмена. Документация Hugging Face.

Сравнивайте установленную комплектацию

Запрашивайте построчный BOM: артикул, количество и описание каждого компонента. Для CPU нужны точная модель и количество; для RAM, объём, тип и схема заполнения DIMM. Для накопителей разделите загрузочный и рабочий контуры, укажите ёмкость, интерфейс, ресурс записи и требуемое резервирование.

Для сети уточните модели адаптеров, число и скорость портов, протокол, оптику и кабели. Разделяйте сеть управления, передачу данных и межсерверный обмен, если они предусмотрены проектом.

Возможности платформы не равны поставляемой комплектации. Например, Supermicro отдельно перечисляет варианты сетевых адаптеров и опциональные компоненты хранения для SYS-821GE-TNHR. Наличие слота или отсека не подтверждает установленный адаптер или накопитель. Спецификация Supermicro.

Согласуйте сервер с площадкой

Передайте поставщику параметры стойки, питания и охлаждения. В ответ запросите требования именно предлагаемой сборки: высоту, глубину, массу, доступ для обслуживания, тип охлаждения, требования к воздуху либо жидкостному контуру.

Для питания нужны входное напряжение, разъёмы, число вводов, схема резервирования и расчётная нагрузка для выбранной конфигурации. Паспортная мощность блоков питания не заменяет оценку потребления сервера. Зафиксируйте, кто проверяет совместимость PDU, кабелей и инфраструктуры. Если площадка ещё не подтверждена, это открытый вопрос до заказа.

Отделите комплектность от дополнительных услуг

Перечислите рельсы, силовые кабели, сетевые кабели, оптику, мосты, заглушки, необходимые лицензии и подписки. Для каждой позиции поставщик должен указать: включено, исключено или предлагается отдельно. Для программного обеспечения нужны версия или редакция, срок действия, способ передачи права использования и ответственная сторона за активацию.

Гарантия тоже требует детализации: кто предоставляет покрытие, где оно действует, когда начинается срок, как оформляется обращение и кто оплачивает перевозку оборудования. Срок реакции и срок ремонта записывайте отдельно, только если они действительно предложены. Общая фраза «гарантия производителя» оставляет эти вопросы без ответа.

Подготовьте приёмку до оплаты

Согласуйте состав проверки: идентификация оборудования, сверка BOM, диагностика памяти и накопителей, проверка топологии, нагрузочный тест и тест вашей задачи, если он входит в поставку. Для каждого теста зафиксируйте методику, версии ПО, длительность, порог прохождения и вид отчёта.

Без одинакового сценария результаты разных поставщиков нельзя считать сопоставимыми. Маркетинговый показатель производителя не становится измерением предлагаемой сборки. Если benchmark не проводился, так и запишите: «не измерено». Согласуйте порядок действий при несоответствии и ответственных за повторную проверку.

Как заполнить матрицу трёх КП

Скопируйте требования из RFQ в CSV. По каждому предложению внесите значение, статус, ссылку на подтверждающий документ с номером страницы или пункта, отклонения и исключения. Используйте четыре статуса: «подтверждено», «заявлено без документа», «не подтверждено», «не соответствует». Статус «подтверждено» означает наличие указанного документального основания; он не заменяет физическую приёмку.

Сравнивайте итоговую стоимость при одинаковом составе: оборудование, лицензии, услуги и доставка до одного согласованного места. Валюта, применимые налоги, срок действия КП, условия оплаты и точка отсчёта срока поставки должны быть указаны явно. Самая низкая сумма при незаполненных обязательных строках ещё не даёт основания выбрать поставщика.

AMR Equipment принимает заполненный RFQ или готовый BOM для подготовки конфигурации и КП. Укажите количество, город доставки и желаемый срок. Цена, наличие, комплектность, сроки и сервисные условия подтверждаются индивидуально. Для запроса можно использовать страницы H200 NVL, Supermicro HGX H200 и Supermicro HGX B300.

AMR Equipment

Запросите конфигурацию и КП

Пришлите задачу или BOM, количество, город и желаемый срок. Комплектация, наличие, цена и условия поставки подтверждаются для каждого проекта.