Аппаратные требования gpt-oss-120b и gpt-oss-20b: видеопамять и GPU

Веса gpt-oss-120b занимают около 61 ГиБ (65 ГБ) памяти GPU, и, по заявлению OpenAI, модель работает на одном GPU с 80 ГБ, например на H100; gpt-oss-20b укладывается в 16 ГБ. Контекст добавляет около 37 КБ на токен для 120b в BF16, поэтому на карте с 96 ГБ остаётся место для нескольких длинных диалогов одновременно.

Коротко

Что такое gpt-oss с точки зрения оборудования

gpt-oss-120b и gpt-oss-20b — модели рассуждений с открытыми весами, которые OpenAI выпустила в августе 2025 г. под лицензией Apache 2.0; в репозитории также есть краткая политика использования, которая просит пользователей соблюдать применимое законодательство. Требования моделей к оборудованию определяются тремя архитектурными решениями.

• Смесь экспертов. В каждом блоке MoE у 120b 128 экспертов, у 20b — 32, а маршрутизатор выбирает для каждого токена 4 из них. Из 116,8 млрд параметров 120b на каждый токен активны лишь 5,1 млрд, но в памяти должны находиться все.
• Веса в MXFP4. OpenAI проводила пост-обучение моделей с весами MoE, квантованными в MXFP4, — около 4,25 бит на параметр. На эти веса приходится более 90% параметров — именно это позволяет 120b уместиться на одном GPU с 80 ГБ. Слои внимания, маршрутизатор и эмбеддинги не квантуются, и все свои оценки OpenAI проводила с теми же весами MXFP4.
• Экономное внимание. Слои чередуют плотное внимание и внимание в ленточном окне из 128 токенов и используют внимание с группировкой запросов (grouped-query attention): 64 головы запросов и 8 голов ключей и значений размерностью 64. Контекст — до 131 072 токенов, с YaRN на плотных слоях.

Обе модели рассчитаны на формат ответов harmony от OpenAI и, по словам OpenAI, без него не будут работать корректно. Шаблон чата в Transformers применяет его автоматически, а эндпоинт Responses в vLLM формирует и разбирает его с помощью библиотеки openai-harmony. Уровень рассуждений — low, medium или high — задаётся в системном промпте, например «Reasoning: high».

Сколько видеопамяти нужно gpt-oss-120b?

Начнём с весов. Согласно карточке модели от OpenAI, чекпоинт 120b занимает 60,8 ГиБ; файлы safetensors на Hugging Face в сумме составляют 65,25 ГБ — тот же объём в десятичных единицах, а в анонсе vLLM указано 63 ГБ. Одному GPU, на котором работает модель, столько памяти нужно ещё до первого токена контекста.

Остальная память карты уходит на KV-кэш, активации и среду выполнения. Поэтому 80 ГБ — практический минимум, и при нём памяти впритык. В руководстве OpenAI по vLLM сказано, что 120b «лучше всего работает при ≥60 ГБ видеопамяти» и «может поместиться на одном H100 или в конфигурациях с несколькими GPU». В рецепте vLLM сказано, что модель помещается на одном A100 с 80 ГБ, но есть предупреждение: на H100 с одним GPU при настройках по умолчанию может не хватить памяти; в предлагаемой команде значение --gpu-memory-utilization повышено до 0.95, а --max-num-batched-tokens — понижено до 1024.

Два обходных пути, которые не работают:

• Неквантованные веса. Эталонная реализация OpenAI на PyTorch преобразует все веса в BF16 и требует как минимум четырёх GPU H100. Используйте чекпоинт в MXFP4.
• Карта с 48 ГБ. Одни только веса больше, чем память L40S, поэтому часть модели придётся держать в оперативной памяти системы, как описано ниже.

Запланируйте и место на диске. Репозиторий на Hugging Face хранит веса дважды: в формате, который загружают vLLM и Transformers, и в папке original для эталонного кода OpenAI — всего около 130 ГБ, если скачать всё.

Требования gpt-oss-20b

gpt-oss-20b состоит из 24 слоёв с 32 экспертами и имеет 20,9 млрд параметров, из которых 3,6 млрд активны на каждый токен. Её чекпоинт занимает 12,8 ГиБ, или 13,8 ГБ в виде файлов на Hugging Face. По словам OpenAI, модель работает в пределах 16 ГБ памяти; в OpenAI Cookbook сказано, что с vLLM ей «требуется всего около 16 ГБ видеопамяти», а с Ollama она «лучше всего работает при ≥16 ГБ видеопамяти или унифицированной памяти».

На GPU с 16 ГБ для контекста и среды выполнения остаётся лишь около 2 ГБ, чего хватает только на короткие диалоги. Карта с 24 ГБ, например RTX PRO 4000, при бюджете памяти vLLM по умолчанию оставляет около 8 ГБ, а L40S с 48 ГБ — около 30 ГБ. По данным OpenAI, 20b можно дообучить даже на потребительском оборудовании, а 120b — на одном узле H100.

KV-кэш: сколько памяти занимает контекст

Во время генерации каждый слой внимания хранит векторы ключа и значения для каждого токена контекста. При 8 головах ключей и значений размерностью 64 это 2 048 байт на токен на слой в BF16. gpt-oss экономит половину этого объёма: все токены хранят только плотные слои, а слои с ленточным окном — лишь последние 128. Гибридный менеджер KV-кэша в vLLM, в описании которого gpt-oss названа среди моделей, сочетающих оба типа слоёв, освобождает блоки кэша, оказавшиеся за пределами окна.

• gpt-oss-120b: 18 плотных слоёв × 2 048 байт = 36 864 байта, около 37 КБ на токен.
• gpt-oss-20b: 12 плотных слоёв × 2 048 байт = 24 576 байт, около 25 КБ на токен.
• Слои с окном: фиксированные 4,7 МБ на диалог для 120b и 3,1 МБ для 20b, независимо от его длины.
• KV-кэш в FP8: один байт на значение вместо двух, то есть вдвое меньше приведённых выше цифр. Конфигурация vLLM для gpt-oss на Blackwell включает его с помощью kv-cache-dtype: fp8.

Умножьте на число диалогов, которые обслуживаются одновременно. vLLM автоматически определяет размер кэша по памяти, оставшейся в пределах бюджета, который задаётся параметром --gpu-memory-utilization (по умолчанию 0.92), если вы не зафиксируете его с помощью --kv-cache-memory-bytes. --max-model-len ограничивает контекст на запрос, а в рецепте vLLM отмечается, что максимальный размер батча ограничен памятью, которая остаётся для KV-кэша после загрузки весов.

Можно ли запустить gpt-oss-120b на одном GPU?

Да, на GPU с памятью от 80 ГБ. Один GPU vLLM рекомендует и для максимальной пропускной способности в расчёте на GPU, а 2, 4 или 8 GPU — для меньшей задержки на пользователя. В таблице ниже оценивается, сколько памяти остаётся под KV-кэш на отдельных картах, исходя из заявленного объёма памяти в десятичных гигабайтах и бюджета vLLM по умолчанию в 92%.

Это верхние границы: активации и графы CUDA расходуют тот же бюджет, поэтому реальный кэш меньше. Небольшой запас в строке H100 согласуется с предупреждением о нехватке памяти в рецепте vLLM. На RTX PRO 6000 с 96 ГБ те же веса оставляют почти втрое больше места: около четырёх диалогов максимальной длины в BF16, девять в FP8 или десятки диалогов на 8 192 токена — без учёта накладных расходов среды выполнения.

На L40S с 48 ГБ модель 120b работает, только если часть весов находится в оперативной памяти системы. Параметр vLLM --cpu-offload-gb позволяет использовать память CPU как дополнительную память GPU, но документация предупреждает, что для этого нужен быстрый интерконнект между CPU и GPU, поскольку выгруженные веса передаются на GPU при каждом прямом проходе. Ollama распределяет модель между CPU и GPU самостоятельно. В OpenAI Cookbook это сформулировано так: при нехватке видеопамяти можно выгрузить часть модели на CPU, «но будьте готовы к тому, что работать она будет медленнее».

Поддержка GPU: что говорит документация

MXFP4 — новый формат, и наличие быстрых вычислительных ядер для него зависит как от движка инференса, так и от поколения GPU. Вот что говорилось в документации в октябре 2026 г.:

• Анонс vLLM (5 августа 2025 г.) сообщал о поддержке GPU NVIDIA Blackwell и Hopper, а также AMD MI300X и MI355X — с MoE-ядром FlashInfer, которое использует тензорные ядра Blackwell с нативной поддержкой MXFP4, и ядром Triton, оптимизированным для Hopper.
• Рецепт vLLM для gpt-oss называет NVIDIA H100, H200 и B200, AMD MI300X, MI325X и MI355X, а также Radeon AI PRO R9700 и сообщает, что ведётся работа над запуском модели на Ampere, Ada Lovelace и RTX 5090. В нём описан вариант для Ampere на A100 — с вниманием на Triton и MoE-ядром Marlin для MXFP4. Пример скрипта запуска применяет настройки для Blackwell (MoE FlashInfer MXFP4+MXFP8 и KV-кэш в FP8) только тогда, когда GPU сообщает compute capability 10.0, как B200; все остальные GPU получают конфигурацию для Hopper.
• Compute capability. NVIDIA указывает 12.0 для RTX PRO 6000 Blackwell, RTX PRO 4000 Blackwell и GeForce RTX 5090, а 8.9 — для L40S, карты на архитектуре Ada Lovelace.
• Таблица квантования vLLM отмечает ядра Marlin (GPTQ, AWQ, FP8 и FP4) как поддерживаемые на Ampere, Ada и Hopper. Столбца для Blackwell в таблице нет.
• NVIDIA NIM, который запускает обе модели через vLLM, называет L40S, RTX PRO 4500 Blackwell Server Edition и RTX PRO 6000 Blackwell Server Edition среди проверенных GPU для обеих моделей и включает RTX PRO 6000 Blackwell Server Edition в оптимизированный профиль gpt-oss-120b в MXFP4 для работы на одном GPU.
• В Ollama MXFP4 поддерживается нативно — с ядрами, написанными для нового движка Ollama, — а также объявлено о совместной с NVIDIA работе над производительностью на GPU GeForce RTX и RTX PRO.

Практический вывод: запуск gpt-oss-120b на одной карте RTX PRO 6000 Blackwell Server Edition задокументирован в профиле NVIDIA NIM, тогда как собственный оптимизированный вариант vLLM для Blackwell ориентирован на B200. Что касается L40S, таблица квантования vLLM охватывает Ada через ядра Marlin, хотя в рецепте для gpt-oss поддержка Ada всё ещё значится как находящаяся в разработке. Какой бы движок вы ни выбрали, протестируйте конкретную версию на конкретной карте, прежде чем планировать мощности, и не полагайтесь на опубликованные показатели скорости, измеренные на других GPU.

Развёртывание gpt-oss в vLLM

vLLM предоставляет API, совместимый с OpenAI. Эти команды соответствуют рецепту vLLM для gpt-oss:

# Python environment and the official vLLM release
uv venv
source .venv/bin/activate
uv pip install vllm --torch-backend=auto

# gpt-oss-120b on one GPU, API on port 8000
vllm serve openai/gpt-oss-120b

# Shorter context limit, plus function calling
vllm serve openai/gpt-oss-120b --max-model-len 32768 --tool-call-parser openai --enable-auto-tool-choice

# gpt-oss-20b in the official container
docker run --gpus all -p 8000:8000 --ipc=host vllm/vllm-openai --model openai/gpt-oss-20b

• Эндпоинты. /v1/responses поддерживает вызов инструментов между шагами рассуждения, и именно этот интерфейс OpenAI рекомендует для данной модели; /v1/chat/completions возвращает рассуждения и итоговый текст без встроенных инструментов.
• Флаги памяти. --max-model-len ограничивает контекст на запрос, и, как отмечается в рецепте, меньшее значение может повысить производительность, когда входные и выходные данные короткие; --max-num-seqs ограничивает размер батча; --kv-cache-dtype fp8 вдвое уменьшает кэш на токен.
• Известные ограничения. В рецепте перечислены учёт использования, возвращающий нули, лишь базовая потоковая передача в Responses API и вызов функций, ограниченный tool_choice="auto".

Запуск gpt-oss в Ollama

Ollama берёт на себя загрузку модели и, при нехватке памяти, её распределение между GPU и CPU:

ollama pull gpt-oss:120b
ollama run gpt-oss:120b

# Larger default context for the models this server loads
OLLAMA_CONTEXT_LENGTH=64000 ollama serve

# Check where the model is loaded, GPU or CPU
ollama ps

Ollama выбирает длину контекста по умолчанию в зависимости от памяти GPU: 4k токенов при объёме менее 24 ГиБ, 32k — от 24 до 48 ГиБ и 256k — от 48 ГиБ. Ollama рекомендует не менее 64 000 токенов для агентов, инструментов для программирования и веб-поиска и предупреждает, что более длинный контекст требует больше памяти. На карте с 24 ГБ задайте длину контекста явно, а не полагайтесь на значение по умолчанию, и с помощью ollama ps убедитесь, что ничего не перешло на CPU.

Какой сервер PowerDedi подходит для какой модели

Для gpt-oss-120b RTX PRO 6000 — единственный вариант, где модель помещается на одну карту с запасом, а 384 ГБ памяти хоста и NVMe Gen5 оставляют достаточно места для весов и кэша моделей. Для gpt-oss-20b RTX PRO 4000 справится с одним приложением с умеренным контекстом, а L40S обслужит гораздо больше параллельных диалогов. У каждого сервера — собственный порт 10 Гбит/с без учёта трафика, доступ к IPMI/KVM и установка Ubuntu или Debian в один клик; первые шаги после выдачи сервера описаны в нашем руководстве по началу работы. См. также наш обзор ИИ и вычислений на GPU.

Когда мы не лучший выбор:

• Дообучение gpt-oss-120b. OpenAI указывает на один узел H100. Мы продаём один GPU на сервер, без NVLink и без кластеров из нескольких GPU.
• Минимальная задержка на пользователя. vLLM достигает её за счёт тензорного параллелизма на 2, 4 или 8 GPU, для чего нужна машина с несколькими GPU.
• Несколько часов тестирования. При кратковременном использовании облака с почасовой оплатой обходятся дешевле; где проходит точка окупаемости, показывает наше сравнение цен на аренду RTX PRO 6000.

Источники

• Карточка модели gpt-oss-120b & gpt-oss-20b — OpenAI, arXiv:2508.10925, август 2025 г.
• openai/gpt-oss-120b — OpenAI на Hugging Face
• openai/gpt-oss — OpenAI на GitHub
• Как запустить gpt-oss с vLLM — OpenAI Cookbook
• Как запустить gpt-oss локально с Ollama — OpenAI Cookbook
• GPT OSS — рецепты vLLM
• vLLM теперь поддерживает gpt-oss — блог vLLM, 5 августа 2025 г.
• Гибридный менеджер KV-кэша — документация vLLM
• Аргументы движка — документация vLLM
• Квантование — документация vLLM
• OpenAI gpt-oss — блог Ollama, 5 августа 2025 г.
• Длина контекста — документация Ollama
• Матрица поддержки NIM — NVIDIA NIM for LLM and VLM
• Compute capability GPU с поддержкой CUDA — NVIDIA Developer