OpenAI выпустила свои самые мощные открытые модели

На этой неделе компания OpenAI представила две языковые модели с открытым доступом – gpt-oss-120b и gpt-oss-20b. Эти новые модели разработаны для широкого круга пользователей и предлагают расширенные возможности рассуждений, гибкость в использовании различных инструментов и тонкую настройку под потребности разработчиков. Все это доступно под лицензией Apache 2.0.

В отличие от закрытых моделей GPT-4 или GPT-4o, которые доступны только через облачную инфраструктуру OpenAI, модели gpt-oss можно свободно загружать и запускать локально: на собственном оборудовании или через многочисленные платформы развертывания. Это снижает задержки при работе, обеспечивает полный контроль над данными и конфиденциальность.

Модели gpt-oss-120b и gpt-oss-20b специально разработаны для эффективного выполнения задач, требующих логического мышления, с минимальным потреблением ресурсов. Флагманская модель 120b содержит 117 млрд параметров, но благодаря архитектуре Mixture-of-Experts (MoE) задействует лишь 5,1 млрд параметров на каждый токен, что позволяет запускать модель на одном графическом процессоре (GPU) с 80 ГБ памяти. Версия 20b активирует только 3,6 млрд параметров на токен и работает на устройствах с 16 ГБ оперативной памяти, что идеально подходит для обычных ноутбуков и периферийных устройств.

Обе модели поддерживают контекстные окна размером до 128 000 токенов, рассуждение с цепочкой мыслей (CoT) с различными уровнями усилий (низкий, средний, высокий) и структурированный формат вывода. Модели также имеют встроенную поддержку использования инструментов, в частности выполнения Python-кода и веб-поиска, что чрезвычайно важно для создания и обеспечения работы агентов со сложной логикой.

Модели gpt-oss обучались с применением самых современных методик OpenAI, включая обучение с подкреплением с высокими вычислительными затратами, контролируемое дообучение и процесс выравнивания после обучения. Модели имеют общую линию развития с моделями серии o от OpenAI (в частности, o3, o4-mini).

Для достижения баланса между производительностью и скоростью вывода в архитектуре моделей используются Rotary Positional Embeddings (RoPE), локализованное разреженное внимание и сгруппированное мультизапросное внимание. Предварительное обучение ориентировалось на STEM дисциплины, программирование и общие знания, с токенизацией на основе сверхмножества, используемого GPT-4o, известного как o200k_harmony, которое также имеет открытый доступ.

Безопасность является ключевым приоритетом OpenAI при разработке открытых моделей. Компания тщательно отфильтровала данные предварительного обучения, чтобы избежать контента, связанного с темами высокого риска (например, химическими, биологическими или ядерными угрозами), а также применила продуманное согласование (deliberative alignment) и иерархии инструкций, чтобы усилить защиту от вредоносных запросов.

Чтобы смоделировать худшие сценарии злоупотребления, OpenAI враждебно настроила модели на чувствительные сферы, такие как кибербезопасность и биология. Однако, даже при преднамеренных попытках “вооружить” модели с помощью собственного обучающего стека, те не достигли высокого уровня опасности, определенного в Preparedness Framework компании. Независимые экспертные оценки подтвердили эти результаты.

Кроме того, компания запустила Red Teaming Challenge с призовым фондом в размере 500 000 долларов США, чтобы привлечь исследователей со всего мира к поиску потенциальных уязвимостей безопасности в моделях.

Модели gpt-oss-120b и gpt-oss-20b доступны для загрузки на Hugging Face в формате MXFP4, оптимизированном для эффективной инференции. OpenAI также предоставила инструменты для запуска в PyTorch, Apple Metal, а также рендереры harmony-формата на Python и Rust.

Партнерами по развертыванию стали такие крупные платформы, как Azure, AWS, Hugging Face, Vercel, Ollama, llama.cpp и другие. А в сотрудничестве с производителями оборудования, такими как NVIDIA, AMD, Cerebras и Groq, обеспечена оптимизированная производительность моделей на различных устройствах.

Microsoft также предлагает оптимизированные для GPU локальные версии gpt-oss-20b для Windows через ONNX Runtime, доступные через Foundry Local и AI Toolkit для Visual Studio Code.

Несмотря на свои возможности, модели gpt-oss являются чисто текстовыми и не поддерживают мультимодальные функции (изображения, аудио). Кроме этого, они демонстрируют более высокий уровень галлюцинаций по сравнению с более новыми закрытыми моделями: gpt-oss-120b ошибается в 49% случаев теста PersonQA, тогда как o1 – только в 16%.

Впрочем, благодаря gpt-oss компания OpenAI вновь открывает двери прозрачному, децентрализованному развитию искусственного интеллекта. Сочетая мощные возможности с архитектурой, ориентированной на безопасность, эти модели дают возможность исследователям, стартапам и разработчикам изучать, совершенствовать и внедрять инновации с помощью языковых моделей мирового класса.