Phi-4 – малые модели, большие результаты

Семейство Phi-4 – это новейшая разработка Microsoft в сфере малых языковых моделей (SLMs), которые специально разработанные для эффективной работы с задачами, требующими сложного логического мышления. Серия Phi-4 включает три основные модели: Phi-4-reasoning, Phi-4-reasoning-plus и Phi-4-mini-reasoning. Эти модели имеют четкую цель – обеспечить высококачественную логическую форму рассуждения без потребности в вычислительных ресурсах, которые требуют триллионов параметров. Они достигают оптимального баланса между размером и производительностью благодаря современным методам, таким как дистилляция знаний, обучение с подкреплением и тщательный подбор учебных данных.

Phi-4-reasoning – модель с 14 миллиардами параметров и контекстным окном в 32 тысячи токенов. Ее обучали на качественных веб-данных и промптах, сгенерированных моделью OpenAI o3-mini. Она демонстрирует высокую точность в задачах, требующих многошагового логического мышления, таких как математика, программирование и алгоритмические задачи.

Phi-4-reasoning-plus – усовершенствованная версия Phi-4-reasoning с дополнительной тонкой настройкой. Она использует в 1,5 раза больше токенов для обучения, а также методы обучения с подкреплением, что позволяет достигать еще более точных и быстрых результатов.

Phi-4-mini-reasoning – самая маленькая модель в семействе с 3,8 миллиардами параметров. Она была обучена на миллионе синтетических математических задач, созданных с помощью DeepSeek R1. Модель ориентирована на образовательные приложения и мобильные устройства, эффективно решает задачи даже в средах с ограниченными ресурсами.

В бенчмарках, таких как HumanEval+ и MATH-500, Phi-4 демонстрирует превосходные результаты:

• Phi-4-reasoning-plus превосходит модель DeepSeek-R1 (671 млрд параметров) в некоторых задачах, доказывая, что умное обучение эффективнее простой масштабности.
• Модель также конкурирует с OpenAI o3-mini и опережает DeepSeek-R1-Distill-Llama-70B в задачах, требующих сложного планирования и анализа.
• Даже компактная Phi-4-mini-reasoning показывает результаты на уровне с более крупными моделями, а в некоторых математических тестах – превосходит их.

В соответствии с концепцией ответственного искусственного интеллекта от Microsoft, все модели Phi-4 обучаются с помощью надежных протоколов безопасности. После основного обучения применяются дополнительные этапы безопасности, в частности: обучение под наблюдением (Supervised Fine-Tuning), прямая оптимизация предпочтений (Direct Preference Optimization) и обучение с подкреплением на основе отзывов людей (RLHF). Microsoft использует общедоступные наборы данных, ориентированные на безопасность, полезность и справедливость, обеспечивая широкое применение и минимизируя риски.

Все три модели доступны для свободного использования через платформы Hugging Face и Azure AI Foundry. Разработчики, образовательные учреждения и стартапы могут легко интегрировать эти модели в свои приложения, создавая интеллектуальные системы с мощным логическим ядром даже на устройствах с ограниченными ресурсами.