Microsoft запускає модель Phi-4 з повністю відкритими вагами
Microsoft представила генеративну ШІ-модель Phi-4 із повністю відкритими вагами на платформі Hugging Face. З моменту її презентації у грудні 2024 року вона привернула увагу завдяки поліпшеній продуктивності в галузі математичних обчислень та багатозадачного розуміння мови, при цьому вимагаючи менше обчислювальних ресурсів, у порівнянні з більшими моделями.
Phi-4 має 14 мільярдів параметрів і покликана конкурувати з GPT-4o mini, Gemini 2.0 Flash та Claude 3.5 Haiku.
Ця мала мовна модель (SLM) призначена для виконання складних математичних обчислень, логічного міркування та ефективної роботи з багатозадачністю, при цьому вимагає менше обчислювальних ресурсів, ніж більші моделі. Phi-4 здатна обробляти довгий контекст і має покращену продуктивність, що робить її ідеальною для використання в застосунках, де важлива точність і ефективність. Ще однією позитивною особливістю є її MIT ліцензія. Це означає, що її можна використовувати, змінювати та розповсюджувати безкоштовно, навіть у комерційних цілях.
Microsoft також покращила якість моделі за допомогою синтетичних даних та донавчання, що зробило її більш точною у вирішенні завдань, що потребують міркувань. У задачі, наведеній нижче, продемонстровано один із прикладів математичних міркувань, на які здатна Phi-4.
У квітні минулого року Microsoft представила модель Phi-3 Mini, першу в серії малих мовних моделей Phi-3. Вона включає 3,8 мільярда параметрів і використовує менший набір даних, порівняно з такими великими моделями, як GPT-4. Пізніше, у серпні, було анонсовано ряд моделей Phi-3.5, таких як Phi-3.5-vision та Phi-3.5-MoE. Усі вони ґрунтуються на синтетичних даних та відфільтрованих загальнодоступних джерелах, підтримуючи контекст довжиною до 128 000 токенів. Цей шлях навчання та вдосконалення малих моделей логічно призвів до випуску Phi-4.
Спочатку Phi-4 була доступна через платформу Azure AI Foundry. Зараз Microsoft випустила Phi-4 на платформі Hugging Face з відкритими вагами та ліцензією MIT. Phi-4 також доступна через Ollama.
Модель Phi-4 демонструє виняткові здібності у кількох ключових областях. Вона перевершує великі моделі в математичних обчисленнях, включаючи вирішення складних завдань, що робить її ідеальною для додатків, які потребують точних розрахунків. Також вона ефективна у багатозадачності та логічному міркуванні, підтримуючи довгий контекст і забезпечуючи високу продуктивність при обмежених обчислювальних ресурсах. Це робить Phi-4 придатною для інтеграції до різних наукових та комерційних проєктів, де важлива як точність, так і оптимізація використання ресурсів.
Тепер дослідники можуть вільно інтегрувати Phi-4 у свої проекти завдяки відкритості її ваг. Це також дозволить розробникам адаптувати модель до конкретних завдань, що значно розширює можливості використання Phi-4 у різних сферах.
Для тих, хто хоче дізнатися більше про модель, рекомендуємо ознайомитися з технічним звітом на сайті arXiv.