OpenAI прискорює ухвалення рішень ШІ у 10 разів
Компанія OpenAI відкрила загальний доступ до Decisions API – спеціалізованого інтерфейсу для швидкого прийняття структурованих рішень у ШІ-застосунках. Реліз покликан розв’язати поширену проблему розробки штучного інтелекту: застосунки та автономні агенти часто мають виконувати багато невеликих операцій у межах одного робочого процесу. Класифікація вхідних даних, маршрутизація запитів, оцінювання ризиків і вибір наступної дії окремо потребують небагато обчислень, проте в масштабних системах сумарні затримки та витрати на інференс можуть бути значними.
Decisions API дає змогу ефективніше виконувати такі завдання та інтегрувати структуровані рішення ШІ безпосередньо в логіку застосунків.
На відміну від універсальних інтерфейсів для відкритих діалогів і складних завдань, Decisions API орієнтований на запити з чітко визначеним форматом відповіді. Розробник задає питання, доступні варіанти відповіді або критерії оцінювання, а також контекст, необхідний для прийняття рішення. Після цього API повертає структурований результат, який застосунок може одразу використовувати.
API підтримує три типи рішень:
- Логічна умова (predicate): оцінює ймовірність того, що умова є істинною. Наприклад, система може визначити, чи є на зображенні товару видимі пошкодження.
- Вибір (choice): обирає один варіант із заздалегідь визначеного набору. ШІ-агент може вирішити, чи продовжувати виконання завдання, повторити операцію або запросити уточнення.
- Оцінка (score): оцінює вхідні дані за визначеною шкалою, наприклад присвоює рівень серйозності виявленій проблемі.
API підтримує текст, зображення та вхідні дані у форматі JSON, що робить систему придатною для текстових і мультимодальних робочих процесів. Розробники також можуть надсилати до 400 питань в одному запиті, щоб обробляти кілька пов’язаних процесів одночасно.
У загальнодоступній версії впроваджено кілька вдосконалень, покликаних зробити API більш практичним для робочих середовищ:
- Менша затримка: за даними OpenAI, Decisions API забезпечує прийняття рішень до 10 разів швидше, ніж при використанні GPT-6 Luna через Responses API.
- Кешування промптів: повторне використання інструкцій і контексту допомагає зменшити витрати на повторні запити.
- Вбудована інтеграція з GPT-Live: застосунки можуть запускати процес ухвалення рішень під час голосової взаємодії в реальному часі, забезпечуючи швидшу реакцію діалогових систем.
- Розширена мультимодальна підтримка: розробники можуть передавати структуровані дані у форматі JSON і додавати зображення для уточнення окремих питань.
- Регіональна обробка даних: обробка запитів доступна у США та ЄС, а для клієнтів, які відповідають вимогам, доступний режим нульового зберігання даних (Zero Data Retention).
Ці можливості роблять API особливо корисним для систем, яким потрібно часто й оперативно ухвалювати рішення, а не лише виконувати їх наприкінці тривалого робочого процесу.
API призначений для ШІ-агентів, систем підтримки клієнтів, обробки документів і моніторингу безпеки. Наприклад, голосові асистенти можуть швидше реагувати на запити, платформи для роботи з документами – автоматизувати їхню класифікацію, а системи безпеки – оцінювати команди перед виконанням.
OpenAI повідомляє про значне підвищення продуктивності в рішеннях своїх клієнтів. Під час тестування Speak скоротили час до наступної дії у своєму застосунку для вивчення мов із 1,4 секунди до 0,13 секунди. Компанія Box повідомила про приблизно п’ятикратне прискорення ухвалення рішень щодо маршрутизації документів, тоді як в Datadog досягли 40-кратного зменшення затримки на 95-му перцентилі під час оцінювання ризиків виконання команд.
Ці результати відображають індивідуальні оцінки клієнтів і можуть відрізнятися залежно від навантаження та способу впровадження.
Decisions API доступний широкому колу розробників через спеціалізований API-ендпойнт OpenAI на базі GPT-6 Luna.
Для розробників ШІ-агентів, діалогових асистентів, систем класифікації та автоматизації бізнес-процесів швидше ухвалення структурованих рішень може підвищити швидкість реагування систем і допомогти контролювати витрати на інференс. Такий підхід особливо корисний, коли застосунку потрібні передбачувані формати відповідей, які можна безпосередньо інтегрувати в програмну логіку.