Доказовий інференс: чи справді ваш ШІ – це саме ваш ШІ?
Недавні технологічні збої та інциденти з кібербезпекою по всьому світу продемонстрували вразливість сучасної цифрової інфраструктури. Від масштабних перебоїв у роботі сервісів великих компаній та фінансових установ до кібератак із використанням інструментів на базі ШІ – організації стикаються зі зростаючими труднощами у захисті своїх систем і забезпеченні їхньої стабільної роботи.
Оскільки штучний інтелект дедалі активніше інтегрується в бізнес-процеси та критичну інфраструктуру, для забезпечення безпеки вже недостатньо лише захищати системи від несанкціонованого доступу. Організаціям також потрібні інструменти, які дозволяють перевіряти, чи працюють сервіси ШІ належним чином і чи справді використовують заявлені моделі.
Для вирішення цієї проблеми компанія Anthropic представила FlashProve – систему з відкритим вихідним кодом, яка використовує криптографічні докази для перевірки інференсу моделей ШІ без розкриття їхніх пропрієтарних ваг.
Зазвичай користувачі не можуть самостійно перевірити, яка саме модель обробляє їхні запити. Постачальник послуг ШІ може непомітно замінити модель на меншу, щоб скоротити витрати, або зловмисник може втрутитися в процес інференсу.
Підхід Anthropic, відомий як доказовий інференс (provable inference), використовує криптографічні докази для підтвердження того, що відповідь була згенерована конкретною моделлю на основі початкового запиту. Це забезпечує додатковий рівень прозорості для бізнесу та розробників ШІ.
В основі FlashProve лежить криптографічна технологія zkSNARKs (zero-knowledge succinct non-interactive arguments of knowledge), яка дозволяє перевіряти правильність обчислень без розкриття конфіденційної інформації.
Система працює у два етапи:
- Криптографічна фіксація моделі: постачальник моделі створює криптографічний відбиток ваг моделі, який дає змогу ідентифікувати конкретну її версію без розкриття параметрів.
- Перевірка інференсу: для кожного запиту постачальник генерує доказ того, що відповідь була отримана саме за допомогою зафіксованої моделі та початкового вхідного промпту.
Користувачі можуть перевіряти ці докази без доступу до самої моделі та необхідності відтворювати її обчислення. Це допомагає підтвердити використання заявленої моделі, не розкриваючи її ваг.
Компанія Anthropic протестувала FlashProve на Llama 4 Maverick – моделі архітектури Mixture of Experts (MoE) з 400 мільярдами параметрів, використовуючи 4-бітне квантування ваг.
Криптографічна верифікація може підвищити безпеку та підзвітність сервісів ШІ в кількох задачах:
- Безпека ШІ: виявлення несанкціонованої підміни моделей та певних видів маніпуляцій з процесом інференсу.
- Походження моделі: перевірка того, що постачальник ШІ використовує саме заявлену модель, а не приховану альтернативу.
- Дотримання нормативних вимог: підтвердження того, що системи ШІ використовують затверджені моделі та відповідають конкретним вимогам.
- Моніторинг безпеки ШІ: підтримка незалежного нагляду за інфраструктурою ШІ та впровадженням передових моделей.
Такі можливості можуть бути особливо корисними в регульованих галузях, зокрема в медицині та фінансовому секторі, де цілісність моделей і підзвітність мають вирішальне значення.
Компанія Anthropic випустила FlashProve як дослідницький прототип з відкритим вихідним кодом під ліцензією Apache 2.0. Реліз містить виконуваний код, технічний звіт, специфікацію протоколу та формальні математичні докази, написані мовою Lean.
Поточна реалізація має певні обмеження: вона підтримує контексти інференсу обсягом до 1024 токенів, використовує цілочисельні обчислення моделі з жадібним декодуванням (greedy decoding) і не приховує архітектуру моделі. Підтримка довших контекстних вікон та розширення функціональності залишаються напрямами для майбутніх досліджень.