MAIA: автоматизований агент для інтерпретації моделей ШІ
Системи штучного інтелекту (ШІ) стають дедалі складнішими, і розуміння їхньої внутрішньої роботи має вирішальне значення для забезпечення їхньої безпеки, справедливості та прозорості. Дослідники з Лабораторії комп’ютерних наук і штучного інтелекту Массачусетського технологічного інституту (CSAIL) представили інноваційне рішення під назвою "MAIA" (Multimodal Automated Interpretability Agent), систему, яка автоматизує інтерпретацію нейронних мереж.
MAIA розроблена для вирішення проблеми розуміння великих і складних моделей ШІ. Вона автоматизує процес інтерпретації моделей комп’ютерного зору, які оцінюють різні властивості зображень. MAIA використовує основу мовної моделі та моделі комп’ютерного зору в поєднанні з бібліотекою інструментів інтерпретації, що дозволяє проводити експерименти на інших системах ШІ.
За словами Тамар Ротт Шахам (Tamar Rott Shaham), співавтора наукової статті, їхньою метою було створити ШІ-дослідника, який може автономно проводити експерименти з інтерпретації. Оскільки існуючі методи лише маркують або візуалізують дані в одномоментному процесі, MAIA натомість може генерувати гіпотези, розробляти експерименти для їх перевірки і вдосконалювати своє розуміння за допомогою ітераційного аналізу.
Можливості MAIA продемонстровані в трьох ключових завданнях:
- Маркування компонентів: MAIA ідентифікує окремі компоненти в моделях комп’ютерного зору та описує візуальні концепції, які їх активують.
- Очищення моделей: видаляючи нерелевантні ознаки з класифікаторів зображень, MAIA підвищує їх надійність у нових ситуаціях.
- Виявлення упереджень: MAIA шукає приховані упередження, допомагаючи виявити потенційні проблеми зі справедливістю у результатах ШІ.
Однією з помітних особливостей системи MAIA є її здатність описувати концепції, виявлені окремими нейронами в моделі комп’ютерного зору. Наприклад, користувач може попросити MAIA визначити, що виявляє певний нейрон. MAIA отримує з ImageNet зразки набору даних, які максимально активують нейрон, висуває гіпотезу про причини активності нейрона та планує експерименти для перевірки цих гіпотез. Створюючи та редагуючи синтетичні зображення, MAIA може виокремити конкретні причини активності нейрона, подібно до наукового експерименту.
Пояснення MAIA оцінюються за допомогою синтетичних систем із відомою поведінкою та нових автоматизованих протоколів для реальних нейронів у тренованих системах ШІ. Метод, розроблений у CSAIL, перевершив базові методи в описі нейронів у різних моделях зору, часто досягаючи якості, яку надають справжні експерти.
Сфера інтерпретації розвивається разом із розвитком моделей машинного навчання "чорної скриньки". Сучасні методи часто обмежені в масштабі або точності. Дослідники мали на меті побудувати гнучку, масштабовану систему, щоб відповісти на різноманітні питання інтерпретації. Виявлення упереджень у класифікаторах зображень було критично важливим завданням. Наприклад, MAIA виявила помилку в класифікаторі, який неправильно класифікував зображення чорних лабрадорів, тоді як він правильно класифікував жовтошерстих ретриверів.
Незважаючи на свої сильні сторони, ефективність MAIA обмежена якістю зовнішніх інструментів. З покращенням моделей синтезу зображень та інших інструментів ефективність MAIA також зростатиме. Дослідники також впровадили інструмент перетворення зображення в текст, щоб зменшити кількість підтверджувальних упереджень та проблем з перенавчанням.
У майбутньому дослідники планують застосувати подібні експерименти до людського сприйняття. Традиційно тестування зорового сприйняття людини було трудомістким. За допомогою MAIA цей процес можна масштабувати, потенційно дозволяючи порівнювати людське та штучне зорове сприйняття.
Зрозуміти нейронні мережі важко через їхню складність. MAIA допомагає подолати цю прогалину, автоматично аналізуючи нейрони та звітуючи про результати у зрозумілій формі. Масштабування цих методів може мати вирішальне значення для розуміння систем ШІ та контролю за ними.
Внесок MAIA виходить за межі академічних кіл. Зі зростанням ролі ШІ в різних галузях інтерпретація його поведінки має важливе значення. MAIA усуває розрив між складністю та прозорістю, роблячи системи ШІ більш підзвітними. Оснастивши дослідників інструментами штучного інтелекту, які йдуть в ногу з масштабуванням систем, ми зможемо краще зрозуміти та вирішити проблеми, пов’язані з новими моделями ШІ.
Більш детальна інформація про дослідження опублікована на сервері препринтів arXiv.