TalkToModel: інтерфейс для розуміння моделей машинного навчання

На сьогодні моделі машинного навчання широко поширені в різних професійних сферах і становлять основу безлічі мобільних застосунків, програмних пакетів та онлайн-сервісів. Незважаючи на те, що багато людей взаємодіють з цими моделями, мало хто повністю розуміє їх роботу та основні процеси.

У сучасному світі машинного навчання моделі стають все більш складними та багатофункціональними. З їх покращенням постає важливе питання: як зробити ці моделі більш зрозумілими для широкої аудиторії, у тому числі для фахівців без глибоких знань у сфері машинного навчання?

Дослідники з Каліфорнійського університету в Ірвайні та Гарвардського університету розробили TalkToModel. Це інтерактивна діалогова система, призначена для пояснення моделей машинного навчання та виконаних ними прогнозів як спеціалістам-інженерам, так і простим користувачам. Цей інтерфейс дозволяє вести діалог з моделями машинного навчання, використовуючи звичайну мову.

Дослідження ґрунтується на попередніх розробках, пов'язаних із зрозумілим штучним інтелектом (XAI) та взаємодією людини з ШІ. Основним завданням цієї роботи було представлення нової платформи, яка могла б надавати користувачам зрозумілі та доступні пояснення роботи штучного інтелекту, аналогічно до того, як діалогова платформа від OpenAI – ChatGPT відповідає на запитання.

Дослідники провели експеримент, у якому брали участь працівники зі сфери охорони здоров'я з різним рівнем досвіду у машинному навчанні. Практично всі учасники були новачками у цій галузі. Вони були запрошені використати TalkToModel для отримання відповідей на питання та оцінки свого розуміння роботи моделей машинного навчання.

Результати дослідження були вражаючими. Більшість користувачів хотіли б використовувати TalkToModel для розуміння моделей і надалі. Вони впоралися із завданнями швидше та точніше, застосувавши цей інтерфейс. Навіть професіонали в машинному навчанні визнали, що TalkToModel – корисний інструмент.

Як працює система TalkToModel? Вона перетворює питання на структуровані логічні форми, що дозволяє моделям машинного навчання формувати пояснення та інтерпретації. Цей підхід забезпечує гнучкість у діалогах, підтримуючи відкрите дослідження та полегшує розуміння складних моделей.

TalkToModel – інноваційна система, яка відкриває двері для живих діалогів, які спрямовані на розуміння моделей машинного навчання та застосування з різноманітними табличними наборами даних та класифікаторами. Замість використання складного програмування користувачі спілкуються з TalkToModel природною мовою (рис. 1, блок 1). Діалоговий механізм аналізує вхідні дані у виконуваній репрезентації (рис. 1, блок 2). Механізм виконання здійснює операції, а механізм діалогу використовує результати у своїй відповіді (рис. 1, блок 3).

З TalkToModel користувачі можуть обговорити причини виникнення певних прогнозів у моделі; зміни, які відбудуться у прогнозах при зміні вхідних даних; способи зміни прогнозів та багато іншого. Цей аналіз можна застосувати до будь-якої групи даних, будь то один окремий екземпляр або ціла категорія даних.

Наприклад, якщо вам потрібно передбачити розвиток захворювання, ви можете поставити запитання на кшталт: "Наскільки важливий індекс маси тіла (ІМТ) для прогнозів?" або "Як зміниться ймовірність захворювання після зниження рівня глюкози на 10 одиниць у чоловіків старше 20 років?". TalkToModel надасть вам інформацію, поінформував, що ІМТ є найбільш значущою характеристикою для прогнозів, і зниження рівня глюкози на 10 одиниць зменшить ймовірність розвитку діабету на 20%. Після цього ви можете продовжити діалог, ставлячи додаткові запитання. Розмови з TalkToModel спрощують пояснення роботи моделей, оскільки ви можете спілкуватися із системою природною мовою, і вона надасть вам інформативні відповіді.

Приклад такого діалогу ви можете побачити на рис. 2.

Для підтримки змістовних діалогів з TalkToModel представлено методи, які спрямовані на розуміння мови та зрозумілість моделі. Спочатку впроваджується діалоговий механізм, який аналізує текстові дані, які вводить користувач. Ці дані перетворюються на мову, подібну до мови структурованих запитів, з використанням великої мовної моделі (LLM). Вона виконує синтаксичний аналіз, розглядаючи завдання перекладу висловлювань користувача в мову програмування як завдання навчання seq2seq, де висловлювання користувача виступають як джерело, а аналіз мовою програмування є метою.

Також, система TalkToModel поєднує операції пояснення, аналізу помилок у машинному навчанні, маніпулювання даними та створення описових текстів у єдину мову, яка здатна охоплювати широкий спектр потенційних тем для розмов, які необхідні у більшості зрозумілих моделей. Приклади різних операцій представлені на рис. 3.

Система пропонує механізм виконання операцій, який автоматично обирає найбільш точні пояснення та операції для користувача. Це знижує навантаження на користувачів і робить взаємодію з моделями машинного навчання доступнішими. Крім того, створений текстовий інтерфейс, який дозволяє навіть тим, хто не володіє високими технічними навичками, розуміти та взаємодіяти з моделями машинного навчання. У результаті TalkToModel робить пояснення роботи моделей машинного навчання більш доступним та зрозумілим для широкої аудиторії.

У майбутньому застосування TalkToModel може розширитися, передбачаючи у тому числі використання системи у реальних клінічних та лабораторних умовах, де учасники зможуть застосовувати її для розуміння та оптимізації роботи моделей. Також майбутні дослідження можуть зосереджуватися на візуалізації та аналізі сирих не опрацьованих даних, щоб збільшити рівень довіри користувачів.

TalkToModel – це крок уперед для розвитку області зрозумілого штучного інтелекту. Цей інтерфейс дозволяє розмовляти зі складними моделями машинного навчання природною мовою та розуміти їх рішення. Цей інструмент обіцяє зробити МН більш доступним та зрозумілим для всіх.

Ознайомитися з кодом моделі можна на github.