TalkToModel: интерфейс для понимания моделей машинного обучения

В настоящее время модели машинного обучения широко распространены в различных профессиональных сферах и составляют основу множества мобильных приложений, программных пакетов и онлайн-сервисов. Несмотря на то что многие люди сталкиваются с этими моделями и взаимодействуют с ними, лишь немногие имеют полное понимание о их работе и основных процессах.

В современном мире машинного обучения модели становятся все более сложными и многофункциональными. С их ростом возникает важный вопрос: как сделать эти модели более понятными и интерпретируемыми для широкой аудитории, включая специалистов без глубоких знаний в сфере машинного обучения?

Исследователи из Калифорнийского университета в Ирвайне и Гарвардского университета разработали TalkToModel. Это интерактивная диалоговая система, предназначенная для объяснения моделей машинного обучения и сформированных ими прогнозов как специалистам-инженерам, так и простым пользователям. Этот интерфейс позволяет вести диалог с моделями машинного обучения, используя обычный естественный язык.

Исследование основывается на предыдущих разработках, связанных с объяснимым искусственным интеллектом (XAI) и взаимодействием человека с ИИ. Основной задачей этой работы было представление новой платформы, которая могла бы давать пользователям понятные и доступные объяснения работы искусственного интеллекта, аналогично тому, как диалоговая платформа от OpenAI – ChatGPT отвечает на вопросы.

Исследователи провели эксперимент, в котором участвовали работники из сферы здравоохранения с разным уровнем опыта в машинном обучении. Практически все участники были новичками в этой области. Они были приглашены использовать TalkToModel для получения ответов на вопросы и оценки своего понимания работы моделей машинного обучения.

Результаты исследования были впечатляющими. Большинство пользователей предпочли использовать TalkToModel для понимания моделей. Они справились с задачами быстрее и более точно, используя этот интерфейс. Даже профессионалы в машинном обучении признали, что TalkToModel – полезный инструмент.

Как же работает система TalkToModel? Она преобразует вопросы в структурированные логические формы, что позволяет моделям машинного обучения предоставлять объяснения и интерпретации. Этот подход обеспечивает гибкость в диалогах, поддерживая открытое исследование и облегчая понимание сложных моделей.

TalkToModel – инновационная система, которая открывает двери для живых диалогов, направленных на понимание моделей машинного обучения и применимых к разнообразным табличным наборам данных и классификаторам. Вместо использования сложного программирования пользователи общаются с TalkToModel на естественном языке (рис. 1, блок 1). Диалоговый механизм анализирует входные данные в исполняемой репрезентации (рис. 1, блок 2). Механизм выполнения производит операции, а механизм диалога использует результаты в своем ответе (рис. 1, блок 3).

С TalkToModel пользователи могут обсудить причины возникновения определенных прогнозов в модели; перемены, которые произойдут в прогнозах при изменении входных данных; способы изменения прогнозов и многое другое. Этот анализ можно применить к любой группе данных, будь то один отдельный экземпляр или целая категория данных.

Например, если вам нужно предсказать развитие заболевания, вы можете задать вопросы вроде: "Как важен индекс массы тела (ИМТ) для прогнозов?" или "Как изменится вероятность появления заболевания после снижения уровня глюкозы на 10 единиц у мужчин старше 20 лет?". TalkToModel предоставит вам информацию, информируя, что ИМТ является наиболее значимой характеристикой для прогнозов, и что снижение уровня глюкозы на 10 единиц уменьшит вероятность развития диабета на 20%. После этого вы можете продолжить диалог, задавая дополнительные вопросы. Разговоры с TalkToModel упрощают объяснение работы моделей, так как вы можете общаться с системой на естественном языке, и она предоставит вам информативные ответы.

Пример подобного диалога вы можете увидеть на рис. 2.

Для поддержания содержательных диалогов с TalkToModel представлены методы, направленные на понимание языка и объяснимость модели. Сначала внедряется диалоговый механизм, который анализирует текстовые данные, вводимые пользователем. Эти данные преобразуются в язык, сходный с языком структурированных запросов, с использованием большой языковой модели (LLM). Она выполняет синтаксический анализ, рассматривая задачу перевода высказываний пользователя в язык программирования как задачу обучения seq2seq, где высказывания пользователя выступают в качестве источника, а анализ на языке программирования является целью.

Также, система TalkToModel объединяет операции объяснения, анализа ошибок в машинном обучении, манипулирования данными и создания описательных текстов в единый язык, способный охватывать широкий спектр потенциальных тем для разговоров, которые необходимы в большинстве объяснимых моделей. Примеры различных операций представлены на рис. 3.

Система предлагает механизм выполнения операций, который автоматически выбирает наиболее подходящие объяснения и операции для пользователя. Это снижает нагрузку на пользователей и делает взаимодействие с моделями машинного обучения более доступным. Кроме того, создан текстовый интерфейс, который позволяет даже тем, кто не обладает высокими техническими навыками, понимать и взаимодействовать с ML-моделями. В итоге TalkToModel делает объяснение работы моделей машинного обучения более доступным и понятным для широкой аудитории.

В будущем применение TalkToModel может расшириться, включая использование в реальных клинических и лабораторных условиях, где участники смогут использовать ее для понимания и оптимизации работы моделей. Также, будущие исследования могут сосредотачиваться на визуализации и анализе сырых необработанных данных, чтобы увеличить уровень доверия пользователей.

TalkToModel – это шаг вперед в развитии области объяснимого искусственного интеллекта. Этот интерфейс позволяет разговаривать со сложными моделями машинного обучения на естественном языке и понимать их решения. Этот инструмент обещает сделать МО более доступным и интерпретируемым для всех.

Ознакомиться с кодом модели можно на github.