Искусственный интеллект способен переводит мозговую активность человека в письменный текст
Исследователи из Техасского университета в Остине совершили чрезвычайный прорыв, разработав семантический декодер – усовершенствованную систему искусственного интеллекта. Такая инновационная модель ИИ способна расшифровывать и превращать мозговую деятельность человека в непрерывный поток письменного текста, используя неинвазивные методы и данные сканирования функциональной магнитно-резонансной томографии (фМРТ).
Потенциал использования этой новаторской технологии невообразим, особенно для людей, которые сохраняют сознание, но не могут физически высказывать свои мысли по разным причинам, например, после перенесенного инсульта. Семантический декодер может помочь им восстановить способность эффективно общаться и самовыражаться.
Исследование возглавили Джерри Тан (Jerry Tang), аспирант факультета компьютерных наук, и Алекс Хут (Alex Huth), доцент нейронаук и информатики в Техасском университете. Результаты работы были опубликованы в престижном журнале “Nature Neuroscience”. Предложенная система использует модель трансформатора, подобную тем, что питают мощные системы ИИ как ChatGPT от OpenAI и Bard от Google.
Особенностью этой системы декодирования языка является ее неинвазивный характер, устраняющий необходимость хирургических имплантатов для участников. Кроме того, пользователи не ограничены предварительно определенным набором слов, позволяющим получить более органичный и гибкий опыт коммуникации, отражающий естественный поток мыслей.
Сложный процесс модели подразумевает тщательное измерение активности мозга с помощью фМРТ-сканера после длительного обучения декодера. Во время фазы тренировки участники часами слушают разные подкасты, настраивая декодер на понимание своих когнитивных моделей. После этого, когда участники добровольно соглашаются на декодирование своих мыслей, машина генерирует соответствующий текст исключительно на основе активности их мозга как при прослушивании новых истории, так и только при их представлении.
Хотя система не обеспечивает дословную расшифровку, она старательно пытается охватить суть передаваемого сообщения, несмотря на незначительные недостатки. Впечатляюще то, что почти в половине случаев, когда декодер был настроен на уникальную мозговую деятельность участника, сгенерированный текст соответствует его задуманному содержанию, иногда даже дословно совпадает с исходной фразой.
Относительно существующей проблемы возможного злоупотребления исследователи подчеркивают, что эта новаторская технология работает исключительно с участниками на основе их добровольного сотрудничества в тренировке декодера. Результаты, полученные от людей, мозговая деятельность которых не была интегрирована в декодер, были непонятны, а использование декодера обученными участниками в момент их сознательного противостояния ИИ продемонстрировало неэффективные показатели.
Стремясь расширить область исследования, ученые вышли за пределы прослушивания одних историй и предложили участникам экспериментов просмотреть беззвучные видео, находясь внутри сканера. К удивлению исследователей, семантический декодер даже так смог точно описать конкретные события из видеороликов, используя лишь мозговую деятельность участников.
Несмотря на то, что текущее практическое применение семантического декодера за пределами лаборатории ограничено, главным образом из-за его зависимости от аппаратов фМРТ, исследователи представляют в будущем возможность его адаптации к более портативным системам визуализации мозговой деятельности, таких как функциональная спектроскопия в ближней инфракрасной области (fNIRS). Невзирая на потенциальные ограничения в разрешении, основной подход уже применим и прокладывает путь для увлекательных открытий в будущем. Например, разработка семантического декодера открывает безграничные возможности для восстановления коммуникативных навыков у людей с нарушениями речи, приближая нас к более инклюзивному обществу.