Компанія Meta розробила модель штучного інтелекту для декодування мовлення при зчитуванні мозкової активності

Компанія поділилася своїми дослідженнями із розробки моделі штучного інтелекту, яка може декодувати мову, використовуючи неінвазивні методи дослідження мозкової активності. Така модель здатна допомогти людям після черепно-мозкової травми, внаслідок якої вони втратили можливість спілкуватися за допомогою мови, письма або жестів.

Декодування мовлення на основі активності головного мозку було давньою метою неврологів і клініцистів, але більша частина прогресу покладалася на інвазивні методи дослідження мозку, наприклад, як стереотаксична електроенцефалографія.

Тим часом дослідники з Meta вважають, що декодування мовлення за допомогою неінвазивних підходів забезпечить безпечніше, більш глобальне рішення, яке зрештою принесе користь багатьом людям. Таким чином, вони створили модель глибинного навчання на основі контрастного методу навчанням, і використали її для максимального узгодження неінвазивних записів мозкової активності та звуків мови.

Для цього вчені використали модель самоконтрольованого навчання з відкритим кодом wave2vec 2.0, щоб ідентифікувати складні репрезентації мови в мозку добровольців під час прослуховування аудіокниг.

Процес включає введення записів електроенцефалографії та магнітоенцефалографії в розроблену модель «мозку», яка складається зі стандартної глибокої згорткової мережі із залишковими зв’язками. Згодом створена архітектура вчиться узгоджувати вихідний результат цієї моделі мозку з детальним представленням звуків мови, які були запропоновані учасникам.

Після навчання система виконує нульову класифікацією: враховуючи фрагмент мозкової активності, модель визначає з великої кількості аудіозаписів, який саме із них людина насправді чула.

«Результати нашого дослідження надихають, оскільки вони демонструють, що навчений штучний інтелект може успішно декодувати мову з неінвазивних записів активності мозку, незважаючи на шум і мінливість, властиві цим даним. Однак ці результати є лише першим кроком. У цій роботі ми зосередилися на декодуванні сприйняття мовлення, але кінцева мета – реалізувати спілкування для пацієнта, що вимагатиме розширення досліджень для відтворення мовлення. Цей напрям досліджень може вийти за межі лише надання допомоги пацієнтам і потенційно створити нові способи взаємодії з комп’ютерами», – вважають дослідники з Meta.

Дізнайтеся більше про дослідження тут