Штучний інтелект здатний перекладати мозкову активність людини у письмовий текст
Дослідники з Техаського університету в Остіні зробили надзвичайний прорив, розробивши семантичний декодер – удосконалену систему штучного інтелекту. Така інноваційна модель ШІ може розшифровувати та перетворювати мозкову діяльність людини у неперервний потік письмового тексту, використовуючи неінвазивні методи та показники зі сканування функціональної магнітно-резонансної томографії (фМРТ).
Потенційний вплив цієї новаторської технології надзвичайно великий, особливо для людей, які зберігають свідомість, але не можуть фізично висловлювати свої думки через різни причини, наприклад, після перенесеного інсульту. Семантичний декодер може допомогти їм відновити здатність ефективно спілкуватися та самовиражатися.
Дослідження очолили Джеррі Тан (Jerry Tang), аспірант факультету комп’ютерних наук, і Алекс Гут (Alex Huth), доцент нейронаук та інформатики в Техаському університеті. Результати їх роботи були опубліковані в престижному журналі “Nature Neuroscience”. Система використовує модель трансформатора, подібну до тих, що живлять потужні системи ШІ як ChatGPT від OpenAI та Bard від Google.
Особливістю цієї системи декодування мови є її неінвазивний характер, що усуває необхідність хірургічних імплантатів для учасників. Крім того, користувачі не обмежені попередньо визначеним набором слів, що дозволяє отримати більш органічний та гнучкий досвід комунікації, який відображає природний потік думок.
Складний процес передбачає ретельне вимірювання активності мозку за допомогою фМРТ-сканера після тривалого навчання декодера. Під час фази тренування учасники годинами прослуховують різноманітні подкасти, налаштовуючи декодер на розуміння своїх когнітивних моделей. Після цього, коли учасники добровільно погоджуються на декодування своїх думок, машина генерує відповідний текст виключно на основі активності їхнього мозку, як при прослуховуванні нових історій, так і лише при їх уяві.
Хоча система не забезпечує дослівної розшифровки, вона старанно намагається охопити суть переданого повідомлення, незважаючи на незначні недоліки. Вражаюче те, що майже в половині випадків, коли декодер було налаштовано на унікальну мозкову діяльність учасника досліджень, згенерований текст відповідає його задуманому змісту, іноді навіть точно співпадає з оригінальними словами.
Щодо існуючої проблеми можливого зловживання, дослідники наголошують, що їхня новаторська технологія працює виключно з учасниками на засадах співпраці, які згодні брати участь у тренуванні декодера. Результати, отримані від людей, мозкова діяльність яких не була інтегрована в декодер, були незрозумілими, а використання декодера навченими учасниками у момент їх свідомого протистояння ШІ продемонстрували неефективні показники.
Прагнучи розширити сферу дослідження, вчені вийшли за межі прослуховування лише історій і запропонували учасникам експериментів переглянути беззвучні відео, знаходячись усередині сканера. На диво, семантичний декодер, використовуючи лише мозкову діяльність учасників, точно описував конкретні події з відеороликів.
Незважаючи на те, що наразі практичне застосування семантичного декодера за межами лабораторії обмежене, головним чином через його залежність від апаратів фМРТ, дослідники уявляють можливість його адаптації до більш портативних систем візуалізації мозкової діяльності, таких як функціональна спектроскопія у ближній інфрачервоній області (fNIRS). Попри потенційні обмеження в роздільній здатності, основний підхід вже можна застосовувати, прокладаючи шлях для вражаючих відкриттів у майбутньому. Наприклад, розробка семантичного декодера відкриває безмежні можливості для відновлення комунікативних навичок у людей з порушенням мовлення і наближає нас до більш інклюзивного суспільства.