Компания Meta разработала модель искусственного интеллекта для декодирования речи при считывании мозговой активности
Компания поделилась своими исследованиями по разработке модели искусственного интеллекта, которая может декодировать речь с помощью неинвазивных методов исследования мозговой активности. Такая модель способна помочь людям после черепно-мозговой травмы, в результате которой они потеряли возможность общаться с помощью речи, письма или жестов.
Декодирование речи на основе активности головного мозга являлось давней целью неврологов и клиницистов, но большая часть прогресса возлагалась на инвазивные методы исследования мозга, например, стереотаксическую электроэнцефалографию.
Между тем исследователи из Meta считают, что декодирование речи с помощью неинвазивных подходов обеспечит более безопасное и глобальное решение, которое в конечном счете принесет пользу многим людям. Таким образом, они создали модель глубокого обучения на основе контрастного метода обучения, и использовали ее для максимального согласования неинвазивных записей мозговой активности и звуков речи.
Для этого ученые использовали самообучающуюся модель с открытым кодом wave2vec 2.0, чтобы идентифицировать сложные репрезентации речи в головном мозге добровольцев при прослушивании аудиокниг.
Процесс включает ввод записей электроэнцефалографии и магнитоэнцефалографии в разработанную модель «мозга», состоящую из стандартной глубокой сверточной сети с остаточными связями. Впоследствии созданная архитектура учится согласовывать исходный результат этой модели мозга с детальным представлением звуков речи, предложенных участникам.
После обучения система выполняет нулевую классификацию: учитывая фрагмент мозговой активности, модель определяет из большого количества аудиозаписей, какую именно из них человек действительно слышал.
«Результаты нашего исследования вдохновляют, поскольку они демонстрируют, что обученный искусственный интеллект может успешно декодировать речь из неинвазивных записей мозговой активности, несмотря на шум и изменчивость, свойственные этим данным. Однако полученные результаты – только первый шаг. В этой работе мы сосредоточились на декодировании восприятия речи, но конечная цель – реализовать общение для пациента, что потребует расширения исследований для воспроизведения речи. Это направление исследований может выйти за пределы только оказания помощи пациентам и потенциально создать новые способы взаимодействия с компьютерами», - считают исследователи из Meta.
Узнайте больше об исследованиях здесь