Использование звука для моделирования местности

Исследователи из Массачусетского технологического института (MIT) и MIT-IBM Watson AI Lab изучают способы использования пространственной акустической информации, чтобы помочь машинам и устройствам лучше представлять окружающую среду. Ученые разработали модель машинного обучения, фиксирующую как звук будет распространяться в пространстве комнаты, позволяя модели имитировать то, что услышат люди, находясь в разных местах этой комнаты.

Благодаря точному моделированию акустики местности система может изучить основную 3D геометрию комнаты из звукозаписей. Исследователи используют акустическую информацию, которую собирает система, чтобы создать точное визуальное представление комнаты, подобно тому, как люди используют звук, когда оценивают свойства своей физической среды.

Помимо всех потенциальных способов его использования в виртуальной и дополненной реальностях, этот метод может помочь искусственному интеллекту лучше понять окружающий мир. Например, по словам Юйлун Ду, аспиранта факультета электротехники и компьютерных наук (EECS) и соавтора статьи, описывающей модель: «Имитируя акустические свойства звука в окружающей среде, подводный исследовательский робот может ощущать предметы, которые находятся намного дальше, чем если использовать только зрения».

«Большинство исследователей пока сосредотачивались только на моделировании зрения. Но мы, как люди, имеем мультимодальное восприятие. Важно не только зрение, но и звук. Я думаю, что эта работа открывает интересное направление исследований для моделирования мира, используя звук», — считает Ду.

Узнайте больше о том, как с помощью звука можно моделировать мир здесь https://news.mit.edu/2022/sound-model-ai-1101