Використання звуку для моделювання місцевості

Дослідники з Массачусетського технологічного інституту (MIT) та MIT-IBM Watson AI Lab вивчають способи використання просторової акустичної інформації, щоб допомогти машинам та приладам краще уявляти навколишнє середовище. Вчені розробили модель машинного навчання, яка фіксує, як звук поширюватиметься в просторі кімнати, дозволяючи моделі імітувати те, що почують люди, перебуваючи в різних місцях цієї кімнати.

Завдяки точному моделюванню акустики місцевості система може вивчити основну 3D-геометрію кімнати зі звукозаписів. Дослідники використовують акустичну інформацію, яку збирає система, щоб створити точне візуальне представлення кімнати, подібно до того, як люди використовують звук, коли оцінюють властивості свого фізичного середовища.

На додаток до всіх потенційних способів його використання у віртуальній і доповненій реальності, цей метод може допомогти штучному інтелекту краще зрозуміти навколишній світ. Так, за словами Юйлун Ду, аспіранта факультету електротехніки та комп’ютерних наук (EECS) і співавтора статті, яка описує модель: “Імітуючи акустичні властивості звуку в навколишньому середовищі, підводний дослідницький робот може відчувати предмети, які знаходяться далі, ніж якщо використовувати тільки зір”.

«Більшість дослідників поки що зосереджувалися лише на моделюванні зору. Але ми, як люди, маємо мультимодальне сприйняття. Важливий не тільки зір, але й звук. Я вважаю, що ця робота відкриває захоплюючий напрямок дослідження кращого використання звуку для моделювання світу», — каже Ду.

Дізнайтеся більше про те, як за допомогою звуку можна моделювати світ за посиланням https://news.mit.edu/2022/sound-model-ai-1101