Фотореалистичная анимированная одежда для аватаров

Анимированные аватары давно уже вошли в нашу жизнь. Но вот реалистичное моделирование анимации одежды, пока оставалось открытой задачей.

С одной стороны современные методы физического моделирования могут генерировать реалистичную геометрию одежды с интерактивной скоростью. С другой, моделирование фотореалистичного внешнего вида обычно требует физического рендеринга, который слишком дорог для интерактивных приложений.

Коллеги из Meta Reality Labs создали нейронную сеть, моделирующую «нейронную одежду», которая работает поверх явной физической геометрии. Сеть способна генерировать фотореалистичный внешний вид с эффектами, зависящими даже для невидимых складок одежды на теле.

Учёным удалось добиться фотореалистичного анимированного результата даже для одежды свободного покроя. Но главное то, что нейронная сеть позволяет в режиме реального времени «переодевать» аватар в другую одежду.

Более подробно с работой можно познакомиться по ссылке https://arxiv.org/pdf/2206.15470.pdf