Интерактивные миры – новый тренд в сфере AI
Способ, которым мы создаем и исследуем виртуальные миры, развивается с невероятной скоростью. От быстрых прототипов, созданных на хакатонах, до передовых исследований в сфере искусственного интеллекта – специалисты и компании экспериментируют с технологиями, которые превращают воображение в увлекательные интерактивные среды для исследования. Недавно разработчики продемонстрировали, как далеко можно зайти в мире, созданном с помощью ИИ: от симуляций для робототехники и интерактивных музеев до почти бесконечных ландшафтов, сгенерированных искусственным интеллектом.
Первый в истории хакатон World Labs (WL-HACK 01) собрал 70 хакеров в Сан-Франциско, чтобы поэкспериментировать с Marble – платформой для создания интерактивных миров. Всего за 3,5 часа 32 команды создали впечатляющее количество проектов, охватывающих AR/VR-интерфейсы, игры, художественные проекты и инструменты для рынка недвижимости.
Среди лучших проектов:
- Musée du Monde – интерактивный музей, где посетители могут буквально попасть внутрь известных картин: от комнаты Ван Гога до миров, вдохновленных работами Вермеера и Матисса.
- Jar of Marbles – семантический интерфейс для организации миров Marble в кластеры, которыми можно управлять с помощью жестов и технологий компьютерного зрения.
- Augmented Virtuality Room – симуляция для робототехники, в которой робот использует LiDAR для исследования среды Marble, создает семантическую карту и комментирует окружающее пространство в реальном времени.
Хакатон продемонстрировал креативность и потенциал моделей мира, управляемых ИИ, показав, насколько быстро инновационные идеи могут воплощаться в жизнь, когда разработчики располагают нужными инструментами.
Компания Google также развивает направление интерактивных миров на основе искусственного интеллекта с помощью Project Genie – экспериментального прототипа, который в настоящее время доступен подписчикам Google AI Ultra в США. Проект Genie, работающий на базе моделей Genie 3, Nano Banana Pro и Gemini, позволяет пользователям создавать, исследовать и перемешивать миры, сгенерированные искусственным интеллектом, в режиме реального времени.
В отличие от статических 3D-изображений, Project Genie динамически генерирует среду во время навигации пользователей, имитируя физику, взаимодействие и изменения окружающего пространства. Сеансы пока ограничены (часто около 60 секунд на ранних этапах тестирования), но миры можно миксовать, исследовать в тематических галереях или генерировать заново, чтобы получить новые впечатления.
Проект Genie предлагает три ключевые возможности:
- Создание эскиза мира (world sketching): генерация миров из текстовых описаний или загруженных изображений с предварительным просмотром с помощью Nano Banana Pro для точной настройки стиля и перспективы.
- Исследование мира (world exploration): перемещение по миру от первого или третьего лица, в то время как ИИ генерирует пространство впереди в режиме реального времени.
- Ремикс мира (world remixing): трансформация уже созданных миров с помощью новых промптов или создание совершенно нового опыта с возможностью экспорта результатов исследования среды в формате видео.
Хотя Project Genie все еще находится на экспериментальной стадии, Google подчеркивает ответственный подход к разработке, отмечая возможные задержки в управлении, ограниченную продолжительность сессий и некоторые неточности в физике или поведении персонажей.