Інтерактивні світи – новий тренд у сфері AI
Спосіб, у який ми створюємо та досліджуємо віртуальні світи, розвивається з неймовірною швидкістю. Від швидких прототипів, створених на хакатонах, до передових досліджень у сфері штучного інтелекту – спеціалісти та компанії експериментують із технологіями, які перетворюють уяву на захопливі інтерактивні середовища для дослідження. Нещодавно розробники продемонстрували, наскільки далеко можна зайти у світі, створеному за допомогою ШІ: від симуляцій для робототехніки та інтерактивних музеїв до майже безмежних ландшафтів, згенерованих штучним інтелектом.
Перший в історії хакатон World Labs (WL-HACK 01) зібрав 70 хакерів у Сан-Франциско, щоб поекспериментувати з Marble – платформою для створення інтерактивних світів. Усього за 3,5 години 32 команди створили вражаючу кількість проєктів, які охоплюють AR/VR інтерфейси, ігри, мистецький досвід та інструменти для нерухомості.
Серед найкращих проєктів:
- Musée du Monde – інтерактивний музей, де відвідувачі можуть буквально потрапити всередину відомих картин: від кімнати Ван Гога до світів, натхненних роботами Вермеєра та Матісса.
- Jar of Marbles – семантичний інтерфейс для організації світів Marble у кластери, якими можна керувати за допомогою жестів і технологій комп’ютерного зору.
- Augmented Virtuality Room – симуляція для робототехніки, у якій робот використовує LiDAR для дослідження середовища Marble, створює семантичну карту та коментує навколишній простір у реальному часі.
Хакатон продемонстрував креативність і потенціал моделей світу, керованих ШІ, показавши, наскільки швидко інноваційні ідеї можуть набувати форми, коли розробники мають у своєму розпорядженні правильні інструменти.
Компанія Google також розвиває напрямок інтерактивних світів на основі штучного інтелекту за допомогою Project Genie – експериментального прототипу, який наразі доступний передплатникам Google AI Ultra у США. Проєкт Genie, який працює на базі моделей Genie 3, Nano Banana Pro та Gemini, дозволяє користувачам створювати, досліджувати та перемішувати світи, згенеровані штучним інтелектом, у режимі реального часу.
На відміну від статичних 3D-знімків, Project Genie динамічно генерує середовище під час навігації користувачів, імітуючи фізику, взаємодію та зміни навколишнього середовища. Сеанси наразі обмежені (часто близько 60 секунд на ранніх етапах тестування), але світи можна міксувати, досліджувати в тематичних галереях або генерувати знову, щоб отримати нові враження.
Проєкт Genie пропонує три ключові можливості:
- Створення ескізу світу (world sketching): генерація світів із текстових описів або завантажених зображень із попереднім переглядом за допомогою Nano Banana Pro для точного налаштування стилю та перспективи.
- Дослідження світу (world exploration): пересування світом від першої або третьої особи, тоді як ШІ генерує простір попереду в режимі реального часу.
- Ремікс світу (world remixing): трансформація вже створених світів за допомогою нових промптів або створення абсолютно нового досвіду із можливістю експорту досліджень середовища у вигляді відео.
Хоча Project Genie все ще перебуває на експериментальній стадії, Google наголошує на відповідальному підході до розробки, відзначаючи можливі затримки в керуванні, обмежену тривалість сесій і певні неточності у фізиці чи поведінці персонажів.