Генеративный искусственный интеллект преобразует виртуальных персонажей

Захватывающие достижения в области технологии генеративного искусственного интеллекта (ИИ) переворачивают мир игр с ног на голову: от концепции игры до ее создания и самой игровой сессии. Разработчики игр исследуют влияние этих передовых технологий на создание 2D и 3D контента. Особый интерес вызывает возможность создания динамичных игровых процессов в реальном времени, расширяя границы того, что ранее казалось невозможным.

По мере того, как игры становились все более изощренными, в них появлялись и неигровые персонажи (NPC). Количество предварительно записанных реплик, вариантов взаимодействия и реалистичных анимаций мимики лица значительно возросло. Однако взаимодействие с NPC все еще ощущается заранее запрограммированным и однообразным, с ограниченным выбором диалогов. Теперь же генеративный ИИ стал способным преображать NPC, повышая их навыки общения, создавая развивающиеся личности и обеспечивая динамические ответы, индивидуально адаптированные для каждого игрока.

На недавней выставке COMPUTEX 2023 компания NVIDIA представила будущее NPC с революционным движком NVIDIA Avatar Cloud Engine (ACE)для игр. Этот инновационный сервис создания пользовательских моделей ИИ позволяет разработчикам игр, поставщикам промежуточного программного обеспечения и создателям разнообразных инструментов наделять неигровых персонажей интеллектом, используя естественные языковые взаимодействия на основе ИИ.

Платформа ACE для игр предлагает ряд оптимизированных моделей ИИ для создания NPC, в том числе:

• NVIDIA NeMo: Эта базовая языковая модель предоставляет разработчикам игр инструменты для дальнейшей настройки моделей своих персонажей. Модели могут быть полностью интегрированы в процесс разработки или комбинированы по необходимости, что позволяет создавать конкретные предыстории и личности персонажей, идеально вписывающиеся в игровой мир.
• NVIDIA Riva: Обладая возможностями автоматического распознавания речи (ASR) и преобразования текста в речь (TTS), Riva позволяет вести разговоры в режиме реального времени с помощью модели NeMo. Хотели бы попробовать озвучку текста самостоятельно? С бесплатным онлайн-сервисом преобразования текста в речь от QuData вы можете на собственном опыте испытать удивительныу возможности синтеза речи, позволяющего легко преобразовывать текст в естественную речь.
• NVIDIA Omniverse Audio2Face: Эта удивительная функция мгновенно создает выразительную анимацию лиц персонажей игры посредством только аудио. Благодаря подключениям Omniverse для Unreal Engine 5 разработчики могут легко добавить реалистичную мимику лица своим персонажам MetaHuman.

Чтобы вдохнуть жизнь в NPC, применяются методы выравнивания модели NeMo. С помощью клонирования поведения разработчики могут инструктировать базовую языковую модель выполнять конкретные ролевые задачи. Для дальнейшей корректировки поведения NPC применяется обучение с подкреплением на основе обратной связи с человеком (RLHF), например, используя отзывы дизайнеров в режиме реального времени в процессе разработки.

После полного выравнивания NPC применяются инструменты NeMo Guardrails, которые добавляют программируемые правила для обеспечения точного, адекватного и безопасного поведения NPC в игре. NeMo Guardrails изначально поддерживает LangChain, набор инструментов для разработки приложений на основе больших языковых моделей (LLM).

Чтобы продемонстрировать возможности ACE для игр, NVIDIA сотрудничала с Convai – стартапом, специализирующимся на создании и развертывании ИИ-персонажей в играх и виртуальных мирах. Интеграция модулей ACE в их решение позволила Convai использовать NVIDIA Riva для распознавания речи и преобразования текста в речь, NeMo для моделирования разговорной речи и Audio2Face для анимации лиц с помощью ИИ. Вместе они оживили увлекательного неигрового персонажа по имени Джин с помощью Unreal Engine 5 и MetaHuman.

Разработчики игр, среди которых и компания Absolutist, уже активно используют передовые технологии генеративного искусственного интеллекта от NVIDIA. Следите за увлекательными обновлениями и наслаждайтесь захватывающими улучшениями игрового процесса, которые непременно поднимут ваш игровой опыт на новый уровень.