OpenAI объявила о нововой системе для создания 3D-объектов — Point-E

Компания OpenAI из Сан-Франциско объявила о запуске Point-E — системы, которая использует методы машинного обучения и позволяет пользователям создавать 3D-объекты на основе простого ввода текста.

Группа исследователей разработала совершенно новый подход. Система Point-E не создает 3D-объекты в традиционном понимании. Она генерирует облака точек или отдельные наборы точек данных в пространстве, которые представляют трехмерную форму.

Создавать облака точек намного проще, чем генерировать реальные изображения, но они не фиксируют детализированную форму или текстуру объекта — ключевое ограничение Point-E в настоящее время. Чтобы обойти это ограничение, команда разработчиков Point-E обучила дополнительную систему ИИ для преобразования облаков точек в сетки.

Point-E состоит из двух моделей: модели преобразования текста в изображение и модели преобразования изображения в 3D. Первая модель аналогичная системам производящим художественные иллюстрации, например, как DALL-E 2 от OpenAI. Модель преобразования текста в изображение была обучена на отмеченных изображениях, чтобы понять ассоциации между словами и визуальными понятиями. В то время как модель преобразования изображения в 3D была снабжена набором изображений в сочетании с 3D-объектами, чтобы научиться эффективно переводить их между собой.

Одним из главных преимуществ такого подхода является то, что он очень быстрый и нетребовательный к оборудованию, необходимому для создания конечного изображения.

Исследователи OpenAI отмечают, что облака точек Point-E можно использовать для изготовления реальных объектов, например, с помощью 3D-печати. С дополнительной моделью преобразования сетки система может также найти свое применение в рабочих процессах разработки игр и анимации.

«Мы обнаружили, что Point·E способна эффективно создавать разнообразные и сложные 3D-формы в зависимости от текстовых подсказок. Мы надеемся, что наш подход может послужить отправной точкой для дальнейшей работы в области синтеза текста в 3D», — заявили исследователи.

Узнайте больше о принципах работы Point·E в статье

Код доступен на GitHub