OpenAI оголосила про нову систему для створення 3D-об'єктів - Point-E
Компанія OpenAI із Сан-Франциско, оголосила про запуск Point-E — системи, яка використовує методи машинного навчання і дозволяє користувачам генерувати 3D-об’єкт на основі простого введення тексту.
Група дослідників розробила абсолютно новий підхід. Система Point-E не формує 3D-об’єкти у традиційному розумінні. Натомість вона створює хмари точок або окремі набори точок даних у просторі, які представляють тривимірну форму.
Формувати хмари точок набагато легше, ніж генерувати реальні зображення, але вони не відображають дрібнозернисту форму або текстуру об’єкта — це ключове обмеження Point-E на цей час. Щоб обійти це обмеження, команда розробників Point-E навчила додаткову систему ШІ перетворювати хмари точок на сітки.
Point-E складається з двох моделей: моделі перетворення тексту на зображення та моделі перетворення зображення в 3D. Перша модель подібна до систем, які створюють художні ілюстрації, наприклад, як DALL-E 2 від OpenAI. Модель перетворення тексту на зображення була навчена на позначених зображеннях, щоб зрозуміти асоціації між словами та візуальними концепціями. У той час як модель перетворення зображення в 3D отримувала набір зображень у парі з 3D-об’єктами, щоб навчитися ефективно трансформувати їх між собою.
Однією з найбільших переваг такого підходу є те, що він дуже швидкий і невибагливий до обладнання, необхідного для створення кінцевого зображення.
Дослідники OpenAI зазначають, що хмари точок Point-E можна використовувати для виготовлення реальних об’єктів, наприклад, за допомогою 3D-друку. З додатковою моделлю перетворення сітки система може також бути використана у сферах розробки ігор та анімації.
«Ми виявили, що Point·E здатна ефективно створювати різноманітні та складні тривимірні фігури на основі текстових підказок. Ми сподіваємося, що наш підхід може стати відправною точкою для подальшої роботи в області синтезу тексту в 3D», - заявили дослідники.
Дізнайтеся більше про принципи роботи Point·E у статті
Код доступний на GitHub