Movie Gen – майбутнє АІ відео генерації
Meta, материнська компанія Facebook та Instagram, представила новітню модель штучного інтелекту під назвою Movie Gen, покликану значно покращити процес генерації відео. Цей інноваційний AI відеогенератор здатний створювати відео високої роздільної здатності зі звуковим супроводом, використовуючи лише текстові підказки. Анонс Movie Gen знаменує новий крок для Meta AI у сфері генеративного ШІ, що ставить компанію в пряму конкуренцію з іншими гігантами галузі, такими як OpenAI та Google.
У центрі моделі Movie Gen лежить можливість створювати абсолютно нові відеокліпи з простих текстових промптів, наприклад, "лінивець у рожевих окулярах лежить на пончику в басейні". Модель пропонує значний прогрес для генерації відео, відкриваючи нові можливості для професійних режисерів, творців контенту та ентузіастів-любителів. Відео можна створювати в різних форматах і тривалістю до 16 секунд, що робить їх придатними для широкого кола застосувань: від дописів у соцмережах до коротких фільмів. Ця технологія є наступним етапом розвитку попередніх досягнень Meta у сфері генерації відео, таких як відеогенератор Make-A-Scene та модель синтезу зображень Emu.
Окрім створення нових відео з нуля, Movie Gen пропонує розширені можливості редагування. Користувачі можуть завантажувати існуючі відео чи зображення та змінювати їх за допомогою простих текстових команд. Наприклад, статичне зображення людини можна перетворити на рухоме відео, де ця людина виконує дії, описані у текстовому промпті. На цьому можливості кастомізації наявних відеоматеріалів не закінчуються. Користувачі можуть змінювати конкретні деталі, такі як фон, об'єкти чи навіть одяг персонажів. Ці зміни, що виконуються за допомогою текстових підказок, демонструють точність і універсальність функцій редагування Movie Gen.
Однак, що дійсно відрізняє Movie Gen від конкурентів, так це високоякісна генерація звуку. Штучний інтелект може створювати саундтреки, звукові ефекти та фонові шуми, що синхронізуються з візуальним контентом відео. Користувачі можуть вводити текстові інструкції для конкретних аудіоелементів, таких як "шурхіт листя" або "кроки по гравію", і Movie Gen додасть ці звуки до сцени. Модель здатна генерувати до 45 секунд звуку, що дозволяє супроводжувати навіть короткометражні фільми чи деталізовані кліпи динамічним звуковим супроводом. Meta AI також зазначила, що модель включає техніку аудіо розширення, яка забезпечує безперервне повторення звукового ряду для довших відео.
Презентація Movie Gen відбувається у час, коли інші великі гравці у сфері штучного інтелекту також розробляють подібні інструменти. Компанія OpenAI анонсувала про свою модель перетворення тексту у відео Sora на початку цього року, однак модель ще не випущена для широкого загалу. Тим часом компанія Runway нещодавно представила свою останню генеративну платформу ШІ – Gen-3 Alpha.
Втім, Movie Gen вирізняється завдяки здатності виконувати кілька завдань: згенерувати новий відеоконтент, редагувати існуючі кліпи та додавати персоналізовані елементи, зберігаючи при цьому цілісність оригінального відео. За результатами сліпих експериментів, Movie Gen перевершує конкуруючі моделі як у відео, так і у звуковій генерації.
Попри високі очікування, Meta AI заявила, що модель поки не готова до публічного випуску. За словами компанії, технологія наразі занадто дорога для ефективної роботи, а час генерації довший, ніж очікувалося. Через ці технічні обмеження Movie Gen ще деякий час залишатиметься у розробці, без визначеної дати, коли модель стане доступною для розробників чи широкого загалу.