Чи вартий конвеєр з кількох AI-інструментів для відео зусиль?

Що має робити кінематографічний конвеєр

Відкиньте назви інструментів, і кожне кінематографічне AI-відео проходить ті самі етапи: сценарій, вигляд, розроблені люди й місця, план кадрів, відрендерені кадри, звук і музика та фінальна обробка — монтаж, грейдинг, роздільна здатність. «Професійний конвеєр» зазвичай означає виконання кожного етапу в окремій програмі й пересилання файлів між ними. Один автор у r/generativeAI описав типовий ланцюжок для сцени руйнування міста: завантажена 3D-модель, виставлена й освітлена над його власними фото вулиці, кадри скомпоновані, анімовані моделлю image-to-video, кліпи збільшені апскейлером, а колір і ефекти додані назад у композиторі.

Результат у цій темі викликав довгу й здебільшого доброзичливу дискусію. Він також показав, де ланцюжок коштує вам дорого.

Де ланцюжок інструментів «протікає»

Кожна передача — це місце, де втрачається те, що знав попередній інструмент. Інструмент для зображень не знає, якою була камера 3D-сцени; відеомодель не знає, на чому закінчився попередній кліп; апскейлер не знає, які деталі важливі. Автор відверто розповів про латання швів вручну:

Я намагаюся використовувати бруд на об'єктиві, відблиски об'єктива тощо, щоб приховати невідповідності.

Глядачі все одно помітили. Одна відповідь назвала деталі, які видають послідовність:

дрібниці на кшталт узгодженості масштабу й локації можуть убити реалізм усього проєкту.

Узгодженість між кадрами — окрема тема в спільноті, 1,500 публікацій позначено нею, — і більшість цих питань походять саме з такої ситуації: кожен інструмент добре зробив свій крок, а кроки між собою не збігаються.

Узгодженість — це проблема пам'яті

Найгостріший коментар у темі стосувався не будь-якого інструмента:

Найбільш недооціненою проблемою досі залишається узгодженість.

За ним ішов конкретний запит:

Зробіть 30-секундну сцену, що буде ідеальною. З кількох ракурсів.

Кілька ракурсів однієї сцени — саме те, з чим ланцюжок інструментів на один кадр справляється важко, бо ніхто не пам'ятає кімнату. SceneMixer будує автоматичну AI 3D-модель кожної сцени — простір, важливі меблі, де стоїть кожна людина — і генерує кожен кадр цієї сцени за нею, тож загальний план, крупні плани та зворотний ракурс узгоджуються. Персонажі беруться з одного аркуша кожен; наступний сегмент починається там, де закінчився попередній. Нічого з цього не потрібно налаштовувати; це відбувається під час генерації.

Що робить один проєкт, а що ні

Усередині одного проєкту SceneMixer етапи з'єднані: сценарій зчитується в персонажів, місця й реквізит; кожен епізод стає пронумерованими кадрами з їхніми секундами; сегменти рендеряться з діалогом і звуком в одній генерації; епізод збирається з музикою під ним. Коли кадр виходить не таким, ви редагуєте його текст — безкоштовно — і перегенеруєте лише цей сегмент. Коли картинка має бути чіткішою, Enhance піднімає готовий кліп на один крок роздільної здатності. Відео оплачується за секунду відрендереного матеріалу, від 10 кредитів за секунду на стандартному тарифі.

Чого він не робить — це спеціалізований кінець ланцюжка. Композитора немає: ви не можете принести власну 3D-модель чи накласти згенеровані ефекти на зняте вами відео. Немає ні студії грейдингу, ні покадрового малювання. Якщо ці кроки і є сенсом роботи, вони й далі виконуються в інших програмах — після того, як історію, склад і ракурси узгоджено.

Коли довгий ланцюжок вартий свого

Ланцюжок окупається, коли якийсь крок потребує контролю, якого не дає жоден окремий інструмент: конкретний 3D-ресурс, ефекти над реальною зйомкою, точний грейд замовника, формат поставки. Він не окупається, коли проблема в історії. Відповідь в тій самій темі вказала на це без жодного програмного забезпечення:

Сцени надто короткі, а люди, ну, очевидно, AI.

Короткі сцени й непереконливі люди — це проблеми планування: як довго тримається кадр, чи той самий персонаж у різних склейках, — і їх дешевше розв'язувати в списку кадрів, ніж у композиторі. Чесний порядок такий: доведіть сцену до роботи від початку до кінця, з кількох ракурсів, з тими самими людьми; а потім вирішуйте, який крок, якщо взагалі який-небудь, потребує спеціального інструмента. Відповідь про те, чи може AI зробити повнометражний фільм, розбирає, чого це коштує на великій довжині, а чому персонаж виглядає по-різному в кожному кадрі — найпоширеніший шов.

Обмеження маршруту «один проєкт»

• Він міняє контроль на узгодженість: ви не можете підставити іншу модель для одного кадру, самі виставити 3D-ресурс чи домалювати кадр.
• Фінальна обробка — грейдинг, композитинг, титри — і далі виконується в редакторі, якщо вам потрібно більше, ніж зібраний епізод.
• 3D-модель кожної сцени автоматична й невидима; ви не можете її відкрити чи пересунути меблі вручну.
• Відрендерені кадри все одно треба переглядати, а невдалий сегмент перегенерується, і за цей сегмент платиться знову.
• Числа отримано зіставленням за правилами з фіксованим вікном публічних публікацій; вони показують, наскільки поширене питання, а не точну суму.

Поширені запитання

Дивіться як позиції зберігаються між склейками та чому весь серіал лишається цілісним; про цілу послідовність, побудовану так, читайте відповідь про створення сцени катастрофи. Вибірку обговорень, на якій тримається кожне число тут, описано в примітці про метод.