Стоит ли собирать ИИ-видео в цепочке из нескольких инструментов?

Что должен делать кинематографичный пайплайн

Если убрать названия инструментов, любое кинематографичное ИИ-видео проходит одни и те же этапы: сценарий, визуальный стиль, придуманные люди и места, план кадров, рендер кадров, звук и музыка, а затем финиш — монтаж, цвет, разрешение. «Профессиональный пайплайн» обычно значит, что каждый этап делается в отдельной программе, а файлы переносятся между ними. Один автор из r/generativeAI описал типичную цепочку для сцены разрушения города: скачанная 3D-модель, расставленная и освещённая поверх его собственных фото улицы, склеенные кадры, анимация кадров моделью «картинка в видео», апскейл клипов, а потом цвет и эффекты в композиторе.

Результат вызвал в этой ветке долгое и в основном доброжелательное обсуждение. Он же показал, где цепочка обходится дорого.

Где цепочка инструментов «течёт»

Каждая передача — это место, где теряется то, что знал предыдущий инструмент. Инструмент для картинок не знает, какой была камера в 3D-сцене; видеомодель не знает, на чём закончился предыдущий клип; апскейлер не знает, какие детали важны. Автор честно рассказал, что латал швы вручную:

Я пытаюсь использовать грязь на объективе, блики и прочее, чтобы скрыть несостыковки.

Зрители всё равно заметили. Один из ответов назвал детали, которые выдают сцену:

мелочи вроде масштаба и постоянства места могут убить реализм всего проекта.

Постоянство между кадрами — отдельная тема в сообществе: ею помечены 1,500 постов, и большинство таких вопросов возникает именно в этой ситуации: каждый инструмент хорошо сделал свой шаг, но шаги не сходятся между собой.

Постоянство — это проблема памяти

Самый меткий комментарий в ветке был не про какой-то инструмент:

Самая недооценённая проблема по-прежнему — постоянство.

За ним последовало конкретное задание:

Сделайте 30-секундную сцену, которая идеальна. С нескольких ракурсов.

Несколько ракурсов одной сцены — именно то, с чем цепочка однокадровых инструментов справляется плохо, потому что никто не помнит комнату. SceneMixer автоматически строит ИИ-3D-модель каждой сцены — пространство, важную мебель, где стоит каждый человек — и генерирует все кадры этой сцены по ней, так что общий план, крупные планы и контрплан совпадают. Персонажи берутся каждый из своего листа; следующий сегмент начинается там, где закончился предыдущий. Ничего из этого не нужно настраивать: всё происходит при генерации.

Что делает один проект, а что нет

Внутри одного проекта SceneMixer этапы связаны: сценарий разбирается на персонажей, места и реквизит; каждый эпизод превращается в пронумерованные кадры с длительностью в секундах; сегменты рендерятся с диалогом и звуком в одной генерации; эпизод склеивается с музыкой под ним. Если кадр получился неудачно, вы правите его текст — это бесплатно — и заново генерируете только этот сегмент. Если нужна чёткость, Enhance поднимает готовый клип на одну ступень разрешения. Видео оплачивается за каждую отрендеренную секунду, от 10 кредитов в секунду на тарифе по умолчанию.

Чего он не делает — это специалистский конец цепочки. Композитора нет: нельзя принести свою 3D-модель или наложить сгенерированные эффекты на снятый вами материал. Нет и студии цветокоррекции, и покадровой рисовки. Если эти шаги — главное в работе, они по-прежнему делаются в других программах — после того, как историю, актёров и ракурсы уже утвердили.

Когда длинная цепочка оправдана

Цепочка окупается, когда одному шагу нужен контроль, которого нет ни в одном инструменте: конкретный 3D-ассет, эффекты поверх реального футажа, точная цветокоррекция заказчика, формат поставки. Не окупается, когда проблема в истории. Один из ответов в той же ветке сказал об этом без всяких программ:

Сцены слишком короткие, а люди, ну, явно ИИ.

Короткие сцены и неубедительные люди — это проблемы планирования: как долго держится кадр, остаётся ли персонаж тем же человеком на всех склейках. Решать их дешевле в списке кадров, чем в композиторе. Честный порядок такой: сначала добейтесь работающей сцены от начала до конца, с нескольких ракурсов, с теми же людьми; потом решайте, какому шагу, если вообще какому-то, нужен специализированный инструмент. Ответ о том, может ли ИИ сделать полнометражный фильм, разбирает, во что это обходится на длинной дистанции, а ответ о том, почему персонаж выглядит по-разному в каждом кадре, — самый частый шов.

Ограничения подхода «один проект»

• Вы меняете контроль на постоянство: нельзя подставить другую модель для одного кадра, самому расставить 3D-ассет или дорисовать кадр.
• Финишная отделка — цвет, композитинг, титры — по-прежнему делается в редакторе, если вам нужно больше, чем склеенный эпизод.
• 3D-модель каждой сцены строится автоматически и невидима: открыть её или двигать мебель вручную нельзя.
• Отрендеренные кадры всё равно нужно проверять, а неудавшийся сегмент генерируется заново, и за этот сегмент платится ещё раз.
• Числа получены сопоставлением правил с фиксированным окном публичных постов; они показывают, насколько распространён вопрос, а не точный итог.

Частые вопросы

Смотрите как положения сохраняются между склейками и почему весь сериал остаётся цельным; о целой последовательности, собранной таким способом, читайте ответ о создании сцены катастрофы. Выборка обсуждений, на которой основаны все числа здесь, описана в заметке о методе.