Когда ИИ-видео начинает выглядеть настоящим?

Два разных вопроса в одном

Ветка с вопросом, выглядит ли ролик настоящим, может расколоться уже через несколько ответов. Одни спорят о кадре: о коже, глазах, повороте головы. Другие — обо всём, что вокруг кадра: то ли это место в следующем плане, то же ли на герое пальто. Один из ответов в такой ветке точно сформулировал стандарт первого лагеря:

Признак ИИ — это артефакт или качество, свойственное только ИИ-генерации, например морфинг, сбои тайминга (мышцы лица двигаются несинхронно)

А другой ответ в той же ветке r/aivideo так же точно назвал проблему второго лагеря:

Сложность в том, чтобы эти ролики существовали в том же мире, что и остальные.

Это две разные инженерные задачи. Первая решается внутри одной генерации; вторая — тем, что получает на входе каждая генерация. Ролик может идеально пройти первый тест и всё равно провалиться, как только его смонтируют с соседним, поэтому короткая демонстрация из одного плана может казаться реалистичнее готовой сцены, сделанной той же моделью.

Внутри кадра: конкретно, освещено, обосновано

Почти всё, что выдаёт в одиночном плане генерацию, идёт от трёх видов расплывчатости в описании.

• Типовые лица. Лицо, описанное словами вроде «красивое» или «эффектное», тянется к среднему лицу модели: гладкому, симметричному, слишком чистому. Лицо становится конкретным благодаря тому, что можно нарисовать: посадка глаз, переносица, неровная линия роста волос, одна опорная деталь вроде сколотого зуба или шрама через бровь.
• Свет из ниоткуда. Сгенерированный свет по умолчанию льстивый и льётся отовсюду. Дайте каждому плану источник: настольную лампу, дверцу холодильника, пасмурный полдень, фары, скользящие по потолку. Референсные листы намеренно освещены ровно, чтобы их можно было использовать в любой сцене; настроение принадлежит тексту плана, где оно может меняться от сцены к сцене.
• Движение без причины. Описание эффекта — драматичный разлив, аура угрозы — это картинка, которую модели приходится придумывать. Причина — поезд тормозит, и кофе опрокидывается — это физика, которой можно следовать. Пишите причину, и результат будет выглядеть заслуженным.

Для игрового кино выбирайте игровой, а не рисованный образ: Digital HD — для ощущения современного стриминга, Shot on Film — для зерна и тепла. Реалистичный 3D-образ — это компьютерная графика, а не фотография, и воспринимается именно так. Практический чек-лист — в материале как сделать ИИ-видео реалистичнее.

На стыке кадров: каждый раз один и тот же мир

Вторая половина сложнее, и это как раз мысль второго ответа. Зритель, увидевший комнату от двери, знает, где окно; когда обратный ракурс помещает окно на другую стену, иллюзия рушится за один кадр. Этого не исправить, делая каждый план более фотографичным. Нужно, чтобы каждый план исходил из одних и тех же фактов.

В SceneMixer эту работу делают три вещи. У каждого персонажа, локации и важного предмета есть одно референсное изображение, которое сопровождает каждый план с его участием, — поэтому пальто, лицо и латунный ключ остаются прежними. Каждая сцена получает автоматическую трёхмерную модель, так что камера переходит только на ракурсы, существующие в этой комнате, а люди остаются там, где были. А каждый сегмент начинается там, где закончился предыдущий, поэтому проход через комнату не начинается заново с середины. Ничто из этого не фильтр поверх картинки; это информация, которую генерация получает до начала работы.

Что показывают подсчёты по сообществу

Обсуждения реакции зрителей составляют большую долю разговоров: 7,000 постов помечены как отзывы аудитории, а 1,300 постов жалуются на заметные артефакты. Два вопроса, на которых построена эта страница:

Вторая формулировка встречается чаще, и именно она провоцирует покадровый разбор. Если спрашивать о целой сцене, а не об одном ролике, честный ответ меняется с «да» или «нет» на «какие планы и почему».

Разрешение — в последнюю очередь

Детализация важна, но это последний шаг, а не первый. Мягкий ролик с цельным миром воспринимается настоящим раньше, чем резкий ролик в комнате, которая сама себя переставляет. Экономный порядок такой: черновики всех сегментов в минимальном разрешении, правка текста там, где план неверен, повторная генерация удачных на более высоком уровне и только потом подъём лучших роликов на один шаг разрешения через Enhance — тот же кадр, та же игра, больше деталей. Видео оплачивается за каждую отрисованную секунду, от 10 кредитов в секунду на уровне по умолчанию, так что тратить на детали только после того, как сцена заработала, ещё и дешевле.

Когда реализм не нужен

• Не всё должно сойти за настоящее: стилизованная анимация, клипы, сны. Убирая там «выдающие признаки», можно сгладить то, что делает работу особенной.
• Имитация лица реального человека отклоняется, а выдавать сгенерированные кадры за реальные события — совсем другое дело; помечайте сгенерированные работы там, где этого требуют платформы.
• Толпы, руки за тонкой работой и текст в кадре остаются самым слабым местом; не берите их крупным планом, а не надейтесь, что перегенерация всё исправит.
• Подсчёты — приблизительные оценки по правилам за один период сбора, а процитированные ответы отражают мнения отдельных зрителей.

Вопросы и ответы

Обе половины подробно разобраны в материалах как описать лицо и как держится пространственная согласованность; ответ о том, почему персонаж меняется от плана к плану, охватывает лицевую сторону непрерывности. Как делались подсчёты — в примечании о методе.