Коли ШІ-відео починає виглядати справжнім?

Два різні питання, сховані в одному

Гілка, де питають, чи виглядає кліп справжнім, може розколотися за кілька відповідей. Один табір сперечається про кадр: шкіра, очі, те, як повертається голова. Інший — про все навколо кадру: чи наступний кадр — те саме місце, чи пальто досі те саме пальто. Одна з відповідей у такій гілці точно визначила стандарт першого табору:

Видає штучність артефакт або якість, притаманні лише ШІ-генерації, як-от морфінг, розбіжності в таймингу (м’язи обличчя рухаються не синхронно)

А інша відповідь у тій самій гілці в r/aivideo так само точно назвала проблему другого табору:

Складність у тому, щоб ці кліпи мали той самий світ, що й інші кліпи.

Це окремі інженерні задачі. Перша вирішується всередині однієї генерації; друга — тим, з чого кожна генерація виходить. Кліп може ідеально пройти перший тест і все одно провалитися, щойно його змонтують із сусіднім, тому коротка демонстрація з одного кадру може здаватися реалістичнішою, ніж готова сцена, зроблена тією самою моделлю.

Усередині кадру: конкретно, освітлено, зумовлено

Більшість того, що робить окремий кадр «згенерованим», походить від трьох видів розпливчастості в описі.

• Типові обличчя. Обличчя, описане словами на зразок «гарне» чи «вражаюче», тягнеться до середнього обличчя моделі: гладкого, симетричного, надто чистого. Обличчя стає конкретним через те, що можна намалювати: розріз очей, перенісся, нерівна лінія волосся, одна опорна деталь — відколотий зуб чи шрам через брову.
• Світло нізвідки. Згенероване світло за замовчуванням лестить і є всюди. Дайте кожному кадру джерело: настільну лампу, дверцята холодильника, похмурий полудень, фари, що ковзають по стелі. Аркуші-референси навмисно освітлені рівно, щоб їх можна було використати в будь-якій сцені; настрій належить тексту кадру, де він може змінюватися від сцени до сцени.
• Рух без причини. Опис ефекту — драматичне розливання, відчуття загрози — це картинка, яку модель мусить вигадати. Причина — потяг гальмує, і кава перекидається — це фізика, яку вона може відтворити. Пишіть причину, і результат виглядатиме заслуженим.

Для живої зйомки обирайте вигляд живої зйомки: Digital HD — для сучасного стрімінгового відчуття, Shot on Film — для зерна й тепла. Реалістичний 3D-вигляд — це комп’ютерна графіка, а не фотографія, і виглядає саме так. Практичний чек-лист — у матеріалі як зробити ШІ-відео реалістичнішим.

Через монтажний стик: щоразу той самий світ

Складніша половина — це зауваження другої відповіді. Глядач, який бачив кімнату від дверей, знає, де вікно; коли зворотний ракурс ставить вікно на хибну стіну, ілюзія зникає за кадр. Це не виправити тим, що кожен кадр стане фотографічнішим. Потрібно, щоб кожен кадр виходив з тих самих фактів.

У SceneMixer цю роботу роблять три речі. Кожен персонаж, локація та важливий предмет мають одне зображення-референс, що супроводжує кожен кадр, де вони є, тож пальто, обличчя й латунний ключ лишаються тими самими. Кожна сцена отримує автоматичну тривимірну модель, тому камера переходить лише до ракурсів, що існують у цій кімнаті, а люди лишаються там, де були. А кожен сегмент починається там, де закінчився попередній, тож прогулянка кімнатою не починається з півдороги. Нічого з цього не є фільтром на зображенні; це інформація, яку генерація отримує до початку.

Що кажуть підрахунки спільноти

Гілки про сприйняття становлять велику частку розмови — 7,000 дописів мають позначку сприйняття глядачами, а 1,300 дописів скаржаться на помітні артефакти. Два питання, що стоять за цією сторінкою:

Друге формулювання частіше, і саме воно запрошує до покадрового вивчення. Якщо питати про цілу сцену, а не про один кліп, чесна відповідь змінюється з «так» чи «ні» на «які кадри й чому».

Роздільна здатність — наприкінці

Деталізація важлива, але вона — останній крок, а не перший. М’який кліп із послідовним світом сприймається як справжній швидше, ніж різкий кліп у кімнаті, що сама себе переставляє. Економний порядок такий: чорнові версії всіх сегментів у найнижчій роздільній здатності, виправлення тексту там, де кадр хибний, перегенерація вдалих на вищому тарифі і лише потім підвищення найкращих кліпів на одну сходинку роздільної здатності через Enhance — те саме кадрування, та сама гра, більше деталей. Відео оплачується за відрендерену секунду, від 10 кредитів за секунду на типовому тарифі, тож витрата на деталізацію лише після того, як сцена працює, ще й дешевша.

Коли реалізм не потрібен

• Деякі роботи не мають видаватися за справжні: стилізована анімація, музичні відео, сцени снів. Прибирання «видаючих ознак» там може згладити те, що робить твір особливим.
• Імітація обличчя реальної людини відхиляється, а видавати згенеровані кадри за реальні події — зовсім інша справа; позначайте згенеровані роботи там, де цього вимагають платформи.
• Натовпи, руки за тонкою роботою та текст на екрані лишаються найслабшими місцями; тримайте їх поза крупними планами, а не сподівайтеся, що перезйомка їх виправить.
• Підрахунки — це наближення за правилами з одного вікна збору, а цитовані відповіді — думки окремих глядачів.

Поширені запитання

Обидві половини докладно розглядають опис обличчя та як тримається просторова узгодженість; відповідь про чому персонаж змінюється між кадрами охоплює бік безперервності, що стосується обличчя. Як робилися підрахунки — у примітці про метод.