SceneMixer
Українська
Зареєструватися безкоштовно

Переробка: як з кліпу зчитуються репліки та музика і що потрапляє у вашу серію

Коротко: Кожен кадр кліпа прослуховують двічі: спершу розпізнавач мовлення відповідає на питання «чи хтось говорить і що саме було сказано», а потім модель, яка описує кадр, отримує розпізнаний текст як основу. Тому репліки цитуються, а не вгадуються з руху губ, а кадр, де ніхто не говорить, записується як беззвучний. Якщо в кліпі є музика, читання фіксує її характер, і цей характер задає тон, у якому пишеться власна музика епізоду: вона планується за розкадруванням епізоду — зазвичай від одного до трьох треків — і зводиться під голоси, як і в будь-якій драмі. Після натискання Перестворити історію мова діалогів обирається на екрані завантаження і фіксується з початком читання: репліки пишуться нею, а якщо в оригіналі звучить інша мова, перекладаються. Репліку, яку розпізнавач не зміг розібрати, просто пропущено; звірте з кліпом і додайте її до кадру в редакторі, коли розкадрування буде згенеровано. У SceneMixer репліка, яку розпізнавач не розібрав, просто відсутня в читанні.
Кадр з «Sky Rider's War», AI-короткометражної драми, згенерованої повністю в SceneMixer (10 персонажів, 1 епізод)
ЗразокSky Rider's WarЗнято на плівку1 епізодСтворено повністю в SceneMixer зі сценаріюДивитися серії

Після читання в режимі Перестворити історію відкрийте серію на кроці 3 і прочитайте її короткий зміст: кожен блок сцени перелічує репліки у форматі «мовець: текст». Заміна зберігає власний звук і репліки кліпу, тож ця сторінка до неї не стосується.

Як зчитуються репліки

Розпізнавання мовлення запускається для аудіо кожного кадру окремо. Почуте передається описувачу кадру як «тут були сказані такі слова»; після цього описувач визначає мовця за обличчями і вписує репліку в кадр. Музику під мовленням система обробляє коректно; крики крізь натовп, сильні акценти та дуже тихі репліки — це ситуації, де розпізнавання дає збій, і такі фрагменти пропускають, а не вигадують. Потім репліки з’являються в структурі, як у сценарії: Пишіть діалоги так, щоб їх було розпізнано.

A storyboard segment: location, time and weather fields, then numbered shots with durations, asset chips and spoken lines
Кожен кадр прослуховується; почуте цитується в результаті зчитування і стає репліками в структурі серії.

Чому цитувати, а не вгадувати

Якщо покластися лише на візуальну модель і запитати її «що тут сказано», вона на тому самому кадрі то почує репліку, то ні, а в разі невпевненості вигадає правдоподібні фрази. Закріплення розпізнаних слів в описі запобігає обом проблемам: щоразу під час опису кадру використовуються ті самі слова.

Музика

Під час розпізнавання один раз запитують, чи є у кліпі музика і яка вона. Якщо є, цей опис стає тональністю, в якій пишуть саундтрек епізоду — тому ваша переробка звучить як фільм того самого жанру; вихідний трек сам по собі ніколи не використовується. Потім кліпи генерують без власної музики, а саундтрек змішують під голосами, точно як у драмі. Коли епізод не має саундтреку — це старий епізод, або той, для якого не вдалося скласти план — відеомодель додає таким кліпам власну музику, як і раніше. Амбієнт зі звукового кліпу зазначається, але не переноситься. Фонова музика в AI-короткометражній драмі.

Мова діалогів

Обирається на екрані завантаження, коли ви берете Перестворити історію, за замовчуванням — мова інтерфейсу (на китайському сайті — китайська), і фіксується, щойно починається читання. Репліки, почуті іншою мовою, перекладаються нею. Для ремейку її потім не можна змінити, тому крок 1 не пропонує випадного списку. У Заміна такого налаштування немає, бо вона зберігає власні голоси кліпу; якщо пізніше перевести проєкт заміни на історію, його репліки будуть мовою вашого інтерфейсу. Після читання.

Якщо репліку пропущено або розпізнано неправильно

Сам конспект на SceneMixer не редагується, а сторіборд копіює його репліки дослівно. Згенеруйте сторіборд, потім відкрийте сегмент, де має бути репліка, і додайте або виправте її там разом із мовцем; репліку, віддану не тій людині, виправляють так само. Редагування безкоштовне. Згенерувати сторіборд.

У кліпіПід час зчитуванняУ вашій серії
Чітка вимовлена реплікаЦитується, мовець визначенийРепліка в структурі серії
Ніхто не говоритьКадр позначено як тихийРепліки немає
Невиразне мовленняПропущеноДодайте репліку в сегмент вручну
МузикаХарактер зазначеноТональність власного саундтреку епізоду, змішана під голосами
Фонові шумиЗазначеноНе переносяться; сторіборд створює власні

Поширені запитання

Чому репліка відсутня?

Розпізнавач не зміг її розібрати. Порівняйте зі своїм кліпом і додайте репліку в сегмент після створення сторіборду.

Чи використовуються оригінальні голоси?

Ні, якщо ви перестворюєте історію: голоси беруться з голосових налаштувань персонажів, як у будь-якому проєкті. «Заміна» зберігає оригінальний звук кліпу.

Чи може переробка бути озвучена іншою мовою, ніж оригінал?

Так, у режимі «Перестворити історію»: оберіть мову діалогів на екрані завантаження, і репліки перекладуть під час читання.

Чи повторно використовується оригінальна музика?

Ні, якщо ви перестворюєте історію. Її характер стає тоном власної музики серії, яку SceneMixer планує за розкадровкою серії — зазвичай від одного до трьох треків — і зводить під голоси. «Заміна» зберігає оригінальний звук кліпу разом із музикою.

Чому крик натовпу не отримує окремої репліки?

Груповий шум вважається фоновим звуком, а не діалогом.

Почуто, процитовано, записано

Те, що було сказано в кліпі, — те й звучатиме у вашій серії.

Почати переробку

Оновлено 15 листопада 2026