SceneMixer
Русский
Зарегистрироваться бесплатно

Ремейк: как из клипа считываются реплики и музыка и что попадает в вашу серию

Коротко: Каждый кадр клипа прослушивается дважды: сначала распознавателем речи, который отвечает на вопрос «кто-то говорит и что именно?», затем моделью, которая описывает кадр и получает распознанные слова как исходные данные. Поэтому реплики берутся из записи, а не угадываются по движению губ, а кадр, в котором никто не говорит, описывается как беззвучный. Если в клипе есть музыка, разбор отмечает её характер, и этот характер задаёт тон музыки самой серии: она планируется по раскадровке серии, обычно из одной-трёх композиций, и подмешивается под голоса, как в любой драме. При выборе Переснять историю язык диалогов выбирается на экране загрузки и фиксируется, как только начинается разбор: реплики пишутся на нём, а если в исходнике звучит другой язык, переводятся. Реплика, которую распознаватель не смог разобрать, просто пропускается; сверьте её с вашим клипом и добавьте в кадр в редакторе, когда раскадровка будет сгенерирована. В SceneMixer реплика, которую распознаватель не смог разобрать, просто отсутствует в разборе.
Кадр из «Зимняя корона», AI-короткометражной дорамы, полностью сгенерированной SceneMixer (6 персонажей, 1 эпизод)
ПримерЗимняя коронаЦифровое HD1 эпизодПолностью создано SceneMixer по сценариюСмотреть серии

После чтения в режиме Переснять историю откройте серию на шаге 3 и прочитайте её краткое содержание: каждый блок сцены перечисляет реплики в формате «говорящий: текст». Замена сохраняет собственный звук и реплики клипа, поэтому эта страница к ней не относится.

Как считываются реплики

Распознавание речи запускается для аудио каждого отдельного кадра. То, что оно услышало, передаётся описателю кадра как пометка «здесь были сказаны эти слова»; после этого описатель определяет говорящего по лицам и вписывает реплику в кадр. Музыка под речью обрабатывается корректно; сбои возникают на криках поверх толпы, при сильном акценте и очень тихих репликах — в таких случаях они пропускаются, а не придумываются. Реплики появляются в структуре как в сценарии: Пишите диалоги так, чтобы они распознавались.

A storyboard segment: location, time and weather fields, then numbered shots with durations, asset chips and spoken lines
Каждый кадр прослушивается; услышанное цитируется при считывании и попадает в структуру как реплики.

Почему цитирование, а не угадывание

Если оставить всё на усмотрение зрительной модели, на вопрос «что здесь сказано» она на одном и том же кадре то услышит речь, то нет, а при неуверенности придумает правдоподобные реплики. Распознанные слова, закреплённые в описании, исключают обе проблемы: при каждом описании кадра используются одни и те же слова.

Музыка

При анализе один раз уточняется, есть ли в клипе музыка и какая именно. Если есть, это описание становится тональностью для саундтрека эпизода, чтобы ваша переделка звучала как фильм того же жанра; сам оригинальный трек никогда не используется. После этого клипы генерируются без собственной музыки, а саундтрек накладывается под голоса — точно так же, как в драме. Если у эпизода нет собственного саундтрека (это старый эпизод или план для него не удалось составить), видеомодель добавляет в клипы собственную музыку, как было раньше. Амбиентный звук из клипа отмечается, но не переносится. Фоновая музыка в AI-короткометражной драме.

Язык диалогов

Выбирается на экране загрузки, когда вы берёте Переснять историю, по умолчанию — язык интерфейса (на китайском сайте — китайский), и фиксируется, как только начинается чтение. Реплики, услышанные на другом языке, переводятся на него. Для ремейка его потом нельзя изменить, поэтому шаг 1 не предлагает выпадающий список. У Замена такой настройки нет, потому что она сохраняет собственные голоса клипа; если позже перевести проект замены на историю, его реплики будут на языке вашего интерфейса. После чтения.

Если реплика пропущена или распознана неверно

Сам план нельзя редактировать в SceneMixer, и сториборд копирует его реплики слово в слово. Сгенерируйте сториборд, затем откройте сегмент, где место реплике, и добавьте или исправьте её там, с говорящим; реплика, отданная не тому человеку, исправляется так же. Правка бесплатна. Сгенерировать сториборд.

В клипеПри считыванииВ вашей серии
Чётко произнесённая репликаЦитируется, говорящий определяетсяРеплика в структуре серии
Никто не говоритКадр помечается как тихийРеплики нет
Неразборчивая речьПропускаетсяДобавьте в сегмент вручную
МузыкаХарактер отмечаетсяТональность для собственного саундтрека эпизода, накладываемого под голоса
Фоновые шумыОтмечаютсяНе переносятся; в раскадровке прописываются свои

Частые вопросы

Почему реплика пропала?

Распознаватель не смог её разобрать. Сравните с вашим клипом и добавьте в сегмент после создания раскадровки.

Используются ли исходные голоса?

Нет, если вы переснимаете историю: голоса берутся из голосовых настроек персонажей, как в любом проекте. «Замена» сохраняет исходный звук клипа.

Может ли ремейк быть на другом языке, чем исходный клип?

Да, в режиме «Переснять историю»: выберите язык диалогов на экране загрузки, и реплики будут переведены при чтении.

Исходная музыка переиспользуется?

Нет, если вы переснимаете историю. Её характер становится тоном собственной музыки серии, которую SceneMixer планирует по раскадровке серии — обычно от одного до трёх треков — и сводит под голоса. «Замена» сохраняет исходный звук клипа вместе с музыкой.

Почему крик толпы не попадает в реплики?

Шум группы считается фоновым звуком, а не диалогом.

Услышано, процитировано, записано

Что было сказано в клипе — то и говорится в вашей серии.

Запустить ремейк

Обновлено 15 ноября 2026 г.