SceneMixer
日本語
無料登録

リメイク:クリップからセリフと音楽がどう読み取られ、エピソードに反映されるか

要点: クリップのすべてのショットは二回聞かれます。まず音声認識が「誰かが話しているか、何を言ったか」に答え、次に、認識された言葉を手がかりとして与えられた、ショットを記述するモデルが聞きます。そのためセリフは唇の動きから推測されるのではなく、書き起こされたものが引用されます。誰も話していないショットは無音と書かれます。クリップに音楽があれば、読み取りでその雰囲気が記され、それがそのエピソードのスコアの方向性になります。スコアはエピソードの絵コンテから計画され、通常は一〜三曲で、どのドラマとも同じように、声の下にミックスされます。ストーリーをリメイクでは、セリフ言語はアップロード画面で選び、読み取りが始まると固定されます。セリフはその言語で書かれ、元が別の言語であれば翻訳されます。認識できなかったセリフは単に抜けます。クリップと照らし合わせ、絵コンテが生成された後に、エディターでそのショットに追加してください。SceneMixerでは、認識できなかったセリフは読み取りから単に抜けています。
SceneMixerがエンドツーエンドで生成したAIショートドラマ『浪人の誓い』の静止画(キャラクター7人、1話)
サンプル浪人の誓いフィルム撮影1話脚本からSceneMixerパイプラインでエンドツーエンド制作エピソードを見る

ストーリーをリメイク の読み込み後、ステップ 3 でエピソードを開き、あらすじを読んでください。各シーンのブロックに、セリフが「話者:セリフ」の形で並んでいます。置き換え はクリップ自体の音声とセリフを残すので、このページの内容は当てはまりません。

セリフが聞き取られる仕組み

音声認識は各ショットの音声ごとに実行されます。聞き取られた内容は「ここでこの言葉が話された」としてショット記述に渡され、記述モデルは顔から話者を特定し、セリフをショットに書き込みます。セリフの下に流れる音楽は処理されますが、群衆の中の叫び声、強い訛り、非常に小さい声のセリフは認識に失敗しやすく、創作されるよりは欠落として扱われます。その後セリフは台本のようにアウトラインに表示されます:認識されやすいセリフの書き方。

A storyboard segment: location, time and weather fields, then numbered shots with durations, asset chips and spoken lines
各ショットが聞き取られ、聞こえた内容が読み取り結果に引用され、アウトラインのセリフとして反映されます。

なぜ推測せず引用するのか

ビジョンモデルに「ここで何と言っているか」を任せると、同じショットでも聞き取れたり聞き取れなかったりする上に、不確かな場合はもっともらしいセリフを創作してしまうことがあります。認識した言葉を記述に固定すると、この両方の問題が防げ、ショットを記述するたびに常に同じ言葉が使われるようになります。

音楽

解析では、動画に音楽があるかどうか、またどのような種類の音楽かが1回だけ確認されます。音楽がある場合、その説明がエピソードの劇伴のトーンとなり、リメイク作品が元の動画と同じような雰囲気の作品に仕上がります。元の音源自体が使用されることは決してありません。その後、各動画クリップは音楽なしで生成され、ドラマとまったく同じように劇伴が台詞の下にミキシングされます。劇伴が作成されないエピソード(古いエピソードや、計画を作成できなかったエピソード)の場合は、以前と同じように動画モデルが各クリップに独自の音楽を付けます。動画の環境音は記録されますが、引き継がれません。AIショートドラマの背景音楽

対話言語

ストーリーをリメイク を選んだときにアップロード画面で選び、既定はインターフェース言語(中国のサイトでは中国語)で、読み込み開始と同時に固定されます。別の言語で聞こえたセリフはその言語に翻訳されます。リメイクでは後から変えられないため、ステップ 1 にはドロップダウンがありません。置き換え はクリップ自体の声を残すので、この設定はありません。後で置き換えのプロジェクトをストーリーに切り替えた場合、セリフはインターフェース言語になっています。読み込みの後。

セリフが抜けていたり間違っていたりする場合

アウトライン自体はSceneMixerで編集できず、絵コンテはそのセリフを一字一句コピーします。絵コンテを生成してから、そのセリフが属するセグメントを開き、話者とともに追加または修正してください。間違った人に与えられたセリフも、同じように直します。編集は無料です。絵コンテを生成する。

クリップ内読み取り結果エピソード内
明瞭なセリフ引用され、話者が特定されるアウトラインのセリフになる
誰も話していないショットが無音としてマークされるセリフなし
不明瞭な発話除外されるセグメント内で手動で追加する
音楽雰囲気が記録されるエピソード独自の劇伴のトーン。台詞の下にミキシングされます
環境音記録される引き継がれない;絵コンテ側で独自に設定される

よくある質問

セリフが抜けているのはなぜですか?

認識装置が聞き取れなかったためです。クリップと見比べて、絵コンテ作成後にセグメント内に追加してください。

元の音声は使われますか?

ストーリーをリメイクする場合は使いません。声は、どのプロジェクトとも同じくキャストの音声設定から来ます。置き換えはクリップの元の音声を残します。

リメイクの音声を元のクリップと別の言語にできますか?

はい、ストーリーをリメイクならできます。アップロード画面でセリフ言語を選ぶと、読み込み時にセリフが翻訳されます。

元の音楽は再利用されますか?

ストーリーをリメイクする場合は使いません。その性格は、SceneMixer がエピソードの絵コンテから計画し(通常 1〜3 曲)、声の下にミックスするエピソード独自の音楽の基調になります。置き換えは、音楽も含めてクリップの元の音声を残します。

群衆の叫び声にセリフが付かないのはなぜですか?

集団の音は対話ではなく背景音として扱われるためです。

聞き取り、引用し、書き起こす

クリップで話された内容が、そのままあなたのエピソードのセリフになります。

リメイクを開始する

2026年11月15日更新