SceneMixer
日本語
無料登録

回答 · 声

リップシンクAIとは?

2026年11月18日更新

手短な答え: リップシンクAIは、口を話し声に合わせます。完成したクリップの口を描き直して新しい音声に合わせる道具もあれば、声と映像を一回の生成で作る道具もあります。SceneMixer は後者で、その Redub は、セリフが変わったときに、完成したクリップを秒あたり2 クレジットで合わせ直します。
SceneMixerがエンドツーエンドで生成したAIショートドラマ『ラストシティ・ノックアウト』の静止画(キャラクター6人、1話)
サンプルラストシティ・ノックアウト絵画風アニメ1話脚本からSceneMixerパイプラインでエンドツーエンド制作エピソードを見る

AIリップシンク生成ツールが実際にすること

リップシンクは、話すショットで、間違っていると人が最初に気づく部分です。声が完璧で、顔も完璧でも、母音で唇が閉じたり、セリフが終わった後も口が動き続けたりすると、そのショットは失敗します。AI動画では、これは最も安定して不満が出る点の一つです。コミュニティのコーパスにある約520件の投稿が、話し声と合わない口についての単語リストに一致し、セリフと口の動きは、約2,600件で一つのテーマとして挙がっています。

この言葉は三つの異なる道具を指します。一つ目は、完成したクリップと新しい音声トラックを受け取り、新しい言葉に合わせて、コマごとに口を描き直します。残りの映像は元のままです。二つ目は、一枚の画像、通常は顔と、音声トラックを受け取り、話す頭を作ります。三つ目は、後から同期させるものではありません。ショットが作られる前に、セリフを動画モデルに渡すので、声と口が同じ生成から出てきます。

リップシンクAIと呼ばれる三つのもの完成クリップを描き直す新しい音声を入れ、口を描き直して合わせる。ほかの映像はそのまま。一枚の画像から話す一つの顔と音声トラックから、話す頭が生まれる一緒に生成セリフを動画モデルに渡すので、声と口が同じ一回の生成で出てくるこの三つとも、カメラの方を向いた顔が最もよく合います。
描き直しは、すでにある映像を直します。一緒に生成するのは、最初からセリフを中心にショットを計画します。

それぞれ別の問題を解きます。描き直しは、翻訳や直したセリフなど、すでにある映像に新しい言葉が必要な場合のためのものです。話す画像は、カメラに向かって話すだけでよいプレゼンターやキャラクターのためのものです。一緒に生成するのは、人が行動しながら話すシーン、つまりドラマの大半のためのものです。

完成した映像に対するリップシンクAI、または映像と一緒に作る音声

完成したクリップの口を描き直すと、元の演技が決めたすべてにぶつかります。ショットの長さ、間、頭の動きは最初のセリフに属しています。長いセリフは急いで収めなければならず、短いセリフでは顔が待たされます。感情はさらに難しく、声は別のものに反応していた顔に対して演じられるからです。クリップが長いほど、こうした小さなずれが積み重なります。これは、r/aifilmmaking のスレッドがタイトルで述べている点です:

時間的なずれの問題:長尺の動画でAIリップシンクが不気味に見えるのはなぜか。

映像と一緒に音声を生成すると、その大半を避けられます。モデルがセリフを中心にショットを計画するからです。ネイティブ言語での生成と吹き替えが違いを説明しています。タイミング、息づかい、表情は、話される言葉のために作られます。その代わり、後でセリフを変えるには、その部分の映像を作り直すか、合わせ直す必要があります。

口の動きを音に合わせるコツ:どこで崩れるか

SceneMixer でのリップシンクの扱い方

SceneMixer では、セリフは所属するショットの下で絵コンテに書かれ、話し手の名前を示すタグが付きます。セグメントが生成されると、セリフは各キャラクターが選んだ声で、クリップの中で話され、口はそれに合わせて動きます。別の音声の工程はありません。絵コンテは、動画が作られる前に、プロジェクトの台詞の言語の話す速度からショットの長さを決めるので、ドイツ語のセリフには、必要な秒数が与えられます。

A storyboard segment: a header with location, time, weather and starting frame, then numbered shots with their seconds, character chips, actions and a line with a delivery note
セリフは、それを話すショットの下で、話し手の名前とともに、動画が生成される前に絵コンテに入っています。

クリップを作った後にセリフを変える必要があるときは、Redubに二つの道があります。リップシンクは、映像をコマ単位で保ち、すべてのセリフを改めて吹き込み、口をそれに合わせて動かします。料金は、どの長さでも、クリップの秒あたり2 クレジットです。クリップ自身の環境音は落とされ、エピソードの音楽がその下に再度ミックスされます。Re-perform は、新しいセリフでクリップを作り直すので、演技が言葉に合います。料金はクリップのプランの秒あたり価格の2 倍で、短いクリップだけです。有料プランでは、キャラクターにアップロードした声を割り当てることもでき、そのタグ付きのセリフすべてがそれを使います。

シリーズ全体では、すべてのエピソードで同じルールが適用されるので、キャラクターは一つの声を保ちます。エピソードをまたいで、キャラクターの声を同じに保つことが、その側面を扱っています。

AIリップシンクの限界

よくある質問

AIリップシンクは無料ですか?

制限付きの無料プランがあるツールもあります。SceneMixer では、生成したクリップには、すべてリップの動きが付いてきます。完成したクリップを Redub で合わせ直すには、秒単位で課金されます。

自分の動画に使える、無料のAIリップシンクジェネレーターはありますか?

アップロードした映像の口を描き直す吹き替えツールには、よく試用があります。SceneMixer は、自分が生成したクリップにリップシンクします。撮影した映像のためではなく、その中で作る場面のためにできています。

なぜ違う口が動いているのですか?

たいてい、二人の話し手が一つのショットを共有しているからです。各セリフに別々のショットを与えてください。SceneMixer では、セリフの後の話し手のタグを確認し、直してからセグメントを作り直してください。

リップシンクは他の言語でも機能しますか?

はい。そのセリフがその言語で生成された場合は。SceneMixer は、プロジェクトの台詞の言語で、15言語のうちの一つでセリフを話し、話す速度からショットの長さを決めます。

AIを使わないリップシンクとは何ですか?

口の動きを話し声や歌声に合わせることです。録音に合わせて口パクをする演者、新しい音声を顔に合わせて編集する編集者、音声のトラックに合わせて口の形を描くアニメーターなどがいます。SceneMixerは代わりに、セリフと口の動きを一度の処理で生成します。

関連:キャラクターごとに一つの声、一回の生成でのセリフと音声、Redub の選び方、そして件数の裏にある集計方法。

セリフを書き、それが話されるのを聞く

セリフは絵コンテに入ります。キャストは、あなたのプロジェクトの言語で、動画の中でそれを話します。

無料で登録

秒ごとの動画料金は、同じ数字で料金ページに載っています。