回答 · 声
リップシンクAIとは?
2026年11月18日更新

AIリップシンク生成ツールが実際にすること
リップシンクは、話すショットで、間違っていると人が最初に気づく部分です。声が完璧で、顔も完璧でも、母音で唇が閉じたり、セリフが終わった後も口が動き続けたりすると、そのショットは失敗します。AI動画では、これは最も安定して不満が出る点の一つです。コミュニティのコーパスにある約520件の投稿が、話し声と合わない口についての単語リストに一致し、セリフと口の動きは、約2,600件で一つのテーマとして挙がっています。
この言葉は三つの異なる道具を指します。一つ目は、完成したクリップと新しい音声トラックを受け取り、新しい言葉に合わせて、コマごとに口を描き直します。残りの映像は元のままです。二つ目は、一枚の画像、通常は顔と、音声トラックを受け取り、話す頭を作ります。三つ目は、後から同期させるものではありません。ショットが作られる前に、セリフを動画モデルに渡すので、声と口が同じ生成から出てきます。
それぞれ別の問題を解きます。描き直しは、翻訳や直したセリフなど、すでにある映像に新しい言葉が必要な場合のためのものです。話す画像は、カメラに向かって話すだけでよいプレゼンターやキャラクターのためのものです。一緒に生成するのは、人が行動しながら話すシーン、つまりドラマの大半のためのものです。
完成した映像に対するリップシンクAI、または映像と一緒に作る音声
完成したクリップの口を描き直すと、元の演技が決めたすべてにぶつかります。ショットの長さ、間、頭の動きは最初のセリフに属しています。長いセリフは急いで収めなければならず、短いセリフでは顔が待たされます。感情はさらに難しく、声は別のものに反応していた顔に対して演じられるからです。クリップが長いほど、こうした小さなずれが積み重なります。これは、r/aifilmmaking のスレッドがタイトルで述べている点です:
時間的なずれの問題:長尺の動画でAIリップシンクが不気味に見えるのはなぜか。
映像と一緒に音声を生成すると、その大半を避けられます。モデルがセリフを中心にショットを計画するからです。ネイティブ言語での生成と吹き替えが違いを説明しています。タイミング、息づかい、表情は、話される言葉のために作られます。その代わり、後でセリフを変えるには、その部分の映像を作り直すか、合わせ直す必要があります。
口の動きを音に合わせるコツ:どこで崩れるか
- 横顔、またはカメラから遠い顔。 扱える口が少なく、結果が不自然に見えたり、聞こえたりすることがあります。
- 一つのショットに二人の話し手。 モデルは違う口を動かすことがあります。各セリフに別々のショットを与えてください。
- 速く、または重なるセリフ。 口の形が混ざり合います。話し手の間に一拍空けてください。
- 長く続く連続したクリップ。 小さなタイミングのずれが積み重なります。ショットを短くすると、それがリセットされます。
- 声の入れ直し。 完成したクリップに新しいサウンドトラックを付けると、そのテイク自身の環境音は、古いものと一緒になくなります。
SceneMixer でのリップシンクの扱い方
SceneMixer では、セリフは所属するショットの下で絵コンテに書かれ、話し手の名前を示すタグが付きます。セグメントが生成されると、セリフは各キャラクターが選んだ声で、クリップの中で話され、口はそれに合わせて動きます。別の音声の工程はありません。絵コンテは、動画が作られる前に、プロジェクトの台詞の言語の話す速度からショットの長さを決めるので、ドイツ語のセリフには、必要な秒数が与えられます。

クリップを作った後にセリフを変える必要があるときは、Redubに二つの道があります。リップシンクは、映像をコマ単位で保ち、すべてのセリフを改めて吹き込み、口をそれに合わせて動かします。料金は、どの長さでも、クリップの秒あたり2 クレジットです。クリップ自身の環境音は落とされ、エピソードの音楽がその下に再度ミックスされます。Re-perform は、新しいセリフでクリップを作り直すので、演技が言葉に合います。料金はクリップのプランの秒あたり価格の2 倍で、短いクリップだけです。有料プランでは、キャラクターにアップロードした声を割り当てることもでき、そのタグ付きのセリフすべてがそれを使います。
シリーズ全体では、すべてのエピソードで同じルールが適用されるので、キャラクターは一つの声を保ちます。エピソードをまたいで、キャラクターの声を同じに保つことが、その側面を扱っています。
AIリップシンクの限界
- 横顔、小さな顔、重なった話し声では、どの方法も完璧ではありません。重要な場面では、その結果を確認してください。
- 口を描き直しても、元の演技のタイミングや感情は変えられません。
- SceneMixer では、Redub はエピソードのクリップに対して動作します。自分で撮った映像の声を入れ直すための道具ではありません。
- 使ってよい権利のある声だけを使ってください。自分の声も含みます。
- コミュニティの件数は、公開投稿の決まった期間を対象にしたルールベースの照合です。集計方法を参照してください。
よくある質問
AIリップシンクは無料ですか?
制限付きの無料プランがあるツールもあります。SceneMixer では、生成したクリップには、すべてリップの動きが付いてきます。完成したクリップを Redub で合わせ直すには、秒単位で課金されます。
自分の動画に使える、無料のAIリップシンクジェネレーターはありますか?
アップロードした映像の口を描き直す吹き替えツールには、よく試用があります。SceneMixer は、自分が生成したクリップにリップシンクします。撮影した映像のためではなく、その中で作る場面のためにできています。
なぜ違う口が動いているのですか?
たいてい、二人の話し手が一つのショットを共有しているからです。各セリフに別々のショットを与えてください。SceneMixer では、セリフの後の話し手のタグを確認し、直してからセグメントを作り直してください。
リップシンクは他の言語でも機能しますか?
はい。そのセリフがその言語で生成された場合は。SceneMixer は、プロジェクトの台詞の言語で、15言語のうちの一つでセリフを話し、話す速度からショットの長さを決めます。
AIを使わないリップシンクとは何ですか?
口の動きを話し声や歌声に合わせることです。録音に合わせて口パクをする演者、新しい音声を顔に合わせて編集する編集者、音声のトラックに合わせて口の形を描くアニメーターなどがいます。SceneMixerは代わりに、セリフと口の動きを一度の処理で生成します。
関連:キャラクターごとに一つの声、一回の生成でのセリフと音声、Redub の選び方、そして件数の裏にある集計方法。