SceneMixer
繁體中文
免費註冊

解答 · 聲音

什麼是口型同步 AI?

更新於 2026 年 11 月 18 日

快速回答: 口型同步 AI 讓嘴形配合語音。有些工具會在成片上重繪嘴形,以配合新的音訊;其他工具則在同一次生成中同時產生聲音與畫面。SceneMixer 用的是後者,而且它的改臺詞功能會在台詞改變時,以每秒 2 積分 重新對齊成片。
AI 短劇《鏽城擊破》劇照,由 SceneMixer 端到端生成(6 位角色、1 集)
範例鏽城擊破光影動畫1 集由 SceneMixer 從劇本端到端產出觀看劇集

AI 口型同步生成器實際上做什麼

口型同步是說話鏡頭中,觀眾最先注意到出錯的部分。聲音可以完美、臉孔也可以完美,但如果嘴唇在母音上閉合,或台詞結束後還在動,這個鏡頭仍然失敗。在 AI 影片中,這是最穩定的抱怨來源之一:社群語料中約 520 則貼文符合一組字詞清單,指的是嘴形與語音不吻合;而對白與嘴部動作,在約 2,600 則貼文中成為主題。

這個說法涵蓋三種不同的工具。第一種拿一段成片和新的音軌,逐幀重繪嘴形,以配合新台詞;畫面其餘部分保持原樣。第二種拿一張單張圖片(通常是臉孔)與一段音軌,生成會說話的頭像。第三種在事後不做任何同步:台詞在鏡頭拍攝前就交給影片模型,因此聲音與嘴形來自同一次生成。

被稱為對嘴 AI 的三種技術重繪成品片段輸入新音訊,嘴形會重繪以配合,畫面其餘部分保持不變單張圖開口說話一張臉加上一段音軌,就變成會說話的頭像一併生成臺詞交給影片模型,聲音與嘴形在同一次生成中完成臉朝向鏡頭的,三種之中同步效果最好。
重繪修的是已經存在的素材;同時生成則是從一開始就圍繞台詞規劃鏡頭。

它們解決的是不同問題。重繪適用於已存在、需要新台詞的素材,例如翻譯或修正過的台詞。會說話的圖像適用於只需要對鏡頭說話的主持人或角色。同時生成則適用於人物一邊動作一邊說話的場景,而這正是大部分戲劇的樣子。

成片上的口型同步 AI,或與畫面一同生成的語音

在成片上重繪嘴形,會碰上原始表演已經決定的一切。鏡頭長度、停頓與頭部動作都屬於第一句台詞;較長的台詞必須趕著塞進去,較短的台詞則讓臉孔乾等。情緒更難處理,因為聲音是對著一張原本正在對其他事物做出反應的臉來演出的。片段越長,這些小小的不吻合就累積得越多,這也正是 r/aifilmmaking 一則討論串標題所要表達的意思:

時間漂移問題:為什麼長篇影片中的 AI 口型同步看起來詭異。

與畫面一同生成語音,可以避開大部分問題,因為模型會圍繞台詞規劃鏡頭。原生語言生成與配音 說明了其中的差異:時間、換氣與表情,都是為正在說出的字詞而設計的。代價是,之後改台詞就意味著要重新生成那一段影片,或重新對齊。

如何把口型同步做好:哪裡會出錯

SceneMixer 如何處理口型同步

在 SceneMixer 上,台詞會寫進分鏡中,放在說這句話的那個鏡頭之下,並附上標示說話者的標籤。生成一段片段時,台詞會以每位角色所選的聲音在片段中說出,嘴唇隨之移動;這裡沒有另外的配音步驟。分鏡會在任何影片生成前,依照專案對白語言的語速設定鏡頭長度,因此德語的台詞會得到它所需要的秒數。

A storyboard segment: a header with location, time, weather and starting frame, then numbered shots with their seconds, character chips, actions and a line with a delivery note
台詞在分鏡中,位於說出它的那個鏡頭之下,並標明說話者,而這一切都發生在影片生成之前。

當片段做好之後台詞需要改動時,改臺詞 提供兩條路線。口型同步會逐幀保留畫面,重新為每句台詞配音,並移動嘴形以配合,每秒片段收取 2 積分,不論長度;片段自身的環境音會被丟棄,而集數的配樂則會重新混回其下。重演則會用新台詞重新製作片段,讓表演配合字詞,每秒價格為該片段方案價格的 2 倍,且只適用於短片段。付費方案也可以讓角色使用上傳的聲音,所有帶標籤的台詞隨之使用它。

整部系列中,每一集都遵循同樣的規則,因此角色的聲音保持一致;跨集保持角色聲音一致 則談這一面。

口型同步 AI 的限制

常見問題

口型同步 AI 免費嗎?

有些工具設有附限制的免費方案。在 SceneMixer 上,口型動作隨每段生成的片段一併提供;用改臺詞重新對齊成片則按秒計費。

有沒有免費的 AI 口型同步生成器,可用在我自己的影片上?

會在上傳素材上重繪嘴形的配音工具,通常有試用期。SceneMixer 為它生成的片段做口型同步;它是為你在裡面製作的場景而設計,而非你拍攝的素材。

為什麼嘴形對不上?

通常是兩位說話者共用一個鏡頭。請讓每句台詞各自一個鏡頭;在 SceneMixer 上,檢查台詞後面的語音標籤,修正後重新生成該段即可。

口型同步在其他語言也能用嗎?

可以,前提是該台詞以該語言生成。SceneMixer 以專案的對白語言說出台詞,共有十五種可選,並依其語速設定鏡頭長度。

不用 AI 的口型同步是什麼?

讓嘴型配合語音或歌唱:表演者配合錄音做口型、剪輯師把新音訊配到臉上,或動畫師依音軌畫出嘴型。SceneMixer 則是在一次生成中同時完成台詞與嘴型。

相關內容:每個角色一個聲音、對白與聲音在一次生成中完成、如何選擇改臺詞,以及計數背後的蒐集方法。

先寫台詞,再聽它被說出來

台詞寫進分鏡,角色在影片中以你專案的語言說出來。

免費註冊

每秒影片費率與相同數字見價格頁。