SceneMixer
繁體中文
免費註冊

解答 · 聲音

文字轉語音是 AI 嗎?

更新於 2026 年 11 月 18 日

快速解答: 是。現代文字轉語音是一個神經網路,會預測一句話應該怎麼唸,而不是把錄好的音節拼接起來。在 SceneMixer 上,台詞不是事後才蓋在影片上唸的:畫面與語音在同一次生成中產出,而影片每秒從 10 積分起。
AI 短劇《鏽城擊破》劇照,由 SceneMixer 端到端生成(6 位角色、1 集)
範例鏽城擊破光影動畫1 集由 SceneMixer 從劇本端到端產出觀看劇集

從拼接音節到會演出的模型

較早的語音合成像一張由聲音組成的勒索信:一個錄製片段的資料庫,依規則黏合起來。它聽得懂,但很平板。人們現在稱之為自然的聲音,來自在大量語音上訓練過的神經模型。給定一句話,模型會預測一個人讀這句話時的音高、節奏與換氣,第二個階段再把這個預測轉成音訊。這就是最平實意義上的機器學習,所以對於「文字轉語音是不是 AI」,簡短的答案是:只要是近幾年做出來的,都是。

人們真正想要的,其實沒有太大改變。在 r/generativeAI 上有一則典型的請求:

「我需要一些免費、聲音自然又富有表現力的 AI 語音生成器。」

聲音在整個討論中佔了很大比例:社群語料中約有 12,000 則貼文談到影片中的聲音、音樂或音效。

被統稱為 AI 聲音的三種不同東西

文字轉語音 以選定的聲音把書寫的文字唸出來。它適合用在你已經有的畫面上配旁白、有聲書,或為看不見的人朗讀頁面。聲音複製 從一段短樣本學習某個特定聲音,然後用它說出新的台詞。原生對白 較新:影片模型同時生成畫面與語音,所以嘴型動作與台詞來自同一個模型,而不是事後才對齊。

這個差別對畫面上的臉孔最重要。事後加上的台詞必須做口型同步,而眼睛與肩膀從來不知道正在說什麼。若是一起生成,角色可以在一句艱難的話之前先吸一口氣,並在說到傷人的那個字時把眼神移開。

SceneMixer 如何為角色配音

每個角色都有自己的聲音。你可以用文字描述它的音色與語氣,從預設音色庫中挑選一個接近的,或者在付費方案上上傳你有權使用的錄音。生成鏡頭時,語音會與它一起被產生。如果你只想改某人說的話,Redub 會用同一個角色的聲音說出新的台詞,而不必重新製作畫面,比重新生成整個片段便宜。

A SceneMixer storyboard segment with a location, time and weather header, then numbered shots where each line of dialogue has a delivery note in brackets and a Voice tag naming the speaking character
台詞存放在分鏡腳本中,附有語氣說明與說話者的聲音標籤。影片就是從這段文字生成的,包括語音在內。
三種 AI 聲音文字轉語音把寫好的文字以庫存聲音唸出,在畫面之後加入聲音複製一段單一聲音的短樣本,用來以同一聲音說出新臺詞原生對白畫面與語音一次生成,嘴型與臺詞一致只使用你有權使用的聲音。
同樣的文字可以用三種方式配音;對於螢幕上的臉孔,跟畫面一起生成台詞,能讓表演保持完整。

何時普通的文字轉語音仍是更好的工具

不是每支影片都需要一位演出者。解說影片、清單式影片,以及在靜態圖上配的紀錄片式旁白,都是文字轉語音的工作:一個穩定的聲音,不需要對嘴。在 SceneMixer 上,旁白是一個畫面外的角色,有聲音但沒有影像,所以故事可以在鏡頭中說話的角色旁邊,加上旁白。若是完全沒有角色、只有旁白的影片,專用的語音工具加上簡單的剪輯器會更直接。

無論用哪一種,都要為耳朵而寫。句子要短,數字要寫成應該被念出的樣子,名字則不能被誤讀。模型只會唸寫下來的東西;它無法猜到「Dr.」在地址裡應該唸成「Drive」。

為角色選擇合適的聲音

像選角導演那樣,靠對比來挑聲音。同一場戲裡的兩個角色不應該用同樣的語域:讓一個人低沉、緩慢,另一個人快一點、高一點,觀眾就算閉著眼睛也能跟上對話。年齡比口音更重要;一個二十歲的人用五十歲的聲音,不論你是否有意,看起來都像個笑話。用文字描述聲音時,請寫出質地(沙啞、明亮、氣音)、速度,以及一個習慣,例如句尾拖長。然後在生成整集之前,先聽一句短的試聽。之後更換聲音,已經做好的片段會保留舊的聲音,所以最便宜的修正時機,是在第一個片段之前。

文字轉語音與 AI 聲音的限制

常見問題

文字轉語音算是人工智慧嗎?

就現代的聲音而言,算是:它們是預測語音應該如何發音的神經模型。較早的規則式合成不算,而它聽起來機械化,正是這個原因。

AI 聲音等於文字轉語音嗎?

不一定。文字轉語音以庫存的聲音唸出文字,聲音複製則是複製某個特定的聲音;在 SceneMixer 上,對白是與畫面一同生成的。

我可以為角色使用自己的聲音嗎?

可以,前提是那是你有權使用的聲音:在付費方案上,SceneMixer 讓你為角色上傳錄音;否則就描述一種聲音,或從預設音色庫中挑一個。

旁白一定要另外用文字轉語音工具嗎?

對於有角色的故事不必:在 SceneMixer 上,旁白是一個畫面外的有聲角色。若只是純旁白的解說,語音工具會比較簡單。

相關閱讀:用 AI 聲音製作影片、畫面外與純聲音的角色、AI 角色聲音,以及計算這個數字所用的收集方法。

替一個角色配上聲音

描述它、從音色庫中挑選或上傳你自己的樣本,然後讓台詞在鏡頭中說出來。

免費註冊

每秒的影片費率列在價格頁,數字與那裡一致。