此为历史版本和 IPFS 入口查阅区,回到作品页
Kling4 AI
IPFS 指纹 这是什么

作品指纹

一支影片做三種語言版本:Wan 3.0 原生對白、對白編輯與後期對嘴,該怎麼分工?

Kling4 AI
·
·
做多語言影片有三條路:每種語言各生成一次、用對白編輯改台詞、先做畫面再對嘴。依官方文件整理各自的限制與選法。


產品介紹、課程片頭、品牌短片,做完中文版之後,常常接著就要英文版、日文版。以前多半是重新配音再硬套上去,嘴型對不上也只能接受;現在影片模型可以直接生成有對白的畫面,選擇反而變多了。

Wan 3.0 是阿里巴巴的「全能型」影片模型,2026 年 8 月 24 日正式開放,一次最長可生成 30 秒、預設帶聲音的影片。這篇文章整理三種做多語言版本的路線:每種語言各生成一次、用對白編輯改台詞,以及先做好畫面再用後期對嘴工具。內容根據阿里雲 Model Studio 的官方文件;文中的提示詞是為本文撰寫的範例,沒有經過實際生成測試。


先看官方文件怎麼寫對白

Model Studio 的「wan3.0 Video Generation Prompt Guide」(2026 年 10 月 16 日更新)對對白的寫法很具體:

  • 格式是「角色+說話動詞+冒號+引號內容」,例如 她輕聲說:"……"。

  • 多人對話要逐行寫,並標明誰在說話,例如 Image 1 says: "……"。

  • 想讓嘴型對上,加上 Lip sync。

  • 想沿用某段聲音的音色,加上 Voice timbre reference Audio N,寫一次就套用到該角色的所有台詞。

  • 不要對白時,一定要明寫 No dialogue,否則由模型自行決定要不要讓人物開口。

阿里雲 Model Studio「wan3.0 Video Generation Prompt Guide」的 Dialogue 段落,2026 年 10 月 25 日截圖。

另外要知道一個限制:阿里雲在 Wan 3.0 的發表文章中直接寫明,「音訊質感」和「畫面文字的呈現準確度」都還在改進中。文件也沒有列出支援的語言清單。所以不論走哪條路線,每種語言都建議先用短片確認發音和語氣。

三條路線

路線 A:每種語言各生成一次。 把同一份腳本翻成三種語言,分別生成。好處是每個版本的嘴型、表情都是一起生成的,最自然;壞處是每次生成都是新的畫面,人物的動作、鏡頭節奏不會完全一樣。如果三個版本要放在同一個頁面並排比較,差異會很明顯。

路線 B:先生成一版,再用對白編輯改台詞。 提示詞指南的「影片編輯」段落有一個例子:「保留角色的音色和語氣,把女子說的台詞改成……」。也就是說,可以把已生成的影片當成參考影片送回去,只改台詞。指南也提醒,一次只改一個項目最穩定,並且要寫上「其餘保持不變」。要注意的是,輸入影片加上輸出影片的總長不能超過 30 秒。

路線 C:先做好畫面,再用後期對嘴工具。 先生成畫面(可以是原語言版本),再把各語言的配音交給對嘴(lip sync)工具,只調整嘴部。畫面、人物、鏡頭完全相同,最適合要並排呈現或長度超過 30 秒的內容。代價是多一道工序,而且配音要另外準備。

怎麼選

幾個簡單的判斷方式:

  • 三個版本要放在一起比較,或要剪進同一支長片 → 路線 C。畫面一致比什麼都重要。

  • 短片、各語言分開投放,且希望嘴型和表情最自然 → 路線 A。

  • 只有一兩句台詞要換,其他都不想動 → 路線 B。

  • 影片超過 30 秒 → 單次生成放不下,路線 C 或分段處理比較實際。

路線 A:讓三個版本盡量像同一支

如果選擇各語言分別生成,可以用幾個方法把差異壓到最小。

第一,三個版本共用同一組參考素材。人物、服裝、場景都用同樣的 Image 1、Image 2 鎖定,而且上傳順序一致,因為提示詞裡的編號是依上傳順序計算的。第二,三份提示詞的結構完全相同:同樣的全體描述、同樣的鏡頭分段和時間戳,只替換引號裡的台詞。第三,鏡頭盡量簡單,例如固定機位或緩慢推近;運鏡越複雜,每次生成的差異就越大。

如果希望三種語言聽起來像同一個人,可以為每個語言準備一段同一位配音員的錄音,用 Voice timbre reference Audio 1 指定音色。參考音訊最多 5 段、合計 15 秒以內,單檔 15 MB 以內。即使這樣,畫面還是每次重新生成,細節不會完全一致,這一點要先有心理準備。

路線 C:原始畫面要有「說話的嘴」

走後期對嘴時,原始畫面最好本來就有人物開口說話,而不是完全閉嘴的版本。工具頁面建議使用「說話動作清楚」的影片,嘴部要清楚、沒有遮擋。實務上可以先生成原語言(例如中文)有對白的版本,確認畫面滿意後,再把英文、日文配音交給對嘴工具處理。

這樣做還有一個好處:原語言版本本身就是成品之一,不必另外生成。後面兩個語言只多一道對嘴工序,畫面、剪輯、字幕位置都可以共用。

對白編輯的寫法

路線 B 的關鍵是「只改一件事」。下面是依照指南句型寫的範例(未經測試):

編輯影片:保留 Video 1 中女子的音色和語氣,把她說的台詞改成:"This one is made for rainy mornings."
人物的動作、表情、背景和鏡頭運動保持不變。

寫的時候要注意三件事:第一,開頭寫清楚是「編輯影片」,讓模型知道這不是重新生成;第二,台詞放在引號裡,一字一句寫出來;第三,把不能動的東西列出來。新台詞的長度最好和原台詞差不多,否則說話節奏會被迫加快或拖長。

後期對嘴工具要注意什麼

路線 C 用的對嘴工具有很多種。以一個獨立的第三方網站為例,它的 AI 影片口型同步工具 頁面上寫的規格是:影片支援 MP4、MOV,最大 500 MB;音訊支援 MP3、WAV、AAC、M4A、OGG,最大 10 MB;處理長度大於 1 秒、最長 240 秒,並分為輕量和基礎兩種模式(該網站並非阿里雲官方服務)。

頁面上的建議也很實用:選擇正面或輕微側面、嘴部沒有遮擋的影片,而且目標音訊的長度盡量接近原影片。換句話說,配音稿的長度要先控制好。中文一句話翻成英文或日文,長度常常會差很多,最好在翻譯階段就以「秒數」為單位調整,而不是等配好音再剪。

發布前的檢查清單

  • 每種語言都先用短片確認過發音和語氣

  • 不需要對白的版本寫了 No dialogue

  • 對白編輯一次只改一句,並寫上「其餘保持不變」

  • 輸入影片+輸出影片不超過 30 秒

  • 對嘴用的配音長度和原影片接近,人物嘴部清楚可見

  • 字幕在後製加上,不靠模型在畫面上生成文字

  • 生成結果的網址 24 小時後失效,記得馬上下載

多語言版本的難處,從來不只是翻譯,而是讓每個版本「看起來是同一支影片」。先決定哪一點最不能妥協,是畫面一致、嘴型自然,還是製作速度,路線自然就選出來了。

資料來源:阿里雲 Model Studio「wan3.0 Video Generation Prompt Guide」(2026-10-16 更新)、「Wan3.0 Video Generation」指南(2026-10-11 更新);Alibaba Cloud Community〈Wan3.0: 30-Second AI Video Generation from Any Input〉(2026-08-13);Reuters(2026-08-24);wan30.io 口型同步工具頁面(2026-10-25 讀取)。

CC BY-NC-ND 4.0 授权