在自己的電腦上做 AI 配音:從研究、實測到隨時可呼叫的完整過程

兩天內,我們在一台家用 Windows 電腦上,實測兩個開源語音模型,做出一套能用一段參考錄音複製聲線、念任何文字的本機配音服務。研究、環境、測試、來回調整與踩到的坑,一次白話講清楚。

主要使用的開源專案:Qwen3-TTS(Qwen 團隊)

啟發與試作

啟發:這個想法受到 GitHub 上一個開源專案 VoiceStudio(作者 debpalash)的啟發。它把聲音複製、配音、轉錄放進同一個本機應用,還提供給 AI 助理使用的 MCP 介面與本機 API。我們看到的重點是:語音可以像一個本機服務一樣,讓 AI 助理直接呼叫,而不是每次手動開軟體。

我們怎麼評估它:只讀官方文件和原始碼,沒有安裝。重點問了四件事:支不支援我們要實測的兩個模型(聯發科的 BreezyVoice、阿里的 Qwen3-TTS)?能不能自訂引擎?預設模型能不能商用?能不能在我們這種家用顯卡的 Windows 上跑?結果是:它沒有 BreezyVoice,Qwen3-TTS 只接了聲音複製這一種,預設模型的權重是非商用,文件也沒說明怎麼加自訂引擎。所以我們不拿它當統一平台,也沒有複製它的程式。

試作:我們改成自己做一個很薄的本機服務,只借用它的設計想法:

  • 一個固定的「念出文字」入口,沿用大家熟悉的 OpenAI 語音 API 格式,AI 助理與其他程式都能直接呼叫。
  • 一個「聲線庫」:複製過的聲音存成有名字的聲線,可以設預設,之後不指定就用預設。
  • 不指定聲線就用預設;指定一個不存在的聲線會直接回報找不到,而不是悄悄換成別的聲音。

意外的收穫:讀它的原始碼時,我們看到它的 Qwen3-TTS 轉接器用了一個加速套件(faster-qwen3-tts)。另外建環境實測後,同一個模型從比即時慢兩倍多,變成比即時快一倍,是整個專案效益最高的一個發現。讀別人的原始碼,有時比直接安裝別人的整套軟體更划算。

先釐清:我們沒有「訓練」模型

這個專案沒有自己訓練任何模型。做法是用開源的「零樣本聲音複製」模型:給它一段參考錄音和逐字稿,它就能用這個聲音念任何文字。所以「自有」指的是聲線資料與整套服務都由自己掌控,而不是自己訓練出一個新模型。

為什麼要放在自己的電腦上

  • 隱私:聲音是個人資料,錄音不必上傳到任何雲端。
  • 成本:短影音、動畫、遊戲配音量大,雲端語音按字或按秒計費,自己跑只有電費。
  • 可重複使用:做成一個本機服務,之後其他專案直接呼叫,不用每次重新設定。

目標很明確:免費、可商用、能用參考錄音複製聲線、全部在本機執行,而且 Claude Code 這類 AI 助理也能直接呼叫。

兩個候選模型

  • BreezyVoice(聯發科研究院):專為台灣華語調校,可以用注音標註修正破音字。授權是 Apache-2.0。
  • Qwen3-TTS(阿里 Qwen):有 0.6B 和 1.7B 兩種大小,可以複製聲音,也有預設聲線。授權同樣是 Apache-2.0,但官方只提到北京腔和四川腔,沒有台灣腔的說明。

兩者官方都沒寫需要多少顯存,網路上的說法又互相矛盾。所以我們的原則是:不預設誰比較好,全部以實測為準。

用到哪些工具(白話版)

  • VS Code 加 Claude Code:所有檔案、腳本、說明文件都在同一個工作區管理,AI 助理負責查資料、寫腳本、跑測試,方向與取捨由人決定。
  • uv:一個很快的 Python 環境管理工具。兩個模型需要的 Python 版本和 PyTorch 版本完全不同,必須各自獨立環境,不能混在一起。
  • nvidia-smi:看顯卡用了多少顯存。每次測速之前都先確認顯卡是閒置的。
  • ffmpeg/ffprobe:檢查音檔的格式、音量和長度。
  • FastAPI:把模型包成一個本機的網路服務,只開在這台電腦自己,外面連不到。
  • git 與 GitHub:把程式、腳本和文件存成私有備份。模型檔和錄音檔不放進去。

一步一步怎麼做

  • 第 1 步,先研究:讀兩個專案的官方說明、模型卡和授權。確認兩個都是 Apache-2.0、可商用。
  • 第 2 步,檢查電腦:先確認顯卡與顯存、記憶體和硬碟空間夠不夠。這台電腦沒有全域 Python,也沒有 WSL,所以兩個模型都走 Windows 原生。
  • 第 3 步,各建一個獨立環境:一個 Python 3.12,一個 Python 3.10。
  • 第 4 步,設計同一組測試:四段固定中文文案,分別是短句、一般長度、含「欸」「超級讚的啦」這種台灣口語、中英混雜。每個模型念同樣的字。
  • 第 5 步,第一輪測速:用「生成時間 ÷ 音訊長度」當速度指標,小於 1 代表比即時快。第一輪兩個都比即時慢。
  • 第 6 步,查為什麼慢,而不是急著比較:BreezyVoice 慢,是因為輔助的 ONNX 元件一直在用 CPU;改成 GPU 版之後才正常。
  • 第 7 步,評估第三個候選:有人推薦一個整合式的開源語音工作室,我們讀了文件和原始碼,沒有安裝。結論是它不支援 BreezyVoice,預設模型又是非商用,所以不採用。
  • 第 8 步,意外的發現:讀它的原始碼時,看到它用了一個加速版的 Qwen3-TTS 套件。我們另外建環境實測:同一個模型從「比即時慢 2 倍多」變成「比即時快 2 倍」。
  • 第 9 步,做一個錄音頁:一個只在本機執行的網頁,按「開始」「結束」「儲存」,錄音和逐字稿自動存進專案資料夾,重錄時舊檔會保留。
  • 第 10 步,用參考錄音做聲音複製:同樣四段文案,三個模型各跑一次,做成並排試聽頁,由人聽。
  • 第 11 步,針對 BreezyVoice 找瓶頸:在每個階段加計時器,找出時間花在哪裡,再試半精度運算和較少的取樣步數。
  • 第 12 步,包成本機服務:一個共用的聲線庫、一個 OpenAI 相容的網路介面、一個命令列入口;服務沒開時,呼叫它會自動啟動。
  • 第 13 步,寫說明檔給 AI 助理看:在專案資料夾放 `CLAUDE.md` 和 `AGENTS.md`,讓其他專案只要指向這個資料夾,AI 助理就知道怎麼配合使用。

實測數字(挑重點)

速度是「生成時間 ÷ 音訊長度」,越小越快。

  • Qwen3-TTS 1.7B,一般版本:約 2.3,比即時慢。
  • Qwen3-TTS 1.7B,加速版本:約 0.5,比即時快一倍,峰值顯存約 4.9 GB。
  • Qwen3-TTS 0.6B,加速版本:約 0.4,更快、顯存約 3 GB,但試聽後被認為明顯不如 1.7B。
  • BreezyVoice,原始設定:約 1.5 到 2.2,峰值顯存約 2.5 GB。
  • BreezyVoice,調整後:約 0.9 到 1.07,大約快一倍。做法是半精度運算(fp16),再把其中一個階段的取樣步數從 10 步降到 6 步。

這些數字是單次實測,沒有重複取平均。

建議的 GPU 顯存(評估)

先說依據,都是我們實際量到的:

  • Qwen3-TTS 1.7B(加速版):模型運算的峰值顯存約 4.9 GB;整個服務常駐起來,用顯卡監控看,比閒置時多用約 6 GB(含執行環境與暫存)。
  • BreezyVoice(調整後):峰值約 2.7 GB;服務常駐比閒置多用約 3 GB。
  • Qwen3-TTS 0.6B(加速版):峰值約 3 GB;我們沒有量它整個服務常駐的用量。

下面的建議是「實測用量,加上留給系統與其他程式的緩衝」推算出來的,我們沒有在其他顯卡上實際測試,請當成參考:

  • 6 GB:只考慮 BreezyVoice 或 Qwen3-TTS 0.6B 其中一個。幾乎沒有餘裕,桌面與瀏覽器也會佔顯存,我們沒有驗證過。
  • 8 GB:Qwen3-TTS 1.7B 單獨跑勉強夠,需要先關掉其他吃顯存的程式。
  • 12 GB:單一引擎跑起來很舒服。兩個引擎同時常駐,合計約 9 GB(這是加總估算,我們沒有同時開兩個引擎實測),還能留一點給其他程式。
  • 16 GB 以上:兩個引擎常駐,又同時做影像、音樂生成或玩遊戲,才比較不用互相搶顯存。

補充幾點:

  • 顯存只決定「放不放得下」;速度還要看顯卡的世代與效能。我們只在一張顯卡上測過,其他顯卡的速度沒有數據。
  • 我們用的是 NVIDIA 顯卡與 CUDA。其他品牌的顯卡我們沒有測。
  • 顯存不夠時,優先做的是:改用較小的模型、不要同時開兩個引擎、先關掉其他吃顯存的程式。

來回調整:聽感不是一次定案

聲音像不像參考錄音、台灣腔自然不自然,AI 助理聽不到,只能由人聽。所以我們做了並排試聽頁,也不替人下結論。

  • 第一次試聽:偏好 BreezyVoice,但覺得它拖得略慢。Qwen 0.6B 明顯不如 1.7B,其中一句還拖長到 15 秒,所以淘汰。
  • 針對 BreezyVoice 提速:先量出時間花在哪裡,再做了六組「精度 × 步數」的比較,同一段文字、同一個亂數種子,讓人聽。人選出其中兩個,其餘刪掉。
  • 第二次試聽:這次反而覺得 Qwen3 更好。我們把評價前後不一致如實記下:這代表兩者差距不大,可能受文案和取樣的隨機性影響。
  • 最後的決定:預設引擎改成 Qwen3-TTS 1.7B,BreezyVoice 保留成選用引擎,兩者共用同一個聲線庫,一個參數就能切換。

踩到的坑

  • 一個函式庫在 Windows 沒有現成安裝檔:BreezyVoice 的文字正規化需要它,我們先用簡化版取代,之後自己補了中文數字的口語化轉換,年份、百分比、金額、小數都能正確讀出。
  • 安裝一個套件時,悄悄把顯卡版的 PyTorch 換成 CPU 版:所以之後每次安裝完,都要確認 PyTorch 還認得到顯卡。
  • 第一輪速度被污染:測速時顯卡其實被一個殘留的程式佔了 6.5 GB。我們一開始猜錯是別的軟體,查過才發現是自己先前中斷的測試。這一輪數據作廢,重測。
  • 電腦在安裝途中當機重開:重開後,剛建好的環境裡有套件檔案不完整,修補不成功,乾脆刪掉重建。從此安裝和下載拆開跑,不同時做大量檔案讀寫。
  • 自動啟動的服務讓呼叫端一直不返回:因為服務繼承了呼叫端的輸出管線。修正後,才確認其他專案呼叫一次就會自己結束。
  • 批次檔裡的中文註解被誤解析:Windows 命令列用不同的編碼讀檔案,所以批次檔改成純英文註解。
  • 不要「全部關掉」:我們曾想一次關閉所有 Python 程式,被擋下,因為這台電腦上還有其他工具的程序。之後一律只關自己啟動的服務。

誠實的限制

  • 聲音像不像、台灣腔自然不自然,是人聽出來的,沒有用客觀工具量測,而且同一個人兩次聽的評價也不同。
  • 速度與顯存是單次實測,只代表這台電腦。
  • 目前 Qwen 官方沒有台灣腔的說明,台灣口音只靠人聽判斷。
  • 還沒做的:長文自動分段、被其他軟體直接當工具載入的介面、兩個引擎的不看標籤盲聽比較。
  • 錄音參考音有 19.6 秒,比模型建議的 10 到 15 秒長;裁短之後會不會更像,我們還沒測。

想自己動手的話

如果要把這篇文章交給 AI 學習、試做:可以貼的提示詞

把這篇文章的網址或全文,連同下面這段一起貼給你的 AI 助理(括號內請換成你自己的情況)。重點是叫它「學方法」,不要照抄文中的數字。

  • 角色與目標:你是我的開發助理。請參考這篇文章的做法,在我的電腦上建一套本機 AI 配音服務:能用【我提供、且我有權使用的參考錄音】複製聲線,念任何中文文字,全部在本機執行,優先選擇免費、可商用的開源模型。
  • 我的環境:【作業系統、顯卡與顯存、記憶體、剩餘硬碟空間】。請先檢查並回報實際環境,缺什麼就說,不要假設。
  • 先研究再動手:先讀候選模型的官方說明、模型卡與授權(至少兩個,例如文中的 BreezyVoice 與 Qwen3-TTS,也可以換成更新的),整理成表:授權、是否可商用、硬體需求、是否支援中文與台灣口音、怎麼呼叫。官方沒寫的數字,用實測補,不要猜。
  • 每個模型各自獨立的環境:不要混在一起。每次安裝完,都要驗證顯卡版的 PyTorch 還認得到顯卡。
  • 用同一組測試比較:固定幾段中文文案(短句、一般長度、台灣口語、中英混雜),每個模型都念同樣的字。記錄生成時間、音訊長度、速度(生成時間除以音訊長度)、峰值顯存、載入時間。每次測速前,先確認顯卡是閒置的。
  • 數字不對先查原因:速度異常慢、顯存異常高,先找出是不是被別的程式佔用、或某個元件在用 CPU,再下結論。
  • 先量出瓶頸再優化:在各個階段加計時器,再試半精度運算、較少的取樣步數、或換成加速版套件。不要同時改很多個變數。
  • 聽感由我來判斷:你聽不到聲音。請把所有版本存成音檔,並做一個並排試聽頁讓我聽。像不像我、台灣腔自然不自然,只能由我告訴你;不要替我下結論,也要如實記錄我前後不同的評價。
  • 需要我的錄音時,先告訴我格式:例如乾淨的單聲道 WAV、10 到 15 秒、安靜環境、正常語速,並附上逐字稿。可以幫我做一個只在本機執行的錄音網頁。
  • 做成可重複使用的服務:一個本機網路服務,用 OpenAI 相容的語音介面;一個存放聲線的聲線庫,可以設預設聲線;不指定聲線就用預設,指定不存在的聲線要明確報錯。命令列入口在服務沒開時要自動啟動,而且呼叫一次要能自己結束。
  • 寫給其他 AI 看的說明:在專案資料夾放 README、CLAUDE.md、AGENTS.md,寫清楚怎麼呼叫、預設聲線、顯存的限制,讓其他專案只要指向這個資料夾就知道怎麼配合使用。
  • 產出報告:最後寫一份測試報告:安裝過程、測試數據、遇到的問題、建議;並誠實列出沒有測到的項目。
  • 安全規則:不要直接執行來路不明的安裝指令(例如下載後直接執行的腳本),先讀過文件或原始碼;不要一次關閉所有 Python 程序,只關自己啟動的服務;錄音與聲線檔不要放進版本控制;只複製有明確授權的聲音。
  • 回報方式:每個階段結束時,簡短回報做了什麼、數字是什麼、哪裡沒有把握。遇到我該決定的事再問我。

這件事跟你有什麼關係?

一般人

你不需要懂模型。重點是:現在一張顯存夠用的家用顯卡,就能在家用一段參考錄音做配音,不必把錄音交給任何雲端。但請只複製有明確授權的聲音。

AI 略有涉獵

如果你想在自己的電腦跑語音模型,最先要做的不是選最強的,而是用同一組文案實測。同一個模型,換一個加速套件,速度可以差到四、五倍;而聲音像不像,一定要自己聽。

重度使用者
  • 每個模型獨立虛擬環境;安裝後一律驗證 PyTorch 能不能用顯卡。
  • 先用計時器找瓶頸,再調精度與步數,不要盲目調參數。
  • 把服務做成固定介面(OpenAI 相容的語音 API)加自動啟動,再寫 `CLAUDE.md`/`AGENTS.md`,其他專案就能直接配合使用。
  • 錄音、聲線檔和模型權重不要放進版本控制。

本文記錄 Ascentek.info 在自家電腦上建置本機 AI 配音的實際過程,由 AI 協助撰寫並經人工審閱調整。速度與顯存是我們這台電腦上的實測,不代表其他環境;聲音像不像、台灣腔自然不自然,由人聽判斷,沒有客觀量測。文中的工具與做法是我們這次的選擇,不是唯一做法,也不構成對任何產品的推薦或保證。商業使用前,請自行確認各模型的授權條款。

← 回到科技不焦慮