VoxCPM: tạo giọng đọc và nhân bản giọng nói 30 ngôn ngữ — hướng dẫn cài đặt và dùng

Tóm tắt nhanh
VoxCPM (bản mới nhất là VoxCPM2) là mô hình chuyển văn bản thành giọng nói (TTS) mã nguồn mở của OpenBMB, hỗ trợ 30 ngôn ngữ trong đó có tiếng Việt. Bạn có thể tạo giọng mới chỉ bằng mô tả, hoặc nhân bản giọng từ một đoạn âm thanh mẫu. Cài bằng một lệnh pip, nhưng README yêu cầu PyTorch và CUDA nên máy cần cấu hình phù hợp.
VoxCPM là một mô hình chuyển văn bản thành giọng nói (TTS) mã nguồn mở do OpenBMB phát triển. Bản mới nhất, VoxCPM2, có 2 tỷ tham số, được huấn luyện trên hơn 2 triệu giờ giọng nói và đọc được 30 ngôn ngữ, trong đó có tiếng Việt. Hiện repo có khoảng 42.426 sao và 4.845 fork trên GitHub.
Nếu bạn cần làm voiceover cho video, đọc bài viết thành audio, làm trợ lý giọng nói hay thử nghiệm nhân bản giọng, đây là repo đáng thử. Bạn không cần thu âm gì cả: gõ văn bản vào là có file âm thanh. Muốn có giọng riêng thì có hai cách: mô tả giọng bằng chữ, hoặc đưa một đoạn thu mẫu để mô hình bắt chước.
Điểm đáng giá nhất là giấy phép Apache-2.0, nên tác giả ghi rõ trọng số và mã nguồn đều dùng miễn phí được, kể cả thương mại. Cái giá phải trả là bạn tự chạy mô hình trên máy của mình, và README yêu cầu PyTorch cùng CUDA nên cần chuẩn bị kỹ phần cứng.
OpenBMB/VoxCPM
VoxCPM2 là mô hình đọc văn bản thành giọng nói mã nguồn mở, hỗ trợ 30 ngôn ngữ có tiếng Việt, tạo giọng mới từ mô tả và nhân bản giọng từ file mẫu.
I.VoxCPM2 làm được gì
A.Đọc văn bản thành giọng nói, không cần gắn nhãn ngôn ngữ
Bạn đưa văn bản bằng một trong 30 ngôn ngữ được hỗ trợ, mô hình đọc luôn, không cần khai báo đang dùng ngôn ngữ nào. Danh sách có tiếng Việt, Anh, Trung, Nhật, Hàn, Thái, Indonesia, Pháp, Đức, Tây Ban Nha và nhiều thứ tiếng khác. README còn liệt kê vài phương ngữ tiếng Trung như tiếng Tứ Xuyên, tiếng Quảng Đông, tiếng Mân Nam.
B.Voice Design: tạo giọng mới chỉ bằng mô tả
Bạn viết mô tả như "một cô gái trẻ, giọng nhẹ nhàng ngọt ngào" trong ngoặc đơn ở đầu câu, mô hình tạo ra một giọng mới phù hợp. Không cần file thu mẫu. README nêu các yếu tố có thể mô tả: giới tính, tuổi, tông giọng, cảm xúc, tốc độ.
C.Controllable Cloning: nhân bản giọng và chỉnh phong cách
Bạn đưa một đoạn âm thanh ngắn, mô hình lấy chất giọng đó. Bạn vẫn có thể thêm chỉ dẫn như "nói nhanh hơn một chút, giọng vui vẻ" để đổi cảm xúc mà vẫn giữ được màu giọng gốc.
D.Ultimate Cloning: bám sát từng chi tiết giọng
Nếu có cả file âm thanh mẫu lẫn đúng lời thoại của nó, mô hình sẽ "đọc tiếp" từ đoạn mẫu, giữ lại màu giọng, nhịp, cảm xúc và phong cách. Đây là chế độ cho độ giống cao nhất theo README.
E.Âm thanh 48kHz, có streaming
Bạn đưa mẫu 16kHz, mô hình xuất thẳng âm thanh 48kHz, README nói không cần công cụ nâng chất lượng bên ngoài. Có thêm chế độ streaming, tức nhận âm thanh theo từng đoạn thay vì chờ xong cả file. README ghi RTF khoảng 0,3 trên card NVIDIA RTX 4090, tức tạo âm thanh nhanh hơn thời lượng của nó.
F.Giao diện web, dòng lệnh và các cách triển khai khác
Ngoài thư viện Python, repo có lệnh voxcpm, một giao diện web chạy thử (app.py) và hướng dẫn chạy qua Nano-vLLM, vLLM-Omni hoặc llama.cpp-omni cho nhu cầu phục vụ nhiều người hay chạy trên thiết bị. Trong bài này mình tập trung vào ba cách đơn giản nhất: Python, dòng lệnh và giao diện web.
II.Cần chuẩn bị gì
Theo README, bạn cần:
- Python từ 3.10 trở lên và dưới 3.13 (
pyproject.tomlghi>=3.10). - PyTorch từ 2.5.0 trở lên.
- CUDA từ 12.0 trở lên.
- Kết nối mạng để tải mô hình
openbmb/VoxCPM2lần đầu. README cũng có cách tải trước qua ModelScope nếu bạn muốn.
Trang giao diện web có tuỳ chọn --device với các giá trị auto, cpu, mps, cuda, cuda:N. Trên máy Mac chip Apple, auto sẽ dùng MPS nếu có. Như vậy giao diện web không bắt buộc card NVIDIA, nhưng yêu cầu CUDA ở trên là của README cho phần cài đặt chuẩn.
README không nêu cụ thể hệ điều hành nào được hỗ trợ, cũng không nói dung lượng VRAM hay RAM tối thiểu. Muốn biết chắc, bạn xem trang Quick Start trong tài liệu chính thức mà README dẫn tới. Con số RTF 0,3 ở trên đo trên RTX 4090, một card rất mạnh, nên máy yếu hơn có thể chậm hơn.
Không có API key hay tài khoản trả phí nào được nhắc tới trong README để chạy các lệnh cơ bản.
III.Cài đặt từng bước
- Kiểm tra môi trườngĐảm bảo có Python 3.10 đến dưới 3.13, PyTorch từ 2.5.0, CUDA từ 12.0
- Cài gói voxcpmChạy một lệnh pip install voxcpm
- Chạy thử bằng PythonTải mô hình và tạo file demo.wav từ một câu văn bản
- Dùng dòng lệnhGọi lệnh voxcpm design hoặc voxcpm clone để tạo âm thanh
- Mở giao diện web (tuỳ chọn)Tải repo về và chạy app.py rồi mở trình duyệt
A.Kiểm tra Python trước
Mở terminal (PowerShell trên Windows, Terminal trên Mac/Linux) và gõ lệnh dưới để xem phiên bản. Nếu ra Python 3.13 trở lên, bạn nên cài thêm một bản Python 3.10 đến 3.12 vì README ghi rõ phải dưới 3.13.
python --versionB.Cài gói voxcpm
Đây là lệnh cài duy nhất mà README ghi cho bước chuẩn bị. Lệnh sẽ kéo thư viện về máy. Chỗ người mới hay vấp là PyTorch và CUDA: README yêu cầu PyTorch từ 2.5.0 và CUDA từ 12.0, nên nếu máy chưa có hoặc bản quá cũ, bạn cần xử lý trước. Cách cài chi tiết xem ở trang Quick Start của tài liệu chính thức.
pip install voxcpmC.Chạy thử bằng Python
Tạo một file, ví dụ thu.py, dán đoạn mã dưới (chép từ README) rồi chạy. Lần đầu mô hình sẽ được tải về nên sẽ khá lâu. Kết quả là file demo.wav nằm cùng thư mục bạn đang đứng. Bạn thay câu trong text bằng câu của mình, tiếng Việt cũng được.
from voxcpm import VoxCPM
import soundfile as sf
model = VoxCPM.from_pretrained(
"openbmb/VoxCPM2",
load_denoiser=False,
)
wav = model.generate(
text="VoxCPM2 is the current recommended release for realistic multilingual speech synthesis.",
cfg_value=2.0,
inference_timesteps=10,
seed=42,
)
sf.write("demo.wav", wav, model.tts_model.sample_rate)
print("saved: demo.wav")Nếu bạn muốn tải mô hình từ ModelScope trước, README có cách sau (phải cài thêm modelscope):
pip install modelscopefrom modelscope import snapshot_download
snapshot_download("OpenBMB/VoxCPM2", local_dir='./pretrained_models/VoxCPM2')
from voxcpm import VoxCPM
import soundfile as sf
model = VoxCPM.from_pretrained("./pretrained_models/VoxCPM2", load_denoiser=False)D.Dùng dòng lệnh
Sau khi cài gói, bạn có lệnh voxcpm. Lệnh dưới tạo giọng mới từ mô tả (không cần file mẫu) và lưu vào out.wav. Dấu \ ở cuối dòng chỉ để ngắt dòng cho dễ đọc trong terminal kiểu Linux/Mac. Trên PowerShell bạn nên gõ cả lệnh trên một dòng.
voxcpm design \
--text "VoxCPM2 brings studio-quality multilingual speech synthesis." \
--output out.wavXem toàn bộ tuỳ chọn bằng:
voxcpm --helpE.Mở giao diện web (tuỳ chọn)
Giao diện web nằm trong file app.py của repo, nên bạn cần tải repo về trước. Mở terminal đúng thư mục VoxCPM rồi chạy lệnh. Sau đó mở trình duyệt vào địa chỉ http://localhost:8808. Lưu ý: README không nói rõ gói nào cần cài thêm cho app.py. Nếu báo thiếu thư viện, bạn xem danh sách phụ thuộc trong pyproject.toml của repo.
git clone https://github.com/OpenBMB/VoxCPM.git
cd VoxCPM
python app.py --port 8808Để chọn thiết bị chạy, thêm --device:
python app.py --device autoMô hình nhân bản được giọng người khác. Chỉ dùng file mẫu của chính bạn hoặc của người đã đồng ý, và đừng đưa giọng nhân bản ra ngoài như thể là người thật. README cũng có mục Risks and Limitations, bạn nên đọc trước khi dùng cho việc công khai.
IV.Kiểm tra đã chạy được chưa
Cách đơn giản nhất là chạy file thu.py ở trên. Nếu terminal in ra dòng saved: demo.wav và trong thư mục xuất hiện file demo.wav, bạn mở file nghe thử là xong. README không mô tả thêm kết quả mong đợi nào khác.
Với dòng lệnh, bạn gõ voxcpm --help. Nếu hiện danh sách lệnh con thì gói đã cài đúng. Với giao diện web, khi chạy python app.py --port 8808 rồi mở được http://localhost:8808 trên trình duyệt là thành công.
Nếu lần đầu chạy rất lâu, đừng vội tắt: lúc đó thường là mô hình đang được tải về.
V.Dùng vào việc thật
A.Làm lời đọc cho video giới thiệu sản phẩm
Bạn là chủ shop, có sẵn đoạn kịch bản giới thiệu sản phẩm bằng tiếng Việt và muốn một giọng đọc nữ dịu dàng. Bạn dùng Voice Design, đặt mô tả trong ngoặc đơn ở đầu text:
wav = model.generate(
text="(A young woman, gentle and sweet voice)Xin chào, chào mừng bạn đến với cửa hàng của chúng tôi!",
cfg_value=2.0,
inference_timesteps=10,
seed=42,
)
sf.write("voice_design.wav", wav, model.tts_model.sample_rate)Kết quả là file voice_design.wav, bạn ghép vào video. Muốn đổi giọng thì đổi mô tả trong ngoặc. Giữ nguyên seed thì kết quả dễ lặp lại hơn.
Không cần thuê người thu âm, chỉ cần một câu mô tả giọng là đã có bản đọc thử để nghe ngay.
Ông T
B.Đọc nhiều đoạn văn một lượt
Nhân viên văn phòng có một danh sách câu thông báo cần chuyển thành audio. Repo có lệnh xử lý hàng loạt, đọc từ file văn bản và ghi kết quả vào một thư mục:
voxcpm batch --input examples/input.txt --output-dir outsBạn xem file examples/input.txt trong repo để biết định dạng đầu vào, rồi thay bằng file của mình. Các file âm thanh sẽ nằm trong thư mục outs.
C.Nhân bản giọng của chính bạn để đọc bài viết
Bạn làm nội dung và muốn bản đọc bằng giọng của mình. Thu một đoạn ngắn, lưu thành voice.wav, rồi chạy lệnh nhân bản:
voxcpm clone \
--text "This is a voice cloning demo." \
--reference-audio path/to/voice.wav \
--output out.wavMuốn độ giống cao hơn, dùng chế độ Ultimate Cloning: đưa thêm lời thoại chính xác của đoạn thu vào --prompt-text. README cho phép thêm --reference-audio trỏ cùng file để tăng độ giống:
voxcpm clone \
--text "This is a voice cloning demo." \
--prompt-audio path/to/voice.wav \
--prompt-text "reference transcript" \
--reference-audio path/to/voice.wav \
--output out.wavLưu ý README có ghi chú "optional" ngay cạnh dòng --reference-audio của lệnh này. Nếu bạn copy cả ghi chú đó vào terminal có thể báo lỗi, nên bỏ phần ghi chú đi.
D.Dev làm tính năng đọc theo từng đoạn (streaming)
Lập trình viên muốn app phát tiếng gần như ngay khi có dữ liệu thì dùng generate_streaming. Mỗi chunk là một đoạn âm thanh, bạn có thể phát ngay hoặc gom lại thành file:
import numpy as np
chunks = []
for chunk in model.generate_streaming(
text="Streaming text to speech is easy with VoxCPM!",
):
chunks.append(chunk)
wav = np.concatenate(chunks)
sf.write("streaming.wav", wav, model.tts_model.sample_rate)Nếu cần phục vụ nhiều người dùng cùng lúc, README gợi ý xem Nano-vLLM-VoxCPM hoặc vLLM-Omni, hai cách triển khai riêng có hướng dẫn trong repo của chúng.
VI.Lỗi hay gặp và cách xử lý
A.Pip cài được nhưng chạy báo lỗi về PyTorch hoặc CUDA
README yêu cầu PyTorch từ 2.5.0 và CUDA từ 12.0. Nếu máy không đáp ứng, bạn sẽ gặp lỗi khi tải mô hình hoặc khi tạo âm thanh. Cách xử lý an toàn: kiểm tra lại phiên bản đang cài, nâng cấp cho đúng yêu cầu, rồi xem trang Quick Start trong tài liệu chính thức. Nếu máy không có card NVIDIA, thử giao diện web với --device cpu (hoặc --device mps trên Mac chip Apple).
B.Sai phiên bản Python
Python 3.13 trở lên nằm ngoài khoảng README ghi (từ 3.10 đến dưới 3.13). Nếu pip báo không tìm được phiên bản phù hợp, hãy tạo môi trường ảo mới với Python 3.10 đến 3.12 rồi cài lại.
C.Lần đầu chạy rất lâu hoặc đứng im
Lần đầu, from_pretrained phải tải mô hình về nên mất thời gian và cần mạng ổn định. Hãy kiên nhẫn đợi. Nếu tải từ Hugging Face quá chậm, bạn dùng cách ModelScope ở phần cài đặt.
D.Chạy python app.py báo không tìm thấy file
Lỗi này thường do bạn đang đứng sai thư mục. app.py nằm trong repo, không nằm trong gói pip. Hãy git clone repo, cd VoxCPM rồi mới chạy. Nếu báo thiếu thư viện, xem pyproject.toml.
E.Giọng nhân bản chưa giống
Theo README, Ultimate Cloning cần đúng lời thoại của file mẫu trong prompt_text. Nếu lời thoại sai hoặc thiếu, kết quả có thể kém. Hãy kiểm tra lại, và thử đưa cùng một file cho cả reference_wav_path lẫn prompt_wav_path như README gợi ý.
VII.Có nên dùng không
Điểm mạnh: Mã nguồn mở theo Apache-2.0, ghi rõ dùng thương mại được. Hỗ trợ 30 ngôn ngữ trong đó có tiếng Việt, không cần gắn nhãn ngôn ngữ. Có ba kiểu giọng: tạo từ mô tả, nhân bản có điều khiển, nhân bản bám sát. Có cả Python, dòng lệnh và giao diện web, nên người mới lẫn dev đều bắt đầu được. Âm thanh đầu ra 48kHz.
Giới hạn: README yêu cầu PyTorch và CUDA, và không nêu cấu hình tối thiểu hay hệ điều hành cụ thể, nên bạn nên thử trên máy mình trước khi tính chuyện dùng lâu dài. Chất lượng tiếng Việt trong thực tế mình không có số liệu riêng trong tư liệu, bạn cần tự nghe thử. Nhân bản giọng đặt ra vấn đề đạo đức và pháp lý, bạn tự chịu trách nhiệm về giọng mình dùng.
Khi nào chọn cách khác: Nếu chỉ cần đọc vài câu ngắn, không muốn cài đặt gì, hãy dùng bản demo trực tuyến mà README dẫn link (Playground trên Hugging Face). Nếu máy yếu và không có GPU, hãy thử giao diện web với --device cpu hoặc cân nhắc dùng dịch vụ TTS đám mây thay vì tự chạy.
Câu hỏi thường gặp
VoxCPM có miễn phí không, dùng thương mại được không?
Mã nguồn và trọng số được phát hành theo giấy phép Apache-2.0. README ghi rõ là miễn phí cho cả mục đích thương mại. Bạn nên tự đọc kỹ giấy phép trong repo để chắc chắn khi dùng cho sản phẩm của mình.
VoxCPM có đọc được tiếng Việt không?
Có. Tiếng Việt nằm trong danh sách 30 ngôn ngữ README liệt kê, và không cần gắn nhãn ngôn ngữ khi nhập văn bản. Tài liệu không cho số liệu riêng về chất lượng tiếng Việt, nên bạn nên nghe thử bằng văn bản của mình.
Có cần card đồ hoạ (GPU) không?
README yêu cầu PyTorch từ 2.5.0 và CUDA từ 12.0 cho phần cài đặt chuẩn. Giao diện web có tuỳ chọn `--device` gồm auto, cpu, mps, cuda, và trên Mac chip Apple thì auto dùng MPS nếu có. Tài liệu chưa nêu cấu hình tối thiểu cụ thể.
Chạy được trên Windows không?
README không nêu rõ hệ điều hành được hỗ trợ. Các lệnh pip và Python chung nên có thể thử, nhưng chưa có thông tin xác nhận chính thức. Bạn xem trang Quick Start trong tài liệu để biết thêm.
Dữ liệu và file giọng của tôi có an toàn không?
Mô hình chạy trên máy bạn khi dùng thư viện hoặc giao diện web cục bộ, nên file mẫu không phải gửi cho dịch vụ nào theo mô tả trong README. Tuy nhiên lần đầu máy cần tải mô hình về. Tài liệu chưa có phần nói riêng về chính sách dữ liệu.
Nhân bản giọng cần đoạn mẫu dài bao nhiêu?
README chỉ nói là một đoạn âm thanh ngắn (short reference clip), không nêu thời lượng cụ thể. Chế độ Ultimate Cloning còn cần thêm lời thoại chính xác của đoạn mẫu. Muốn biết mẹo thu mẫu, README dẫn tới Usage Guide và Cookbook trong tài liệu chính thức.
VoxCPM2 khác các bản VoxCPM cũ thế nào?
Theo README, VoxCPM2 có 2 tỷ tham số, đầu ra 48kHz và hỗ trợ 30 ngôn ngữ. Bản VoxCPM1.5 có 0,6 tỷ tham số, 44,1kHz và 2 ngôn ngữ (Trung, Anh). Bản VoxCPM-0.5B thì 0,5 tỷ tham số, 16kHz, cũng 2 ngôn ngữ.


