VoxCPM: tạo giọng nói đa ngôn ngữ, nhân bản giọng — hướng dẫn cài đặt và dùng
Bài này là một góc nhìn khác về OpenBMB/VoxCPM — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: VoxCPM: tạo giọng đọc và nhân bản giọng nói 30 ngôn ngữ — hướng dẫn cài đặt và dùng →

Tóm tắt nhanh
VoxCPM (bản mới nhất là VoxCPM2) là mô hình chuyển văn bản thành giọng nói (TTS) mã nguồn mở của OpenBMB. Nó đọc được 30 ngôn ngữ trong đó có tiếng Việt, tạo giọng mới từ mô tả bằng lời và nhân bản giọng từ một đoạn âm thanh mẫu. Cài bằng một lệnh pip, nhưng README ghi yêu cầu PyTorch và CUDA nên máy có card NVIDIA sẽ dễ dùng hơn.
VoxCPM là một mô hình chuyển văn bản thành giọng nói (TTS) mã nguồn mở do OpenBMB phát triển. Bản mới nhất là VoxCPM2, mô hình 2 tỷ tham số, huấn luyện trên hơn 2 triệu giờ dữ liệu giọng nói và đọc được 30 ngôn ngữ, trong đó có tiếng Việt. Bạn gõ chữ vào, nó trả về file âm thanh. Hiện repo có khoảng 42 nghìn sao và hơn 4,8 nghìn fork.
Nếu bạn làm video, podcast, bài giảng, tổng đài tự động hay cần đọc nội dung hàng loạt, repo này giúp bạn tự tạo giọng đọc mà không phụ thuộc dịch vụ trả phí theo phút. Lập trình viên mới cũng dùng được: cài bằng một lệnh, rồi gọi vài dòng Python hoặc lệnh trong terminal.
Điểm đáng giá nhất là hai thứ. Thứ nhất, bạn có thể tạo một giọng hoàn toàn mới chỉ bằng câu mô tả (ví dụ giọng nữ trẻ, nhẹ nhàng), không cần file mẫu. Thứ hai, bạn có thể nhân bản giọng từ một đoạn thu ngắn. Mã và trọng số theo giấy phép Apache-2.0, README ghi rõ là dùng thương mại được.
OpenBMB/VoxCPM
VoxCPM2 là mô hình chuyển văn bản thành giọng nói mã nguồn mở, hỗ trợ 30 ngôn ngữ gồm tiếng Việt, tạo giọng từ mô tả và nhân bản giọng.
I.VoxCPM làm được gì
A.Đọc 30 ngôn ngữ, không cần gắn thẻ ngôn ngữ
Bạn đưa văn bản bằng ngôn ngữ nào trong danh sách hỗ trợ thì mô hình đọc luôn, không phải khai báo thêm. Danh sách có tiếng Việt, tiếng Anh, tiếng Trung, tiếng Nhật, tiếng Hàn, tiếng Thái, tiếng Indonesia và nhiều thứ tiếng khác. Có cả một số giọng địa phương của tiếng Trung như Tứ Xuyên, Quảng Đông. Lợi ích thực tế: một shop bán hàng xuyên biên giới có thể dùng một công cụ cho nhiều thị trường.
B.Voice Design: tạo giọng từ mô tả
Bạn viết mô tả giọng trong ngoặc tròn ở đầu câu, ví dụ giới tính, độ tuổi, sắc thái, cảm xúc, tốc độ. Mô hình tạo ra một giọng mới khớp mô tả đó. Bạn không cần thu âm hay xin phép ai.
C.Nhân bản giọng có điều khiển
Bạn đưa một đoạn âm thanh mẫu ngắn, mô hình bắt chước âm sắc. Bạn vẫn có thể thêm chỉ dẫn như nói nhanh hơn, giọng vui vẻ để chỉnh phong cách mà vẫn giữ giọng gốc.
D.Nhân bản tối đa (Ultimate Cloning)
Nếu bạn có cả file âm thanh mẫu lẫn đúng lời thoại của nó, mô hình sẽ nói tiếp từ đoạn mẫu và giữ rất sát âm sắc, nhịp điệu, cảm xúc. README nói chế độ này giống VoxCPM1.5.
E.Âm thanh 48kHz
Bạn đưa mẫu 16kHz, đầu ra là 48kHz chất lượng phòng thu, đã có sẵn bước nâng chất lượng bên trong nên không cần công cụ upsample riêng.
F.Hiểu ngữ cảnh và phát trực tiếp
Mô hình tự suy ra ngữ điệu từ nội dung câu. Có API streaming để nhận âm thanh theo từng đoạn. README ghi tốc độ RTF khoảng 0,3 trên card NVIDIA RTX 4090, tức là sinh nhanh hơn thời lượng âm thanh.
G.Có đường lên môi trường production
README gợi ý Nano-vLLM-VoxCPM, vLLM-Omni (có endpoint kiểu OpenAI) hoặc llama.cpp-omni để chạy trên thiết bị không cần Python. Người mới có thể bỏ qua phần này lúc đầu.
II.Cần chuẩn bị gì
Theo README và file pyproject.toml, bạn cần:
- Python từ 3.10 trở lên và dưới 3.13.
- PyTorch từ 2.5.0 trở lên.
- CUDA từ 12.0 trở lên (README ghi trong phần yêu cầu).
- Kết nối mạng để tải trọng số mô hình lần đầu từ Hugging Face (tên mô hình: openbmb/VoxCPM2), hoặc từ ModelScope nếu bạn chọn cách đó.
- File âm thanh mẫu (đuôi .wav trong các ví dụ) nếu bạn muốn nhân bản giọng.
README không nói cần API key hay tài khoản nào để chạy. README cũng không nêu dung lượng ổ đĩa hay VRAM tối thiểu, bạn xem thêm trong tài liệu chính thức tại voxcpm.readthedocs.io. Về hệ điều hành, phần Quick Start không liệt kê rõ. Riêng web demo có tuỳ chọn chạy trên cpu, cuda và mps (chip Apple Silicon), nhưng tốc độ trên CPU thì tư liệu chưa nói.
Nếu bạn nhân bản giọng của người khác, hãy xin phép họ trước. README có phần Risks and Limitations, bạn nên đọc kỹ trước khi dùng vào việc công khai hoặc thương mại.
III.Cài đặt từng bước
- Mở terminalMở PowerShell, Terminal hoặc Command Prompt có sẵn Python 3.10 đến 3.12
- Cài góiChạy pip install voxcpm
- Chạy thử bằng PythonDán đoạn mã tạo file demo.wav, lần đầu sẽ tải mô hình
- Thử bằng dòng lệnhDùng lệnh voxcpm design để tạo giọng từ mô tả
- Mở giao diện webChạy python app.py --port 8808 rồi mở trình duyệt
A.Chuẩn bị terminal và Python
Trước hết bạn cần Python phù hợp. Gõ lệnh sau để xem phiên bản:
python --versionKết quả phải nằm trong khoảng 3.10 đến 3.12. Nếu bạn đang dùng 3.13 thì README ghi rõ là dưới 3.13, nên hãy cài bản Python phù hợp hơn. Người mới hay vấp ở đây: máy có nhiều bản Python, lệnh pip có thể trỏ nhầm bản. Nếu thấy lạ, bạn có thể tạo một môi trường ảo riêng cho dự án.
B.Cài gói voxcpm
Đây là lệnh cài duy nhất trong phần Installation của README:
pip install voxcpmLệnh này tải gói Python tên voxcpm. README ghi yêu cầu PyTorch từ 2.5.0 và CUDA từ 12.0. Nếu cài xong mà báo lỗi liên quan PyTorch, hãy xem trang Quick Start Docs mà README dẫn tới để biết chi tiết.
C.Chạy thử tạo giọng đọc bằng Python
Tạo một file, ví dụ test.py, rồi dán đoạn mã này (chép đúng từ README):
from voxcpm import VoxCPM
import soundfile as sf
model = VoxCPM.from_pretrained(
"openbmb/VoxCPM2",
load_denoiser=False,
)
wav = model.generate(
text="VoxCPM2 is the current recommended release for realistic multilingual speech synthesis.",
cfg_value=2.0,
inference_timesteps=10,
seed=42,
)
sf.write("demo.wav", wav, model.tts_model.sample_rate)
print("saved: demo.wav")Giải thích: from_pretrained tải mô hình về lần đầu (nên mất thời gian), generate sinh âm thanh từ câu chữ, sf.write lưu thành file demo.wav. Tham số seed giúp kết quả lặp lại được. Bạn chạy file bằng lệnh python test.py, đúng thư mục chứa file.
D.Tuỳ chọn: tải mô hình từ ModelScope
Nếu tải từ Hugging Face chậm hoặc bị chặn, README đưa cách tải trước từ ModelScope:
pip install modelscopefrom modelscope import snapshot_download
snapshot_download("OpenBMB/VoxCPM2", local_dir='./pretrained_models/VoxCPM2') # specify the local directory to save the model
from voxcpm import VoxCPM
import soundfile as sf
model = VoxCPM.from_pretrained("./pretrained_models/VoxCPM2", load_denoiser=False)Cách này tải mô hình vào thư mục pretrained_models/VoxCPM2 rồi nạp từ đường dẫn cục bộ. Phần còn lại giống ví dụ trên.
E.Dùng dòng lệnh voxcpm
Sau khi cài gói, bạn có lệnh voxcpm. Đây là ví dụ tạo giọng từ mô tả:
voxcpm design \
--text "VoxCPM2 brings studio-quality multilingual speech synthesis." \
--control "Young female voice, warm and gentle, slightly smiling" \
--seed 42 \
--output out.wavDấu gạch chéo ngược ở cuối dòng dùng cho Bash để nối lệnh nhiều dòng. Trong PowerShell dấu nối dòng khác, nên bạn có thể dán thành một dòng duy nhất cho dễ. Xem toàn bộ tuỳ chọn bằng:
voxcpm --helpF.Mở giao diện web
Nếu bạn không muốn gõ lệnh, repo có sẵn giao diện web. Chạy trong thư mục đã tải repo về (git clone https://github.com/OpenBMB/VoxCPM.git rồi cd VoxCPM):
python app.py --port 8808 # then open in browser: http://localhost:8808Sau đó mở trình duyệt vào địa chỉ http://localhost:8808. Muốn chọn thiết bị chạy:
python app.py --device autoGiá trị hỗ trợ là auto, cpu, mps, cuda và cuda:N. Trên máy Mac chip Apple, auto sẽ dùng MPS nếu có.
IV.Kiểm tra đã chạy được chưa
Cách đơn giản nhất là chạy đoạn Python ở trên. Nếu thành công, terminal in dòng saved: demo.wav và trong thư mục hiện tại xuất hiện file demo.wav. Bạn mở file bằng trình phát nhạc bất kỳ, nghe thấy giọng đọc câu tiếng Anh là xong.
Với giao diện web, nếu mở được http://localhost:8808 và thấy trang demo là server đã chạy. Với CLI, lệnh voxcpm --help in ra danh sách lệnh con nghĩa là gói đã cài đúng.
Lần chạy đầu thường chậm vì phải tải mô hình. Bạn chờ tải xong rồi hãy đánh giá.
V.Dùng vào việc thật
A.Chủ shop làm giọng đọc quảng cáo ngắn
Bạn bán hàng online và cần giọng đọc cho video giới thiệu sản phẩm, nhưng chưa có người thu. Dùng Voice Design: mô tả giọng ngay trong ngoặc đầu câu.
wav = model.generate(
text="(A young woman, gentle and sweet voice)Hello, welcome to VoxCPM2!",
cfg_value=2.0,
inference_timesteps=10,
seed=42,
)
sf.write("voice_design.wav", wav, model.tts_model.sample_rate)Bạn thay phần chữ sau ngoặc bằng lời quảng cáo của mình (README nói mô hình hỗ trợ tiếng Việt), thay phần mô tả để đổi giọng. Kết quả là file voice_design.wav để chèn vào phần mềm dựng video. Nếu muốn các video có cùng một giọng, hãy giữ nguyên mô tả và seed.
Không cần thu âm, không cần mẫu: chỉ cần một câu mô tả là có giọng đọc mới.
Ông T
B.Nhân viên văn phòng làm bản thu hướng dẫn nội bộ
Công ty bạn có một đoạn thu giọng người hướng dẫn quen thuộc và muốn đọc thêm nhiều nội dung mới bằng giọng đó (với sự đồng ý của người đó). Dùng nhân bản giọng có điều khiển:
wav = model.generate(
text="(slightly faster, cheerful tone)This is a cloned voice with style control.",
reference_wav_path="path/to/voice.wav",
cfg_value=2.0,
inference_timesteps=10,
seed=42,
)
sf.write("controllable_clone.wav", wav, model.tts_model.sample_rate)Bạn thay path/to/voice.wav bằng đường dẫn thật tới file mẫu. Phần trong ngoặc là chỉ dẫn phong cách (nhanh hơn, vui hơn). Kết quả là file mới có âm sắc gần với mẫu.
C.Làm bản đọc sát giọng gốc nhất
Bạn muốn độ giống cao nhất, và có sẵn đúng lời thoại của đoạn mẫu. Dùng Ultimate Cloning bằng CLI:
voxcpm clone \
--text "This is a voice cloning demo." \
--prompt-audio path/to/voice.wav \
--prompt-text "reference transcript" \
--reference-audio path/to/voice.wav \
--output out.wavGhi chú: dòng --reference-audio là tuỳ chọn, README nói thêm vào để giống hơn. Phần --prompt-text phải là lời thoại đúng của file mẫu. Kết quả là out.wav nói tiếp theo đúng giọng, nhịp và cảm xúc của mẫu.
D.Dev đọc hàng loạt từ file văn bản
Bạn là lập trình viên cần chuyển nhiều câu thành âm thanh một lượt. README có lệnh xử lý hàng loạt:
voxcpm batch --input examples/input.txt --output-dir outsBạn xem file examples/input.txt trong repo để biết định dạng mẫu, rồi tạo file của mình theo đó. Kết quả là các file âm thanh nằm trong thư mục outs. Nếu cần phụ đề theo từng từ, README còn có tuỳ chọn timestamps cài thêm qua gói voxcpm[timestamps].
VI.Lỗi hay gặp và cách xử lý
A.Cài gói báo lỗi phiên bản Python hoặc PyTorch
README yêu cầu Python từ 3.10 đến dưới 3.13 và PyTorch từ 2.5.0. Hãy kiểm tra bằng python --version. Nếu phiên bản không khớp, tạo môi trường ảo với Python phù hợp rồi cài lại, thay vì cài đè lên môi trường cũ.
B.Lỗi liên quan CUDA hoặc hết bộ nhớ GPU
README ghi yêu cầu CUDA từ 12.0, còn mức VRAM tối thiểu thì tư liệu chưa nói. Nếu gặp lỗi CUDA, kiểm tra driver card NVIDIA và phiên bản CUDA. Nếu hết bộ nhớ, đóng các chương trình khác đang dùng GPU, hoặc thử tham số --device ở web demo (như cpu) để xem có chạy được không.
C.Lần đầu chạy rất lâu hoặc tải mô hình thất bại
Mô hình được tải từ Hugging Face lúc gọi from_pretrained. Nếu mạng chập chờn, hãy thử lại hoặc dùng cách tải qua ModelScope trong README rồi nạp từ thư mục cục bộ.
D.Dán lệnh nhiều dòng bị lỗi trong PowerShell
Các ví dụ CLI trong README dùng dấu gạch chéo ngược để xuống dòng, kiểu Bash. Trên PowerShell lệnh có thể báo lỗi. Cách an toàn là dán toàn bộ lệnh thành một dòng, hoặc dùng terminal Bash. Đừng dán cả dòng chú thích sau dấu gạch chéo vì nó có thể làm hỏng lệnh.
E.Giọng nhân bản nghe chưa giống
Hãy thử Ultimate Cloning: đưa cả file mẫu và đúng lời thoại của nó (prompt_text), và thêm cùng file đó vào reference_wav_path. Lời thoại sai với file mẫu sẽ làm kết quả kém. Mẹo chi tiết về nhân bản giọng nằm trong Usage Guide và Cookbook mà README dẫn tới.
VII.Có nên dùng không
Điểm mạnh: mã nguồn mở theo Apache-2.0 và dùng thương mại được theo README, hỗ trợ tiếng Việt trong 30 ngôn ngữ, tạo giọng từ mô tả không cần mẫu, nhân bản giọng, âm thanh 48kHz, có API streaming và đường lên production. Repo cũng còn được cập nhật trong 3 tháng gần đây.
Giới hạn: README ghi yêu cầu CUDA và PyTorch, nên máy không có card NVIDIA có thể khó dùng hơn. Tốc độ trên CPU thì tư liệu chưa cung cấp, README chỉ nêu số trên RTX 4090 và Apple M4 Pro cho llama.cpp-omni. Bản cài bằng pip cần tải mô hình lớn. Chất lượng giọng tiếng Việt thực tế bạn nên nghe thử trên nội dung của mình trước khi dùng rộng rãi.
Nếu bạn chỉ cần đọc vài câu một lần, có thể thử bản demo trực tuyến mà repo dẫn tới trước khi cài. Nếu bạn cần chạy nhiều người dùng cùng lúc, hãy xem Nano-vLLM-VoxCPM hoặc vLLM-Omni. Nếu muốn chạy trên thiết bị mà không có Python, README giới thiệu llama.cpp-omni. Còn nếu bạn cần đảm bảo pháp lý về giọng nói của người thật, hãy đọc kỹ phần rủi ro trong README và xin phép chủ giọng.
Câu hỏi thường gặp
VoxCPM có miễn phí không?
Mã và trọng số được phát hành theo giấy phép Apache-2.0. README ghi là dùng thương mại được. Bạn chỉ cần tự có máy chạy mô hình.
VoxCPM có đọc được tiếng Việt không?
Có. Tiếng Việt nằm trong danh sách 30 ngôn ngữ mà VoxCPM2 hỗ trợ. Bạn nhập văn bản trực tiếp, không cần gắn thẻ ngôn ngữ. Chất lượng thực tế bạn nên nghe thử với nội dung của mình.
Có cần card đồ hoạ (GPU) không?
README ghi yêu cầu CUDA từ 12.0 và PyTorch từ 2.5.0. Web demo có tuỳ chọn cpu và mps cho máy Mac chip Apple. Tốc độ khi chạy bằng CPU thì tư liệu chưa có thông tin.
Cài trên Windows được không?
Phần Quick Start của README không liệt kê hệ điều hành cụ thể. Gói được cài bằng pip install voxcpm. Một số ví dụ dòng lệnh viết kiểu Bash nên trên PowerShell bạn nên dán thành một dòng.
Làm sao nhân bản giọng của mình?
Đưa một file âm thanh mẫu vào tham số reference_wav_path (hoặc --reference-audio trong CLI). Muốn giống hơn, bạn cung cấp thêm đúng lời thoại của mẫu qua prompt_text. Nhớ chỉ nhân bản giọng khi có sự đồng ý của chủ giọng.
Dữ liệu của tôi có an toàn không?
Bạn chạy mô hình trên máy mình, nhưng lần đầu cần tải trọng số từ Hugging Face hoặc ModelScope. Tư liệu không nói chi tiết về chính sách dữ liệu. Phần Risks and Limitations trong README bạn nên đọc kỹ.
Khác gì các bản VoxCPM cũ?
Theo README, VoxCPM2 có 2 tỷ tham số, đầu ra 48kHz và hỗ trợ 30 ngôn ngữ. VoxCPM1.5 có 0,6 tỷ tham số, 44,1kHz, chỉ tiếng Trung và tiếng Anh. VoxCPM2 cũng có thêm Voice Design và chế độ nhân bản giọng có điều khiển.


