VoxCPM: tạo giọng nói đa ngôn ngữ, thiết kế và nhân bản giọng — hướng dẫn cài đặt và dùng
Bài này là một góc nhìn khác về OpenBMB/VoxCPM — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: VoxCPM: tạo giọng đọc và nhân bản giọng nói 30 ngôn ngữ — hướng dẫn cài đặt và dùng →

Tóm tắt nhanh
VoxCPM là mô hình chuyển văn bản thành giọng nói (TTS) mã nguồn mở của OpenBMB. Bản VoxCPM2 hỗ trợ 30 ngôn ngữ gồm tiếng Việt, tạo giọng mới từ một câu mô tả và nhân bản giọng từ đoạn ghi âm ngắn. Cài bằng một lệnh pip, nhưng README yêu cầu Python từ 3.10 đến dưới 3.13, PyTorch từ 2.5.0 và CUDA từ 12.0.
VoxCPM là một hệ thống chuyển văn bản thành giọng nói (text-to-speech, TTS) mã nguồn mở, do nhóm OpenBMB phát triển. Bản mới nhất là VoxCPM2: mô hình 2 tỷ tham số, huấn luyện trên hơn 2 triệu giờ dữ liệu giọng nói nhiều ngôn ngữ. Bạn đưa vào một đoạn chữ, nó trả về một file âm thanh đọc đoạn chữ đó.
Repo này hợp với ai? Người làm nội dung cần đọc lời bình cho video, chủ shop muốn có giọng đọc cho quảng cáo, nhân viên văn phòng làm tài liệu đào tạo có tiếng, và lập trình viên muốn gắn giọng nói vào ứng dụng. Bạn không cần biết về học máy. Chỉ cần chạy được vài dòng lệnh là có kết quả.
Điểm đáng giá nhất: README ghi VoxCPM2 hỗ trợ 30 ngôn ngữ, trong đó có tiếng Việt. Nó tạo được giọng hoàn toàn mới chỉ từ mô tả bằng chữ, hoặc nhân bản một giọng từ đoạn ghi âm ngắn. Âm thanh ra ở 48kHz. Mã và trọng số theo giấy phép Apache-2.0, README nói dùng thương mại được. Repo hiện có khoảng 42.426 sao và 4.845 fork.
OpenBMB/VoxCPM
VoxCPM2 là mô hình chuyển văn bản thành giọng nói mã nguồn mở, hỗ trợ 30 ngôn ngữ (có tiếng Việt), tự thiết kế giọng và nhân bản giọng, xuất âm thanh 48kHz.
I.VoxCPM làm được gì
Dưới đây là các tính năng chính, kèm lợi ích thực tế khi bạn dùng.
A.Đọc văn bản thành giọng nói bằng 30 ngôn ngữ
Bạn nhập chữ bằng ngôn ngữ nào trong 30 ngôn ngữ được hỗ trợ cũng được, README nói không cần gắn thẻ ngôn ngữ. Danh sách có tiếng Việt, Trung, Anh, Nhật, Hàn, Thái, Indonesia, Pháp, Đức, Tây Ban Nha và nhiều thứ tiếng khác. Với tiếng Trung còn có một số phương ngữ như Tứ Xuyên, Quảng Đông, Mân Nam. Nếu bạn làm nội dung cho nhiều thị trường, một công cụ là đủ.
B.Voice Design: tạo giọng mới bằng một câu mô tả
Bạn không cần file ghi âm. Chỉ cần viết mô tả giọng (giới tính, độ tuổi, âm điệu, cảm xúc, tốc độ…) trong ngoặc tròn ở đầu câu. Ví dụ README dùng: giọng nữ trẻ, dịu dàng, ngọt ngào. Cách này hợp khi bạn cần một giọng đọc riêng cho thương hiệu mà không muốn thuê người thu âm.
C.Controllable Cloning: nhân bản giọng và chỉnh phong cách
Bạn đưa một đoạn ghi âm ngắn, mô hình lấy chất giọng từ đó. Bạn vẫn có thể thêm chỉ dẫn như "nói nhanh hơn một chút, giọng vui vẻ" để đổi cảm xúc và tốc độ mà giữ nguyên chất giọng gốc.
D.Ultimate Cloning: nhân bản sát nhất
Nếu bạn có cả đoạn ghi âm và nội dung chính xác của nó (transcript), mô hình sẽ nói tiếp từ đoạn đó và giữ lại chất giọng, nhịp điệu, cảm xúc, phong cách. Đây là chế độ cho độ giống cao nhất.
E.Âm thanh 48kHz, không cần công cụ nâng chất lượng
Bạn đưa vào ghi âm 16kHz, mô hình xuất ra 48kHz với độ phân giải được nâng sẵn bên trong. README nói không cần bộ nâng tần số bên ngoài.
F.Hiểu ngữ cảnh và đọc theo luồng (streaming)
Mô hình tự suy ra ngữ điệu hợp với nội dung câu chữ. README cũng cung cấp chế độ streaming, tức là nhận âm thanh từng đoạn thay vì chờ cả file. README ghi tốc độ RTF khoảng 0,3 trên card NVIDIA RTX 4090 (RTF càng thấp càng nhanh), và khoảng 0,13 khi dùng Nano-vLLM hoặc vLLM-Omni.
II.Cần chuẩn bị gì
Theo README và file pyproject.toml, bạn cần:
- Python từ 3.10 trở lên, và dưới 3.13 (README ghi rõ "≥ 3.10 (<3.13)").
- PyTorch từ 2.5.0 trở lên.
- CUDA từ 12.0 trở lên (README ghi trong phần yêu cầu).
- Kết nối mạng để tải trọng số mô hình lần đầu. README dùng tên mô hình
openbmb/VoxCPM2trong code, và có hướng dẫn tải qua ModelScope nếu bạn muốn.
Trọng số mô hình cần dung lượng ổ đĩa và bộ nhớ; README không nêu con số cụ thể nên mình không đoán. Bạn xem thêm ở trang Quick Start trong tài liệu chính thức của dự án.
Về phần cứng: các con số tốc độ trong README đo trên card NVIDIA RTX 4090. README cũng cho biết giao diện web chạy được với tùy chọn thiết bị auto, cpu, mps, cuda, cuda:N, và trên Mac chip Apple Silicon thì auto dùng MPS nếu có. Còn tốc độ khi chạy bằng CPU thì README chưa nêu, bạn nên tự thử.
README không nói cần tài khoản hay API key để chạy mô hình cục bộ.
III.Cài đặt từng bước
- Kiểm tra môi trườngPython 3.10 đến 3.12, PyTorch từ 2.5.0, CUDA từ 12.0
- Cài góichạy pip install voxcpm
- Chạy thử bằng Pythontạo file demo.wav từ một câu chữ
- Thử dòng lệnh voxcpmtạo giọng bằng design hoặc clone
- Mở giao diện webchạy python app.py rồi mở trình duyệt
A.Mở terminal và kiểm tra Python
Trên Windows, bạn mở PowerShell hoặc Terminal. Trên Mac hoặc Linux, mở Terminal. Kiểm tra phiên bản Python bằng lệnh phổ thông sau. Nếu ra Python 3.13 trở lên, bạn nên cài bản 3.10–3.12 trước, vì README yêu cầu dưới 3.13.
python --versionB.Cài gói voxcpm
README chỉ có đúng một lệnh cài:
pip install voxcpmLệnh này tải gói voxcpm về máy. Chỗ người mới hay vấp: nếu máy có nhiều bản Python, bạn nên cài trong một môi trường ảo riêng để khỏi lẫn với dự án khác. README cũng nhắc cần PyTorch ≥ 2.5.0 và CUDA ≥ 12.0; nếu thiếu, bạn xem trang Quick Start trong tài liệu chính thức mà README dẫn tới.
C.Chạy thử bằng Python
Tạo một file, ví dụ demo.py, dán đoạn code README cung cấp rồi chạy. Lần đầu mô hình sẽ được tải về nên sẽ chờ lâu hơn.
from voxcpm import VoxCPM
import soundfile as sf
model = VoxCPM.from_pretrained(
"openbmb/VoxCPM2",
load_denoiser=False,
)
wav = model.generate(
text="VoxCPM2 is the current recommended release for realistic multilingual speech synthesis.",
cfg_value=2.0,
inference_timesteps=10,
seed=42,
)
sf.write("demo.wav", wav, model.tts_model.sample_rate)
print("saved: demo.wav")Code này nạp mô hình, đọc câu tiếng Anh trong text và ghi ra file demo.wav trong thư mục hiện tại. Bạn đổi nội dung text thành câu của bạn. seed=42 giúp lần chạy sau cho kết quả giống lần trước.
Nếu tải từ Hugging Face chậm hoặc bị chặn, README có cách tải qua ModelScope:
pip install modelscopefrom modelscope import snapshot_download
snapshot_download("OpenBMB/VoxCPM2", local_dir='./pretrained_models/VoxCPM2') # specify the local directory to save the model
from voxcpm import VoxCPM
import soundfile as sf
model = VoxCPM.from_pretrained("./pretrained_models/VoxCPM2", load_denoiser=False)D.Thử dòng lệnh voxcpm
Sau khi cài gói, bạn có lệnh voxcpm. Đây là ví dụ tạo giọng mới từ mô tả (Voice Design), không cần file mẫu:
voxcpm design \
--text "VoxCPM2 brings studio-quality multilingual speech synthesis." \
--control "Young female voice, warm and gentle, slightly smiling" \
--seed 42 \
--output out.wavDấu \ ở cuối dòng là để ngắt dòng cho dễ đọc trên Mac/Linux. Nếu bạn dùng PowerShell trên Windows, hãy gõ lệnh trên một dòng duy nhất, bỏ dấu \. Muốn xem mọi tùy chọn, chạy:
voxcpm --helpE.Mở giao diện web
Nếu bạn không thích gõ lệnh, repo có sẵn file app.py. Mở terminal ngay trong thư mục repo (tải bằng git clone nếu chưa có) rồi chạy:
git clone https://github.com/OpenBMB/VoxCPM.git
cd VoxCPMpython app.py --port 8808 # then open in browser: http://localhost:8808Sau đó bạn mở trình duyệt vào địa chỉ http://localhost:8808. Muốn chọn thiết bị chạy:
python app.py --device autoGiá trị hỗ trợ: auto, cpu, mps, cuda, cuda:N.
IV.Kiểm tra đã chạy được chưa
Cách đơn giản nhất: chạy file demo.py ở trên. Nếu thấy dòng saved: demo.wav trong terminal và có file demo.wav trong thư mục, bạn mở file lên nghe thử. Nghe ra giọng đọc câu bạn nhập là đã thành công.
Với giao diện web, bạn chạy python app.py --port 8808, mở http://localhost:8808 và thấy trang giao diện hiện ra là được. Còn với dòng lệnh, voxcpm --help in ra danh sách tùy chọn nghĩa là gói đã cài xong; nếu máy báo không tìm thấy lệnh, bạn kiểm tra lại môi trường Python đang dùng.
V.Dùng vào việc thật
Các tình huống dưới đây dùng đúng những cách gọi có trong README. Phần mô tả giọng trong ví dụ README viết bằng tiếng Anh; README chưa nói rõ mô tả bằng tiếng Việt có hiệu quả không, nên bạn thử và so sánh.
Một đoạn ghi âm ngắn cộng một dòng chữ, bạn đã có file giọng nói để dùng ngay.
Ông T
A.Chủ shop cần giọng đọc cho video giới thiệu sản phẩm
Bối cảnh: chị chủ shop mỹ phẩm muốn có giọng đọc cho vài video ngắn, nhưng chưa có người thu âm. Chị dùng Voice Design: viết mô tả giọng trong ngoặc ở đầu text, theo đúng định dạng README.
wav = model.generate(
text="(A young woman, gentle and sweet voice)Xin chào, mời bạn xem sản phẩm mới của shop.",
cfg_value=2.0,
inference_timesteps=10,
seed=42,
)
sf.write("voice_design.wav", wav, model.tts_model.sample_rate)Kết quả: một file voice_design.wav. Muốn giọng đồng nhất cho nhiều video, chị giữ nguyên mô tả và seed, chỉ đổi phần chữ.
B.Nhân viên văn phòng làm bài đào tạo có tiếng
Bối cảnh: bạn có đoạn ghi âm ngắn của người phụ trách đào tạo và muốn đọc thêm nhiều tài liệu bằng giọng đó. Bạn dùng nhân bản giọng, trỏ vào file mẫu.
voxcpm clone \
--text "This is a voice cloning demo." \
--reference-audio path/to/voice.wav \
--output out.wavThay path/to/voice.wav bằng đường dẫn thật tới file mẫu. Muốn đổi cảm xúc, thêm chỉ dẫn trong ngoặc ở đầu text ở bản Python, ví dụ (slightly faster, cheerful tone).
Có đoạn ghi âm và biết chính xác nó nói gì? Dùng Ultimate Cloning để giống hơn:
voxcpm clone \
--text "This is a voice cloning demo." \
--prompt-audio path/to/voice.wav \
--prompt-text "reference transcript" \
--output out.wavC.Người làm podcast đọc hàng loạt nhiều đoạn
Bối cảnh: bạn có nhiều đoạn văn cần chuyển thành giọng nói. README có chế độ batch, đọc từ một file văn bản và ghi ra thư mục.
voxcpm batch --input examples/input.txt --output-dir outsBạn mở file examples/input.txt trong repo để xem định dạng mẫu, rồi làm file của bạn theo đó. Kết quả là các file âm thanh nằm trong thư mục outs.
D.Lập trình viên làm ứng dụng cần giọng nói thời gian thực
Bối cảnh: bạn xây một chatbot và muốn nghe giọng trả lời ngay khi mô hình đang sinh, không phải chờ cả câu. Dùng streaming API:
import numpy as np
chunks = []
for chunk in model.generate_streaming(
text="Streaming text to speech is easy with VoxCPM!",
):
chunks.append(chunk)
wav = np.concatenate(chunks)
sf.write("streaming.wav", wav, model.tts_model.sample_rate)Nếu cần phục vụ nhiều người cùng lúc, README giới thiệu Nano-vLLM-VoxCPM và vLLM-Omni (có cổng /v1/audio/speech tương thích OpenAI). Hai công cụ này có repo riêng, bạn xem hướng dẫn ở đó.
Nhân bản giọng một người thật mà chưa được họ đồng ý có thể gây rắc rối pháp lý và đạo đức. Chỉ dùng giọng của chính bạn hoặc giọng bạn có quyền dùng. README cũng có mục Risks and Limitations, bạn nên đọc trước khi đưa vào sản phẩm.
VI.Lỗi hay gặp và cách xử lý
A.Báo lỗi không cài được hoặc không import được
Thường do phiên bản Python không khớp. README yêu cầu Python từ 3.10 và dưới 3.13. Kiểm tra bằng python --version, nếu là 3.13 trở lên, tạo môi trường ảo bằng Python 3.10–3.12 rồi cài lại.
B.Lỗi liên quan CUDA hoặc PyTorch
README yêu cầu PyTorch từ 2.5.0 và CUDA từ 12.0. Nếu card đồ họa hoặc driver cũ, hoặc PyTorch cài bản không có CUDA, mô hình có thể không chạy hoặc rất chậm. Bạn kiểm tra driver và cài lại PyTorch đúng bản, theo trang Quick Start của dự án. Nếu không có card NVIDIA, thử chạy giao diện web với --device cpu (hoặc mps trên Mac chip Apple), nhưng tốc độ sẽ không như bảng số liệu README.
C.Tải mô hình bị đứng hoặc quá chậm
Lần đầu chạy, mô hình phải tải về từ internet. Nếu mạng khó vào Hugging Face, dùng cách ModelScope ở phần cài đặt: cài modelscope, tải mô hình về một thư mục rồi gọi VoxCPM.from_pretrained với đường dẫn thư mục đó.
D.Giọng nhân bản chưa giống
Hãy thử Ultimate Cloning: đưa cả đoạn ghi âm và transcript chính xác của nó. README còn khuyên truyền cùng một file cho cả reference_wav_path và prompt_wav_path để độ giống cao nhất. Transcript sai chữ thì kết quả dễ lệch, nên gõ cho đúng.
E.Chạy lệnh nhiều dòng trên Windows bị lỗi
Các ví dụ CLI trong README viết theo kiểu Mac/Linux, ngắt dòng bằng \. PowerShell không hiểu cách ngắt dòng này. Bạn gộp lệnh thành một dòng, bỏ dấu \.
VII.Có nên dùng không
Điểm mạnh: mã nguồn mở, giấy phép Apache-2.0 (README ghi dùng thương mại được), có tiếng Việt, có cả tạo giọng từ mô tả lẫn nhân bản giọng, âm thanh 48kHz, cài bằng một lệnh pip, có sẵn giao diện web và dòng lệnh. Dự án cũng còn được cập nhật trong vài tháng gần đây.
Giới hạn: README yêu cầu CUDA từ 12.0 nên máy có card NVIDIA đời mới sẽ thuận lợi nhất. Mô hình 2 tỷ tham số, bạn nên chuẩn bị ổ cứng và bộ nhớ thoải mái. Các ví dụ trong README chủ yếu là tiếng Anh và tiếng Trung, nên chất lượng tiếng Việt bạn cần tự nghe thử với nội dung của mình trước khi dùng thật. Ngoài ra, một số phần README (như bảng so sánh phiên bản) bị cắt trong tư liệu mình có, nên bạn xem bản đầy đủ trên repo.
Khi nào chọn cách khác? Nếu bạn chỉ cần đọc vài câu một lần và không muốn cài gì, một dịch vụ đọc văn bản trực tuyến sẽ nhanh hơn. Còn nếu bạn muốn kiểm soát giọng, chạy trên máy mình, tự tạo giọng riêng hoặc tích hợp vào ứng dụng, VoxCPM đáng để thử.
Câu hỏi thường gặp
VoxCPM có miễn phí không?
Có. README ghi mã nguồn và trọng số phát hành theo giấy phép Apache-2.0, miễn phí kể cả dùng thương mại. Chi phí chỉ là máy tính và điện bạn dùng để chạy.
VoxCPM có đọc được tiếng Việt không?
Có. Tiếng Việt nằm trong 30 ngôn ngữ README liệt kê cho VoxCPM2, và bạn không cần gắn thẻ ngôn ngữ. Chất lượng cụ thể README không đánh giá riêng, nên bạn nên nghe thử với nội dung của mình.
Cần GPU không?
README yêu cầu CUDA từ 12.0 và đo tốc độ trên card NVIDIA RTX 4090. Giao diện web có tùy chọn chạy bằng cpu hoặc mps (Mac Apple Silicon), nhưng README chưa nêu tốc độ khi chạy CPU.
Chạy được trên Windows không?
README không nói riêng về hệ điều hành. Điều kiện nêu rõ là Python từ 3.10 đến dưới 3.13, PyTorch từ 2.5.0 và CUDA từ 12.0. Ví dụ dòng lệnh dùng ký tự ngắt dòng kiểu Linux/Mac, nên trên PowerShell bạn gộp lệnh thành một dòng.
Dữ liệu và giọng của tôi có an toàn không?
Bạn chạy mô hình bằng mã trên máy mình, và README không nói cần API key hay tài khoản cho cách dùng này. Tuy vậy README chưa có mô tả chi tiết về xử lý dữ liệu, nên bạn nên tự kiểm tra, đồng thời đọc mục Risks and Limitations trên repo.
Nhân bản giọng cần bao nhiêu âm thanh mẫu?
README chỉ nói cần một đoạn ghi âm tham chiếu ngắn (short reference clip) và không nêu độ dài cụ thể. Nếu muốn giống nhất, bạn đưa thêm transcript chính xác của đoạn đó để dùng chế độ Ultimate Cloning.
VoxCPM khác gì VoxCPM1.5 hay bản 0.5B?
Theo README, VoxCPM2 là bản mới nhất với 2 tỷ tham số, 30 ngôn ngữ và âm thanh 48kHz. VoxCPM1.5 có 0,6 tỷ tham số, 44,1kHz, chỉ hỗ trợ tiếng Trung và tiếng Anh. Bản 0.5B là bản cũ, 16kHz, cũng chỉ tiếng Trung và tiếng Anh.


