VibeVoice: nhận dạng giọng nói 60 phút và TTS thời gian thực — hướng dẫn cài đặt và dùng
Bài này là một góc nhìn khác về microsoft/VibeVoice — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: VibeVoice: AI giọng nói mã nguồn mở của Microsoft — hướng dẫn cài đặt và dùng →

Tóm tắt nhanh
VibeVoice là họ mô hình AI giọng nói mã nguồn mở của Microsoft, giấy phép MIT. Có phần nhận dạng giọng nói (ASR) cho bản ghi dài đến 60 phút và phần đọc văn bản thành giọng (TTS) thời gian thực. README chưa ghi lệnh cài từng bước, nên người mới nên thử trên Playground hoặc Colab trước rồi mới cài máy.
VibeVoice là một họ mô hình AI về giọng nói mã nguồn mở do Microsoft phát hành, gồm cả phần chuyển giọng nói thành văn bản (ASR) lẫn phần đọc văn bản thành giọng nói (TTS). Repo hiện có khoảng 57.125 sao và 6.451 fork, giấy phép MIT, viết chủ yếu bằng Python và vẫn được cập nhật trong 3 tháng gần đây.
Vấn đề nó giải quyết rất đời thường. Bạn có một buổi họp hay cuộc phỏng vấn dài cả tiếng và muốn có bản chữ ghi rõ ai nói gì, lúc nào. Hoặc bạn cần một giọng đọc tự nhiên, phản hồi nhanh cho ứng dụng của mình. Nhóm nên quan tâm là lập trình viên, người làm nội dung và dân văn phòng có chút kỹ thuật, muốn thử công nghệ giọng nói mới mà không phụ thuộc dịch vụ trả phí.
Điểm đáng giá nhất là bản ASR xử lý được tới 60 phút âm thanh trong một lần, không cắt nhỏ. Kết quả có người nói, mốc thời gian và nội dung. Có một điều bạn cần biết ngay: README ghi rõ đây là dự án nghiên cứu, và tác giả không khuyến nghị dùng thẳng cho sản phẩm thương mại khi chưa kiểm thử thêm.
microsoft/VibeVoice
Bộ mô hình giọng nói mã nguồn mở của Microsoft: chuyển giọng thành văn bản dài 60 phút có phân người nói, và đọc văn bản thành giọng nói theo thời gian thực.
I.VibeVoice làm được gì
VibeVoice không phải một chương trình duy nhất mà là một họ mô hình. Mỗi mô hình lo một việc.
A.Nhận dạng giọng nói dài (VibeVoice-ASR)
Đây là mô hình chuyển giọng thành chữ cho bản ghi dài. Điểm khác với nhiều công cụ khác:
- Xử lý liền mạch 60 phút. Nhiều mô hình cắt âm thanh thành đoạn ngắn nên hay quên ngữ cảnh. Bản này nhận tới 60 phút trong một lượt, nên việc nhận ra người nói và mạch nội dung nhất quán hơn.
- Đầu ra có cấu trúc Who, When, What. Mô hình làm cùng lúc ba việc: nhận dạng lời nói, phân biệt người nói và gắn mốc thời gian. Bạn không phải ghép nhiều công cụ.
- Hotwords tuỳ chỉnh. Bạn đưa vào tên riêng, thuật ngữ chuyên ngành hoặc thông tin nền để mô hình nghe đúng hơn. Với cuộc họp nhiều tên người và tên sản phẩm, tính năng này rất hữu ích.
- Đa ngôn ngữ. README ghi hỗ trợ hơn 50 ngôn ngữ. Bạn nên xem danh sách ngôn ngữ trong tài liệu để chắc có tiếng Việt, vì tư liệu mình có không nêu rõ.
- Có mã tinh chỉnh (finetuning) trong thư mục
finetuning-asr/, và hỗ trợ chạy bằng vLLM để suy luận nhanh hơn (thư mụcvllm_plugin/).
B.Nhận dạng theo thời gian thực (ASR-Streaming)
Bản streaming chữ hoá giọng nói ngay khi âm thanh còn đang đến, mỗi đoạn trả ra chữ một lần, không chờ ghi âm xong. README ghi hỗ trợ hotwords và 10 ngôn ngữ.
C.ASR chạy bằng CPU (VibeVoice-ASR-BitNet)
Bản này nén mô hình từ 4,62 GB xuống 1,58 GB và chạy thời gian thực (RTF nhỏ hơn 1) với từ 3 luồng CPU trở lên, không cần GPU. Mã chạy nằm ở repo riêng tên VibeASR.cpp. Nếu máy bạn không có card đồ hoạ, đây là lựa chọn đáng thử.
D.Đọc văn bản thành giọng (VibeVoice-Realtime-0.5B)
Mô hình TTS nhỏ 0,5 tỷ tham số, độ trễ khoảng 300 mili giây cho âm thanh đầu tiên. Nó nhận văn bản đưa vào dần dần (streaming input) và đọc ổn định đoạn dài khoảng 10 phút. README có nhắc thêm các giọng thử nghiệm, gồm 9 ngôn ngữ khác (Đức, Pháp, Ý, Nhật, Hàn, Hà Lan, Ba Lan, Bồ Đào Nha, Tây Ban Nha) và 11 giọng tiếng Anh nhiều phong cách.
E.Về VibeVoice-TTS bản dài nhiều người nói
Bản TTS 1.5B có thể tạo tới 90 phút với tối đa 4 người nói. Nhưng Microsoft đã gỡ mã VibeVoice-TTS khỏi repo vì phát hiện có người dùng sai mục đích. Trong bảng mô hình, cột "Quick Try" của bản này ghi "Disabled". Bạn đừng mất công tìm cách chạy nó từ repo này.
II.Cần chuẩn bị gì
Tư liệu repo nêu khá ít yêu cầu cụ thể. Những gì chắc chắn:
- Python từ 3.10 trở lên. Tệp
pyproject.tomlghi>=3.10. - Tên gói Python là
vibevoice. - Git để tải mã về (lệnh
git clonethông dụng). - Phần cứng: README không nêu cấu hình tối thiểu cho từng mô hình. Bản ASR-7B có cỡ 7 tỷ tham số nên thường cần GPU mạnh, nhưng đây là suy luận của mình chứ README không ghi. Riêng bản BitNet thì README nói rõ chạy được bằng CPU, không cần GPU.
- Tài khoản: trọng số mô hình đặt trên Hugging Face. README không nói bạn có phải đăng nhập hay không. Playground và Colab thì chạy trên trình duyệt.
- Hệ điều hành: README không nói rõ. Chưa có thông tin chính thức về Windows, macOS hay Linux.
Mô hình tạo giọng nói có thể bị lạm dụng để giả giọng người khác. README cảnh báo nguy cơ deepfake, lừa đảo và tin giả. Chỉ dùng giọng và nội dung bạn có quyền dùng, và nên ghi rõ khi chia sẻ âm thanh do AI tạo.
III.Cài đặt từng bước
Lưu ý trước: README chưa ghi cách cài từng bước bằng lệnh. Phần này mình chỉ đưa các lệnh phổ thông chắc chắn đúng, còn hướng dẫn riêng cho từng mô hình bạn cần xem trong thư mục docs/ và demo/ của repo.
- Thử không cần càiDùng Playground (ASR) hoặc Colab (TTS Realtime) trên trình duyệt
- Tải mã nguồnClone repo về máy bằng git
- Tạo môi trường PythonDùng Python 3.10 trở lên, tạo môi trường ảo
- Cài gói vibevoiceCài từ thư mục repo theo pyproject.toml
- Đọc docs của mô hìnhMở docs/ và demo/ để lấy lệnh chạy đúng mô hình bạn chọn
A.Thử trước trên trình duyệt
Nếu bạn chưa muốn cài gì, README cho sẵn hai lối thử nhanh. ASR có Playground tại https://aka.ms/vibevoice-asr. TTS Realtime có sổ tay Colab trong thư mục demo/ (tệp vibevoice_realtime_colab.ipynb). Cách này giúp bạn biết mô hình hợp hay không trước khi mất công cài máy.
B.Tải mã nguồn về máy
Mở terminal (trên Windows dùng PowerShell hoặc Git Bash). Chạy lệnh dưới để tải repo và vào thư mục. Chữ cd nghĩa là chuyển vào thư mục vừa tải.
git clone https://github.com/microsoft/VibeVoice.git
cd VibeVoiceC.Tạo môi trường Python riêng
Môi trường ảo giúp thư viện của dự án không lẫn với phần còn lại của máy. Đây là cách làm phổ thông, không phải lệnh riêng của README. Bạn cần Python 3.10 trở lên.
python -m venv .venv
source .venv/bin/activateTrên Windows PowerShell, lệnh kích hoạt khác một chút:
python -m venv .venv
.venv\Scripts\Activate.ps1Chỗ người mới hay vấp: nếu gõ python báo không tìm thấy, hãy thử python3 hoặc py. Nếu PowerShell chặn chạy tập lệnh, bạn cần cho phép chạy script cho phiên hiện tại rồi chạy lại.
D.Cài gói vibevoice
Repo có pyproject.toml và tên gói là vibevoice. Với kiểu repo này, cách cài phổ thông là cài từ chính thư mục hiện tại:
pip install -e .Đây là lệnh pip thông dụng, không phải lệnh được README chép ra. Các phụ thuộc phụ (ví dụ cho vLLM hay tinh chỉnh) có thể cần cài thêm. README không liệt kê, nên hãy xem hướng dẫn trong vllm_plugin/ và finetuning-asr/ khi dùng đến.
E.Lấy lệnh chạy đúng mô hình
Mỗi mô hình có tài liệu riêng: ASR, ASR streaming, vLLM, tinh chỉnh, Realtime TTS. README dẫn tới các tài liệu này nhưng không chép lệnh. Bạn mở thư mục docs/ và demo/ trong repo, hoặc trang dự án https://microsoft.github.io/VibeVoice/, để lấy lệnh chính xác. Trọng số tải từ Hugging Face: microsoft/VibeVoice-ASR, microsoft/VibeVoice-Realtime-0.5B, microsoft/VibeVoice-ASR-BitNet.
IV.Kiểm tra đã chạy được chưa
README không đưa ra lệnh kiểm tra chuẩn. Bạn có thể dựa vào các dấu hiệu sau:
- Gói đã cài: chạy
pip show vibevoice(lệnh pip phổ thông). Nếu hiện tên và phiên bản là gói đã vào môi trường. - Chạy được demo: làm theo tài liệu trong
demo/. Với TTS Realtime, kết quả mong đợi là nghe được giọng đọc, độ trễ âm thanh đầu tiên khoảng 300 mili giây theo README. - Với ASR: đưa một đoạn âm thanh ngắn vào. Kết quả đúng sẽ có ba thông tin: người nói, mốc thời gian và nội dung chữ.
- Nhanh nhất: thử cùng đoạn âm thanh trên Playground trước, rồi so với kết quả trên máy bạn.
V.Dùng vào việc thật
A.Biên bản cuộc họp một tiếng
Chị Lan làm hành chính ở một công ty nhỏ, mỗi tuần ghi âm cuộc họp khoảng một tiếng với 4-5 người. Trước đây chị nghe lại và gõ tay. Giờ chị đưa file ghi âm cho VibeVoice-ASR trên Playground. Vì mô hình nhận tới 60 phút một lượt, chị không phải cắt file. Kết quả có từng đoạn kèm người nói và mốc thời gian, nên chị chỉ cần đổi "Người nói 1" thành tên thật và chép vào biên bản. Chị cũng cung cấp hotwords là tên khách hàng và tên sản phẩm để mô hình ít nghe nhầm. Cách nhập hotwords cụ thể bạn xem trong tài liệu ASR.
Một giờ họp, một lần xử lý, ra luôn ai nói gì và nói lúc nào.
Ông T
B.Gỡ băng phỏng vấn cho người làm nội dung
Anh Minh làm podcast, mỗi tập phỏng vấn dài 40-50 phút. Anh muốn có bản chữ có mốc thời gian để cắt đoạn hay và viết mô tả tập. Anh chạy ASR trên bản ghi, lấy mốc thời gian để tìm nhanh câu cần cắt. Việc ghi nhận ai nói giúp anh tách lời khách mời khỏi lời dẫn. Bạn nên kiểm tra lại các tên riêng bằng tay, vì mô hình vẫn có thể sai.
C.Dev thử giọng đọc thời gian thực
Bạn Hải là lập trình viên mới, đang làm một chatbot và muốn nó đọc câu trả lời thành tiếng ngay khi chữ vừa ra. VibeVoice-Realtime-0.5B nhận văn bản đưa vào dần dần và phát âm thanh đầu tiên sau khoảng 300 mili giây. Hải mở sổ tay Colab trong demo/ để nghe thử, rồi mới quyết định có tích hợp vào ứng dụng hay không. Trước khi làm, Hải cần kiểm tra mô hình có đọc tốt ngôn ngữ mình cần hay không. README liệt kê các ngôn ngữ giọng thử nghiệm, nhưng tiếng Việt không nằm trong danh sách đó.
D.Chạy nhận dạng trên máy không có GPU
Một văn phòng nhỏ có máy tính thường, không có card đồ hoạ, nhưng muốn gỡ băng nội bộ mà không đưa âm thanh lên dịch vụ ngoài. Bản VibeVoice-ASR-BitNet nén còn 1,58 GB và chạy thời gian thực với từ 3 luồng CPU. Người phụ trách kỹ thuật lấy mã từ VibeASR.cpp và trọng số trên Hugging Face, làm theo hướng dẫn ở đó. Đây là hướng đáng thử nếu bạn quan tâm đến quyền riêng tư và chi phí phần cứng.
VI.Lỗi hay gặp và cách xử lý
A.Báo thiếu hoặc sai phiên bản Python
Gói yêu cầu Python 3.10 trở lên. Nếu máy bạn đang dùng bản cũ hơn, lệnh cài sẽ báo lỗi. Cách xử lý: kiểm tra bằng python --version, cài bản mới hơn, rồi tạo lại môi trường ảo.
B.Hết bộ nhớ khi chạy mô hình lớn
Bản ASR-7B khá nặng. Nếu máy báo hết bộ nhớ (RAM hoặc VRAM), hãy thử đoạn âm thanh ngắn hơn, đóng bớt ứng dụng khác, hoặc chuyển sang bản BitNet chạy CPU. README không cho con số yêu cầu bộ nhớ, nên cách an toàn là thử bằng Playground trước.
C.Không tìm thấy lệnh hoặc mô-đun sau khi cài
Thường do bạn cài ở môi trường này nhưng chạy ở môi trường khác. Hãy chắc rằng môi trường ảo đã được kích hoạt (dòng lệnh thường hiện (.venv) ở đầu) trước khi cài và trước khi chạy.
D.Tìm cách chạy VibeVoice-TTS 1.5B mà không được
Đây không phải lỗi của bạn. Microsoft đã gỡ mã VibeVoice-TTS khỏi repo, và bảng mô hình ghi bản này ở trạng thái "Disabled". Hãy dùng bản Realtime-0.5B hoặc các bản ASR.
E.Kết quả nhận dạng sai tên riêng hoặc từ chuyên ngành
Mô hình có thể cho ra kết quả không chính xác, nhất là với tên lạ. Hãy thêm hotwords cho các từ quan trọng. Với văn bản quan trọng như hợp đồng hay biên bản pháp lý, luôn đọc soát lại bằng tay.
VII.Có nên dùng không
Điểm mạnh. Mã nguồn mở, giấy phép MIT, của một hãng lớn và đang được duy trì. Nhận dạng được bản ghi dài 60 phút một lượt, có người nói và mốc thời gian. Có đường chạy bằng CPU cho máy yếu, và có Playground, Colab để thử mà không cần cài.
Giới hạn. README chưa ghi rõ cách cài từng bước và yêu cầu phần cứng, nên người hoàn toàn mới sẽ phải đọc thêm docs/. Mô hình thừa hưởng sai lệch và lỗi từ mô hình nền (README nêu là Qwen2.5 1.5B). Bản TTS đa người nói dài đã bị gỡ mã. Tác giả nói rõ đây là dự án nghiên cứu và không khuyến nghị dùng cho sản phẩm thương mại thực tế khi chưa kiểm thử thêm. Chưa có thông tin chắc chắn về chất lượng tiếng Việt trong tư liệu mình có.
Khi nào chọn cách khác. Nếu bạn cần dịch vụ ổn định, có hỗ trợ và cam kết chất lượng cho kinh doanh, hãy cân nhắc dịch vụ trả phí. README cũng cho biết VibeVoice-ASR đã có trên Azure AI Foundry Labs để thử. Nếu bạn chỉ muốn gỡ băng vài file ngắn mà không muốn đụng đến lập trình, dùng Playground là đủ.
Câu hỏi thường gặp
VibeVoice có miễn phí không?
Mã nguồn dùng giấy phép MIT và trọng số đăng công khai trên Hugging Face. Nếu bạn tự chạy trên máy mình thì không phải trả phí bản quyền. Chi phí điện, phần cứng hoặc thuê máy chủ thì tư liệu không nói tới.
VibeVoice làm được những gì?
Họ mô hình có phần nhận dạng giọng nói (ASR) và phần đọc văn bản thành giọng (TTS). ASR xử lý bản ghi dài tới 60 phút và cho ra người nói, mốc thời gian, nội dung. TTS Realtime 0,5B đọc theo thời gian thực với độ trễ khoảng 300 mili giây.
Có cần GPU không?
Tư liệu không nêu yêu cầu GPU chung cho mọi mô hình. Riêng bản VibeVoice-ASR-BitNet được nói rõ là chạy thời gian thực với từ 3 luồng CPU trở lên, không cần GPU. Với bản ASR-7B, README chưa ghi cấu hình tối thiểu.
Chạy được trên Windows không?
README không nói rõ hệ điều hành hỗ trợ. Gói Python yêu cầu Python 3.10 trở lên. Nếu muốn thử mà không lo môi trường, bạn có thể dùng Playground (ASR) hoặc Colab (TTS Realtime) trên trình duyệt.
Dữ liệu âm thanh của tôi có an toàn không?
Tư liệu không nói gì về cách xử lý dữ liệu. Khi bạn tự chạy mô hình trên máy mình, âm thanh nằm ở máy bạn. Còn khi dùng Playground hay Colab thì dữ liệu đi qua dịch vụ trực tuyến, nên đừng đưa tài liệu nhạy cảm lên.
Có dùng cho kinh doanh thương mại được không?
Giấy phép là MIT, nhưng README nói rõ không khuyến nghị dùng VibeVoice cho ứng dụng thương mại hoặc thực tế khi chưa kiểm thử và phát triển thêm. Mô hình được xác định là phục vụ nghiên cứu và phát triển. Bạn nên tự đánh giá kỹ trước khi dùng cho việc quan trọng.
Có tạo được giọng nói nhiều người, dài 90 phút không?
Mô hình VibeVoice-TTS 1.5B có khả năng này theo mô tả, nhưng mã của nó đã bị gỡ khỏi repo vì bị dùng sai mục đích, và bảng mô hình ghi là Disabled. Bản TTS còn dùng được trong repo là Realtime-0.5B, đọc ổn định đoạn dài khoảng 10 phút.


