# VibeVoice: AI giọng nói mã nguồn mở của Microsoft — hướng dẫn cài đặt và dùng

> VibeVoice là bộ mô hình AI giọng nói mã nguồn mở của Microsoft, gồm nhận dạng giọng nói (ASR) và chuyển văn bản thành giọng nói (TTS). Bạn dùng để chép lời file ghi âm dài kèm tên người nói và mốc thời gian, hoặc tạo giọng đọc theo thời gian thực. README chưa ghi lệnh cài đặt rõ ràng nên người mới sẽ hơi vất vả, nhưng có Colab và bản Playground để thử trước.

- Tác giả: Ông T (https://ongt.vn/gioi-thieu)
- Chủ đề: Repo & Skill
- Đăng: 2026-09-28 · Cập nhật: 2026-11-13
- URL: https://ongt.vn/bai-viet/vibevoice-ai-giong-noi-ma-nguon-mo-microsoft

VibeVoice là một họ mô hình AI giọng nói mã nguồn mở của Microsoft, giấy phép MIT. Nó gồm hai nhóm: nhận dạng giọng nói (ASR, biến file ghi âm thành chữ) và chuyển văn bản thành giọng nói (TTS, biến chữ thành tiếng). Hiện repo có khoảng 57.105 sao và 6.447 fork, và vẫn được cập nhật trong 3 tháng gần đây.

Nếu bạn hay phải gỡ băng cuộc họp, buổi phỏng vấn, podcast, thì phần đáng giá nhất là VibeVoice-ASR. Nó nhận tối đa 60 phút âm thanh trong một lượt, và trả về ba thứ cùng lúc: ai nói, nói lúc nào, nói gì. Bạn cũng có thể đưa vào danh sách "hotword" như tên người, thuật ngữ chuyên ngành để model nhận đúng hơn.

Lưu ý trước khi bắt đầu: đây là dự án nghiên cứu, không phải phần mềm bấm là chạy. README ghi rõ tác giả không khuyến nghị dùng trong sản phẩm thương mại hay thực tế khi chưa thử nghiệm thêm. Bài này sẽ nói rõ chỗ nào README có hướng dẫn, chỗ nào chưa.

```repo
- repo | microsoft/VibeVoice
- kind | Mô hình
- desc | Bộ mô hình giọng nói mã nguồn mở của Microsoft: chép lời cuộc họp dài 60 phút có phân biệt người nói, và đọc văn bản thành tiếng theo thời gian thực.
- stars | 57k
- lang | Python
- license | MIT
```

## VibeVoice làm được gì

VibeVoice không phải một model duy nhất mà là một "gia đình". Mỗi thành viên làm một việc riêng.

### Chép lời file dài (VibeVoice-ASR)

Các công cụ chép lời thông thường hay cắt âm thanh thành đoạn ngắn rồi ghép lại, nên dễ mất mạch và lẫn người nói. VibeVoice-ASR nhận tới 60 phút liên tục trong một lần (trong giới hạn 64K token). Nhờ vậy nó theo dõi được từng người nói xuyên suốt cả cuộc họp.

Kết quả có cấu trúc: người nói, mốc thời gian, nội dung. Bạn không phải làm thêm bước tách người nói bằng công cụ khác. README cũng nói model hỗ trợ hơn 50 ngôn ngữ; muốn biết tiếng Việt có nằm trong đó không, bạn xem danh sách ngôn ngữ trong phần tài liệu ASR của repo, vì mình không có thông tin chi tiết ở đây.

### Hotword (từ khoá tuỳ chọn)

Bạn có thể đưa tên riêng, thuật ngữ, thông tin nền để dẫn dắt việc nhận dạng. Ví dụ cuộc họp có nhiều tên khách hàng hoặc tên sản phẩm lạ: đưa chúng vào hotword giúp giảm lỗi chính tả.

### Nhận dạng theo luồng (streaming)

Bản VibeVoice-ASR-Streaming chép lời ngay khi âm thanh còn đang đến, mỗi đoạn (chunk) trả ra một lần, thay vì chờ ghi âm xong. README nói bản này hỗ trợ hotword và 10 ngôn ngữ. Hợp với phụ đề trực tiếp hoặc ghi chú cuộc họp đang diễn ra.

### Chạy trên CPU (VibeVoice-ASR-BitNet)

Bản này nén model từ 4,62 GB xuống 1,58 GB, chạy thời gian thực (RTF nhỏ hơn 1) với từ 3 luồng CPU trở lên, không cần GPU. Mã chạy nằm ở một repo riêng tên VibeASR.cpp. Đây là lựa chọn cho máy văn phòng không có card đồ hoạ.

### Đọc văn bản thành tiếng thời gian thực (VibeVoice-Realtime-0.5B)

Model nhỏ 0,5 tỷ tham số, độ trễ khoảng 300 mili giây cho âm thanh đầu tiên, nhận văn bản đưa vào dần dần và đọc ổn định đoạn dài khoảng 10 phút. README nói có thêm giọng thử nghiệm: 9 ngôn ngữ (Đức, Pháp, Ý, Nhật, Hàn, Hà Lan, Ba Lan, Bồ Đào Nha, Tây Ban Nha) và 11 giọng tiếng Anh nhiều phong cách.

### Về VibeVoice-TTS 1.5B

Model này tạo được giọng đọc dài tới 90 phút với tối đa 4 người nói. Tuy nhiên Microsoft đã gỡ mã TTS này khỏi repo vì phát hiện có người dùng sai mục đích. Trong bảng của README, mục "Quick Try" của nó ghi "Disabled". Bạn đừng mất công tìm cách chạy nó từ repo này.

## Cần chuẩn bị gì

Tư liệu repo nói rất ít về yêu cầu máy, nên mình chỉ ghi những gì có thật:

- Python từ 3.10 trở lên (theo pyproject.toml).
- Tên gói Python là `vibevoice`.
- Git để tải mã nguồn về.
- Trọng số model nằm trên Hugging Face (README có liên kết cho từng model). Bạn cần tải về từ đó.
- Muốn chạy trên CPU không GPU: dùng bản ASR-BitNet, cần từ 3 luồng CPU trở lên.
- Muốn thử không cần cài: dùng Playground của VibeVoice-ASR hoặc Colab của VibeVoice-Realtime-0.5B.

README không ghi yêu cầu RAM, VRAM, hệ điều hành cụ thể hay có cần API key không. Với model ASR 7B, bạn nên xem thêm trong thư mục `docs/` trước khi đoán cấu hình.

```note
Model dạng này có thể tạo giọng nói thật như người. README cảnh báo nguy cơ làm giả giọng, lừa đảo, tin giả. Chỉ dùng âm thanh bạn có quyền xử lý, và nên nói rõ khi chia sẻ nội dung do AI tạo ra.
```

## Cài đặt từng bước

README chính không có mục cài đặt với lệnh cụ thể. Nó chỉ trỏ tới tài liệu từng model. Vì vậy bên dưới mình chỉ dùng lệnh phổ thông chắc chắn đúng, còn lệnh riêng cho từng model bạn đọc trong tài liệu của repo.

```steps
- Chọn model | Quyết định bạn cần ASR (chép lời), Streaming hay Realtime TTS
- Tải mã nguồn | git clone repo về máy rồi cd vào thư mục
- Tạo môi trường | Tạo môi trường ảo Python 3.10 trở lên
- Cài gói | Cài gói vibevoice từ thư mục vừa tải
- Đọc tài liệu model | Xem docs/ và demo/ để biết lệnh chạy riêng
```

### Chọn model bạn cần

Chép lời cuộc họp thì chọn VibeVoice-ASR. Máy không có GPU thì xem VibeVoice-ASR-BitNet (qua VibeASR.cpp). Cần đọc chữ thành tiếng nhanh thì chọn Realtime-0.5B. Nếu chỉ muốn thử cho biết, hãy mở Playground của ASR hoặc Colab của Realtime trước, khỏi cài gì.

### Tải mã nguồn

Mở terminal (trên Windows là PowerShell hoặc Git Bash), chạy:

```bash
git clone https://github.com/microsoft/VibeVoice.git
cd VibeVoice
```

Lệnh đầu tải toàn bộ repo về thư mục `VibeVoice`. Lệnh thứ hai đi vào thư mục đó. Người mới hay quên bước `cd` rồi chạy lệnh sai chỗ.

### Tạo môi trường ảo

Môi trường ảo giúp thư viện của dự án không đụng vào các dự án Python khác của bạn. Bạn cần Python 3.10 trở lên.

```powershell
python -m venv .venv
.venv\Scripts\Activate.ps1
```

Trên macOS/Linux, thay dòng thứ hai bằng `source .venv/bin/activate`. Khi thành công, đầu dòng lệnh hiện `(.venv)`.

### Cài gói vibevoice

Repo có `pyproject.toml` khai báo gói `vibevoice`, nên cách cài phổ thông từ thư mục repo là:

```bash
pip install -e .
```

Dấu chấm ở cuối nghĩa là "cài từ thư mục hiện tại". README không nói có cần thêm gói phụ (extras) hay bản PyTorch cụ thể nào không, nên nếu gặp báo lỗi thiếu thư viện, bạn xem `docs/` và `pyproject.toml`.

### Đọc tài liệu và ví dụ của model bạn chọn

Lệnh chạy chi tiết cho từng model README chưa chép lại. Bạn mở các nơi sau trong repo:

- `docs/`: tài liệu từng model (ASR, streaming, vLLM).
- `demo/`: ví dụ chạy, gồm notebook Colab cho Realtime-0.5B.
- `finetuning-asr/`: mã tinh chỉnh ASR.
- `vllm_plugin/`: plugin để chạy suy luận nhanh bằng vLLM.

## Kiểm tra đã chạy được chưa

README không nêu một lệnh kiểm tra chuẩn. Bạn có thể kiểm tra theo hai tầng:

Tầng một, xem gói đã cài chưa:

```bash
pip show vibevoice
```

Nếu hiện tên gói và phiên bản là cài thành công. Nếu báo không tìm thấy, bạn đang kích hoạt sai môi trường ảo hoặc lệnh cài đã lỗi.

Tầng hai, chạy một ví dụ trong `demo/` hoặc làm theo tài liệu trong `docs/`. Với ASR, dấu hiệu thành công là bạn nhận lại bản chép lời có tách người nói và mốc thời gian. Với Realtime TTS, bạn nghe được tiếng đọc. Nếu chưa muốn cài, mở Colab của Realtime-0.5B hoặc Playground của ASR để thấy kết quả mong đợi trước, rồi so sánh với máy mình.

## Dùng vào việc thật

Các tình huống dưới đây bám đúng khả năng README nêu. Lệnh chạy cụ thể bạn lấy từ tài liệu trong repo.

### Gỡ băng cuộc họp dài cho nhân viên văn phòng

Bối cảnh: bạn là trợ lý hành chính, có file ghi âm cuộc họp 50 phút và phải viết biên bản. Bạn đưa file vào VibeVoice-ASR. Vì model nhận được tới 60 phút một lượt, bạn không phải cắt file thủ công.

Kết quả nhận được: bản chép lời ghi rõ ai nói, lúc nào, nói gì. Việc còn lại là đổi tên "người nói 1, 2" thành tên thật rồi tóm tắt.

> Một lượt 60 phút, biết ai nói gì lúc nào — đó là phần đáng giá nhất của VibeVoice.
>
> — Ông T

### Phỏng vấn, podcast có nhiều thuật ngữ

Bối cảnh: bạn làm nội dung cho một công ty công nghệ, buổi trao đổi dày tên sản phẩm và thuật ngữ. Trước khi chạy, bạn chuẩn bị danh sách hotword: tên khách mời, tên sản phẩm, từ viết tắt chuyên ngành.

Kết quả: model được dẫn dắt bởi ngữ cảnh nên nhận đúng các từ khó hơn. Bạn vẫn nên đọc soát lại, đặc biệt ở các từ hiếm.

### Máy không có GPU: chép lời ngay trên CPU

Bối cảnh: chủ một văn phòng nhỏ chỉ có máy tính thường, muốn chép lời nội bộ mà không đưa file lên dịch vụ ngoài. Bạn tìm bản VibeVoice-ASR-BitNet và công cụ VibeASR.cpp theo liên kết trong README.

Kết quả theo tư liệu: model còn 1,58 GB, chạy thời gian thực với từ 3 luồng CPU. Cách build và chạy nằm trong repo VibeASR.cpp, bạn đọc ở đó.

### Lập trình viên: thử giọng đọc thời gian thực và tinh chỉnh ASR

Bối cảnh: bạn là dev muốn gắn giọng đọc vào ứng dụng, hoặc muốn ASR quen với giọng và từ vựng riêng của công ty. Với giọng đọc, mở Colab của Realtime-0.5B để nghe độ trễ khoảng 300 mili giây. Với tinh chỉnh, xem thư mục `finetuning-asr/`. Bạn cũng có thể tìm cách dùng qua thư viện Transformers (README nói ASR đã có trong một bản phát hành Transformers) hoặc phục vụ bằng vLLM.

Kết quả: bạn có nền tảng để thử nghiệm. Nhớ rằng đây là mã nghiên cứu, cần kiểm thử kỹ trước khi đưa vào sản phẩm.

## Lỗi hay gặp và cách xử lý

### Lệnh `pip` hoặc `python` không nhận

Thường do chưa cài Python hoặc chưa thêm vào PATH. Chạy `python --version` để kiểm tra, cần 3.10 trở lên. Nếu máy có nhiều phiên bản, thử `py -3.10 -m venv .venv` trên Windows.

### Cài xong vẫn báo thiếu thư viện

README không liệt kê hết phụ thuộc. Đọc thông báo lỗi để biết thư viện nào thiếu và kiểm tra `pyproject.toml` cùng `docs/`. Chỉ cài thêm gói bạn xác nhận cần, và luôn cài trong môi trường ảo.

### Hết bộ nhớ hoặc chạy rất chậm

Model ASR 7B khá nặng, còn README không ghi yêu cầu phần cứng cụ thể. Nếu máy yếu, thử bản BitNet chạy CPU, hoặc dùng Playground trên web cho file ngắn, hoặc Colab.

### Tìm cách chạy VibeVoice-TTS 1.5B mà không được

Đây là chuyện bình thường: mã TTS đã bị gỡ khỏi repo, bảng README ghi "Disabled". Nếu cần đọc văn bản thành tiếng, hãy dùng Realtime-0.5B.

### Kết quả chép lời sai tên hoặc sai thuật ngữ

Thêm hotword cho các tên riêng và thuật ngữ, rồi chạy lại. Bản chép lời của AI luôn cần người đọc soát, nhất là biên bản có giá trị pháp lý hoặc tài chính. README cũng cảnh báo model có thể cho kết quả không mong đợi, sai lệch hoặc thiên lệch.

## Có nên dùng không

Điểm mạnh: mã nguồn mở theo giấy phép MIT; xử lý một lượt tới 60 phút, kèm người nói và mốc thời gian; có hotword; có bản streaming, bản chạy CPU và bản đọc thời gian thực nhẹ. Dự án còn được cập nhật và có sẵn Playground, Colab để thử.

Giới hạn: README chính thiếu hướng dẫn cài đặt từng bước và yêu cầu phần cứng, nên người mới phải tự đọc `docs/`. Mã TTS dài 90 phút đã bị gỡ. Tác giả nói rõ đây là sản phẩm nghiên cứu, không khuyến nghị dùng thương mại khi chưa thử nghiệm thêm. Model còn kế thừa lỗi và thiên lệch từ model nền.

Nên chọn cách khác khi bạn cần một ứng dụng bấm là chạy, có giao diện và hỗ trợ chính thức cho doanh nghiệp. Khi đó hãy cân nhắc dịch vụ đóng gói sẵn (ví dụ bản ASR trên Azure AI Foundry Labs mà README có nhắc). Nếu bạn thích thử nghiệm, tự chủ dữ liệu và chịu khó đọc tài liệu, VibeVoice là một điểm khởi đầu rất đáng thử.

## Câu hỏi thường gặp

### VibeVoice có miễn phí không?

Mã nguồn dùng giấy phép MIT nên tải và dùng miễn phí. Trọng số model được đăng trên Hugging Face. README không nói gì về chi phí khi dùng các dịch vụ trên nền tảng đám mây khác, ví dụ Azure AI Foundry Labs.

### VibeVoice có cần GPU không?

Không bắt buộc cho mọi bản. Bản VibeVoice-ASR-BitNet chạy được trên CPU, từ 3 luồng trở lên, và model nén còn 1,58 GB. Với model ASR 7B và các bản khác, README chưa ghi yêu cầu phần cứng cụ thể.

### VibeVoice chạy được trên Windows không?

README không nêu hệ điều hành được hỗ trợ. Gói Python yêu cầu Python 3.10 trở lên nên về nguyên tắc có thể thử trên Windows, nhưng chưa có xác nhận chính thức trong tư liệu.

### VibeVoice có chép lời được tiếng Việt không?

README nói VibeVoice-ASR hỗ trợ hơn 50 ngôn ngữ và bản Streaming hỗ trợ 10 ngôn ngữ, nhưng tư liệu ở đây không liệt kê cụ thể. Bạn nên xem danh sách ngôn ngữ trong tài liệu ASR của repo hoặc thử trên Playground.

### Dữ liệu của tôi có an toàn không?

Nếu chạy model trên máy mình thì file âm thanh không phải gửi đi đâu theo cách vận hành đó, nhưng README không có mục riêng nói về bảo mật dữ liệu. Playground và Azure AI Foundry Labs là dịch vụ trực tuyến, bạn nên xem điều khoản của chúng trước khi tải lên dữ liệu nhạy cảm.

### Tại sao không dùng được VibeVoice-TTS 1.5B?

Microsoft đã gỡ mã TTS khỏi repo sau khi phát hiện có trường hợp dùng sai mục đích, và README ghi mục thử nhanh là Disabled. Nếu cần giọng đọc, bạn có thể dùng VibeVoice-Realtime-0.5B.

### Có dùng cho sản phẩm thương mại được không?

Giấy phép là MIT, nhưng README nêu rõ không khuyến nghị dùng trong ứng dụng thương mại hay thực tế khi chưa thử nghiệm và phát triển thêm; model dành cho nghiên cứu và phát triển. Bạn nên tự kiểm thử kỹ và nói rõ khi nội dung do AI tạo ra.
