Bỏ qua tới nội dung
Ông T.vn

VibeVoice: nhận dạng giọng nói 60 phút và đọc văn bản thành tiếng — hướng dẫn cài đặt và dùng

11 phút đọcCập nhật

Bài này là một góc nhìn khác về microsoft/VibeVoice — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: VibeVoice: AI giọng nói mã nguồn mở của Microsoft — hướng dẫn cài đặt và dùng →

VibeVoice: nhận dạng giọng nói 60 phút và đọc văn bản thành tiếng — hướng dẫn cài đặt và dùng

Tóm tắt nhanh

VibeVoice là họ mô hình AI giọng nói mã nguồn mở của Microsoft (giấy phép MIT), gồm nhận dạng giọng nói (ASR) và chuyển văn bản thành giọng nói (TTS). Bạn dùng nó để gỡ băng cuộc họp dài tới 60 phút hoặc tạo giọng đọc thời gian thực. Có thể thử nhanh bằng Playground hoặc Colab. Cài về máy cần Python 3.10 trở lên và có chút kinh nghiệm dòng lệnh.

VibeVoice là một họ mô hình AI giọng nói mã nguồn mở của Microsoft, gồm cả nhận dạng giọng nói (chuyển âm thanh thành chữ) lẫn chuyển văn bản thành giọng nói. Repo viết bằng Python, dùng giấy phép MIT và hiện có khoảng 57.125 sao, 6.451 fork trên GitHub. Tác giả mô tả ngắn gọn là "Open-Source Frontier Voice AI".

Vấn đề mà nó giải quyết rất đời thường. Bạn có một buổi họp, một cuộc phỏng vấn hay một podcast dài cả tiếng và cần bản chữ có ghi rõ ai nói gì, lúc nào. Hoặc bạn muốn một chương trình đọc chữ thành tiếng gần như tức thì. Người làm kinh doanh, nhân viên văn phòng cần gỡ băng, và lập trình viên muốn thử nghiệm giọng nói đều có thể quan tâm tới repo này.

Điểm đáng giá nhất là mô hình nhận dạng VibeVoice-ASR xử lý được tới 60 phút âm thanh trong một lần, không phải cắt nhỏ rồi ghép lại. Nhờ vậy việc theo dõi người nói được nhất quán từ đầu tới cuối. Ngoài ra còn có bản chạy bằng CPU, không cần card đồ hoạ.

Một lưu ý quan trọng ngay từ đầu: README nói rõ đây là dự án phục vụ nghiên cứu và phát triển. Tác giả không khuyến nghị dùng trực tiếp cho sản phẩm thương mại hay môi trường thật khi chưa kiểm thử thêm. Đoạn code của VibeVoice-TTS (bản đọc nhiều người nói tới 90 phút) cũng đã bị gỡ khỏi repo này.

Mô hình

microsoft/VibeVoice

Bộ mô hình giọng nói mã nguồn mở của Microsoft: chuyển ghi âm dài thành văn bản có người nói, mốc giờ và đọc văn bản thành tiếng theo thời gian thực.

★ 57kPythonMIT
Xem repo trên GitHub

I.VibeVoice làm được gì

VibeVoice là một họ mô hình, không phải một ứng dụng duy nhất. Mỗi mô hình lo một việc khác nhau.

A.Gỡ băng dài 60 phút với VibeVoice-ASR

Đây là mô hình nhận dạng giọng nói chính. Nó nhận tới 60 phút âm thanh liên tục trong một lượt (độ dài 64K token). Các công cụ khác thường cắt âm thanh thành đoạn ngắn nên hay mất ngữ cảnh. Với mô hình này, tên người nói và mạch câu chuyện được giữ xuyên suốt cả giờ.

Kết quả có cấu trúc đủ ba phần: ai nói (Who), nói lúc nào (When, có mốc thời gian) và nói gì (What). Một mô hình làm cùng lúc việc nhận dạng, tách người nói và gắn mốc thời gian.

B.Từ khoá tuỳ chỉnh (hotwords)

Bạn có thể đưa trước tên riêng, thuật ngữ chuyên ngành hay thông tin nền để mô hình nghe đúng hơn. Ví dụ tên công ty, tên sản phẩm, từ viết tắt trong ngành của bạn. README nói tính năng này giúp tăng đáng kể độ chính xác với nội dung chuyên biệt.

C.Hỗ trợ nhiều ngôn ngữ và nhận dạng theo thời gian thực

VibeVoice-ASR hỗ trợ trên 50 ngôn ngữ ngay từ gốc. Bản VibeVoice-ASR-Streaming vừa nghe vừa ghi chữ, xuất chữ theo từng đoạn âm thanh thay vì chờ ghi âm xong. README cũng nêu bản này hỗ trợ hotwords và 10 ngôn ngữ. README chưa liệt kê ở đây danh sách ngôn ngữ cụ thể, nên bạn cần xem tài liệu của từng mô hình xem tiếng Việt có nằm trong đó không.

D.Chạy bằng CPU với VibeVoice-ASR-BitNet

Bản này nén mô hình từ 4,62 GB xuống 1,58 GB. README cho biết nó chạy theo thời gian thực (RTF nhỏ hơn 1) trên từ 3 luồng CPU trở lên, không cần GPU. Nếu máy bạn không có card đồ hoạ rời, đây là lựa chọn đáng thử. Mã chạy nằm ở một repo riêng tên VibeASR.cpp.

E.Đọc chữ thành tiếng thời gian thực với VibeVoice-Realtime-0.5B

Đây là mô hình đọc chữ (TTS) nhỏ, 0,5 tỷ tham số, dễ triển khai. Độ trễ để nghe được âm thanh đầu tiên khoảng 300 mili giây, nhận chữ đưa vào theo dòng và sinh giọng dài khoảng 10 phút. README cũng nhắc có thêm giọng thử nghiệm: 9 ngôn ngữ (Đức, Pháp, Ý, Nhật, Hàn, Hà Lan, Ba Lan, Bồ Đào Nha, Tây Ban Nha) và 11 giọng tiếng Anh phong cách khác nhau. Tiếng Việt không nằm trong danh sách đó.

F.Công cụ cho người làm kỹ thuật

Trong repo có thư mục finetuning-asr (mã tinh chỉnh ASR), vllm_plugin (suy luận nhanh bằng vLLM) và demo. VibeVoice-ASR cũng đã có trong thư viện Hugging Face Transformers và trong Azure AI Foundry Labs, theo README.

II.Cần chuẩn bị gì

Tư liệu chỉ nêu một số thứ, nên mình chỉ liệt kê những gì có thật:

  • Python từ 3.10 trở lên. Đây là yêu cầu trong tệp pyproject.toml. Tên gói Python là vibevoice.
  • Git để tải mã nguồn về (lệnh git clone là lệnh phổ thông).
  • Trình duyệt và tài khoản Google nếu bạn chỉ muốn thử trên Colab (README có sổ tay Colab cho mô hình Realtime-0.5B).
  • Phần cứng: README chưa ghi yêu cầu GPU, RAM hay hệ điều hành cho từng mô hình. Chỉ có thông tin là bản ASR-BitNet chạy trên CPU từ 3 luồng. Với mô hình ASR 7B, bạn nên xem trang mô hình trên Hugging Face trước khi tải.
  • API key: README không nhắc cần khoá API nào để chạy mã nguồn.

Nếu bạn chưa quen dòng lệnh, hãy thử trước bằng Playground hoặc Colab, không cần cài gì lên máy.

III.Cài đặt từng bước

  1. Thử không cần càiDùng Playground (ASR) hoặc Colab (Realtime TTS) mà README đã dẫn link
  2. Kiểm tra PythonChắc chắn máy có Python 3.10 trở lên
  3. Tải mã nguồnDùng git clone rồi vào thư mục vừa tải
  4. Cài gói vibevoiceDùng pyproject.toml có sẵn trong repo
  5. Chạy demoXem thư mục demo và docs để biết lệnh chạy từng mô hình

A.Bước 1: Thử nhanh, chưa cần cài

README đưa sẵn hai đường thử nhanh. Với nhận dạng giọng nói, bạn dùng Playground của VibeVoice-ASR (link ghi trong README của repo). Với đọc chữ thành tiếng, README có sổ tay Colab cho VibeVoice-Realtime-0.5B, nằm ở demo/vibevoice_realtime_colab.ipynb trong repo. Cách này phù hợp nếu bạn chỉ muốn xem mô hình làm được gì.

B.Bước 2: Kiểm tra phiên bản Python

Mở terminal (trên Windows là PowerShell hoặc Terminal) và gõ:

Terminal
python --version

Kết quả cần là 3.10 trở lên. Nếu thấp hơn, bạn phải cài Python mới trước, vì pyproject.toml yêu cầu >=3.10.

C.Bước 3: Tải mã nguồn

Mở terminal ở thư mục bạn muốn lưu dự án, rồi chạy:

Terminal
git clone https://github.com/microsoft/VibeVoice.git
cd VibeVoice

Lệnh đầu tải toàn bộ repo về máy. Lệnh thứ hai đi vào thư mục vừa tạo. Người mới hay quên bước cd này nên các lệnh sau báo không tìm thấy tệp.

D.Bước 4: Cài gói vibevoice

README chưa ghi lệnh cài đặt. Repo có tệp pyproject.toml khai báo gói tên vibevoice, nên cách cài phổ thông cho một repo Python kiểu này là chạy lệnh dưới đây ở thư mục gốc của repo. Mình suy ra từ pyproject.toml chứ không phải từ README, nên bạn hãy đối chiếu thêm trong thư mục docs của repo.

Terminal
pip install -e .

Dấu chấm cuối lệnh nghĩa là cài từ thư mục hiện tại. Nếu muốn tránh lẫn với các dự án Python khác, bạn nên tạo môi trường ảo riêng trước khi cài. Phiên bản thư viện đi kèm và cách cài riêng cho phần vLLM hoặc finetuning thì README chưa nói, hãy xem tài liệu trong docs, vllm_plugin và finetuning-asr.

E.Bước 5: Tải mô hình và chạy demo

Trọng số mô hình nằm trên Hugging Face (README có link cho từng mô hình trong bảng đầu trang). README chưa ghi lệnh chạy cụ thể ở trang chính. Lệnh chạy nằm trong tài liệu của từng mô hình, nên bạn hãy mở thư mục docs và demo trong repo, hoặc trang dự án https://microsoft.github.io/VibeVoice/, để lấy đúng lệnh cho mô hình bạn chọn.

IV.Kiểm tra đã chạy được chưa

README không nêu một lệnh kiểm tra cài đặt riêng. Bạn có thể tự kiểm tra từng lớp:

  • Python nhận gói: sau khi cài, mở Python và thử import gói tên vibevoice. Nếu không báo lỗi thì gói đã vào môi trường của bạn.
  • Demo chạy được: chạy một demo theo hướng dẫn trong thư mục demo hoặc docs. Với ASR, kết quả mong đợi theo README là bản chữ có đủ người nói, mốc thời gian và nội dung. Với Realtime TTS, bạn sẽ nghe được âm thanh ra loa.
  • Đối chiếu với Playground: nếu có thể, đưa cùng một file ghi âm ngắn vào Playground và vào bản chạy trên máy. Hai kết quả gần nhau là bạn đã cài đúng.

Thử bằng file âm thanh ngắn một hai phút trước khi chạy file cả tiếng, để biết sớm máy có đủ sức hay không.

V.Dùng vào việc thật

Tư liệu không có kịch bản nghiệp vụ sẵn, nên các tình huống dưới đây bám đúng khả năng mà README nêu.

A.Gỡ băng một buổi họp dài

Bạn là nhân viên văn phòng, có file ghi âm họp một tiếng với nhiều người. Bạn muốn biên bản có ghi ai nói gì lúc nào. Với VibeVoice-ASR, cả buổi họp được xử lý trong một lượt. Trước hết hãy thử trên Playground để xem chất lượng. Kết quả là bản chữ có người nói, mốc thời gian và nội dung, giúp bạn viết biên bản nhanh hơn, nhưng vẫn cần đọc lại.

Hãy kiểm tra trước xem ngôn ngữ của buổi họp có được hỗ trợ không. README nói mô hình hỗ trợ trên 50 ngôn ngữ nhưng ở phần trích này chưa liệt kê cụ thể.

B.Cuộc họp nhiều thuật ngữ, tên riêng

Bạn là chủ doanh nghiệp, cuộc họp hay có tên khách hàng, tên sản phẩm, mã hàng mà các công cụ thường nghe sai. Dùng tính năng hotwords: bạn đưa danh sách các tên và thuật ngữ này vào làm gợi ý trước khi mô hình nhận dạng. README nói cách này giúp tăng đáng kể độ chính xác trên nội dung chuyên biệt. Cách đưa hotwords vào cụ thể nằm trong tài liệu ASR của repo.

Giữ nguyên ngữ cảnh cả tiếng đồng hồ trong một lượt là thứ làm bản gỡ băng đáng tin hơn hẳn việc cắt nhỏ rồi ghép.

Ông T

C.Máy không có GPU

Bạn là người làm tự do, chỉ có một chiếc laptop thường và muốn gỡ băng ngay trên máy để không gửi file đi đâu. Bản VibeVoice-ASR-BitNet được thiết kế cho trường hợp này. Mô hình được nén còn 1,58 GB và chạy thời gian thực trên từ 3 luồng CPU. Bạn xem repo VibeASR.cpp mà README dẫn link để biết cách chạy. Đổi lại, nén mạnh có thể ảnh hưởng chất lượng. README ở đây chưa so sánh độ chính xác, nên hãy tự thử với file của mình.

D.Lập trình viên làm trợ lý đọc chữ thời gian thực

Bạn là lập trình viên muốn một ứng dụng đọc câu trả lời của chatbot thành tiếng ngay khi chữ đang xuất hiện. VibeVoice-Realtime-0.5B nhận chữ đưa vào theo dòng, có độ trễ âm thanh đầu khoảng 300 mili giây và nhỏ gọn để triển khai. Bạn bắt đầu từ sổ tay Colab trong thư mục demo, sau đó chuyển sang chạy trên máy mình. Giọng đọc dài khoảng 10 phút một lượt, đủ cho đa số câu trả lời.

VI.Lỗi hay gặp và cách xử lý

A.Python quá cũ, cài không được

Nếu máy chạy Python 3.9 trở xuống, lệnh cài sẽ từ chối vì gói yêu cầu 3.10 trở lên. Hãy cài Python mới hơn rồi tạo môi trường ảo mới cho dự án.

B.Gõ lệnh sai thư mục

Lệnh pip install báo không tìm thấy gì để cài khi bạn không đứng trong thư mục VibeVoice. Hãy chạy cd VibeVoice trước, đảm bảo trong thư mục thấy tệp pyproject.toml, rồi mới cài.

C.Hết bộ nhớ hoặc chạy rất chậm

Mô hình ASR bản đầy đủ là loại 7B nên khá nặng, còn README chưa nêu yêu cầu phần cứng. Nếu máy báo thiếu bộ nhớ hoặc chạy chậm, hãy thử file ngắn hơn, đổi sang bản ASR-BitNet cho CPU, hoặc dùng Playground và Colab thay vì chạy trên máy.

D.Tìm mãi không thấy mã VibeVoice-TTS

Bản TTS 1.5B đọc nhiều người nói tới 90 phút không còn mã trong repo này. README giải thích tác giả đã gỡ mã sau khi thấy công cụ bị dùng sai mục đích, và ô thử nhanh của mô hình này ghi là Disabled. Nếu bạn cần đọc chữ, hãy dùng VibeVoice-Realtime-0.5B.

E.Kết quả sai tên, sai từ

Mô hình có thể cho kết quả không như mong đợi, thiên lệch hoặc không chính xác, theo đúng phần cảnh báo trong README. Hãy dùng hotwords cho tên riêng và thuật ngữ, và luôn đọc lại bản chữ trước khi dùng cho việc quan trọng như hợp đồng hay biên bản pháp lý.

VII.Có nên dùng không

Điểm mạnh:

  • Xử lý một lượt tới 60 phút âm thanh, cho ra bản chữ có người nói và mốc thời gian.
  • Có hotwords để cải thiện thuật ngữ chuyên ngành.
  • Có bản chạy CPU nên không bắt buộc phải có GPU.
  • Giấy phép MIT, có tài liệu, mã tinh chỉnh, và được Microsoft duy trì (repo vẫn được cập nhật trong 3 tháng gần đây).
  • Có chỗ thử không cần cài: Playground và Colab.

Giới hạn:

  • README chính chưa có lệnh cài và lệnh chạy rõ ràng. Người mới cần đọc thêm docs và demo.
  • Chưa có thông tin về yêu cầu GPU, RAM, hệ điều hành trong phần README này.
  • Mô hình đọc chữ Realtime-0.5B ở phần giọng thử nghiệm không nêu tiếng Việt.
  • Tác giả nói rõ đây là sản phẩm nghiên cứu, không khuyến nghị dùng thương mại hay thực tế khi chưa kiểm thử thêm.
  • Giọng nói tổng hợp chất lượng cao có nguy cơ bị lạm dụng làm giả giọng, lừa đảo, thông tin sai lệch. README khuyên nên công khai khi nội dung do AI tạo ra.

Khi nên chọn cách khác: nếu bạn cần một dịch vụ gỡ băng ổn định, có hỗ trợ và cam kết chất lượng cho doanh nghiệp, hãy cân nhắc dịch vụ thương mại. Nếu bạn là người mới và chỉ cần thử, hãy bắt đầu từ Playground rồi mới quyết định có cài về máy hay không.

4.0/5 · Ông T chấm

Chưa có độc giả chấm

Bài này có ích với bạn không?

Câu hỏi thường gặp

VibeVoice có miễn phí không?

Mã nguồn dùng giấy phép MIT và trọng số mô hình được đăng trên Hugging Face. README không nói về phí sử dụng, nhưng tác giả khuyến nghị chỉ dùng cho nghiên cứu và phát triển, chưa nên dùng thương mại khi chưa kiểm thử thêm.

Chạy VibeVoice có cần GPU không?

Không phải bản nào cũng cần. README cho biết VibeVoice-ASR-BitNet chạy thời gian thực trên CPU từ 3 luồng trở lên mà không cần GPU. Với các mô hình khác, README chính chưa ghi yêu cầu phần cứng nên bạn cần xem trang mô hình trên Hugging Face.

VibeVoice có chạy được trên Windows không?

Tư liệu chưa nói rõ hệ điều hành nào được hỗ trợ. Điều đã biết là gói cần Python từ 3.10 trở lên. Bạn có thể thử trên Colab hoặc Playground để không phụ thuộc hệ điều hành.

VibeVoice-ASR gỡ băng được bao lâu một lần và dùng được tiếng Việt không?

Mô hình nhận tới 60 phút âm thanh liên tục trong một lượt và hỗ trợ trên 50 ngôn ngữ. Danh sách ngôn ngữ cụ thể không có trong phần README mà mình có, nên chưa xác nhận được tiếng Việt. Bạn hãy xem trang ngôn ngữ hỗ trợ của dự án hoặc thử bằng Playground.

Mã tạo giọng nói nhiều người (VibeVoice-TTS) còn không?

Không còn trong repo này. README cho biết tác giả đã gỡ mã VibeVoice-TTS sau khi phát hiện công cụ bị dùng không đúng mục đích. Mô hình đọc chữ còn lại để dùng là VibeVoice-Realtime-0.5B.

Dùng VibeVoice có an toàn không?

README cảnh báo mô hình có thể cho kết quả bất ngờ, thiên lệch hoặc sai, và giọng tổng hợp có thể bị dùng để làm giả giọng, lừa đảo hay phát tán thông tin sai. Người dùng cần tuân thủ pháp luật và nên công khai khi dùng nội dung do AI tạo. Tư liệu chưa có thông tin về việc dữ liệu được lưu hay gửi đi đâu khi chạy cục bộ.

VibeVoice khác gì các công cụ gỡ băng khác?

Điểm README nhấn mạnh là xử lý 60 phút trong một lượt thay vì cắt nhỏ, và cho ra kết quả có người nói, mốc thời gian, nội dung cùng hotwords. Tư liệu không so sánh trực tiếp với công cụ cụ thể nào, nên chưa thể nói hơn kém về độ chính xác.

Chuyển nhanh tới mục

  1. I.VibeVoice làm được gì
    1. A.Gỡ băng dài 60 phút với VibeVoice-ASR
    2. B.Từ khoá tuỳ chỉnh (hotwords)
    3. C.Hỗ trợ nhiều ngôn ngữ và nhận dạng theo thời gian thực
    4. D.Chạy bằng CPU với VibeVoice-ASR-BitNet
    5. E.Đọc chữ thành tiếng thời gian thực với VibeVoice-Realtime-0.5B
    6. F.Công cụ cho người làm kỹ thuật
  2. II.Cần chuẩn bị gì
  3. III.Cài đặt từng bước
    1. A.Bước 1: Thử nhanh, chưa cần cài
    2. B.Bước 2: Kiểm tra phiên bản Python
    3. C.Bước 3: Tải mã nguồn
    4. D.Bước 4: Cài gói vibevoice
    5. E.Bước 5: Tải mô hình và chạy demo
  4. IV.Kiểm tra đã chạy được chưa
  5. V.Dùng vào việc thật
    1. A.Gỡ băng một buổi họp dài
    2. B.Cuộc họp nhiều thuật ngữ, tên riêng
    3. C.Máy không có GPU
    4. D.Lập trình viên làm trợ lý đọc chữ thời gian thực
  6. VI.Lỗi hay gặp và cách xử lý
    1. A.Python quá cũ, cài không được
    2. B.Gõ lệnh sai thư mục
    3. C.Hết bộ nhớ hoặc chạy rất chậm
    4. D.Tìm mãi không thấy mã VibeVoice-TTS
    5. E.Kết quả sai tên, sai từ
  7. VII.Có nên dùng không

Repo & Skill · 13/11/2026 · 11 phút đọc

Garden Skills: bộ skill thiết kế web, tạo ảnh, làm video cho AI — hướng dẫn cài đặt và dùng

Garden Skills là bộ sưu tập Agent Skills (kỹ năng cho AI) của tác giả ConardLi, dùng được với Claude Code, Cursor, Codex và các AI coding agent khác. Mỗi skill dạy agent làm tốt một việc như thiết kế trang web, tạo ảnh, làm video bằng code, biến tài liệu thành bài viết đẹp. Cài không khó, nhưng README có nhiều cách cài nên bạn cần chọn một cách hợp với công cụ đang dùng.

Repo & Skill · 13/11/2026 · 15 phút đọc

thesysdev/openui: xây giao diện AI dạng streaming — hướng dẫn cài đặt và dùng

OpenUI là framework full-stack, độc lập framework, giúp mô hình AI sinh giao diện có cấu trúc và hiển thị dần khi dữ liệu streaming về. Bạn có thể dựng nhanh một ứng dụng chat bằng CLI hoặc cài từng gói cho React, Vue, Svelte, Angular và LangChain. Việc bắt đầu khá đơn giản nếu máy có đúng phiên bản Node; README chưa ghi đầy đủ lệnh chạy ứng dụng sau khi scaffold.

Repo & Skill · 13/11/2026 · 11 phút đọc

Ruflo: điều phối nhóm agent AI cho Claude Code và Codex — hướng dẫn cài đặt và dùng

Ruflo (trước đây là Claude Flow) là một agent harness: lớp công cụ bao quanh Claude Code và Codex, bổ sung nhiều agent chuyên biệt, bộ nhớ qua các phiên và khả năng chia việc cho nhóm agent. Cài bằng một lệnh `npx ruflo@latest init` trong thư mục dự án, cần Node 20 trở lên. Cài khá dễ, nhưng hệ thống rất rộng nên bạn nên bắt đầu từ một tác vụ nhỏ.