openai/whisper: chuyển giọng nói thành văn bản — hướng dẫn cài đặt và dùng
Bài này là một góc nhìn khác về openai/whisper — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: openai/whisper: chuyển giọng nói thành văn bản — hướng dẫn cài đặt và dùng →

Tóm tắt nhanh
Whisper là mô hình nhận dạng giọng nói đa năng của OpenAI, có thể chép lời, nhận diện ngôn ngữ và dịch giọng nói sang tiếng Anh. Repo có gói Python và công cụ dòng lệnh; cài khá thẳng nếu bạn đã có Python, PyTorch và ffmpeg.
openai/whisper là mô hình nhận dạng giọng nói đa năng, dùng để chuyển tệp âm thanh thành văn bản. Whisper hỗ trợ chép lời đa ngôn ngữ, nhận diện ngôn ngữ đang nói và dịch lời nói không phải tiếng Anh sang tiếng Anh.
Repo phù hợp với chủ shop cần chép nội dung cuộc gọi, nhân viên văn phòng cần xử lý bản ghi họp, hoặc lập trình viên muốn tích hợp nhận dạng giọng nói vào ứng dụng. Điểm đáng giá là bạn có thể dùng cả dòng lệnh lẫn Python, không cần tự xây một pipeline xử lý âm thanh từ đầu.
Repo hiện có khoảng 112625 sao và 13657 fork. Mã nguồn cùng trọng số mô hình được phát hành theo giấy phép MIT. Có nhiều kích thước mô hình để đổi giữa tốc độ, độ chính xác và bộ nhớ cần dùng.
openai/whisper
Whisper nhận dạng giọng nói, chép lời đa ngôn ngữ, dịch giọng nói sang tiếng Anh và nhận diện ngôn ngữ.
I.Whisper làm được gì
Whisper xử lý các công việc sau:
Chép giọng nói thành văn bản: Bạn đưa vào tệp như
.flac,.mp3hoặc.wav, rồi nhận lại phần lời nói dưới dạng văn bản. Đây là chức năng hữu ích để xử lý bản ghi cuộc họp, cuộc gọi hoặc nội dung phỏng vấn.Nhận dạng nhiều ngôn ngữ: Mô hình đa ngôn ngữ có thể chép lời nói ở nhiều ngôn ngữ khác nhau. Bạn có thể chỉ rõ ngôn ngữ bằng tùy chọn
--language, hoặc dùng API cấp thấp để yêu cầu mô hình phát hiện ngôn ngữ.Dịch lời nói sang tiếng Anh: Với các mô hình đa ngôn ngữ như
mediumhoặclarge, Whisper có thể nghe tiếng Nhật hoặc ngôn ngữ khác rồi xuất bản dịch tiếng Anh. Đây là tác vụ khác với chép nguyên văn nên cần dùng--task translate.Chọn mô hình theo máy:
tinyvàbasecần khoảng 1 GB VRAM, phù hợp để thử nhanh.small,medium,largevàturbotăng dần về tài nguyên.turbolà phiên bản tối ưu củalarge-v3, có tốc độ nhanh nhưng không dùng cho tác vụ dịch.Dùng từ dòng lệnh: Bạn có thể chạy một lệnh
whisperđể xử lý một hoặc nhiều tệp âm thanh. Cách này phù hợp với người không muốn viết chương trình.Tích hợp vào Python: Gói
openai-whispercung cấpwhisper.load_model()vàmodel.transcribe(). Bạn có thể đưa kết quả chép lời vào hệ thống lưu trữ, quy trình xử lý văn bản hoặc ứng dụng nội bộ.Truy cập các bước xử lý thấp hơn: Ngoài
transcribe(), repo có các hàm tải âm thanh, cắt hoặc đệm về 30 giây, tạo log-Mel spectrogram, phát hiện ngôn ngữ và giải mã kết quả. Những hàm này phù hợp khi bạn cần kiểm soát pipeline chi tiết hơn.
II.Cần chuẩn bị gì
Bạn cần các thành phần sau:
- Python từ 3.8 đến 3.11.
pyproject.tomlyêu cầu Python>=3.8; README cho biết codebase tương thích với Python 3.8–3.11 và các phiên bản PyTorch gần đây. - PyTorch. README nêu môi trường huấn luyện và kiểm thử dùng PyTorch 1.10.1, đồng thời cho biết các phiên bản PyTorch gần đây được kỳ vọng tương thích.
- Công cụ dòng lệnh
ffmpegđể Whisper đọc và xử lý tệp âm thanh. - Kết nối mạng khi cài gói hoặc khi cần tải mô hình lần đầu. README không nêu yêu cầu tài khoản hay API key.
- Nếu
tiktokenkhông có wheel dựng sẵn cho nền tảng của bạn, bạn có thể cần Rust. Nếu gặp lỗiNo module named 'setuptools_rust', README hướng dẫn cài thêmsetuptools_rust. - Phần cứng phù hợp với mô hình đã chọn. Bảng của README ước tính
tinyvàbasecần khoảng 1 GB VRAM,smallkhoảng 2 GB,mediumkhoảng 5 GB,largekhoảng 10 GB vàturbokhoảng 6 GB. Tốc độ thực tế còn thay đổi theo ngôn ngữ, tốc độ nói và phần cứng.
README không nêu yêu cầu bắt buộc về tài khoản dịch vụ, khóa API hay một loại GPU cụ thể. Nếu máy không có đủ VRAM, hãy bắt đầu bằng mô hình nhỏ hơn và kiểm tra tốc độ thực tế.
III.Cài đặt từng bước
- Chuẩn bị Python và ffmpegKiểm tra môi trường chạy và cài ffmpeg
- Cài gói WhisperCài bản phát hành Python hoặc bản mới nhất từ repo
- Xử lý lỗi phụ thuộcCài Rust hoặc setuptools-rust nếu pip báo lỗi
- Chạy bản chép lời đầu tiênDùng mô hình turbo với một tệp âm thanh
- Thử Python APIGọi Whisper từ một chương trình Python
A.Chuẩn bị Python và ffmpeg
Mở Terminal, PowerShell hoặc cửa sổ dòng lệnh trên máy. Hãy dùng Python trong khoảng phiên bản mà README hỗ trợ. ffmpeg là chương trình riêng, không phải chỉ một gói Python, nên bạn cần cài nó bằng trình quản lý gói phù hợp với hệ điều hành.
Trên Ubuntu hoặc Debian, chạy:
sudo apt update && sudo apt install ffmpegTrên Arch Linux, chạy:
sudo pacman -S ffmpegTrên macOS có Homebrew, chạy:
brew install ffmpegTrên Windows có Chocolatey, chạy:
choco install ffmpegTrên Windows có Scoop, chạy:
scoop install ffmpegCác lệnh Windows chỉ hoạt động nếu Chocolatey hoặc Scoop đã có trên máy. Người mới thường mở PowerShell ở một thư mục bất kỳ rồi tưởng rằng lệnh cài gói phải chạy trong thư mục repo. Với ffmpeg, bạn có thể cài từ cửa sổ dòng lệnh bình thường; khi dùng tệp âm thanh, hãy đưa đúng đường dẫn tệp hoặc mở terminal tại thư mục chứa tệp.
B.Cài gói Whisper
Cách đơn giản nhất là cài bản phát hành mới nhất của gói openai-whisper:
pip install -U openai-whisperLệnh này cài hoặc cập nhật gói Python Whisper cùng các phụ thuộc cần thiết. README cũng cho phép cài trực tiếp commit mới nhất từ repo:
pip install git+https://github.com/openai/whisper.gitNếu muốn cập nhật gói theo phiên bản mới nhất trong repo và bỏ qua việc cài phụ thuộc lại, dùng:
pip install --upgrade --no-deps --force-reinstall git+https://github.com/openai/whisper.gitBạn nên chạy pip trong đúng môi trường Python mà mình sẽ dùng để chạy Whisper. Lỗi phổ biến là máy có nhiều bản Python, nhưng pip lại cài gói vào bản khác. Nếu lệnh cài đặt báo lỗi quyền ghi, hãy dùng một môi trường Python riêng hoặc cách quản lý môi trường phù hợp với máy của bạn; README không đưa ra một quy trình riêng cho lỗi này.
C.Xử lý lỗi phụ thuộc khi cài
README cho biết Whisper phụ thuộc đáng chú ý vào tiktoken. Thông thường, pip sẽ cài wheel dựng sẵn. Nếu nền tảng của bạn không có wheel phù hợp, bạn có thể cần cài Rust và cấu hình PATH.
README đưa ví dụ cấu hình PATH như sau:
export PATH="$HOME/.cargo/bin:$PATH"Nếu pip báo lỗi sau, hãy cài setuptools_rust:
No module named 'setuptools_rust'Lệnh cài là:
pip install setuptools-rustSau đó thử lại lệnh cài Whisper. Không nên tự đoán thêm tên gói hoặc cờ lệnh khi lỗi có nội dung khác; hãy đọc phần lỗi của pip và đối chiếu với yêu cầu môi trường trong repo.
D.Chạy bản chép lời đầu tiên
Đặt một tệp âm thanh trong thư mục hiện tại, hoặc dùng đường dẫn đầy đủ đến tệp. Lệnh dưới đây chép lời ba tệp bằng mô hình turbo:
whisper audio.flac audio.mp3 audio.wav --model turboaudio.flac, audio.mp3 và audio.wav là tên tệp mẫu trong README. Bạn thay chúng bằng tên tệp thật của mình. Tùy chọn --model turbo yêu cầu Whisper dùng mô hình turbo. Lần chạy đầu có thể cần tải trọng số mô hình.
Nếu muốn xem tất cả tùy chọn mà công cụ hỗ trợ, chạy:
whisper --helpE.Thử Python API
Tạo một chương trình Python trong thư mục có tệp âm thanh, rồi dùng đoạn mã sau:
import whisper
model = whisper.load_model("turbo")
result = model.transcribe("audio.mp3")
print(result["text"])whisper.load_model("turbo") tải mô hình turbo. model.transcribe("audio.mp3") đọc và chép lời tệp âm thanh. Kết quả là một cấu trúc dữ liệu, trong đó phần văn bản nằm ở khóa text.
Bên trong, transcribe() đọc toàn bộ tệp và xử lý theo các cửa sổ trượt dài 30 giây. Vì vậy, tệp dài không phải được đưa vào mô hình trong một lần duy nhất. Bạn vẫn cần theo dõi thời gian chạy và bộ nhớ khi xử lý nhiều tệp hoặc tệp dài.
IV.Kiểm tra đã chạy được chưa
Cách kiểm tra nhanh nhất là chạy:
whisper --helpNếu lệnh hiển thị danh sách tùy chọn, công cụ dòng lệnh đã được cài và có thể được gọi từ terminal.
Tiếp theo, chạy bản chép lời với một tệp thật:
whisper audio.mp3 --model turboKết quả mong đợi là Whisper xử lý tệp và tạo phần văn bản chép lời. Nếu công cụ không đọc được tệp, kiểm tra lại ba điểm: tên hoặc đường dẫn tệp, ffmpeg đã được cài và terminal đang dùng đúng môi trường Python.
Bạn cũng có thể kiểm tra bằng Python. Nếu chương trình in ra result["text"] thay vì báo lỗi import hoặc lỗi đọc âm thanh, gói Python và mô hình đã hoạt động. Với lần chạy đầu, hãy chờ quá trình tải mô hình hoàn tất trước khi kết luận chương trình bị treo.
V.Dùng vào việc thật
A.Chủ shop chép nội dung cuộc gọi khách hàng
Một chủ shop có các tệp ghi âm .mp3 từ cuộc gọi tư vấn. Thay vì nghe lại toàn bộ, bạn có thể chạy:
whisper customer-call.mp3 --model turboWhisper sẽ xử lý tệp và tạo văn bản chép lời. Sau đó chủ shop có thể tìm các câu hỏi lặp lại, lý do khách chưa mua hoặc các yêu cầu cần chuyển cho nhân viên.
Nếu cuộc gọi không phải tiếng Anh, hãy chỉ rõ ngôn ngữ để kết quả ổn định hơn:
whisper customer-call.mp3 --language JapaneseTên ngôn ngữ trong ví dụ phải được thay bằng ngôn ngữ phù hợp với bản ghi.
B.Nhân viên văn phòng xử lý bản ghi họp
Nhân viên có một tệp .wav ghi cuộc họp và muốn tạo bản nháp nhanh. Có thể dùng mô hình turbo cho bản chép lời tiếng Anh:
whisper meeting.wav --model turboSau khi có văn bản, nhân viên có thể rà lại tên riêng, con số và quyết định quan trọng. Whisper giúp giảm thời gian gõ lại, nhưng README không nói rằng kết quả luôn chính xác tuyệt đối; chất lượng còn phụ thuộc vào ngôn ngữ, tốc độ nói và phần cứng.
C.Người dùng cần dịch lời nói sang tiếng Anh
Một người dùng có bản ghi tiếng Nhật và muốn tạo văn bản tiếng Anh. Hãy dùng mô hình đa ngôn ngữ, chẳng hạn medium:
whisper japanese.wav --model medium --language Japanese --task translate--language Japanese cho biết ngôn ngữ nguồn. --task translate yêu cầu dịch sang tiếng Anh. Không dùng turbo cho việc này vì README nêu rõ turbo không được huấn luyện cho tác vụ dịch và sẽ trả lại ngôn ngữ gốc.
D.Lập trình viên tích hợp nhận dạng giọng nói
Lập trình viên có thể đưa Whisper vào một công cụ nội bộ bằng Python:
import whisper
model = whisper.load_model("turbo")
result = model.transcribe("audio.mp3")
print(result["text"])Nếu cần biết tệp đang nói ngôn ngữ nào trước khi chép lời, dùng các API cấp thấp:
import whisper
model = whisper.load_model("turbo")
audio = whisper.load_audio("audio.mp3")
audio = whisper.pad_or_trim(audio)
mel = whisper.log_mel_spectrogram(audio, n_mels=model.dims.n_mels).to(model.device)
_, probs = model.detect_language(mel)
print(f"Detected language: {max(probs, key=probs.get)}")Đoạn mã tải âm thanh, đưa về cửa sổ 30 giây, tạo log-Mel spectrogram rồi in ngôn ngữ có xác suất cao nhất. Đây là nền tảng để xây quy trình riêng, nhưng việc xử lý các tệp dài hoặc nhiều người nói vẫn cần thiết kế thêm.
Chọn đúng mô hình giúp bạn cân bằng tốc độ, bộ nhớ và chất lượng chép lời.
Ông T
Bản ghi âm có thể chứa thông tin cá nhân, nội dung cuộc gọi hoặc dữ liệu nội bộ. README không mô tả chính sách lưu trữ hay bảo mật dữ liệu, nên hãy tự kiểm tra quyền xử lý tệp và quy định của tổ chức trước khi đưa dữ liệu nhạy cảm vào quy trình.
VI.Lỗi hay gặp và cách xử lý
A.ffmpeg chưa được cài hoặc chưa có trong PATH
Whisper yêu cầu công cụ dòng lệnh ffmpeg. Nếu lệnh Whisper không đọc được tệp hoặc báo không tìm thấy ffmpeg, hãy cài theo hệ điều hành bằng một trong các lệnh ở phần cài đặt. Sau đó mở lại terminal và thử lại.
B.pip install lỗi khi xây dựng tiktoken
README cho biết một số nền tảng có thể không có wheel dựng sẵn cho tiktoken. Khi đó, hãy cài Rust và bảo đảm PATH có thư mục Cargo. Nếu lỗi ghi rõ No module named 'setuptools_rust', chạy pip install setuptools-rust rồi thử lại.
C.Chọn mô hình vượt quá bộ nhớ máy
Mô hình càng lớn thì yêu cầu VRAM càng cao. README ước tính large cần khoảng 10 GB VRAM, trong khi tiny và base cần khoảng 1 GB. Nếu chạy chậm, hết bộ nhớ hoặc không khởi tạo được mô hình, hãy thử mô hình nhỏ hơn như base hoặc small.
D.Dùng turbo để dịch nhưng kết quả vẫn là ngôn ngữ gốc
Đây là giới hạn đã được README nêu rõ. turbo không được huấn luyện cho tác vụ dịch. Hãy dùng một mô hình đa ngôn ngữ như medium hoặc large cùng --task translate.
E.Kết quả chép lời chưa đúng với bản ghi
Whisper có hiệu năng thay đổi theo ngôn ngữ, tốc độ nói và phần cứng. Hãy chỉ rõ ngôn ngữ bằng --language khi bạn biết ngôn ngữ nguồn, thử mô hình lớn hơn nếu máy đủ tài nguyên và rà lại tên riêng, số liệu trước khi dùng kết quả trong tài liệu chính thức.
VII.Có nên dùng không
Whisper đáng dùng nếu bạn cần một giải pháp nhận dạng giọng nói có thể chạy từ dòng lệnh hoặc tích hợp trong Python. Repo hỗ trợ chép lời đa ngôn ngữ, nhận diện ngôn ngữ và dịch sang tiếng Anh. Có nhiều kích thước mô hình nên bạn có thể bắt đầu với cấu hình nhẹ rồi tăng dần khi cần chất lượng.
Giấy phép MIT áp dụng cho mã nguồn và trọng số mô hình theo README. Đây cũng là điểm thuận lợi nếu bạn muốn nghiên cứu, thử nghiệm hoặc xây công cụ nội bộ trong phạm vi phù hợp với giấy phép.
Giới hạn chính là tài nguyên phần cứng và chất lượng kết quả không cố định. Mô hình lớn cần nhiều VRAM, tốc độ thực tế thay đổi theo dữ liệu, còn turbo không phù hợp cho dịch. README cũng không cung cấp thông tin chi tiết về chính sách dữ liệu, giao diện web dựng sẵn hay quy trình triển khai cho môi trường doanh nghiệp.
Bạn nên chọn Whisper khi muốn tự chạy công cụ, cần API Python hoặc muốn xử lý tệp âm thanh hàng loạt. Nếu bạn cần dịch bằng turbo, giao diện hoàn chỉnh cho người dùng phổ thông, cam kết độ chính xác theo ngành hoặc chính sách lưu trữ dữ liệu được mô tả rõ, hãy đánh giá thêm một giải pháp khác trước khi đưa vào quy trình chính thức.
Câu hỏi thường gặp
Whisper có miễn phí không?
README cho biết mã nguồn và trọng số mô hình được phát hành theo giấy phép MIT. Tài liệu không nêu thêm chi phí vận hành, nên chi phí phần cứng và môi trường chạy vẫn cần bạn tự tính.
Có cần GPU không?
README cung cấp mức VRAM ước tính cho từng mô hình nhưng không nói GPU là điều kiện bắt buộc. Tốc độ thực tế phụ thuộc vào phần cứng, ngôn ngữ và tốc độ nói.
Whisper có chạy được trên Windows không?
Có hướng dẫn cài `ffmpeg` trên Windows bằng Chocolatey hoặc Scoop. README không đưa quy trình Windows đầy đủ cho mọi trường hợp, nhưng mã nguồn được mô tả tương thích với Python 3.8–3.11.
Có cần API key hoặc tài khoản OpenAI không?
README không yêu cầu tài khoản hay API key để cài và chạy gói `openai-whisper`. Bạn cần Python, PyTorch, ffmpeg và có thể cần Rust trong một số trường hợp cài đặt.
Mô hình nào phù hợp để bắt đầu?
README cho biết `tiny` và `base` cần khoảng 1 GB VRAM, còn `turbo` có tốc độ cao và mặc định phù hợp với chép lời tiếng Anh. Bạn nên chọn theo bộ nhớ, tốc độ và ngôn ngữ cần xử lý.
Có dùng turbo để dịch sang tiếng Anh được không?
Không nên. README nói turbo không được huấn luyện cho tác vụ dịch và sẽ trả lại ngôn ngữ gốc dù dùng `--task translate`; hãy dùng mô hình đa ngôn ngữ như `medium` hoặc `large`.
Dữ liệu âm thanh có an toàn không?
README không mô tả chính sách lưu trữ, truyền dữ liệu hoặc bảo mật. Vì vậy, với bản ghi nhạy cảm, bạn cần tự kiểm tra cách triển khai và quyền xử lý dữ liệu trước khi sử dụng.


