sglang-omni: chạy mô hình giọng nói, đa phương thức qua API — hướng dẫn cài đặt và dùng
Bài này là một góc nhìn khác về sgl-project/sglang-omni — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: SGLang-Omni: chạy mô hình giọng nói và đa phương thức nhanh — hướng dẫn cài đặt và dùng →

Tóm tắt nhanh
sglang-omni là runtime mã nguồn mở (Python, Apache-2.0) để chạy các mô hình đa phương thức, đọc văn bản thành giọng, nhận dạng giọng nói và hội thoại thời gian thực, qua các endpoint giống OpenAI. Nó nhắm tới người có máy chủ GPU và muốn tự host mô hình. Cài bản phát hành chỉ cần một lệnh uv pip, nhưng chạy từng mô hình cụ thể thì phải theo hướng dẫn riêng của mô hình đó.
SGLang-Omni là một runtime (phần mềm chạy nền) dùng để phục vụ các mô hình AI đa phương thức, giọng nói và đọc văn bản thành tiếng (TTS). Bạn nạp mô hình vào, nó mở ra các API giống kiểu OpenAI để ứng dụng của bạn gọi tới. Repo do nhóm SGLang phát triển và dùng giấy phép Apache-2.0.
Vấn đề nó giải quyết khá cụ thể. Một mô hình giọng nói hay mô hình "omni" thường không chạy một mạch. Nó chia thành nhiều chặng: tiền xử lý, bộ mã hoá, bộ sinh chữ, bộ sinh giọng, bộ vocoder... Mỗi chặng cần tài nguyên khác nhau. SGLang-Omni quản lý các chặng này, điều phối chúng và đẩy dữ liệu giữa chúng cho nhanh.
Nếu bạn là lập trình viên, kỹ sư hạ tầng AI, hoặc một đội nhỏ muốn tự dựng dịch vụ đọc giọng, chép lời, trợ lý giọng nói trên máy chủ của mình thì repo này đáng xem. Điểm đáng giá nhất là danh sách mô hình hỗ trợ rất rộng và có hướng dẫn riêng (cookbook) cho từng mô hình. Hiện repo có khoảng 1771 sao và 726 fork.
sgl-project/sglang-omni
SGLang-Omni là runtime phục vụ mô hình omni, TTS, ASR, tạo nhạc, ảnh và video, có API tương thích OpenAI để bạn tự dựng dịch vụ giọng nói.
I.SGLang-Omni làm được gì
A.Một cổng API cho nhiều loại việc
Bạn gọi qua các endpoint tương thích OpenAI. README nhắc tới chat đa phương thức, tạo giọng nói (/v1/audio/speech), tạo giọng hàng loạt, tạo giọng dạng streaming, tải giọng mẫu lên và chép lời (/v1/audio/transcriptions). Nếu ứng dụng của bạn đã biết gọi API kiểu OpenAI thì việc chuyển sang tự host sẽ đỡ phải viết lại nhiều.
B.Nhiều họ mô hình
Theo README, repo phục vụ các nhóm sau:
- Chat omni và giọng nóiQwen3-Omni, MiniCPM-o 4.5, Ming-Omni. Chúng hiểu nhiều loại dữ liệu và trả lời bằng chữ hoặc âm thanh.
- Hội thoại song công (full-duplex)MiniCPM-o 4.5, PersonaPlex, NemotronLabs VoiceChat. Mô hình vừa nghe vừa nói theo thời gian thực qua
/v1/realtime. - Trợ lý giọng nói dạng nối tầngghép ASR → LLM → TTS thành cuộc hội thoại theo lượt, có phát hiện giọng nói, lịch sử hội thoại và ngắt lời.
- Tạo ảnh và videoLLaDA2.0-Uni, Cosmos3 Nano.
- Tạo nhạcMiniMax Music 3, nhận lời bài hát cộng mô tả rồi cho ra bài hát stereo 32 kHz.
- Đọc văn bản thành giọngHiggs Audio v3, MOSS-TTS, Fish Audio Drama 3, Fish Speech S2-Pro, Qwen3-TTS, Fun-CosyVoice3, Voxtral TTS và nhiều mô hình khác. Tính năng streaming, chạy hàng loạt hay nhân bản giọng khác nhau tuỳ mô hình.
- Chép lời (ASR)Qwen3-ASR, Fun-ASR, Nemotron, Ming-3.0-ASR, Whisper (thử nghiệm) và MOSS-Transcribe-Diarize. Mô hình cuối còn trả nhãn người nói và mốc thời gian.
- Tách người nói (diarization)Nemotron 3 Diarization, xử lý cả file ghi âm lẫn âm thanh trực tiếp.
- Dịch giọng nóiHy-SimulMT, dịch giọng Trung sang chữ Anh và giọng Anh sang chữ Trung.
C.Chia chặng và truyền dữ liệu thông minh
Mỗi chặng chạy với bộ lập lịch phù hợp với việc của nó. Phần tự hồi quy dùng bộ lập lịch của SGLang. Phần tiền xử lý hay vocoder dùng vòng lặp nhẹ hơn. Dữ liệu tensor giữa các chặng đi qua shared-memory, NCCL, NIXL hoặc Mooncake. Với người dùng thường, điều này nghĩa là mô hình nhiều chặng được tận dụng GPU tốt hơn.
D.Ngoài runtime còn có Voxt
Trong repo có thư mục Voxt/, một công cụ nhập liệu bằng giọng nói mã nguồn mở cho Mac. README nói nó dùng SGLang-Omni để nhận dạng giọng nói cục bộ nhanh hơn trên Apple Silicon, có thể ghép thêm bước LLM chỉnh sửa văn bản. Bạn có thể chạy hoàn toàn cục bộ hoặc dùng suy luận từ xa. Bản cài .dmg nằm ở trang Releases của repo.
II.Cần chuẩn bị gì
Theo tư liệu repo, bạn cần:
- Python từ 3.11 đến dưới 3.13. File
pyproject.tomlghi rõ yêu cầu này. - Công cụ
uv. Lệnh cài trong README dùnguv pip, nên bạn cần cóuvtrước. README không hướng dẫn càiuv, bạn xem tài liệu chính thức của uv. - Phần cứng:
- NVIDIA CUDA là backend mặc định, hỗ trợ đầy đủ mô hình nhất.
- Intel GPU (XPU), cụ thể là card Intel Arc qua PyTorch XPU, được ghi là hỗ trợ cho nhiều mô hình ASR, TTS và omni.
- Apple Silicon ở mức thử nghiệm: Qwen3-ASR chạy qua Torch MPS trên macOS arm64, cài bằng
install.sh.
- Repo còn có các file cấu hình riêng cho CPU, ROCm, NPU và MUSA (
pyproject_cpu.toml,pyproject_rocm.toml,pyproject_npu.toml,pyproject_musa.toml), nhưng README không nói gì thêm về các nền tảng này.
Tư liệu không nêu dung lượng VRAM cần cho từng mô hình, cũng không nói rõ có hỗ trợ Windows hay không. Mỗi mô hình có cookbook ghi cách chạy và số card cần dùng, bạn đọc trang đó trước khi tải mô hình về.
Phần lớn mô hình ở đây là mô hình lớn, tải từ Hugging Face. Hãy kiểm tra dung lượng ổ đĩa, VRAM và điều khoản sử dụng của từng mô hình trước khi tải. Nếu thuê máy chủ GPU theo giờ, nhớ tắt máy khi không dùng để khỏi tốn tiền.
III.Cài đặt từng bước
- Chuẩn bị môi trườngCó Python 3.11 hoặc 3.12 và công cụ uv
- Cài bản phát hànhChạy một lệnh uv pip install từ PyPI
- Hoặc lấy mã nguồnDùng git clone nếu muốn xem mã hay tự sửa
- Chọn mô hìnhMở cookbook của mô hình bạn muốn chạy
- Làm theo lệnh khởi chạyDùng đúng lệnh trong cookbook
A.Chuẩn bị Python và uv
Mở terminal (PowerShell, Terminal trên Mac hoặc shell trên máy chủ Linux) rồi kiểm tra phiên bản Python:
python --versionKết quả cần là 3.11.x hoặc 3.12.x. Nếu ra 3.13 hoặc 3.10 thì gói sẽ không cài được theo yêu cầu của pyproject.toml. Chỗ này người mới hay vấp: một máy có thể có nhiều bản Python, bạn nên tạo môi trường ảo bằng đúng bản 3.11 hoặc 3.12. README không hướng dẫn tạo môi trường ảo, bạn xem tài liệu của uv.
B.Cài bản phát hành từ PyPI
Đây là cách nhanh nhất, README ghi đúng lệnh này:
uv pip install --prerelease=allow "sglang-omni==0.2.0"Lệnh dùng uv để cài gói sglang-omni đúng bản 0.2.0. Cờ --prerelease=allow cho phép uv lấy cả các gói phụ thuộc ở dạng tiền phát hành, đừng bỏ cờ này. Hướng dẫn cài đặt đầy đủ nằm ở trang Installation trong tài liệu của dự án (sgl-project.github.io/sglang-omni).
C.Lấy mã nguồn về (tuỳ chọn)
Nếu bạn muốn đọc mã, chạy ví dụ trong thư mục examples/ hoặc thử thư mục playground/:
git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omniLệnh đầu tải toàn bộ repo về máy. Lệnh thứ hai đi vào thư mục vừa tải. README chưa ghi lệnh cài từ mã nguồn bằng tay. Với Apple Silicon, README chỉ nói dùng script install.sh ở thư mục gốc và làm theo hướng dẫn Qwen3-ASR. Mình không đoán thêm tham số, bạn mở file install.sh và trang hướng dẫn đó để xem.
D.Chọn mô hình và chạy theo cookbook
Sau khi cài gói, bạn cần chọn mô hình. Mỗi mô hình có lệnh khởi chạy và yêu cầu riêng, nên README gửi bạn tới Cookbook thay vì ghi một lệnh chung. README cũng chưa ghi lệnh khởi chạy máy chủ ở phần chính. Bạn nên bắt đầu từ ba trang này:
- Trang Installation
- Trang TTS usage (basic_usage/tts)
- Cookbook ASR của Qwen3-ASR
Người mới nên chọn một mô hình nhẹ trước, ví dụ một mô hình ASR, để thử vòng lặp: chạy máy chủ, gọi API, nhận kết quả. Sau đó hãy chuyển sang mô hình lớn hơn.
IV.Kiểm tra đã chạy được chưa
Tư liệu chưa ghi một lệnh kiểm tra duy nhất cho cả repo. Bạn có thể kiểm tra theo hai tầng.
Tầng cài đặt. Dùng lệnh phổ thông của uv để xem gói đã vào môi trường chưa:
uv pip show sglang-omniNếu thấy tên gói và phiên bản 0.2.0, phần cài đã xong.
Tầng chạy mô hình. Làm theo cookbook của mô hình bạn chọn. Theo tư liệu, khi máy chủ hoạt động bạn sẽ có các endpoint như /v1/audio/speech cho đọc giọng hay /v1/audio/transcriptions cho chép lời. Dấu hiệu thành công là gọi vào đó và nhận được file âm thanh hoặc đoạn chữ. Nếu lệnh khởi chạy báo lỗi về thiếu GPU hay thiếu bộ nhớ, hãy quay lại cookbook xem mô hình đó cần mấy card.
V.Dùng vào việc thật
Các tình huống dưới đây bám vào khả năng được ghi trong README. Lệnh gọi API cụ thể, bạn lấy từ trang hướng dẫn tương ứng vì tư liệu chưa nêu tham số.
A.Chép lời cuộc họp và tách người nói
Bối cảnh: Bạn là nhân viên văn phòng hoặc trưởng nhóm, mỗi tuần có vài cuộc họp ghi âm và không muốn đẩy file lên dịch vụ bên ngoài.
Cách làm: Nhờ bộ phận IT hoặc một bạn dev chạy mô hình MOSS-Transcribe-Diarize qua /v1/audio/transcriptions. README nói mô hình này trả được nhãn người nói và mốc thời gian khi đặt response_format=verbose_json. Nếu cần tách người nói riêng, có Nemotron 3 Diarization, xử lý cả chỗ nhiều người nói chồng lên nhau.
Kết quả: Một bản chép lời có phân biệt người nói và thời gian. Bạn dùng nó để tóm tắt hoặc làm biên bản.
B.Dựng giọng đọc cho video hoặc tổng đài
Bối cảnh: Chủ shop hoặc đội nội dung cần đọc hàng trăm mô tả sản phẩm thành audio, hoặc làm lời chào tự động.
Cách làm: Dev của bạn chạy một mô hình TTS như Qwen3-TTS hay Fish Audio Drama 3 và gọi /v1/audio/speech. Drama 3 được README mô tả là TTS nhiều người nói, có nhân bản giọng và điều khiển bằng ngôn ngữ tự nhiên, phát streaming. README nói tính năng streaming và giọng mẫu khác nhau tuỳ mô hình, nên bạn đọc cookbook của mô hình đã chọn.
Kết quả: Một dịch vụ đọc giọng nằm trên máy chủ của bạn. Công cụ nội bộ hay website gọi vào đó thay cho dịch vụ thuê ngoài.
Với mô hình nhiều chặng, phần khó không nằm ở mô hình mà ở việc điều phối các chặng cho khít.
Ông T
C.Trợ lý giọng nói nói chuyện theo thời gian thực
Bối cảnh: Dev muốn làm thử một trợ lý có thể vừa nghe vừa trả lời, giống như đang gọi điện.
Cách làm: Chọn một mô hình song công như PersonaPlex, NemotronLabs VoiceChat hoặc MiniCPM-o 4.5, rồi kết nối qua /v1/realtime. MiniCPM-o còn nhận cả hình từ camera. Hoặc ghép ASR → LLM → TTS thành chuỗi nối tầng có ngắt lời, theo hướng dẫn Streaming cascade trong tài liệu dự án.
Kết quả: Một bản demo hội thoại tự nhiên. Đây là hướng đi cho nhóm làm sản phẩm giọng nói.
D.Nhập liệu bằng giọng trên Mac với Voxt
Bối cảnh: Bạn dùng máy Mac chip Apple Silicon, gõ nhiều và muốn đọc cho máy chép.
Cách làm: Tải bản .dmg Voxt từ trang Releases của repo, cài như một ứng dụng Mac bình thường. README nói Voxt cho nhập liệu bằng giọng, dịch và trợ lý AI cục bộ, có thể ghép bước LLM để chỉnh văn bản và dùng câu lệnh hệ thống cá nhân cho thuật ngữ chuyên ngành.
Kết quả: Bạn đọc, máy gõ ra chữ đã được chỉnh. Đây là đường vào dễ nhất cho người không rành lập trình, nhưng chỉ có bản cho Mac.
VI.Lỗi hay gặp và cách xử lý
A.Cài báo sai phiên bản Python
Nguyên nhân: Máy đang dùng Python 3.10 hoặc 3.13, trong khi gói yêu cầu từ 3.11 đến dưới 3.13.
Cách xử lý: Tạo môi trường mới bằng Python 3.11 hoặc 3.12 rồi cài lại. Đừng cố sửa file pyproject.toml để ép cài.
B.Không tìm thấy lệnh uv
Nguyên nhân: Lệnh cài trong README dùng uv, còn máy bạn chưa có.
Cách xử lý: Cài uv theo tài liệu chính thức của uv, mở terminal mới rồi chạy lại lệnh.
C.Quên cờ --prerelease=allow
Nguyên nhân: Chạy uv pip install sglang-omni mà thiếu cờ này, gói phụ thuộc dạng tiền phát hành bị từ chối.
Cách xử lý: Chép đúng lệnh trong README, kể cả cờ và dấu ngoặc kép quanh "sglang-omni==0.2.0".
D.Hết bộ nhớ GPU hoặc mô hình không khởi động
Nguyên nhân: Mô hình đòi nhiều VRAM hoặc nhiều card hơn máy bạn có. Tư liệu nói riêng Intel XPU có ghi số card cần cho từng mô hình.
Cách xử lý: Đọc lại cookbook của mô hình đó, chọn mô hình nhỏ hơn hoặc dùng máy có cấu hình cao hơn. Không tự đoán tham số.
E.Chọn mô hình không hợp backend
Nguyên nhân: Backend Apple Silicon hiện mới thử nghiệm với Qwen3-ASR, còn Intel XPU chỉ hỗ trợ một số mô hình trong danh sách.
Cách xử lý: Kiểm tra bảng Hardware Support trong README và trang hướng dẫn tương ứng trước khi tải mô hình.
VII.Có nên dùng không
Điểm mạnh: Danh sách mô hình rộng, từ TTS, ASR, hội thoại thời gian thực đến tạo nhạc, ảnh, video, tất cả gom trong một runtime với API quen thuộc kiểu OpenAI. Mỗi mô hình có cookbook riêng. Dự án còn được cập nhật trong 3 tháng gần đây, giấy phép Apache-2.0 và có cộng đồng trên Slack.
Giới hạn: Đây là hạ tầng cho người có kỹ thuật, không phải ứng dụng bấm là chạy (trừ Voxt trên Mac). README chưa ghi sẵn lệnh khởi chạy chung, bạn phải đọc từng cookbook. CUDA là backend đầy đủ nhất, còn Apple Silicon mới ở mức thử nghiệm. Tư liệu cũng chưa nói về Windows.
Khi nào nên chọn cách khác: Nếu bạn chỉ cần chép lời hay đọc giọng vài lần mỗi tuần, dịch vụ trả phí hoặc ứng dụng có sẵn sẽ đỡ công hơn. Nếu bạn muốn nhập liệu bằng giọng trên Mac mà không đụng dòng lệnh, hãy thử Voxt riêng. SGLang-Omni phù hợp nhất khi bạn cần tự host, cần kiểm soát dữ liệu và chạy nhiều mô hình giọng nói với thông lượng cao.
Câu hỏi thường gặp
SGLang-Omni có miễn phí không?
Repo dùng giấy phép Apache-2.0, là giấy phép mã nguồn mở cho phép dùng tự do. Tuy nhiên mỗi mô hình bạn tải về có điều khoản riêng, và bạn phải tự trả chi phí máy chủ hoặc GPU. Tư liệu không nêu thông tin về giá.
Cần GPU không?
NVIDIA CUDA là backend mặc định với độ phủ mô hình đầy đủ nhất. Card Intel Arc (XPU) cũng được ghi là hỗ trợ nhiều mô hình, còn Apple Silicon ở mức thử nghiệm với Qwen3-ASR. Tư liệu chưa nêu cụ thể dung lượng VRAM cho từng mô hình, bạn xem trong cookbook của mô hình đó.
Cài bằng lệnh nào?
README ghi lệnh: uv pip install --prerelease=allow "sglang-omni==0.2.0". Bạn cần Python từ 3.11 đến dưới 3.13 và công cụ uv. Trang Installation trong tài liệu dự án có hướng dẫn đầy đủ hơn.
Chạy trên Windows được không?
Tư liệu chưa có thông tin rõ về Windows. README chỉ nói về NVIDIA CUDA, Intel XPU và Apple Silicon (macOS arm64). Bạn nên xem trang Installation trong tài liệu dự án để biết hệ điều hành được hỗ trợ.
Dữ liệu của tôi có an toàn không?
Vì bạn tự host, dữ liệu âm thanh và văn bản chạy trên máy của bạn thay vì gửi cho dịch vụ bên thứ ba. README nói Voxt có tuỳ chọn suy luận hoàn toàn cục bộ hoặc từ xa. Tư liệu không nói gì thêm về bảo mật, nên cấu hình mạng và quyền truy cập là việc bạn phải tự lo.
SGLang-Omni khác gì SGLang thường?
Theo README, SGLang-Omni là runtime nhiều chặng cho mô hình omni, giọng nói và TTS, trong khi SGLang lo phần lập lịch và chạy mô hình tự hồi quy ở nơi áp dụng được. SGLang-Omni tự quản lý cấu trúc pipeline, vòng đời từng chặng, đường truyền dữ liệu giữa các chặng và giao diện API tương thích OpenAI.
Người không biết lập trình dùng được không?
Phần runtime chủ yếu dành cho người có kỹ năng kỹ thuật, vì phải cài gói, chọn mô hình và chạy máy chủ. Riêng Voxt, README nói có bản cài .dmg cho Mac, nên dễ hơn cho người dùng thường. Tư liệu chưa có hướng dẫn dành riêng cho người không biết lập trình.


