
Repo & Skill · 13/06/2026 · 11 phút đọc
sglang-omni: chạy mô hình giọng nói, đa phương thức qua API — hướng dẫn cài đặt và dùng
sglang-omni là runtime mã nguồn mở (Python, Apache-2.0) để chạy các mô hình đa phương thức, đọc văn bản thành giọng, nhận dạng giọng nói và hội thoại thời gian thực, qua các endpoint giống OpenAI. Nó nhắm tới người có máy chủ GPU và muốn tự host mô hình. Cài bản phát hành chỉ cần một lệnh uv pip, nhưng chạy từng mô hình cụ thể thì phải theo hướng dẫn riêng của mô hình đó.






















