llama.cpp: chạy mô hình AI ngay trên máy bạn — hướng dẫn cài đặt và dùng

Tóm tắt nhanh
llama.cpp là bộ máy viết bằng C/C++ để chạy các mô hình ngôn ngữ lớn (LLM) trực tiếp trên máy tính của bạn, từ laptop đến máy có card đồ hoạ. Bạn dùng nó để chat với mô hình hoặc dựng một server API tương thích OpenAI. Cài khá dễ: chỉ cần một dòng lệnh, rồi một dòng nữa để tải và chạy mô hình.
llama.cpp là một bộ máy viết bằng C/C++ để chạy mô hình ngôn ngữ lớn (LLM, tức loại AI như ChatGPT) ngay trên máy tính của bạn, không cần thuê dịch vụ đám mây. Nó cũng chạy được các mô hình hiểu hình ảnh (VLM). Tác giả mô tả ngắn gọn là "LLM inference in C/C++", nghĩa là phần chạy mô hình để trả lời, không phải phần huấn luyện.
Bạn nên xem qua repo này nếu là lập trình viên muốn có một server AI chạy cục bộ, hoặc người làm văn phòng, chủ shop tò mò muốn thử AI mà không phải gửi nội dung lên dịch vụ nào. Hiện repo có khoảng 134.500 sao và 25.500 fork, giấy phép MIT, và vẫn được cập nhật trong vài tháng gần đây.
Điểm đáng giá nhất: README nói mục tiêu là chạy LLM với cài đặt tối thiểu và hiệu năng cao trên nhiều loại phần cứng. Bạn chỉ cần một dòng lệnh để cài, một dòng để tải và chạy mô hình từ Hugging Face. Nếu cần, bạn bật thêm một server tương thích OpenAI.
ggml-org/llama.cpp
llama.cpp chạy mô hình ngôn ngữ lớn (LLM) bằng C/C++ ngay trên máy bạn, có chat dòng lệnh và server API tương thích OpenAI.
I.llama.cpp làm được gì
Dưới đây là các tính năng chính, viết theo lợi ích bạn nhận được.
- Chat với mô hình ngay trong terminal. Lệnh
llama climở một phiên trò chuyện. README có minh hoạ phiên làm việc với mô hình hiểu hình ảnh (VLM) bằng công cụ này. - Dựng server API tương thích OpenAI. Lệnh
llama servechạy một server. Nhờ tương thích OpenAI, nhiều ứng dụng vốn viết cho OpenAI có thể chuyển sang trỏ vào máy của bạn. Server còn có giao diện web đi kèm. - Tải mô hình thẳng từ Hugging Face. Chỉ cần thêm tuỳ chọn
-hfcùng tên mô hình, không phải tự tìm file về rồi đặt vào đâu đó. - Không phụ thuộc thư viện ngoài. README ghi đây là bản cài đặt C/C++ thuần, không có phụ thuộc. Nhờ vậy việc cài và build đỡ rắc rối hơn.
- Tối ưu cho nhiều loại máy. Máy Mac chip Apple Silicon được ưu tiên (dùng ARM NEON, Accelerate và Metal). Máy x86 có hỗ trợ AVX, AVX2, AVX512 và AMX. Ngoài ra còn có hỗ trợ cho kiến trúc RISC-V.
- Lượng tử hoá (quantization). Mô hình có thể được nén xuống 1,5, 2, 3, 4, 5, 6 hoặc 8 bit số nguyên. Hiểu đơn giản: mô hình nhẹ hơn, tốn ít bộ nhớ hơn và chạy nhanh hơn.
- Chạy trên card đồ hoạ. Có nhân CUDA riêng cho card NVIDIA, hỗ trợ card AMD qua HIP và card Moore Threads qua MUSA. Có thêm backend Vulkan và SYCL.
- Chạy lai CPU + GPU. Nếu mô hình lớn hơn bộ nhớ card đồ hoạ (VRAM), một phần vẫn được tăng tốc. Máy không quá mạnh vẫn có cơ hội thử mô hình lớn.
- Nhiều backend khác. Bảng backend trong README còn liệt kê BLAS, BLIS, CANN (Huawei Ascend NPU), Hexagon (Snapdragon), OpenCL (Adreno), RPC, WebGPU, ZenDNN (CPU AMD) và một số loại khác.
- Ngữ pháp GBNF. README liệt kê tài liệu về GBNF grammars. Đây là cách ràng buộc dạng câu trả lời của mô hình, hữu ích khi bạn cần kết quả có cấu trúc.
Repo này còn có sẵn các script chuyển đổi mô hình sang định dạng GGUF, ví dụ convert_hf_to_gguf.py. Phần này dành cho người muốn tự chuyển mô hình, người mới chưa cần đụng tới.
II.Cần chuẩn bị gì
Tư liệu không đưa ra một bảng yêu cầu tối thiểu cụ thể, nên mình chỉ nêu những gì có thể suy ra từ README:
- Hệ điều hành: README có lệnh cài cho shell kiểu Unix (dùng
curlvàsh) và lệnh cài cho PowerShell. Vì vậy bạn có thể cài trên máy dùng shell Unix hoặc trên Windows. README cũng nhắc đến build trên Android và Docker. - Kết nối mạng: cần để chạy script cài đặt và để tải mô hình từ Hugging Face.
- Phần cứng: README nói chạy được trên nhiều loại phần cứng, có CPU thuần, Apple Silicon và nhiều loại GPU. Mô hình càng lớn thì càng cần nhiều bộ nhớ. Tư liệu không nói cụ thể cần bao nhiêu RAM, nên bạn hãy bắt đầu từ mô hình nhỏ.
- Tài khoản, API key: README không yêu cầu. Ví dụ trong tài liệu dùng mô hình công khai trên Hugging Face. Với mô hình khác, bạn tự kiểm tra trang của mô hình đó xem có yêu cầu gì không.
- Nếu build từ nguồn: cần có Git, ngoài ra xem hướng dẫn build trong thư mục
docs/của repo. Repo có fileCMakeLists.txt, nhưng các công cụ build cụ thể và phiên bản thì README chưa nói.
III.Cài đặt từng bước
- Mở terminalDùng Terminal (Mac/Linux) hoặc PowerShell (Windows)
- Chạy lệnh càiDán một dòng lệnh cài đặt phù hợp với hệ điều hành của bạn
- Mở terminal mớiĐể máy nhận lệnh llama vừa cài (bước phòng xa)
- Chạy mô hình nhỏDùng llama cli với tuỳ chọn -hf để tải và chat thử
- Bật serverDùng llama serve nếu muốn có API và giao diện web
README đưa ra bốn cách cài: chạy script cài, dùng Docker, tải bản dựng sẵn ở trang releases, hoặc tự build từ mã nguồn. Cách đầu tiên nhanh nhất, mình hướng dẫn cách này trước.
A.Mở terminal đúng chỗ
Trên Windows, tìm "PowerShell" trong menu Start rồi mở lên. Trên Mac hoặc Linux, mở ứng dụng Terminal. Bạn không cần mở trong thư mục đặc biệt nào để chạy script cài.
B.Chạy script cài đặt
Chọn đúng một lệnh cho hệ thống của bạn.
Trên Mac/Linux (hoặc môi trường có curl và sh):
curl -LsSf https://llama.app/install.sh | shTrên Windows, trong PowerShell:
irm https://llama.app/install.ps1 | iexCả hai lệnh đều tải một script từ trang llama.app rồi chạy luôn. Nếu muốn cẩn thận hơn, bạn có thể vào https://llama.app đọc hướng dẫn trước. README cũng gợi ý bạn có thể vào trang đó để làm theo.
Lệnh dạng "tải script rồi chạy ngay" sẽ chạy mã trên máy bạn. Chỉ dùng khi bạn tin nguồn. Nếu không chắc, hãy chọn cách tải bản dựng sẵn ở trang releases hoặc build từ mã nguồn.
C.Hoặc: Docker, bản dựng sẵn, build từ nguồn
README còn ghi ba cách khác. Docker thì xem tài liệu Docker trong thư mục docs/ của repo. Bản dựng sẵn thì tải ở trang releases của repo trên GitHub. Nếu muốn tự build, bạn lấy mã nguồn về:
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cppSau đó làm theo build guide trong thư mục docs/. README chưa chép các lệnh build ra ngoài trang chính, nên mình không viết thêm ở đây để tránh sai. Người mới nên ưu tiên cách script cài hoặc bản dựng sẵn.
D.Mở terminal mới
Sau khi cài xong, hãy đóng terminal cũ và mở một cửa sổ mới. Việc này giúp máy nhận được lệnh llama nếu cài đặt có chỉnh đường dẫn. README không nói rõ bước này, nhưng làm vậy không gây hại.
E.Chạy thử mô hình nhỏ
README dùng một mô hình rất nhỏ để thử:
# Download and run a model directly from Hugging Face
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFLệnh này tải mô hình ggml-org/Qwen3.5-0.8B-GGUF từ Hugging Face về máy rồi mở phiên chat. Lần đầu sẽ mất thời gian vì phải tải. Những lần sau thường nhanh hơn, vì mô hình đã có sẵn trên máy.
F.Bật server API
Nếu muốn có API và giao diện web:
# Launch OpenAI-compatible API server
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFLệnh này chạy server với cùng mô hình. README cho biết có giao diện web tích hợp để dùng với llama serve. Địa chỉ và cổng truy cập thì README chưa ghi, bạn hãy xem dòng thông báo trong terminal khi server khởi động, hoặc đọc tài liệu server trong repo.
IV.Kiểm tra đã chạy được chưa
Cách kiểm tra đơn giản nhất là chạy lệnh llama cli ở trên. Nếu mô hình tải xong và bạn gõ được câu hỏi rồi nhận câu trả lời, nghĩa là cài thành công. README không mô tả chính xác dòng chữ hiện ra, nên đừng lo nếu màn hình của bạn khác với ví dụ ở nơi khác.
Với server, dấu hiệu tốt là lệnh llama serve chạy mà không báo lỗi và vẫn giữ nguyên, không tự thoát. Sau đó bạn mở giao diện web đi kèm theo địa chỉ mà server in ra, rồi thử gửi một câu hỏi.
V.Dùng vào việc thật
Các tình huống dưới đây bám theo những gì README nói repo làm được. Mình dùng mô hình nhỏ trong ví dụ để dễ thử trên máy phổ thông.
A.Người mới muốn thử AI mà không đăng ký tài khoản
Bạn là nhân viên hành chính, tò mò về AI nhưng không muốn tạo tài khoản dịch vụ nào. Bạn cài llama.cpp, mở terminal và chạy:
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFSau đó bạn gõ yêu cầu thử, ví dụ: "Viết giúp mình ba dòng giới thiệu cửa hàng bán trà." Mô hình nhỏ cho chất lượng không bằng các dịch vụ lớn, nhưng bạn thấy ngay AI chạy trên chính máy mình thế nào. Cách này không cần API key.
Cài một dòng, chạy một dòng, và mô hình nằm ngay trên máy bạn.
Ông T
B.Lập trình viên cần server AI cục bộ để làm thử ứng dụng
Bạn là dev đang viết một công cụ nội bộ cho công ty, đã quen gọi API kiểu OpenAI. Bạn không muốn tốn tiền gọi dịch vụ trong lúc phát triển. Bạn chạy:
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFSau đó trỏ ứng dụng của bạn vào địa chỉ server cục bộ (xem trong log khởi động) thay cho địa chỉ dịch vụ bên ngoài. Vì README nói server tương thích OpenAI, bạn có thể thử mà không phải viết lại phần gọi. Khi gặp khác biệt nhỏ, hãy đối chiếu với tài liệu server trong repo.
C.Chủ shop muốn dùng giao diện web thay vì gõ lệnh
Bạn là chủ cửa hàng, không thích màn hình đen. Nhờ một người quen kỹ thuật bật llama serve, rồi bạn dùng giao diện web đi kèm để chat. Bạn có thể nhờ mô hình viết nháp mô tả sản phẩm, soạn lời cảm ơn khách hoặc tóm tắt đoạn email dài. Mọi thứ chạy trên máy của bạn, không cần mở thêm dịch vụ nào.
D.Dev có card đồ hoạ vừa phải muốn thử mô hình lớn hơn
Bạn có máy với card NVIDIA nhưng VRAM không nhiều. README cho biết llama.cpp có chạy lai CPU + GPU, và có lượng tử hoá để mô hình nhẹ hơn. Cách làm hợp lý: bắt đầu bằng mô hình nhỏ như ở trên, rồi thử từng mô hình lớn dần. Bạn đọc phần "Multi-GPU usage" và "Performance troubleshooting" trong tài liệu của repo để biết cách chỉnh. Mình không chép cờ lệnh vào đây vì README chính chưa liệt kê chúng.
VI.Lỗi hay gặp và cách xử lý
A.Lệnh cài đặt báo lỗi hoặc không tải được script
Nguyên nhân thường là mạng chặn, proxy công ty hoặc chính sách bảo mật của máy. Hãy thử mạng khác, hoặc chuyển sang cách tải bản dựng sẵn ở trang releases. Nếu máy công ty chặn chạy script, nhờ bộ phận IT hỗ trợ thay vì tự tắt bảo vệ.
B.Gõ llama báo không tìm thấy lệnh
Đóng terminal đang mở và mở cửa sổ mới, vì đường dẫn chỉ được nạp lại khi mở phiên mới. Nếu vẫn lỗi, xem lại xem script cài có báo lỗi gì ở dòng cuối không, hoặc đọc hướng dẫn trên https://llama.app.
C.Máy chậm, treo hoặc hết bộ nhớ khi chạy mô hình
Đây là dấu hiệu mô hình quá lớn so với máy. Hãy quay về mô hình nhỏ như ví dụ trong README, hoặc chọn bản đã lượng tử hoá nhẹ hơn. Với máy có GPU yếu, đọc phần chạy lai CPU+GPU và hướng dẫn xử lý hiệu năng trong thư mục docs/.
D.Tải mô hình từ Hugging Face bị lỗi hoặc rất chậm
Kiểm tra lại kết nối mạng và tên mô hình sau -hf xem có gõ đúng không (chú ý chữ hoa, chữ thường và dấu gạch). Thử chạy lại lệnh sau vài phút. Một số mô hình có thể yêu cầu điều kiện truy cập trên Hugging Face. Tư liệu chưa có thông tin chi tiết về việc này, nên hãy xem trang của mô hình đó.
E.Build từ mã nguồn bị lỗi
Build từ nguồn đòi hỏi các công cụ biên dịch, và mỗi máy một khác. Hãy đọc kỹ build guide trong docs/ của repo và so khớp với hệ điều hành bạn đang dùng. Nếu không có nhu cầu đặc biệt, quay lại cách script cài hoặc bản dựng sẵn cho đỡ vất vả.
VII.Có nên dùng không
Điểm mạnh. llama.cpp cài nhanh, có giấy phép MIT, và hỗ trợ rất nhiều loại phần cứng, từ CPU thông thường tới nhiều dòng GPU. Dự án lớn (hơn 134.000 sao) và vẫn được cập nhật. Việc chạy mô hình trên máy mình cho bạn quyền chủ động: không cần tài khoản dịch vụ, và bạn tự quyết định mô hình nào được dùng.
Giới hạn. Đây là công cụ dòng lệnh và server, không phải ứng dụng có đủ mọi tiện ích dành cho người mới. Chất lượng câu trả lời phụ thuộc vào mô hình bạn chọn. Mô hình nhỏ chạy nhẹ nhưng không thể sánh với các dịch vụ lớn. Một số backend trong README còn ghi "In Progress", ví dụ OpenVINO, nên đừng kỳ vọng mọi thứ đã hoàn thiện. README cũng chưa nêu yêu cầu phần cứng cụ thể, nên bạn sẽ phải thử và điều chỉnh.
Khi nào nên chọn cách khác. Nếu bạn chỉ cần một ứng dụng chat có giao diện đẹp, không muốn đụng tới terminal, hãy tìm một ứng dụng đóng gói sẵn. Nếu cần chất lượng cao nhất cho công việc quan trọng và không ngại dùng dịch vụ đám mây, các dịch vụ lớn vẫn là lựa chọn dễ hơn. Còn nếu bạn muốn hiểu cách AI chạy trên máy mình, hoặc cần một server cục bộ để làm ứng dụng, llama.cpp là nơi đáng để bắt đầu.
Câu hỏi thường gặp
llama.cpp có miễn phí không?
Repo dùng giấy phép MIT, là giấy phép mã nguồn mở khá thoáng. README không nhắc đến phí sử dụng. Với từng mô hình bạn tải về, hãy xem giấy phép của mô hình đó trên trang Hugging Face.
Có cần card đồ hoạ (GPU) không?
Tư liệu không nói bắt buộc phải có GPU. README cho biết llama.cpp chạy được trên nhiều loại phần cứng, có CPU và Apple Silicon. Nếu có GPU thì có thêm các backend như CUDA, HIP, Vulkan và SYCL, và có thể chạy lai CPU + GPU.
Chạy được trên Windows không?
README có sẵn lệnh cài cho PowerShell (irm https://llama.app/install.ps1 | iex), nên có đường cài cho Windows. Ngoài ra còn có bản dựng sẵn ở trang releases. Tư liệu không nêu yêu cầu phiên bản Windows cụ thể.
Dữ liệu của tôi có an toàn không?
README mô tả llama.cpp chạy suy luận mô hình trên máy của bạn (cục bộ hoặc trên đám mây bạn tự chọn). Tư liệu không có phần nói riêng về quyền riêng tư. Bạn nên tự kiểm tra, đặc biệt khi mở server cho máy khác truy cập.
llama.cpp và llama cli, llama serve khác nhau thế nào?
llama.cpp là tên cả dự án. Lệnh llama cli dùng để chat trực tiếp trong terminal, còn llama serve dùng để chạy server API tương thích OpenAI, có kèm giao diện web.
Tôi cần tải mô hình ở đâu?
README dùng tuỳ chọn -hf để tải mô hình thẳng từ Hugging Face, ví dụ ggml-org/Qwen3.5-0.8B-GGUF. Bạn không cần tự tải file về cho ví dụ này.
Có cần biết lập trình để dùng không?
Để cài và chat thử thì chỉ cần dán lệnh vào terminal. Muốn dùng server làm ứng dụng riêng thì cần chút kiến thức lập trình. Tư liệu không có hướng dẫn chi tiết cho người chưa từng dùng terminal.


