llama.cpp: chạy LLM cục bộ nhanh gọn — hướng dẫn cài đặt và dùng
Bài này là một góc nhìn khác về ggml-org/llama.cpp — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: llama.cpp: chạy mô hình AI ngay trên máy bạn — hướng dẫn cài đặt và dùng →

Tóm tắt nhanh
llama.cpp là framework C/C++ để chạy suy luận LLM và VLM trên máy cá nhân hoặc môi trường đám mây. Repo hỗ trợ nhiều phần cứng, mô hình GGUF, lượng tử hóa và API tương thích OpenAI; cách cài nhanh được README mô tả khá ngắn gọn.
llama.cpp là framework C/C++ giúp bạn chạy mô hình ngôn ngữ lớn (LLM) và mô hình thị giác-ngôn ngữ (VLM) ngay trên máy của mình hoặc trong môi trường đám mây. Repo tập trung vào suy luận, tức là nhận câu hỏi hoặc dữ liệu đầu vào rồi tạo ra kết quả từ mô hình đã có.
Repo phù hợp với lập trình viên muốn tự xây ứng dụng AI, người làm kinh doanh muốn thử chatbot nội bộ, hoặc nhân viên văn phòng cần chạy mô hình mà không muốn gửi dữ liệu lên dịch vụ bên ngoài. Điểm đáng giá nhất là dự án hỗ trợ nhiều loại phần cứng, có thể dùng CPU, GPU hoặc kết hợp CPU và GPU, đồng thời có lệnh CLI và máy chủ API tương thích OpenAI.
Repo hiện có khoảng 134731 sao và 25528 fork. Dự án dùng giấy phép MIT, ngôn ngữ chính là C++, và vẫn còn được cập nhật. README giới thiệu các cách cài nhanh, cách tải mô hình trực tiếp từ Hugging Face, cũng như cách mở API server.
ggml-org/llama.cpp
llama.cpp giúp chạy mô hình ngôn ngữ và thị giác cục bộ bằng C/C++ trên CPU, GPU hoặc môi trường đám mây.
I.llama.cpp làm được gì
A.Chạy LLM và VLM tại chỗ
Mục tiêu chính của llama.cpp là giúp chạy suy luận LLM và VLM với thiết lập tối thiểu. Bạn có thể dùng mô hình để trò chuyện, xử lý nội dung hoặc làm nền cho một ứng dụng AI mà không nhất thiết phải gọi dịch vụ AI từ xa.
Điều này hữu ích khi bạn muốn thử nghiệm nhanh, kiểm soát nơi dữ liệu được xử lý, hoặc xây một công cụ nội bộ chạy trong hạ tầng của doanh nghiệp. README không cam kết mọi mô hình đều chạy trên mọi máy, vì hiệu năng còn phụ thuộc mô hình và phần cứng.
B.Chạy qua dòng lệnh
Repo cung cấp lệnh llama cli. Bạn có thể tải và chạy một mô hình trực tiếp từ Hugging Face bằng một câu lệnh. Đây là cách phù hợp để kiểm tra nhanh mô hình trước khi tích hợp vào ứng dụng lớn hơn.
Lệnh CLI cũng phù hợp với người mới vì không cần tự viết chương trình C++ để có lần chạy đầu tiên. Sau khi cài xong, bạn chỉ cần chọn mô hình được README minh họa và chạy lệnh tương ứng.
C.Mở máy chủ API tương thích OpenAI
Lệnh llama serve có thể khởi chạy API server tương thích với OpenAI. Đây là phần quan trọng nếu bạn muốn kết nối llama.cpp với một ứng dụng web, phần mềm nội bộ hoặc một chương trình tự viết.
Thay vì để từng người dùng mở terminal riêng, bạn có thể đặt máy chủ ở một máy dùng chung rồi cho các ứng dụng gọi vào API. README có nhắc tới REST API của llama-server, nhưng phần nội dung được cung cấp chưa ghi chi tiết endpoint, cổng mạng hay ví dụ request.
D.Lượng tử hóa để giảm mức dùng bộ nhớ
llama.cpp hỗ trợ lượng tử hóa số nguyên 1.5-bit, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit và 8-bit. Lượng tử hóa có thể giúp mô hình dùng ít bộ nhớ hơn và chạy nhanh hơn so với cách giữ nguyên độ chính xác ban đầu.
Đây là điểm hữu ích với máy không có nhiều VRAM. Tuy vậy, README không đưa ra bảng so sánh chất lượng, tốc độ hoặc dung lượng cụ thể cho từng mức lượng tử hóa. Khi chọn mô hình, bạn vẫn nên kiểm tra yêu cầu thực tế của mô hình đó.
E.Tận dụng nhiều loại phần cứng
Repo có hỗ trợ tối ưu cho Apple silicon thông qua ARM NEON, Accelerate và Metal. Với kiến trúc x86, dự án hỗ trợ AVX, AVX2, AVX512 và AMX. RISC-V cũng có các phần mở rộng được liệt kê trong README.
Ở phía GPU, llama.cpp có kernel CUDA cho GPU NVIDIA, hỗ trợ GPU AMD qua HIP và GPU Moore Threads qua MUSA. Ngoài ra còn có backend Vulkan, SYCL, WebGPU, OpenCL và một số backend chuyên dụng khác.
F.Kết hợp CPU và GPU
CPU+GPU hybrid inference cho phép phân chia việc suy luận giữa CPU và GPU. Cách này có thể giúp chạy một mô hình lớn hơn tổng dung lượng VRAM của GPU.
Tính năng này hữu ích khi máy có GPU nhưng VRAM không đủ chứa toàn bộ mô hình. README chỉ mô tả khả năng ở mức tổng quan, chưa cung cấp lệnh cấu hình cụ thể trong phần nội dung được cung cấp.
II.Cần chuẩn bị gì
Bạn cần một máy có phần cứng phù hợp để chạy mô hình. README nói llama.cpp hướng tới nhiều loại phần cứng, gồm CPU, GPU và môi trường đám mây. Các backend được liệt kê gồm BLAS, CUDA, HIP, Metal, Vulkan, SYCL, WebGPU và nhiều backend khác.
Nếu dùng máy Apple silicon, repo có hỗ trợ các framework ARM NEON, Accelerate và Metal. Nếu dùng GPU NVIDIA, README nêu backend CUDA. GPU AMD có thể dùng HIP, còn Vulkan là một lựa chọn cho GPU nói chung. Đây là các khả năng của dự án, không phải lời khẳng định rằng mọi backend đã được bật sẵn trong mọi bản cài.
Bạn cũng cần một mô hình để chạy. README minh họa mô hình ggml-org/Qwen3.5-0.8B-GGUF, được tải trực tiếp từ Hugging Face bằng lệnh llama cli hoặc llama serve. Repo có thư mục và công cụ liên quan đến chuyển đổi mô hình như convert_hf_to_gguf.py, nhưng README được cung cấp không ghi quy trình chuyển đổi chi tiết.
Bạn cần quyền truy cập Internet nếu muốn dùng cách tải trình cài đặt từ llama.app hoặc tải mô hình trực tiếp từ Hugging Face. README cũng nêu các lựa chọn dùng Docker, tải binary dựng sẵn từ trang releases hoặc tự build từ mã nguồn.
README không nêu phiên bản cụ thể của Windows, macOS, Linux, C++, CMake, Python hay dung lượng RAM/VRAM tối thiểu. README cũng không yêu cầu API key cho hai lệnh chạy nhanh được minh họa. Nếu bạn chọn Docker, build từ source hoặc backend GPU cụ thể, hãy xem tài liệu tương ứng trong repo trước khi cấu hình.
III.Cài đặt từng bước
- Chọn cách càiDùng script, binary dựng sẵn, Docker hoặc build từ source
- Chạy trình cài đặtThực hiện lệnh theo hệ điều hành
- Kiểm tra lệnh llamaXác nhận bộ công cụ đã được cài
- Chạy mô hình thửTải và chạy mô hình GGUF từ Hugging Face
- Mở API serverKhởi động endpoint tương thích OpenAI khi cần
A.Chọn cách cài phù hợp
README đưa ra bốn hướng. Bạn có thể dùng script cài đặt nhanh, truy cập llama.app để xem hướng dẫn, chạy bằng Docker, tải binary dựng sẵn từ releases hoặc clone repo rồi build từ source.
Với người mới, script là đường ngắn nhất vì README đã cung cấp sẵn lệnh cho curl và PowerShell. Nếu công ty không cho chạy script từ Internet, bạn có thể xem binary dựng sẵn hoặc tài liệu build trong repo. README không ghi cụ thể lệnh Docker hay lệnh build source trong phần được cung cấp.
Nếu muốn clone mã nguồn để xem hoặc tự build, dùng lệnh phổ thông sau:
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cppLệnh đầu tiên tải repo về máy. Lệnh thứ hai đi vào thư mục dự án. Người mới thường chạy cd ở sai thư mục hoặc clone trùng vào một thư mục đã tồn tại. Hãy mở Terminal hoặc PowerShell tại nơi bạn muốn lưu mã nguồn, rồi kiểm tra thư mục hiện tại trước khi chạy.
B.Cài bằng curl trên môi trường Unix
README cung cấp lệnh cài đặt nhanh bằng curl:
curl -LsSf https://llama.app/install.sh | shcurl tải script từ địa chỉ cài đặt, còn sh thực thi script đó. Sau khi chạy xong, hãy mở lại terminal nếu lệnh llama chưa được nhận diện, vì một số trình cài đặt cập nhật đường dẫn chương trình cho phiên terminal mới.
README chưa ghi các tùy chọn của script, thư mục cài đặt, hoặc cách gỡ cài đặt. Vì vậy, bạn không nên tự thêm cờ lệnh hay tự đoán biến môi trường. Nếu lệnh báo lỗi, hãy xem hướng dẫn tại llama.app hoặc chuyển sang binary dựng sẵn và tài liệu build trong repo.
C.Cài bằng PowerShell
Trên Windows, README cung cấp lệnh PowerShell sau:
irm https://llama.app/install.ps1 | iexirm là lệnh PowerShell để lấy nội dung từ địa chỉ cài đặt, còn iex thực thi nội dung đó. Bạn cần mở PowerShell, dán đúng lệnh và chờ quá trình hoàn tất.
Đây là script lấy từ Internet nên bạn cần cân nhắc chính sách bảo mật của máy cá nhân hoặc máy công ty. Nếu PowerShell chặn việc thực thi hoặc tổ chức không cho chạy script từ xa, README còn nêu lựa chọn tải binary dựng sẵn từ releases. Phần tư liệu được cung cấp chưa có lệnh cụ thể cho việc tải và cài binary đó.
D.Xem hướng dẫn chính thức nếu cách cài chưa đủ
README hướng dẫn người dùng truy cập llama.app và làm theo chỉ dẫn. README cũng nói có tài liệu riêng cho Docker và build từ source.
Trong repo, các tệp như CMakeLists.txt, CMakePresets.json, Makefile, requirements.txt và pyproject.toml cho thấy dự án có phần build và công cụ Python. Tuy nhiên, nội dung README được cung cấp không ghi lệnh cài cụ thể cho các tệp này. Bạn không nên tự suy ra lệnh pip install, lệnh CMake hay tên package ngoài thông tin đã có.
Nếu bạn clone repo, hãy xem README.md, tài liệu trong thư mục docs/, Makefile và các hướng dẫn build liên quan. Đây là nơi README chỉ bạn tới khi muốn build từ source.
E.Tải và chạy mô hình thử
Sau khi cài xong, README minh họa cách tải và chạy một mô hình trực tiếp từ Hugging Face:
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFllama cli gọi giao diện dòng lệnh. Tùy chọn -hf chỉ mô hình trên Hugging Face, còn giá trị phía sau là tên mô hình mà README cung cấp. Bạn cần có Internet để tải mô hình nếu mô hình chưa có sẵn trên máy.
Nếu terminal báo không tìm thấy llama, hãy kiểm tra bước cài đặt và mở terminal mới. Nếu tải mô hình thất bại, hãy kiểm tra kết nối mạng và quyền truy cập Hugging Face. README không nói rằng mô hình này cần API key, nên không nên tự thêm key vào lệnh.
F.Mở máy chủ API
Để chạy máy chủ tương thích OpenAI, README dùng lệnh:
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFLệnh này khởi động chế độ server và dùng cùng mô hình GGUF trên Hugging Face. Đây là điểm bắt đầu để kết nối một ứng dụng khác với mô hình cục bộ.
README không ghi cổng mặc định, URL endpoint, tham số xác thực hay ví dụ JSON request. Nếu bạn cần tích hợp REST API, hãy mở tài liệu server trong repo trước khi viết client. Không nên đoán URL hoặc cổng từ tên lệnh.
IV.Kiểm tra đã chạy được chưa
Cách kiểm tra ngắn nhất là chạy lệnh CLI với mô hình trong README:
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFNếu quá trình cài thành công, hệ thống phải nhận diện được lệnh llama và bắt đầu xử lý mô hình được chỉ định. README minh họa đây là lệnh “download and run”, nên kết quả mong đợi là mô hình được tải và phiên CLI được khởi chạy.
Bạn cũng có thể kiểm tra theo hướng server:
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFKết quả mong đợi là máy chủ tương thích OpenAI được khởi chạy. README không cung cấp thông báo terminal cụ thể, URL truy cập hoặc lệnh gọi thử, nên chỉ cần xác nhận lệnh không dừng ngay vì lỗi cài đặt và xem tài liệu server để kiểm tra sâu hơn.
Nếu cả hai lệnh đều báo không tìm thấy llama, bước cài đặt chưa hoàn tất hoặc terminal chưa nhận đường dẫn mới. Nếu lệnh nhận diện được nhưng không tải mô hình, hãy kiểm tra Internet và tên mô hình đã viết đúng như README.
V.Dùng vào việc thật
A.Chủ shop muốn thử trợ lý trả lời nội dung sản phẩm
Một chủ shop có thể chạy mô hình cục bộ bằng llama cli để thử cách viết mô tả sản phẩm, câu trả lời chăm sóc khách hàng hoặc nội dung FAQ. Trước tiên, chạy:
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFSau khi phiên CLI mở, bạn có thể nhập yêu cầu bằng ngôn ngữ tự nhiên, chẳng hạn: “Viết lại mô tả sản phẩm này thành 5 gạch đầu dòng, giọng thân thiện”. README không đưa prompt mẫu hay định dạng đầu ra cố định, nên đây là cách sử dụng thực tế dựa trên khả năng chạy mô hình qua CLI.
Kết quả nhận được là phản hồi do mô hình tạo ra trên máy. Trước khi đưa vào bán hàng, chủ shop nên tự kiểm tra giá, thông số và chính sách đổi trả vì mô hình có thể tạo nội dung chưa chính xác.
B.Nhân viên văn phòng muốn có công cụ AI nội bộ
Một nhóm có thể mở server bằng lệnh:
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFSau đó, ứng dụng nội bộ có thể kết nối tới API tương thích OpenAI của llama.cpp. Ví dụ, nhóm có thể xây giao diện nhập câu hỏi và hiển thị câu trả lời cho các việc như soạn nháp email hoặc tóm tắt ghi chú.
README xác nhận server có khả năng tương thích OpenAI, nhưng chưa ghi chi tiết endpoint và request body. Vì vậy, phần tích hợp cần dựa vào tài liệu server trong repo. Không nên triển khai công khai trước khi kiểm tra xác thực, giới hạn truy cập và dữ liệu được phép gửi vào.
Chạy mô hình tại chỗ giúp bạn kiểm soát nơi dữ liệu được xử lý, nhưng không tự động biến mọi câu trả lời thành chính xác.
Ông T
C.Lập trình viên muốn thử nhiều backend phần cứng
Một lập trình viên có thể dùng llama.cpp làm lớp suy luận trong ứng dụng C/C++ hoặc thử backend phù hợp với máy đang có. README liệt kê CPU x86, Apple silicon, RISC-V, CUDA, HIP, Metal, Vulkan, SYCL và nhiều backend khác.
Cách bắt đầu là chạy mô hình bằng lệnh CLI trước. Khi đã xác nhận mô hình hoạt động, lập trình viên có thể đọc tài liệu build, backend và API trong repo để chọn cách tích hợp. README chưa cung cấp lệnh build hay ví dụ gọi API C++, nên không nên tự chép một quy trình build chưa được kiểm chứng.
Kết quả mong đợi là có một nền tảng suy luận có thể chạy trong môi trường phần cứng mục tiêu. Điều này phù hợp với prototype, ứng dụng nội bộ hoặc nghiên cứu tối ưu hiệu năng.
D.Người dùng có GPU nhưng VRAM hạn chế
Nếu mô hình lớn hơn dung lượng VRAM, README cho biết llama.cpp hỗ trợ CPU+GPU hybrid inference. Người dùng có thể xem đây là hướng để chạy một phần mô hình trên CPU và phần còn lại trên GPU.
README cũng nêu nhiều mức lượng tử hóa từ 1.5-bit tới 8-bit. Khi chọn phiên bản mô hình đã lượng tử hóa, mục tiêu là giảm mức dùng bộ nhớ và có thể tăng tốc suy luận. Tuy nhiên, tư liệu không có lệnh chọn số lớp trên GPU, thông số VRAM hay bảng hiệu năng, nên phần cấu hình cụ thể phải xem trong tài liệu kỹ thuật của repo.
VI.Lỗi hay gặp và cách xử lý
A.Terminal báo không tìm thấy lệnh llama
Lỗi này thường có nghĩa script chưa cài xong hoặc terminal hiện tại chưa nhận đường dẫn mới. Hãy mở một terminal mới và chạy lại lệnh trong README. Nếu vẫn lỗi, xem hướng dẫn tại llama.app hoặc dùng binary dựng sẵn từ releases.
B.Script cài đặt bị PowerShell hoặc chính sách công ty chặn
Máy công ty có thể hạn chế việc tải và thực thi script từ Internet. Không nên cố vượt qua chính sách bảo mật. Hãy hỏi quản trị viên hoặc chọn binary dựng sẵn, Docker hay build từ source theo tài liệu của repo.
C.Mô hình không tải được từ Hugging Face
Kiểm tra kết nối Internet và viết đúng tên ggml-org/Qwen3.5-0.8B-GGUF. Nếu môi trường yêu cầu proxy hoặc hạn chế truy cập, README được cung cấp chưa có hướng dẫn xử lý riêng. Bạn có thể xem tài liệu mô hình và tài liệu liên quan trong repo trước khi đổi lệnh.
D.Máy chạy chậm hoặc hết bộ nhớ
Tốc độ và mức dùng bộ nhớ phụ thuộc mô hình, backend và phần cứng. README gợi ý lượng tử hóa để giảm mức dùng bộ nhớ, đồng thời hỗ trợ CPU+GPU hybrid inference khi mô hình lớn hơn VRAM. README chưa cung cấp công thức chọn phiên bản lượng tử hóa, nên hãy bắt đầu với mô hình trong ví dụ rồi đánh giá trên máy thật.
E.Không biết gọi API ở địa chỉ nào
README chỉ xác nhận llama serve tạo API server tương thích OpenAI, nhưng phần được cung cấp không ghi cổng, endpoint hay JSON request. Hãy mở tài liệu server trong repo thay vì đoán địa chỉ. Nếu server đang chạy trên máy dùng chung, cần kiểm soát quyền truy cập trước khi đưa dữ liệu nội bộ vào.
VII.Có nên dùng không
Nên dùng llama.cpp nếu bạn muốn chạy LLM hoặc VLM cục bộ, cần một CLI đơn giản để thử mô hình, hoặc muốn mở API tương thích OpenAI cho ứng dụng riêng. Repo có phạm vi phần cứng rộng, nhiều backend, nhiều mức lượng tử hóa và hỗ trợ kết hợp CPU với GPU. Giấy phép MIT cũng thuận tiện cho việc nghiên cứu và xây ứng dụng.
Giới hạn lớn nhất là README quick start khá ngắn. Tư liệu được cung cấp chưa có hướng dẫn chi tiết cho build source, Docker, API request, xác thực, cấu hình GPU, thông số RAM/VRAM hoặc lựa chọn mô hình theo phần cứng. Người mới có thể chạy nhanh hai lệnh mẫu, nhưng sẽ cần đọc thêm tài liệu trong repo khi muốn triển khai nghiêm túc.
Nếu bạn chỉ cần một dịch vụ AI được quản lý sẵn và không muốn tự lo mô hình, backend, cập nhật hoặc bảo mật máy chủ, một công cụ AI đám mây có thể phù hợp hơn. Nếu bạn cần kiểm soát dữ liệu, thử nghiệm nhiều phần cứng hoặc xây ứng dụng AI chạy tại chỗ, llama.cpp là lựa chọn đáng xem.
Câu hỏi thường gặp
llama.cpp có miễn phí không?
Repo dùng giấy phép MIT. README được cung cấp không nêu chi phí sử dụng mô hình, chi phí hạ tầng hoặc chi phí tải mô hình, nên phần đó cần kiểm tra riêng theo mô hình và môi trường bạn chọn.
Có cần GPU để chạy llama.cpp không?
Không nhất thiết. README mô tả hỗ trợ nhiều loại phần cứng và có backend cho CPU; GPU là một trong các lựa chọn tăng tốc. Dự án còn hỗ trợ CPU+GPU hybrid inference khi mô hình lớn hơn tổng VRAM.
llama.cpp có chạy được trên Windows không?
README có lệnh cài bằng PowerShell, nên có hướng dẫn cài nhanh cho môi trường Windows. README không nêu phiên bản Windows cụ thể.
Có cần API key không?
Hai lệnh mẫu `llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF` và `llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF` không yêu cầu API key trong README. Tư liệu không nói về yêu cầu xác thực của các mô hình hoặc dịch vụ bên ngoài.
Dữ liệu có được xử lý cục bộ không?
llama.cpp được giới thiệu để chạy suy luận trên máy hoặc trong môi trường đám mây, nên có thể dùng theo hướng cục bộ. Tuy nhiên, khi tải mô hình từ Hugging Face hoặc triển khai server, dữ liệu mạng và quyền truy cập cần được bạn kiểm tra riêng.
Có thể dùng llama.cpp làm API cho ứng dụng khác không?
Có. README nêu `llama serve` là OpenAI-compatible API server. Tư liệu được cung cấp chưa ghi endpoint, cổng hoặc ví dụ request cụ thể.
README có hướng dẫn build từ mã nguồn không?
README chỉ hướng người dùng xem build guide và trong repo có các tệp như `CMakeLists.txt`, `CMakePresets.json` và `Makefile`. Phần nội dung được cung cấp chưa ghi đầy đủ lệnh build, nên cần xem tài liệu tương ứng trong repo.


