llama.cpp: chạy LLM cục bộ nhanh — hướng dẫn cài đặt và dùng
Bài này là một góc nhìn khác về ggml-org/llama.cpp — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: llama.cpp: chạy mô hình AI ngay trên máy bạn — hướng dẫn cài đặt và dùng →

Tóm tắt nhanh
llama.cpp là thư viện C/C++ giúp chạy LLM và VLM ngay trên máy tính hoặc trong cloud, với nhiều backend CPU và GPU. Bạn có thể cài bằng lệnh nhanh, tải mô hình trực tiếp từ Hugging Face rồi dùng dòng lệnh hoặc API server; README cũng có hướng dẫn build từ mã nguồn.
llama.cpp là thư viện C/C++ để chạy mô hình ngôn ngữ lớn (LLM) và mô hình thị giác-ngôn ngữ (VLM) trên máy tính hoặc trong cloud. Dự án được xây dựng trên thư viện ggml, tập trung vào việc giảm công sức cài đặt nhưng vẫn đạt hiệu năng cao trên nhiều loại phần cứng.
Repo này phù hợp với bạn muốn chạy AI cục bộ, thử mô hình mà không phụ thuộc hoàn toàn vào dịch vụ bên ngoài, xây một API nội bộ cho ứng dụng, hoặc tìm hiểu cách LLM hoạt động ở mức gần hệ thống. Điểm đáng giá nhất là bạn có thể bắt đầu bằng một lệnh cài đặt, tải mô hình GGUF trực tiếp từ Hugging Face, rồi chạy bằng CLI hoặc mở API server tương thích OpenAI.
Dự án hiện có khoảng 134.731 sao và 25.528 fork, dùng giấy phép MIT. Mã nguồn chính viết bằng C++, đồng thời repo có các công cụ Python hỗ trợ chuyển đổi mô hình và nhiều thư mục phục vụ build, kiểm thử, backend và ví dụ.
ggml-org/llama.cpp
Chạy mô hình ngôn ngữ và thị giác cục bộ bằng C/C++, hỗ trợ CPU, GPU, API tương thích OpenAI và nhiều kiểu phần cứng.
I.llama.cpp làm được gì
Chạy LLM và VLM cục bộ. Bạn có thể đưa mô hình vào máy của mình thay vì gửi mọi câu hỏi lên một dịch vụ trực tuyến. Cách này hữu ích khi cần thử nghiệm riêng, giảm phụ thuộc mạng hoặc muốn kiểm soát nơi xử lý dữ liệu.
Dùng từ dòng lệnh. Lệnh
llama clicho phép bạn trò chuyện và thử mô hình trực tiếp trong terminal. Đây là cách nhanh để kiểm tra một mô hình trước khi tích hợp vào ứng dụng.Mở API server tương thích OpenAI. Lệnh
llama servecung cấp một API server để ứng dụng khác kết nối. Bạn có thể dùng nó làm lớp chạy mô hình nội bộ cho công cụ văn phòng, ứng dụng thử nghiệm hoặc dịch vụ riêng.Tải mô hình trực tiếp từ Hugging Face. README có cú pháp
-hfđể lấy mô hình GGUF và chạy ngay. Bạn không nhất thiết phải tự tải rồi đặt file mô hình bằng tay ở bước đầu.Hỗ trợ lượng tử hóa nhiều mức. Dự án hỗ trợ lượng tử hóa số nguyên 1,5-bit, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit và 8-bit. Lợi ích thực tế là mô hình có thể dùng ít bộ nhớ hơn và chạy nhanh hơn, tùy mức lượng tử hóa cùng phần cứng.
Tận dụng nhiều loại CPU. Dự án có tối ưu cho Apple Silicon qua ARM NEON, Accelerate và Metal; hỗ trợ AVX, AVX2, AVX512 và AMX trên kiến trúc x86. RISC-V cũng có các phần hỗ trợ riêng như RVV, ZVFH, ZFH, ZICBOP và ZIHINTPAUSE.
Chạy trên GPU và NPU qua nhiều backend. Repo có backend CUDA cho GPU NVIDIA, HIP cho GPU AMD, MUSA cho GPU Moore Threads, Vulkan, SYCL, OpenCL, Metal, WebGPU và một số nền tảng chuyên biệt khác. README cũng liệt kê CANN cho Huawei Ascend NPU, Hexagon cho Snapdragon và OpenVINO đang trong tiến trình.
Kết hợp CPU và GPU. Khi mô hình lớn hơn tổng VRAM hiện có, llama.cpp có thể chia một phần việc cho CPU và phần còn lại cho GPU. Đây là lựa chọn thực tế khi máy không đủ VRAM để chứa toàn bộ mô hình.
Hỗ trợ nhiều công cụ xung quanh mô hình. Tài liệu của repo có các phần cho CLI, completion, server và GBNF grammars. Cấu trúc repo cũng có các script chuyển đổi mô hình sang GGUF, chuyển đổi LoRA và các công cụ Python.
II.Cần chuẩn bị gì
Bạn cần một máy có thể chạy chương trình dòng lệnh. README đưa ra lệnh cài cho shell dùng curl và cho PowerShell, nên Windows có thể bắt đầu bằng PowerShell, còn các hệ thống có curl có thể dùng lệnh shell tương ứng. README không nêu phiên bản tối thiểu cụ thể của Windows, Linux, macOS, C++ hay Python.
Bạn cần kết nối mạng nếu muốn chạy script cài đặt từ llama.app hoặc tải mô hình trực tiếp từ Hugging Face. Tư liệu không yêu cầu tài khoản, API key hay token cho quy trình quick start được nêu.
Phần cứng không bị giới hạn vào một loại duy nhất. llama.cpp hỗ trợ CPU, Apple Silicon, GPU NVIDIA, GPU AMD, GPU Moore Threads, GPU qua Vulkan hoặc SYCL, cùng một số NPU và nền tảng khác. Tuy vậy, README không đưa ra dung lượng RAM, VRAM tối thiểu hay cấu hình cụ thể cho từng mô hình. Mô hình càng lớn thì yêu cầu bộ nhớ và thời gian chạy càng cao.
Bạn cũng có thể chọn build từ mã nguồn. Repo có CMakeLists.txt, CMakePresets.json, Makefile và tài liệu build, nhưng phần README được cung cấp ở đây không chép các lệnh build chi tiết. Nếu đi theo hướng này, hãy xem build guide trong repo trước khi thực hiện.
III.Cài đặt từng bước
- Chọn cách càiDùng script nhanh, binary dựng sẵn, Docker hoặc build từ mã nguồn
- Cài llama.cppChạy lệnh shell hoặc PowerShell phù hợp với máy
- Kiểm tra lệnhXác nhận chương trình đã được cài và gọi được trong terminal
- Chạy mô hìnhTải mô hình GGUF từ Hugging Face bằng llama cli
- Mở API serverDùng llama serve khi cần cho ứng dụng khác kết nối
A.Chọn phương án phù hợp
README nêu bốn hướng. Bạn có thể dùng script cài nhanh, truy cập llama.app để làm theo hướng dẫn, chạy bằng Docker theo tài liệu Docker, hoặc tải binary dựng sẵn từ trang releases. Nếu muốn tự kiểm soát quá trình biên dịch, bạn clone repo và xem build guide.
Với người mới, script nhanh là điểm bắt đầu ngắn nhất. Với máy công ty bị hạn chế chạy script từ xa, binary dựng sẵn hoặc Docker có thể phù hợp hơn, nhưng README yêu cầu bạn xem tài liệu tương ứng.
B.Cài bằng shell
Mở terminal trên máy, sau đó chạy đúng lệnh sau:
curl -LsSf https://llama.app/install.sh | shcurl tải nội dung script cài đặt. Tùy chọn -L cho phép theo chuyển hướng, -s giảm thông báo, -S vẫn hiển thị lỗi và -f báo lỗi nếu máy chủ trả về lỗi HTTP. Dấu | sh chuyển script cho shell thực thi.
Bạn nên mở một terminal mới sau khi cài nếu lệnh llama chưa được nhận diện. Lỗi thường gặp ở bước này là terminal không có curl, mạng nội bộ chặn tải script, hoặc shell chưa cập nhật đường dẫn chương trình. README không nêu cách xử lý chi tiết cho từng lỗi, nên hãy chuyển sang binary, Docker hoặc build guide nếu script không phù hợp môi trường của bạn.
C.Cài bằng PowerShell
Trên Windows, mở PowerShell rồi chạy:
irm https://llama.app/install.ps1 | iexirm là bí danh PowerShell dùng để lấy nội dung từ địa chỉ được cung cấp. iex thực thi nội dung đó trong PowerShell. Hãy kiểm tra kỹ bạn đang mở đúng PowerShell và có mạng trước khi chạy.
Nếu PowerShell báo không nhận ra llama ngay sau đó, hãy đóng rồi mở lại cửa sổ PowerShell và thử lại. Nếu máy thuộc chính sách quản trị của công ty, việc thực thi script có thể bị chặn. Khi đó, README chỉ ra các lựa chọn khác là Docker, binary dựng sẵn hoặc build từ mã nguồn.
D.Cài bằng binary, Docker hoặc mã nguồn
README cho biết bạn có thể tải binary dựng sẵn từ trang releases và chạy bằng Docker theo tài liệu Docker. Tư liệu được cung cấp không chép lệnh tải binary, tên file, lệnh Docker hay lệnh build cụ thể, vì vậy không nên tự đoán tên gói hoặc cờ lệnh.
Nếu muốn build từ mã nguồn, clone repo rồi đi vào thư mục:
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cppHai lệnh trên đưa mã nguồn về máy và chuyển terminal vào thư mục dự án. Sau đó, hãy mở build guide trong repo. Cấu trúc repo có CMakeLists.txt, CMakePresets.json, Makefile và thư mục docs, nhưng README được cung cấp chưa ghi lệnh build cụ thể.
Repo cũng có requirements.txt, pyproject.toml và tên gói Python llama-cpp-scripts. Tuy nhiên, tư liệu không nói rằng phải cài gói Python này để chạy quick start bằng llama cli hoặc llama serve. Vì vậy, bạn chỉ nên dùng phần Python khi cần các script chuyển đổi mô hình hoặc công cụ liên quan, sau khi đọc hướng dẫn tương ứng trong repo.
E.Chạy thử một mô hình
Sau khi cài xong, chạy lệnh README cung cấp:
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFllama cli khởi chạy giao diện dòng lệnh. Tùy chọn -hf yêu cầu tải mô hình từ Hugging Face, còn ggml-org/Qwen3.5-0.8B-GGUF là định danh mô hình được README dùng làm ví dụ.
Lần chạy đầu có thể cần thời gian tải mô hình và dung lượng lưu trữ. Tư liệu không nêu kích thước file, nên hãy bảo đảm máy còn đủ chỗ trống. Khi chương trình mở được phiên tương tác, bạn có thể nhập câu hỏi để kiểm tra mô hình.
F.Mở API server
Nếu muốn chương trình khác gọi mô hình, chạy:
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFllama serve khởi chạy server có API tương thích OpenAI. -hf tiếp tục dùng mô hình từ Hugging Face. README không nêu cổng mặc định, địa chỉ truy cập, tùy chọn xác thực hay ví dụ request HTTP, nên bạn cần xem tài liệu server trong repo để kết nối ứng dụng cụ thể.
Mô hình chạy cục bộ không đồng nghĩa mọi dữ liệu đều tự động an toàn. Hãy kiểm tra model, quyền truy cập thư mục và cấu hình server trước khi đưa vào dữ liệu khách hàng hoặc mở server cho mạng bên ngoài. Chi phí phần cứng, điện và dung lượng lưu trữ phụ thuộc mô hình và backend.
IV.Kiểm tra đã chạy được chưa
Cách kiểm tra đơn giản nhất là gọi mô hình bằng lệnh CLI:
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFNếu mô hình được tải và phiên dòng lệnh mở ra, bạn đã chạy được luồng inference cơ bản. Kết quả mong đợi theo README là có thể dùng llama cli với mô hình từ Hugging Face; README không nêu một câu trả lời mẫu cố định.
Bạn cũng có thể kiểm tra luồng server:
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFNếu server khởi động và không kết thúc ngay vì lỗi, đó là dấu hiệu phần chạy API đã hoạt động. Để biết cách gửi request và địa chỉ kết nối, hãy xem tài liệu server trong repo vì phần README được cung cấp chỉ xác nhận đây là API tương thích OpenAI, chưa đưa ví dụ request hay cổng cụ thể.
Nếu terminal báo không tìm thấy llama, việc cài đặt chưa thêm chương trình vào đường dẫn hiện tại hoặc bạn chưa mở lại terminal. Nếu tải mô hình thất bại, kiểm tra mạng và dung lượng lưu trữ trước. Nếu chạy được nhưng chậm, hãy xem lại loại mô hình, mức lượng tử hóa và backend phần cứng.
V.Dùng vào việc thật
A.Chủ shop hỏi nhanh về sản phẩm
Chủ shop có thể chạy llama cli trên máy nội bộ để soạn mô tả sản phẩm, nhóm ý tưởng nội dung hoặc trả lời câu hỏi thường gặp. Sau khi lệnh khởi động, nhập prompt như:
Viết 5 mô tả ngắn cho một sản phẩm mới, giọng thân thiện, mỗi mô tả không quá 50 từ.Kết quả là các câu trả lời sinh trực tiếp trong terminal. Đây là cách thử nghiệm nhanh trước khi xây một ứng dụng bán hàng kết nối qua API server.
B.Nhân viên văn phòng tạo bản nháp nội bộ
Nhân viên có thể dùng CLI để biến ghi chú rời rạc thành dàn ý cuộc họp hoặc danh sách việc cần làm. Ví dụ:
Tóm tắt các ghi chú sau thành 5 việc cần làm, mỗi việc có người phụ trách và hạn hoàn thành nếu thông tin đã được nêu.Dữ liệu được đưa vào phiên chạy cục bộ theo cách bạn chọn. Tuy nhiên, README không mô tả tính năng nhập file, bộ nhớ hội thoại hay giao diện web cụ thể, nên đừng giả định CLI tự đọc toàn bộ thư mục hoặc tự lưu lịch sử.
C.Dev mới thử một LLM trong ứng dụng
Dev có thể chạy server bằng:
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFSau đó dùng tài liệu server trong repo để kết nối ứng dụng qua API tương thích OpenAI. Cách này phù hợp khi muốn thay một endpoint mô hình từ xa bằng mô hình chạy trong môi trường phát triển. README xác nhận tính tương thích API, nhưng chưa cung cấp mã request cụ thể, nên phần tích hợp cần bám theo tài liệu server.
D.Nhóm kỹ thuật thử nhiều phần cứng
Nhóm phát triển có thể so sánh chạy CPU, GPU hoặc chế độ kết hợp CPU+GPU. Repo hỗ trợ nhiều backend như CUDA, HIP, Metal, Vulkan và SYCL; việc chọn backend cụ thể phụ thuộc phần cứng và hướng dẫn build tương ứng.
Mục tiêu thực tế là tìm cấu hình chạy được mô hình mà máy đang có. Nếu mô hình lớn hơn VRAM, khả năng hybrid CPU+GPU có thể giúp tận dụng máy thay vì loại bỏ ngay mô hình đó. Hiệu năng cụ thể không thể suy ra chỉ từ README.
Cài nhanh để thử, mở API để tích hợp, và chọn backend để tận dụng đúng phần cứng.
Ông T
VI.Lỗi hay gặp và cách xử lý
A.Terminal không nhận diện lệnh llama
Nguyên nhân thường là script chưa chạy xong, đường dẫn chương trình chưa được cập nhật hoặc cửa sổ terminal đang mở từ trước. Hãy mở terminal mới rồi thử lại lệnh CLI. Nếu vẫn lỗi, kiểm tra lại hướng dẫn cài trên llama.app hoặc dùng binary, Docker hay build guide được README chỉ ra.
B.Script cài đặt bị chặn
PowerShell hoặc chính sách máy công ty có thể không cho thực thi script từ xa. Không nên tự tắt toàn bộ cơ chế bảo vệ chỉ để cài. Hãy dùng binary dựng sẵn, Docker hoặc xin quyền theo chính sách của tổ chức; README có nêu các lựa chọn này nhưng không cung cấp lệnh chi tiết trong phần được trích.
C.Không tải được mô hình từ Hugging Face
Kiểm tra kết nối mạng, định danh mô hình và dung lượng lưu trữ. Hãy dùng đúng mẫu README cung cấp:
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFNếu lỗi vẫn còn, xem tài liệu hoặc thông tin của mô hình trong repo và nơi cung cấp model. Tư liệu hiện có không nêu cách đăng nhập, token hay cơ chế retry cụ thể.
D.Chạy chậm hoặc hết bộ nhớ
Mô hình lớn và mức lượng tử hóa cao hơn có thể cần nhiều tài nguyên hơn. Hãy cân nhắc mô hình lượng tử hóa nhỏ hơn, dùng backend phù hợp hoặc tận dụng CPU+GPU hybrid nếu cấu hình của bạn hỗ trợ. README không đưa bảng yêu cầu RAM, VRAM hay tốc độ, nên cần đo trên chính máy của bạn.
E.API server mở nhưng ứng dụng không kết nối được
README chỉ xác nhận llama serve cung cấp API tương thích OpenAI, chưa nêu cổng, địa chỉ, tham số xác thực hay ví dụ request. Hãy mở tài liệu server trong repo, kiểm tra server còn đang chạy và dùng đúng endpoint theo tài liệu. Không nên mở server ra Internet nếu chưa hiểu cơ chế quyền truy cập.
VII.Có nên dùng không
Nên dùng llama.cpp nếu bạn muốn chạy LLM hoặc VLM cục bộ, cần một runtime C/C++ gọn, muốn tận dụng nhiều loại CPU/GPU, hoặc cần một API tương thích OpenAI cho ứng dụng nội bộ. Quick start ngắn, có CLI và server, đồng thời hỗ trợ lượng tử hóa cùng nhiều backend. Giấy phép MIT cũng thuận tiện cho nhiều mục đích sử dụng.
Giới hạn chính là phần cài nâng cao và tối ưu phần cứng cần đọc thêm tài liệu. README không cung cấp phiên bản hệ điều hành, yêu cầu bộ nhớ, cổng server, lệnh build chi tiết hay ví dụ API đầy đủ. Người mới có thể chạy nhanh bằng script, nhưng sẽ cần hiểu thêm về model GGUF, lượng tử hóa, backend và tài nguyên máy khi đưa vào sử dụng thật.
Nếu bạn chỉ cần một ứng dụng trò chuyện hoàn chỉnh có giao diện sẵn, llama.cpp có thể chưa phải lựa chọn trực tiếp nhất. Nếu bạn cần một dịch vụ hosted không phải tự quản lý phần cứng, hãy cân nhắc dịch vụ khác. Còn nếu mục tiêu là kiểm soát runtime, thử nghiệm cục bộ và tích hợp linh hoạt, đây là một nền tảng đáng xem xét.
Câu hỏi thường gặp
llama.cpp có miễn phí không?
Repo dùng giấy phép MIT. Tư liệu không nêu chi phí sử dụng cụ thể, nhưng bạn vẫn có thể phát sinh chi phí phần cứng, điện, lưu trữ hoặc hạ tầng tùy cách chạy.
Có cần GPU để chạy llama.cpp không?
Không bắt buộc theo README. Dự án hỗ trợ nhiều kiến trúc CPU, đồng thời có backend cho NVIDIA, AMD, Apple Silicon và nhiều loại GPU khác. Tư liệu không nêu cấu hình tối thiểu.
llama.cpp chạy được trên Windows không?
README có lệnh cài bằng PowerShell nên Windows có thể dùng luồng cài này. Tư liệu không nêu phiên bản Windows cụ thể.
Có cần API key hoặc tài khoản Hugging Face không?
Quick start trong README không yêu cầu API key hay tài khoản. README chỉ hướng dẫn dùng tùy chọn `-hf` với định danh mô hình; các yêu cầu riêng của từng mô hình chưa được nêu.
Dữ liệu chạy bằng llama.cpp có an toàn tuyệt đối không?
Không thể kết luận an toàn tuyệt đối chỉ từ README. Chạy cục bộ giúp bạn kiểm soát nơi xử lý hơn, nhưng vẫn cần bảo vệ model, thư mục và API server, đặc biệt khi dùng dữ liệu khách hàng.
Có thể dùng llama.cpp làm API tương thích OpenAI không?
Có. Lệnh `llama serve` khởi chạy API server tương thích OpenAI. README chưa cung cấp cổng, ví dụ request hoặc hướng dẫn xác thực, nên cần xem tài liệu server trong repo.
Có thể tự build từ mã nguồn không?
Có. Repo có `CMakeLists.txt`, `CMakePresets.json`, `Makefile` và build guide. Phần README được cung cấp chưa ghi các lệnh build cụ thể, nên cần đọc tài liệu đó trước.


