llama.cpp: chạy LLM cục bộ nhanh — hướng dẫn cài đặt và dùng
Bài này là một góc nhìn khác về ggml-org/llama.cpp — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: llama.cpp: chạy mô hình AI ngay trên máy bạn — hướng dẫn cài đặt và dùng →

Tóm tắt nhanh
llama.cpp là công cụ suy luận LLM và VLM bằng C/C++, tập trung vào thiết lập gọn và hiệu năng cao trên nhiều loại phần cứng. Bạn có thể cài bằng script, chạy model trực tiếp từ Hugging Face hoặc mở API tương thích OpenAI. README không nêu yêu cầu phiên bản cụ thể, nên việc cài cơ bản khá dễ nhưng build tùy chỉnh cần xem thêm tài liệu.
llama.cpp là công cụ chạy mô hình ngôn ngữ lớn (LLM) và mô hình ngôn ngữ-thị giác (VLM) bằng C/C++. Mục tiêu chính là giúp bạn suy luận mô hình với ít bước thiết lập, chạy được trên nhiều phần cứng và có thể dùng cả trên máy cá nhân lẫn môi trường cloud.
Repo phù hợp với lập trình viên muốn chạy AI cục bộ, đội ngũ cần thử nghiệm chatbot nội bộ, hoặc người dùng muốn mở một API riêng thay vì gửi toàn bộ dữ liệu lên dịch vụ bên ngoài. Điểm đáng giá nhất là công cụ hỗ trợ nhiều kiểu phần cứng, lượng tử hóa mô hình để giảm bộ nhớ, cùng hai cách dùng nhanh: chạy lệnh trò chuyện và mở server có API tương thích OpenAI.
Repo hiện có khoảng 134731 sao và 25528 fork. Dự án dùng giấy phép MIT, ngôn ngữ chính là C++, và vẫn còn được cập nhật. README mô tả llama.cpp xây dựng trên thư viện ggml.
ggml-org/llama.cpp
llama.cpp giúp chạy LLM và VLM cục bộ hoặc trên cloud bằng C/C++, hỗ trợ CPU, GPU và nhiều backend tăng tốc.
I.llama.cpp làm được gì
Chạy LLM và VLM tại chỗ. Bạn có thể tải một model GGUF từ Hugging Face rồi chạy trực tiếp bằng lệnh
llama cli. Cách này phù hợp khi muốn thử mô hình mà không phải tự dựng nhiều thành phần.Mở API tương thích OpenAI. Lệnh
llama servecung cấp server để các ứng dụng khác gọi đến. Đây là lựa chọn thực tế cho chatbot nội bộ, ứng dụng thử nghiệm hoặc công cụ văn phòng cần một endpoint riêng.Hỗ trợ nhiều loại CPU và GPU. README nêu hỗ trợ Apple silicon qua ARM NEON, Accelerate và Metal; các tập lệnh AVX, AVX2, AVX512 và AMX trên x86; cùng nhiều backend GPU và NPU khác.
Lượng tử hóa model. Dự án hỗ trợ các mức 1.5-bit, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit và 8-bit. Lượng tử hóa giúp giảm nhu cầu bộ nhớ và có thể làm suy luận nhanh hơn, đổi lại chất lượng hoặc tốc độ cụ thể còn tùy model và phần cứng.
Kết hợp CPU và GPU. CPU+GPU hybrid inference cho phép chạy một phần model trên CPU khi model lớn hơn tổng dung lượng VRAM. Điều này hữu ích với máy có GPU nhưng không đủ VRAM để chứa toàn bộ model.
Chạy được qua nhiều backend. Danh sách README gồm BLAS, BLIS, CANN, CUDA, HIP, Hexagon, IBM zDNN, MUSA, Metal, OpenCL, OpenVINO đang trong tiến trình, RPC, SYCL, VirtGPU, Vulkan, WebGPU và ZenDNN. Mỗi backend nhắm đến nhóm thiết bị khác nhau.
Có các công cụ và thành phần hỗ trợ. Tài liệu của repo đề cập CLI, completion, server và GBNF grammars. Cấu trúc repo cũng có các thư mục cho benchmark, chuyển đổi model, kiểm thử, backend và ví dụ.
Cho phép build từ mã nguồn. README cung cấp lựa chọn clone repo rồi build theo build guide. Cách này phù hợp khi bạn cần backend hoặc cấu hình riêng, nhưng cần đọc thêm hướng dẫn build vì phần trích dẫn README không đưa ra đầy đủ lệnh build.
II.Cần chuẩn bị gì
Bạn cần một máy có phần cứng phù hợp với model muốn chạy. README nói llama.cpp hướng đến nhiều loại phần cứng, gồm CPU x86, Apple silicon, RISC-V, GPU NVIDIA, GPU AMD, GPU Moore Threads, GPU hỗ trợ Vulkan hoặc SYCL, NPU Huawei Ascend, Snapdragon và một số nền tảng khác. Không phải máy nào cũng dùng được mọi backend; backend cần khớp với thiết bị.
Bạn cần kết nối mạng nếu muốn cài bằng script từ llama.app hoặc tải model trực tiếp từ Hugging Face. README cũng nêu các lựa chọn tải binary dựng sẵn từ trang releases, chạy bằng Docker hoặc build từ mã nguồn.
README không nêu phiên bản cụ thể của Windows, macOS, Linux, CMake, compiler, Python hay Node.js. README cũng không yêu cầu tài khoản, API key hoặc dịch vụ cloud để chạy các lệnh cơ bản. Nếu bạn chọn một model hoặc backend có yêu cầu riêng, hãy kiểm tra tài liệu tương ứng trong repo.
Nếu muốn build từ mã nguồn, repo có CMakeLists.txt, CMakePresets.json, Makefile, requirements.txt và pyproject.toml. Tuy vậy, phần README được cung cấp chỉ dẫn tới build guide chứ chưa chép các lệnh build chi tiết.
III.Cài đặt từng bước
- Chọn cách càiDùng script, binary dựng sẵn, Docker hoặc build từ mã nguồn
- Cài llama.cppChạy script cài đặt phù hợp với terminal của bạn
- Chọn modelDùng model GGUF được hỗ trợ, ví dụ model trên Hugging Face
- Chạy thử CLITải model và chạy một phiên suy luận
- Mở API serverKhởi động endpoint tương thích OpenAI khi cần
A.Chọn cách cài phù hợp
README đưa ra bốn hướng: cài bằng script, truy cập llama.app để làm theo hướng dẫn, chạy Docker, tải binary dựng sẵn từ releases hoặc clone repo để build. Với người mới, script là đường ngắn nhất vì README có sẵn lệnh cho curl và PowerShell.
Nếu bạn chọn build từ mã nguồn, hãy mở terminal tại thư mục muốn lưu dự án rồi clone repo. Lệnh clone dưới đây là lệnh phổ thông được phép bổ sung theo tên repo đã cung cấp:
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cppLệnh đầu tải mã nguồn về máy. Lệnh thứ hai chuyển terminal vào thư mục dự án. Người mới thường chạy lệnh thứ hai ở sai thư mục hoặc clone lại vào một thư mục đã có repo. Nếu build từ source, hãy đọc build guide trong tài liệu của repo trước khi chọn backend.
B.Cài bằng curl trên terminal
README cung cấp lệnh cài đặt sau:
curl -LsSf https://llama.app/install.sh | shLệnh này tải script cài đặt từ llama.app rồi chuyển nội dung cho sh thực thi. Bạn nên kiểm tra mình đang dùng terminal có curl và sh, đồng thời đọc kỹ nội dung script nếu môi trường doanh nghiệp có chính sách bảo mật chặt. README không ghi thư mục cài cụ thể hoặc biến môi trường cần tự thêm.
C.Cài bằng PowerShell
README cung cấp lựa chọn PowerShell:
irm https://llama.app/install.ps1 | iexirm tải script từ địa chỉ được chỉ định, còn iex thực thi script đó. Hãy chạy lệnh trong PowerShell và đảm bảo bạn hiểu quyền mà script được cấp. README không nêu chi tiết phiên bản Windows hay PowerShell tối thiểu, nên nếu lệnh không chạy, hãy xem hướng dẫn tại llama.app hoặc chọn binary dựng sẵn trong releases.
D.Chạy model trực tiếp từ Hugging Face
Sau khi cài xong, README đưa ví dụ tải và chạy model bằng llama cli:
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFllama cli khởi động giao diện dòng lệnh. Tùy chọn -hf cho biết model được lấy từ Hugging Face, còn ggml-org/Qwen3.5-0.8B-GGUF là tên model trong ví dụ của README. Bạn cần có mạng ở lần tải model đầu tiên. README không nói model được lưu ở thư mục nào, nên không nên tự đoán đường dẫn để dùng trong script khác.
E.Mở server tương thích OpenAI
Để chạy một API server, README đưa lệnh:
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFLệnh này khởi động llama serve và lấy model từ Hugging Face theo tham số -hf. README gọi đây là OpenAI-compatible API server và mô tả server có built-in web UI. Phần README được cung cấp chưa nêu cổng mặc định, tham số host, cách xác thực hoặc ví dụ gọi API, vì vậy bạn không nên tự thêm các cờ chưa được tài liệu xác nhận.
F.Build từ mã nguồn khi cần tùy chỉnh
README chỉ nói bạn có thể clone repository rồi xem build guide. Repo có các file CMakeLists.txt, CMakePresets.json và Makefile, nhưng phần tư liệu được cung cấp không ghi lệnh build cụ thể.
Vì vậy, README chưa ghi cách build đầy đủ trong nội dung này. Sau khi clone, hãy mở build guide trong thư mục tài liệu của repo để chọn compiler, backend và tùy chọn phù hợp với máy. Không nên tự suy ra lệnh từ tên file cấu hình nếu bạn chưa kiểm tra hướng dẫn tương ứng.
Model và script cài đặt có thể tải dữ liệu từ Internet. Hãy kiểm tra nguồn model, quyền truy cập và chính sách dữ liệu của tổ chức trước khi chạy. Chi phí cloud, nếu bạn triển khai trên cloud, không được README nêu cụ thể.
IV.Kiểm tra đã chạy được chưa
Cách kiểm tra cơ bản là chạy một trong hai lệnh mẫu của README:
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFNếu lệnh khởi động được và tải model, bạn đã cài thành công phần CLI ở mức cơ bản. README có mô tả hình minh họa về một phiên VLM với llama cli, nhưng phần tư liệu không ghi câu trả lời mẫu hoặc màn hình đầu ra cụ thể.
Bạn cũng có thể kiểm tra nhánh server:
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFKết quả mong đợi là server khởi động với model đã chọn và cung cấp API tương thích OpenAI cùng web UI tích hợp theo mô tả README. README chưa ghi URL truy cập, cổng mặc định hoặc thông báo log chính xác, nên chỉ cần xác nhận tiến trình không báo lỗi khi tải model và server tiếp tục chạy.
V.Dùng vào việc thật
A.Chủ shop hỏi nhanh về sản phẩm
Chủ shop có thể chạy một model GGUF cỡ nhỏ trên máy văn phòng, sau đó dùng llama cli để nhập câu hỏi về cách tư vấn sản phẩm. Ví dụ, bạn có thể yêu cầu: “Viết câu trả lời ngắn, lịch sự cho khách đang hỏi sản phẩm này phù hợp với nhu cầu nào”.
Cách này phù hợp để thử nghiệm nội dung tại chỗ. Kết quả nhận được là câu trả lời từ model đang chạy, không cần dựng một dịch vụ API riêng. Tuy nhiên, README không nói model có kiến thức riêng về sản phẩm của bạn, nên bạn vẫn phải cung cấp thông tin sản phẩm trong cuộc trò chuyện hoặc xây thêm thành phần dữ liệu phù hợp.
B.Nhân viên văn phòng thử chatbot nội bộ
Một nhóm có thể chạy llama serve để mở API server rồi kết nối một ứng dụng nội bộ vào endpoint đó. Prompt mẫu có thể là: “Tóm tắt nội dung ghi chú sau thành năm ý hành động, giữ nguyên tên người và số liệu”.
Lợi ích là ứng dụng khác có thể gọi server theo giao diện tương thích OpenAI. Điều này giúp đội ngũ thử nghiệm chatbot mà không phải thay đổi toàn bộ cách tích hợp. README chưa mô tả cơ chế đăng nhập, phân quyền hay mã hóa, nên không nên đưa server ra Internet công khai nếu chưa bổ sung lớp bảo vệ.
C.Lập trình viên mới chạy model cục bộ
Một lập trình viên có thể bắt đầu bằng lệnh llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF, sau đó thử các câu hỏi về giải thích code hoặc tạo đoạn mã mẫu. Đây là cách đơn giản để làm quen với suy luận LLM mà chưa cần viết chương trình C++.
Nếu model lớn hơn khả năng VRAM, llama.cpp có CPU+GPU hybrid inference để chia tải. Hiệu năng thực tế phụ thuộc model, mức lượng tử hóa, CPU, GPU và backend. README mô tả khả năng này nhưng không đưa số đo cụ thể cho từng máy.
D.Đội kỹ thuật tối ưu theo phần cứng
Đội kỹ thuật có thể chọn backend phù hợp, chẳng hạn CUDA cho GPU NVIDIA, HIP cho GPU AMD, Metal cho Apple silicon hoặc Vulkan cho GPU hỗ trợ Vulkan. Sau đó, họ đọc build guide và build từ mã nguồn để bật cấu hình cần thiết.
Lợi ích là tận dụng phần cứng sẵn có thay vì dùng một cấu hình chung. Repo cũng có thư mục benchmark và tài liệu performance troubleshooting để hỗ trợ quá trình tối ưu. Các lệnh build cụ thể không có trong phần README được cung cấp, nên cần dựa vào tài liệu trong repo.
Chạy model cục bộ chỉ thật sự hữu ích khi phần cứng, model và cách bảo vệ dữ liệu được chọn cùng nhau.
Ông T
VI.Lỗi hay gặp và cách xử lý
A.Terminal không nhận diện lệnh llama
Có thể script chưa chạy xong hoặc thư mục chứa chương trình chưa nằm trong PATH. Hãy kiểm tra lại kết quả của lệnh cài đặt, mở terminal mới rồi chạy lại lệnh mẫu. README không nêu cách thêm PATH thủ công, nên không nên tự đoán thư mục cài.
B.Script cài đặt không chạy được
Lỗi có thể do thiếu curl, sh, PowerShell không phù hợp hoặc chính sách bảo mật chặn script từ Internet. Bạn có thể thử hướng cài còn lại, truy cập llama.app, tải binary dựng sẵn từ releases hoặc dùng Docker theo tài liệu README. Không nên bỏ qua cảnh báo bảo mật để chạy script trong môi trường công ty.
C.Model tải chậm hoặc không đủ bộ nhớ
Model có thể lớn so với RAM hoặc VRAM của máy. Hãy chọn model GGUF nhỏ hơn hoặc mức lượng tử hóa phù hợp; README nêu llama.cpp hỗ trợ nhiều mức lượng tử hóa và CPU+GPU hybrid inference. README không đưa ngưỡng bộ nhớ cụ thể cho từng model, nên cần kiểm tra theo phần cứng thực tế.
D.GPU không được dùng như mong đợi
Có thể backend đã chọn không khớp với GPU, hoặc bản cài chưa được build với backend cần thiết. README liệt kê nhiều backend nhưng không cho biết script cài đặt mặc định bật backend nào. Nếu cần kiểm soát cấu hình, hãy đọc build guide và phần tài liệu backend trong repo.
E.Server chạy nhưng ứng dụng không kết nối được
README xác nhận có API tương thích OpenAI nhưng phần trích dẫn chưa nêu cổng, URL, tham số xác thực hay ví dụ request. Trước hết hãy xác nhận llama serve vẫn đang chạy và đọc tài liệu server trong repo để lấy thông tin kết nối chính xác. Không nên tự phỏng đoán endpoint hoặc mở cổng ra Internet.
VII.Có nên dùng không
Nên dùng nếu bạn muốn chạy LLM hoặc VLM cục bộ bằng một công cụ mã nguồn mở, cần hỗ trợ nhiều loại CPU/GPU, muốn tận dụng lượng tử hóa hoặc cần một API server tương thích OpenAI. Việc bắt đầu khá gọn nhờ script cài đặt và hai lệnh mẫu cho CLI và server.
Điểm mạnh của llama.cpp là triển khai bằng C/C++, ít phụ thuộc, hỗ trợ nhiều backend, có khả năng chạy hybrid CPU+GPU và bao phủ nhiều mức lượng tử hóa. Repo cũng có tài liệu, ví dụ, benchmark, công cụ chuyển đổi model và các thư mục phục vụ phát triển.
Giới hạn là README không cung cấp trong phần trích dẫn các phiên bản hệ điều hành, yêu cầu bộ nhớ, lệnh build đầy đủ, cổng server, cơ chế xác thực hoặc bảng hiệu năng theo phần cứng. Người mới có thể chạy nhanh bằng script, nhưng người muốn tối ưu GPU hoặc triển khai production sẽ phải đọc thêm tài liệu trong repo.
Bạn nên cân nhắc công cụ khác nếu cần giao diện hoàn chỉnh ngay, quản lý người dùng và quyền truy cập tích hợp sẵn, hoặc muốn có dịch vụ hosted không phải tự lo phần cứng. README của llama.cpp tập trung vào inference engine, CLI và server; các chức năng vận hành cấp doanh nghiệp không được mô tả là có sẵn.
Câu hỏi thường gặp
llama.cpp có miễn phí không?
Repo sử dụng giấy phép MIT. README không nêu chi phí sử dụng, chi phí model hoặc chi phí cloud, nên phần chi phí triển khai thực tế chưa có thông tin cụ thể.
Có cần GPU để chạy llama.cpp không?
Không nhất thiết. README mô tả nhiều backend và hỗ trợ CPU, đồng thời có CPU+GPU hybrid inference. Tuy vậy, tốc độ và model phù hợp còn tùy phần cứng.
llama.cpp chạy Windows được không?
README cung cấp một lệnh cài bằng PowerShell, cho thấy có hướng cài qua môi trường này. README không nêu phiên bản Windows tối thiểu hoặc bảng tương thích chi tiết.
Có cần API key hoặc tài khoản Hugging Face không?
Các lệnh mẫu trong README không yêu cầu API key hay tài khoản. README chỉ cho thấy model được tải bằng tham số `-hf`, còn yêu cầu tài khoản cụ thể nếu có thì chưa được nêu.
Dữ liệu chạy với llama.cpp có an toàn không?
Công cụ hỗ trợ chạy model cục bộ, nên bạn có thể giữ dữ liệu trên máy nếu không tự gửi dữ liệu ra ngoài. README không cung cấp cam kết bảo mật, cơ chế xác thực server hoặc chính sách lưu log; bạn cần tự cấu hình và kiểm tra các phần đó.
llama.cpp có hỗ trợ model từ Hugging Face không?
Có. README đưa lệnh `llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF` và `llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF` để tải và chạy model trực tiếp từ Hugging Face.
Có thể chạy model lớn hơn VRAM không?
Có thể trong một số trường hợp. README nêu CPU+GPU hybrid inference cho phép chạy một phần model trên CPU khi model lớn hơn tổng dung lượng VRAM, nhưng không đưa giới hạn cụ thể.


