kimi-k3-in-c: chạy Kimi K3 2,78 nghìn tỷ tham số trên CPU, 8 GB RAM — hướng dẫn cài đặt và dùng

Tóm tắt nhanh
kimi-k3-in-c là một engine suy luận viết bằng C99 thuần, cho phép chạy mô hình Kimi K3 2,78 nghìn tỷ tham số trên một CPU với khoảng 8 GB RAM, không cần GPU. Đổi lại, tốc độ rất chậm trên máy ít RAM và bạn phải tải checkpoint 1,56 TB. Phần build và chạy bộ kiểm thử thì dễ, chỉ mất khoảng một phút và không cần tải mô hình.
kimi-k3-in-c là một engine suy luận (inference engine) viết bằng C99, dùng để chạy mô hình Kimi K3 có 2,78 nghìn tỷ tham số ngay trên CPU. Không GPU, không thư viện BLAS, không framework học sâu. Theo tác giả, đỉnh bộ nhớ đo được chỉ khoảng 8,24 GB RAM, dù checkpoint trên đĩa nặng 1,56 TB.
Vấn đề repo giải quyết: mô hình cỡ này thường đòi cả cụm máy chủ GPU. Repo chọn cách khác. Phần "thân" dày của mô hình được đọc từ đĩa theo từng lớp, còn các chuyên gia (expert) nặng nhất không bao giờ nằm hết trong RAM. Nhờ vậy cùng một mô hình, cùng một câu trả lời, chạy được trên máy 8 GB lẫn máy 128 GB. Máy nhiều RAM chỉ nhanh hơn, không cho kết quả khác.
Ai nên dùng? Lập trình viên, người thích tìm hiểu cách LLM chạy bên trong, hoặc ai muốn thử chạy mô hình khổng lồ trên máy cá nhân. Điểm đáng giá nhất là bạn build và chạy toàn bộ bộ kiểm thử chỉ trong khoảng một phút mà không cần tải mô hình nào. Repo hiện có khoảng 11.922 sao và 1.838 fork, dùng giấy phép Apache-2.0.
FareedKhan-dev/kimi-k3-in-c
Engine suy luận Kimi K3 (2,78T tham số) viết bằng C99, chạy trên CPU với 8,24 GB RAM, không GPU, không BLAS, không framework.
I.kimi-k3-in-c làm được gì
Chạy mô hình 2,78T tham số với RAM nhỏ. Chạy được với từ 8 GB RAM trở lên. Có nhiều preset (laptop, desktop, workstation, server, max, và ultra cho máy 8 GB). Chọn preset theo RAM bạn có.
Kết quả giống hệt ở mọi mức RAM. README nói đầu ra giống nhau từng byte từ máy nhỏ nhất đến lớn nhất. Bạn không phải lo máy yếu thì câu trả lời "dở hơn". Chỉ có đồng hồ khác. Theo bảng của tác giả, máy 8 GB mất khoảng 26,5 giây mỗi token, còn máy 128 GB trở lên khoảng 5,6 giây. Các số này đo trên một máy 124 lõi với ổ NVMe nhanh, nên máy của bạn có thể chậm hơn.
Gọn và dễ đọc. Toàn bộ engine khoảng 176 KB mã C. Bạn cần trình biên dịch C99, thư viện toán chuẩn (libm) và OpenMP. Cách này hợp với ai muốn đọc code để hiểu LLM chạy thế nào. Phần II của README giải thích từng thành phần từ đầu.
Có chế độ trò chuyện. Cờ --chat dùng định dạng XTML chính thức của Kimi K3. Bạn nhập câu hỏi, mô hình trả lời, có thể lưu lịch sử vào file. Phiên bản hiện chỉ hỗ trợ văn bản, chưa có công cụ, ảnh hay máy chủ.
Có bộ kiểm thử không cần mô hình. make test kiểm tra engine với một mô hình nhỏ 13 lớp, có cùng đồ thị tensor với bản thật, so với kết quả tham chiếu PyTorch lưu sẵn trong repo. Bạn biết engine đúng hay sai trước khi tải 1,56 TB.
Có script hỗ trợ. k3-doctor.sh kiểm tra máy, đo tốc độ đĩa và gợi ý lệnh chạy tiếp theo. download-model.sh tải mô hình có thể tiếp tục khi đứt và tự kiểm tra dung lượng từng file. pack-trunk.sh đóng gói phần thân mô hình để đọc nhanh.
II.Cần chuẩn bị gì
Điểm nghẽn là ổ đĩa: checkpoint nặng 1,56 TB. Phần còn lại khá bình thường.
- Hệ điều hành: Linux x86-64 là bản tham chiếu. macOS (arm64) và Windows (x86-64) cũng build được và qua các bài kiểm thử. Trên Windows README nói port qua MSYS2 với MinGW-w64.
- CPU: AVX2 và FMA trên x86-64, hoặc NEON trên arm64. Không cần AVX-512.
- RAM: từ 8 GB trở lên. Nhiều RAM hơn thì nhanh hơn, không thay đổi kết quả.
- Ổ đĩa: khoảng 1,7 TB trống, gồm 1,56 TB checkpoint và 109 GB thân đã đóng gói. Nên là ổ cục bộ nhanh, ưu tiên NVMe.
- Trình biên dịch: GCC từ 9 hoặc Clang từ 10, cùng GNU make hoặc CMake.
- Python: README ghi 3.9 trở lên cho các công cụ tải, đóng gói và phân tích, còn
make testthì không cần Python. Lưu ýpyproject.tomllại ghi>=3.12. Nếu bạn định cài gói Python, hãy dùng 3.12 trở lên cho chắc. - Tài khoản: cần token Hugging Face để tải checkpoint (tạo ở trang settings/tokens của Hugging Face).
Có hai thứ nên cân nhắc trước khi bắt đầu: 1,56 TB tải về mất hàng giờ và tốn băng thông, còn token Hugging Face là thông tin bí mật, đừng dán vào chat hay đưa lên GitHub.
III.Cài đặt từng bước
- Tải mã nguồnclone repo về máy
- Kiểm tra máychạy k3-doctor.sh để biết máy chạy được preset nào
- Buildbiên dịch bằng make -j
- Chạy kiểm thửmake test, không cần tải mô hình
- Tải checkpoint1,56 TB từ Hugging Face bằng token
- Đóng gói và chạypack-trunk.sh rồi chạy ./bin/k3
A.Tải mã nguồn
Mở terminal (Linux/macOS) hoặc MSYS2 (Windows) rồi chạy hai lệnh sau. Repo nặng khoảng 45 MB, phần lớn là sơ đồ và dữ liệu kiểm thử.
git clone https://github.com/FareedKhan-dev/kimi-k3-in-c.git
cd kimi-k3-in-cLệnh cd đưa bạn vào thư mục repo. Các lệnh sau đều phải chạy ở đây, nhiều bạn mới quên bước này nên gặp lỗi "không tìm thấy file".
B.Kiểm tra máy
./scripts/k3-doctor.shScript kiểm tra trình biên dịch, so RAM của bạn với các preset, đo tốc độ đĩa theo đúng cách engine đọc, rồi in ra lệnh nên chạy tiếp. Mất khoảng một phút. Nếu máy không thể chạy mô hình, script thoát với mã lỗi khác 0.
C.Build
make -jBuild mất vài giây. Chỉ cần trình biên dịch C99, libm và OpenMP. Nếu thích CMake thì README cũng cho cách này:
cmake -B build && cmake --build build -j && ctest --test-dir buildSau khi build xong, file chạy nằm ở ./bin/k3.
D.Chạy kiểm thử trước khi tải
make testBước này nên làm trước khi tải 1,56 TB. Nó chứng minh engine khớp với bản tham chiếu mà không cần mô hình thật. Cuối cùng bạn phải thấy dòng ALL WEIGHTLESS TESTS PASSED.
Nếu muốn xem thêm một phép đo, README có lệnh phát lại bộ nhớ đệm chuyên gia từ dữ liệu đã ghi (cần Python và numpy):
python3 tools/sim_cache.py tests/fixtures/expert_trace.binE.Tải checkpoint
Đây là bước lâu nhất, tính bằng giờ. Lấy token tại huggingface.co/settings/tokens rồi chạy:
export HF_TOKEN=hf_your_token_here # read from the environment, never echoed
./scripts/download-model.sh ~/k3model # resumable, re-run to continueThay hf_your_token_here bằng token của bạn. Nếu đứt mạng, chạy lại đúng lệnh thứ hai để tải tiếp. Cuối cùng script kiểm tra số file, tổng số byte và dung lượng từng file. Kết quả đúng sẽ có dòng RESULT : byte-exact match. Nếu thấy FAIL, hãy dừng lại: README cảnh báo tải thiếu không báo lỗi ồn ào mà chỉ làm token sai.
F.Đóng gói thân mô hình rồi chạy
./scripts/pack-trunk.sh ~/k3model ~/k3trunkMất khoảng bốn phút, làm một lần. Script gom 93 lớp dày thành một file 109 GB để mỗi lớp đọc được bằng một lần gọi. README nói đây là bước biến yêu cầu bộ nhớ thành "cái nút vặn", nên hãy đặt đầu ra trên ổ nhanh nhất bạn có.
Bây giờ chạy thử:
./bin/k3 ~/k3model --trunk ~/k3trunk --preset workstation \
--tok ~/k3model --prompt "The capital of France is" --gen 8 --incrementalGiải thích nhanh: ~/k3model là thư mục chứa checkpoint. --trunk trỏ tới thân đã đóng gói. --preset chọn mức dùng RAM. --tok trỏ tới thư mục có bộ tách từ (đi kèm checkpoint). --gen 8 sinh 8 token. --incremental giữ bộ nhớ đệm giữa các bước để nhanh hơn nhiều. Máy 8 GB thì đổi workstation thành laptop, như ví dụ trong README.
Token đầu tiên luôn lâu hơn hẳn vì phải nạp các lớp vào RAM. Chi phí này chỉ trả một lần mỗi lượt chạy.
IV.Kiểm tra đã chạy được chưa
Có hai mức kiểm tra.
Mức 1, không cần mô hình: make test phải kết thúc bằng các dòng sau, nếu không là thất bại:
VERDICT: ENGINE MATCHES THE REFERENCE EXACTLY
ALL WEIGHTLESS TESTS PASSEDBa cổng kiểm tra (teacher forcing, giải mã tham lam, giải mã tăng dần) đều phải khớp hoàn toàn.
Mức 2, với mô hình thật: lệnh ./bin/k3 ... --prompt "The capital of France is" --gen 8 --incremental in ra phần generated text cùng dòng tổng kết dạng 8 tokens in ... s và PEAK RSS for the whole run: .... Ví dụ README với preset laptop ra khoảng 8,24 GB RSS đỉnh và chữ "Paris" ở đầu đoạn sinh. Đây là phần tiếp nối thô của câu, không phải câu trả lời trò chuyện, nên đừng ngạc nhiên nếu có ký tự lạ phía sau.
V.Dùng vào việc thật
A.Lập trình viên kiểm tra engine trước khi tải
Bạn là dev, thấy repo hay nhưng chưa muốn tốn 1,56 TB. Chỉ cần clone, make -j rồi make test. Sau chưa đầy vài phút bạn có kết quả "engine khớp bản tham chiếu", kèm toàn bộ mã kernel, bộ đọc safetensors và bộ tách từ để đọc. Đây là cách dùng nhẹ nhất và cũng là cách học nhanh nhất nếu bạn quan tâm cấu trúc bên trong của LLM.
Cùng một mô hình, cùng một câu trả lời, chạy trên bất kỳ máy nào bạn có — chỉ có đồng hồ là khác.
Ông T
B.Người dùng laptop 8 GB muốn thử mô hình khổng lồ
Bạn có laptop thường, ổ SSD lớn, tò mò xem mô hình 2,78T chạy ra sao. Dùng preset laptop:
./bin/k3 ~/k3model --trunk ~/k3trunk --preset laptop \
--tok ~/k3model --prompt "The capital of France is" --gen 8 --incrementalKết quả đúng, nhưng chậm: bảng của tác giả cho máy 8 GB khoảng 26,5 giây mỗi token, và ví dụ gốc dùng ổ chậm hơn nên còn lâu hơn nữa. Cách này hợp để "chứng minh chạy được" hơn là dùng hằng ngày. Nếu máy cực yếu, README có preset ultra với cờ --ultra-low-memory, nhưng chính tác giả nói nó chỉ là bản chứng minh cho máy 8 GB chứ không dành cho tốc độ tương tác.
C.Trò chuyện nhiều lượt với mô hình
Bạn có máy 64 GB RAM và muốn hỏi đáp thay vì chỉ sinh tiếp câu. Dùng chế độ chat:
./bin/k3 ~/k3model --trunk ~/k3trunk --preset desktop --tok ~/k3model \
--chat --system "You are a helpful assistant." \
--history my-session.jsonl --incrementalGõ câu hỏi như bình thường. Trong phiên có thể dùng /help, /reset và /exit. Đầu ra gồm cả phần <think> lẫn <response>, và --history lưu lịch sử vào file. Hãy kỳ vọng tốc độ theo bảng trên: mỗi token vẫn mất hàng chục giây ở mức RAM này.
D.Đưa prompt có dấu hoặc từ file
Bạn muốn chạy prompt dài hoặc có ký tự không phải ASCII. README khuyên dùng --prompt-file vì shell có thể đổi mã hoá khi truyền qua tham số, còn file thì được đọc nguyên byte:
printf 'La capitale de la France est' > /tmp/p.txt
./bin/k3 ~/k3model --tok ~/k3model --prompt-file /tmp/p.txt ...Dấu ba chấm là phần còn lại của lệnh (--trunk, --preset, --gen, --incremental) như các ví dụ trên. README nhắc đến tiếng CJK, emoji và chữ có dấu. Phần này chỉ nói về cách nạp văn bản đúng, chưa có thông tin về chất lượng trả lời cho từng ngôn ngữ. Cần tái lập kết quả chính xác thì dùng --ids 1,2,3 để đưa thẳng id token, không cần nạp bộ tách từ.
VI.Lỗi hay gặp và cách xử lý
Báo lỗi cách dùng (mã thoát 2). Ngoài chế độ --chat, bạn phải đưa đúng một trong ba cờ --prompt, --prompt-file hoặc --ids. Không đưa hoặc đưa nhiều hơn một đều bị coi là lỗi. Ngoài ra --prompt và --prompt-file đều bắt buộc có --tok.
Dùng --preset mà quên --trunk. README nhấn mạnh preset sẽ "không làm được gì có ích": engine tải toàn bộ khoảng 113,5 GB vào RAM bất kể bạn chọn mức nào, máy nhỏ sẽ hết bộ nhớ. Luôn kèm --trunk ~/k3trunk.
Tải checkpoint dở dang. Tải thiếu không báo lỗi lớn mà sinh ra token sai. Hãy chạy lại ./scripts/download-model.sh ~/k3model cho đến khi thấy byte-exact match. Nếu có file lỗi, script chỉ ra từng file, nên bạn chỉ phải tải lại file đó chứ không phải cả 1,56 TB.
Hết chỗ trống trên đĩa. Cần khoảng 1,7 TB cho checkpoint cộng thân đã đóng gói. Kiểm tra dung lượng trước, và chạy ./scripts/k3-doctor.sh để biết máy có đủ điều kiện không.
Build trên Windows không chạy. README nói bản Windows dựa vào MSYS2 với MinGW-w64. Hãy build trong cửa sổ MSYS2 thay vì PowerShell thông thường. Nếu vẫn lỗi, xem src/io/k3_portable_io.h và thư mục docs/ trong repo.
Chạy quá chậm. Đây thường không phải lỗi. Với RAM thấp mô hình phải đọc lại từ đĩa ở mỗi token, nên tốc độ phụ thuộc mạnh vào ổ. Hãy đặt checkpoint và thân đã đóng gói trên NVMe, và nhớ thêm --incremental.
VII.Có nên dùng không
Điểm mạnh. Đây là cách hiếm hoi để chạy một mô hình cỡ nghìn tỷ tham số mà không cần GPU. Mã gọn, tài liệu rất chi tiết, có bộ kiểm thử đối chiếu bản tham chiếu, và kết quả không đổi theo mức RAM. Giấy phép Apache-2.0 và repo vẫn được cập nhật trong ba tháng gần đây.
Giới hạn. Tốc độ chậm: ngay cả máy 128 GB trở lên cũng khoảng 5,6 giây mỗi token theo số đo của tác giả. Cần ổ lớn cỡ 1,7 TB và tải hàng giờ. Bản chat hiện chỉ có văn bản, chưa có công cụ hay ảnh.
Nên chọn cách khác khi bạn cần câu trả lời nhanh cho công việc hằng ngày, ví dụ viết email hay tóm tắt tài liệu. Khi đó dùng dịch vụ đám mây hoặc một mô hình nhỏ hơn sẽ thực tế hơn nhiều. Repo này hợp nhất với người muốn nghiên cứu, học cách engine suy luận hoạt động, hoặc thử nghiệm chạy mô hình lớn trên phần cứng cá nhân.
Câu hỏi thường gặp
kimi-k3-in-c có miễn phí không?
Mã nguồn dùng giấy phép Apache-2.0 nên bạn dùng và sửa được. Bạn cần token Hugging Face để tải checkpoint. Tư liệu không nói gì thêm về điều khoản hay chi phí của phía checkpoint, nên hãy xem trang mô hình trên Hugging Face.
Có cần GPU không?
Không. Repo viết bằng C99, không dùng GPU, BLAS hay framework. Trên x86-64 cần CPU có AVX2 và FMA, trên arm64 dùng NEON.
Cần bao nhiêu RAM và ổ đĩa?
RAM từ 8 GB trở lên, mọi preset đều chạy được và nhiều RAM hơn chỉ nhanh hơn. Ổ đĩa cần khoảng 1,7 TB trống, gồm 1,56 TB checkpoint và 109 GB thân đã đóng gói. Nên dùng ổ cục bộ nhanh.
Chạy trên Windows hay macOS được không?
Được. Linux x86-64 là bản tham chiếu, còn macOS/arm64 và Windows/x86-64 cũng build và qua các bài kiểm thử theo README. Trên Windows port dựa vào MSYS2 với MinGW-w64.
Chạy chậm cỡ nào?
Theo số đo của tác giả trên một máy 124 lõi với ổ NVMe: khoảng 26,5 giây mỗi token ở 8 GB RAM, 24,2 giây ở 32 GB, 19,8 giây ở 64 GB và 5,6 giây ở 128 GB trở lên. Máy của bạn, nhất là ổ đĩa, có thể cho số khác.
Có kiểm tra thử mà không tải mô hình được không?
Được. Chỉ cần clone, chạy `make -j` rồi `make test`, mất khoảng một phút, không cần mô hình, mạng hay Python. Kết quả đúng sẽ kết thúc bằng dòng ALL WEIGHTLESS TESTS PASSED.
Dữ liệu của tôi có an toàn không?
Tư liệu không có mục nào nói riêng về quyền riêng tư dữ liệu. Engine chạy cục bộ trên máy bạn và chỉ cần mạng khi tải checkpoint. Repo có file SECURITY.md để bạn tham khảo thêm.


