Chạy mô hình lập trình 35B trên CPU, không GPU: làm được gì, chậm ở đâu

Tóm tắt nhanh
Chạy LLM local trên CPU với model lập trình cỡ 35B là làm được: theo tư liệu, Ornith-1.5-35B-A3B giải mã khoảng 28-30 token/s trên laptop thường, không cần GPU. Chỗ chậm nằm ở prefill (đọc prompt dài) và ở giới hạn phần cứng, nên chạy local hợp để làm việc vặt, riêng tư, còn việc nặng thì thuê bao vẫn có lý của nó.
Tư liệu mình đọc được hôm nay là một bài đăng ngắn trên X, nhưng nó đáng để mổ xẻ. Ý chính: một model lập trình cỡ 35B chạy được trên CPU, không GPU, trên máy kiểu laptop phổ thông.
Mình nói trước cho công bằng: đây chỉ là quan sát từ một bài đăng, chưa phải benchmark hoành tráng gì. Mình chưa tự đo lại trên máy mình, nên đọc bài này như "bản đọc kỹ tư liệu + phân tích" thôi nha ae :)))
I.Chạy model 35B trên CPU có thật sự dùng được không?
Dùng được, nhưng "dùng được" ở đây có điều kiện. Tác giả bài đăng nói thẳng: đừng trả tiền cho "trí thông minh" nữa, bạn có thể chạy local một model lập trình 35B trên CPU, kèm cả computer-use.
A.Tư liệu nói gì
Model được nhắc tên là Ornith-1.5-35B-A3B. Số đo trong bài: giải mã (decode) khoảng 28-30 token/s, còn prefill trên cấu hình CPU/tích hợp thì ghi dải "5k-255 token/s". Không GPU, chạy trên một cái laptop tiêu dùng.
Tác giả muốn chứng minh một điều: model mã nguồn mở đủ khả năng thì không nhất thiết cần card đồ họa xịn hay thuê bao cloud. Nghe hơi "cháy" nhưng hướng đi này mình thấy hợp lý.
Số liệu trong tư liệu
B."Dùng được" nghĩa là gì
Mình hay tách làm hai tầng. Tầng một là chạy được: model nạp lên, trả lời, sinh code. Tầng hai là làm việc được: đủ nhanh để không phải ngồi nhìn màn hình đợi như đợi nước sôi.
Với 28-30 token/s thì tầng một chắc chắn qua. Tầng hai thì tuỳ ae định làm gì, và đó là phần mình sẽ đào ở các mục dưới.
II.Vì sao model 35B lại chạy nổi trên CPU thường?
Mấu chốt nằm ở cái đuôi "A3B" trong tên model, và ở RAM chứ không phải ở nhân CPU. Không phải máy ae đột nhiên mạnh lên, mà là cách model được thiết kế.
A.Cái đuôi A3B nghĩa là gì
Theo cách đặt tên quen thuộc của các model mã nguồn mở hiện nay, "35B-A3B" thường chỉ kiểu kiến trúc mixture-of-experts: tổng 35B tham số nhưng mỗi token chỉ kích hoạt khoảng 3B. Mình suy ra từ cách đặt tên thôi, tư liệu không giải thích chi tiết, nên ae muốn chắc thì check model card.
Nếu đúng vậy thì mỗi bước giải mã chỉ "động" tới một phần nhỏ của model. Đó là lý do con số 28-30 token/s trên CPU nghe hợp lý, vì CPU đang gánh khối lượng tính của một model nhỏ hơn nhiều so với con số 35B nghe doạ người.
B.RAM mới là điểm nghẽn
Nhưng "chỉ kích hoạt 3B" không có nghĩa là chỉ cần chỗ cho 3B. Cả 35B tham số vẫn phải nằm đâu đó để lúc cần là gọi ra được. Nên ĐIỂM NGHẼN thật sự là RAM (dung lượng lẫn băng thông), chứ không phải số nhân CPU.
Tư liệu không nói laptop kia bao nhiêu GB RAM, nên mình ko dám bịa. Quy tắc chung: model càng được nén (quantize) mạnh thì càng nhẹ, nhưng chất lượng cũng có thể tụt theo. Đây là cái giá nhìn ko thấy mà ae cần để ý.
III.Decode nhanh, prefill mới là chỗ đau?
Đúng, với việc code thì prefill mới là chỗ dễ làm ae cáu. Decode là lúc model nhả chữ ra, prefill là lúc model đọc toàn bộ prompt + ngữ cảnh trước khi nói được chữ đầu tiên.
A.28-30 token/s đọc ra sao
Mức này tương đương người đọc khá nhanh, nên với chat hay hỏi đáp ngắn thì cảm giác ổn. Thừa nhận đi, ai từng dùng model local trên máy yếu đều biết cảm giác 3-5 token/s là hành xác cỡ nào :)))
Vậy 28-30 token/s trên CPU là một cột mốc đáng nói. Nó chuyển model 35B từ "đồ chơi cho demo" sang "cái ae có thể mở lên dùng thật" ở những việc ngắn.
Chạy được thì ai cũng chạy được. Chạy mà không phải ngồi đợi mới là chuyện đáng bàn.
Ông T
B.Prefill: dải số quá rộng
Tư liệu ghi prefill dao động "5k-255 token/s". Mình đọc là dải này rộng khủng khiếp, và bài đăng ko nói rõ cấu hình nào ứng với đầu nào. Nên đừng lấy số đẹp nhất mà mơ.
Thử tính cho dễ hình dung. Một agent lập trình hay nhồi vào hàng nghìn token: file code, log, hướng dẫn hệ thống. Nếu prefill ở đầu thấp của dải thì mỗi lượt có thể phải đợi rất lâu mới thấy model bắt đầu trả lời. Còn ở đầu cao thì đỡ hơn hẳn. Chênh lệch này quyết định trải nghiệm.
Decode vs prefill khi chạy trên CPU
| Decode (sinh chữ) | Prefill (đọc prompt) | |
|---|---|---|
| Model đang làm gì | Nhả từng token ra | Đọc hết ngữ cảnh đầu vào |
| Số trong tư liệu | 28-30 token/s | dải rất rộng, tới 255 token/s |
| Cảm giác khi dùng | Ổn, ngang tốc độ đọc | Có thể đợi lâu nếu prompt dài |
| Ảnh hưởng tới code | Ít với việc ngắn | Nặng khi nhồi nhiều file |
IV.Chạy local hay trả tiền thuê bao: tính sao cho đỡ ảo?
Ko có đáp án chung. Chạy local thắng ở chi phí biên, quyền riêng tư và sự chủ động. Thuê bao thắng ở tốc độ, độ ổn định và mức "thông minh" tối đa. Mình ko đứng phe nào, chỉ đứng phe thực dụng :))
A.Cái gì local làm ngon
Những việc lặt vặt mà ae hay làm cả ngày: giải thích đoạn code, viết hàm nhỏ, refactor một file, viết test, sửa lỗi cú pháp. Mấy việc này prompt ngắn, kết quả ngắn, nên decode 28-30 token/s là quá đủ.
Thêm nữa là code công ty, code khách hàng ko muốn gửi lên cloud. Chạy local thì dữ liệu nằm yên trong máy. Với dự án nhạy cảm thì chỉ riêng điểm này đã đáng giá.
Còn một điểm nhỏ mà vui: ko lo hết quota giữa chừng. Ae ai từng bị "đã dùng hết lượt" lúc đang cook dở sẽ hiểu :)))
B.Cái gì vẫn nên trả tiền
Tác vụ dài hơi, agent chạy nhiều bước trên cả repo, ngữ cảnh khổng lồ: đây là chỗ prefill trên CPU sẽ làm ae đau. Chưa kể model local cỡ này chưa chắc ngang các model đóng hàng đầu ở những bài khó. Tư liệu ko đưa số so sánh nên mình ko khẳng định gì hơn.
Nếu ae kiếm tiền bằng code, thời gian của ae đắt hơn tiền thuê bao. Một lượt đợi 2-3 phút nhân với cả ngày làm việc là một con số ko nhỏ.
Đừng hỏi local có rẻ hơn không. Hỏi xem giờ ngồi đợi của mình đáng bao nhiêu.
Ông T
V.Muốn thử trên máy mình thì làm gì, tránh sai lầm gì?
Cứ thử theo kiểu đo đạc trước, kết luận sau. Đừng cài xong thấy chạy được là tuyên bố "khỏi cần trả tiền nữa". Mình thấy nhiều người dính cái bẫy này.
A.Các bước thử cho gọn
Thử chạy model lớn trên CPU
- Kiểm tra máyXem RAM trống bao nhiêu GB, đừng đoán
- Chọn bản nénBản quantize vừa RAM, ưu tiên bản nhẹ trước
- Đo decodeCho sinh một đoạn code ngắn, ghi lại token/s thật
- Đo prefillNhồi file dài hoặc log thật vào, bấm giờ tới chữ đầu tiên
- Thử việc thậtGiao một task thật của mình, so với công cụ đang dùng
Bước 4 là bước người ta hay bỏ qua, và cũng là bước cho ae biết sự thật. Số trong bài đăng là của người ta, máy ae mới là máy ae.
B.Sai lầm hay gặp
Sai lầm số một: nhìn token/s của decode rồi quên prefill. Số hai: chọn bản nén quá mạnh cho vừa RAM, rồi chê model dở trong khi lỗi nằm ở cách nén. Số ba: đem so với model cloud đỉnh nhất trên bài khó nhất rồi kết luận local vô dụng, hoặc ngược lại.
Thực ra cách công bằng là so trên đúng công việc hằng ngày của ae. Nếu 70% việc là vặt thì local có thể ăn hết phần đó, phần còn lại để cloud lo. Chia ra như vậy hợp lý hơn nhiều so với "hoặc cái này hoặc cái kia".
Trước khi bỏ thuê bao, kiểm tra
- Đã đo decode và prefill thật trên máy mình
- RAM đủ cho bản nén mà vẫn chạy mượt
- Chất lượng code đủ cho việc hằng ngày của mình
- Có phương án dự phòng cho tác vụ dài, ngữ cảnh lớn
- Tính cả thời gian ngồi đợi vào chi phí
- Có dự án cần giữ code ở local vì lý do riêng tư
VI.Vậy tóm lại, hướng đi này đáng chú ý ở đâu?
Đáng chú ý vì nó hạ rào cản. Trước đây "model lớn" gần như đồng nghĩa với "GPU đắt tiền hoặc thuê cloud". Giờ có thêm lựa chọn thứ ba: laptop thường, CPU, model mở.
Mình ko nghĩ thuê bao sẽ biến mất, nhưng áp lực giá chắc chắn tăng lên. Khi chạy local đủ dùng cho nửa công việc, thuê bao phải chứng minh nó đáng tiền ở nửa còn lại.
Còn con số 28-30 token/s kia thì mình xem là lời mời thử, chưa phải kết luận. Thử xong có phát hiện gì hay ho thì tui báo cáo tiếp, báo cáo hết ạ! =))))
Ps. Nguồn là một bài đăng trên X của tài khoản 0x0SojalSec, đọc trực tiếp tại https://x.com/0x0SojalSec/status/2122017432374321272 để xem nguyên văn.
Câu hỏi thường gặp
Chạy LLM local trên CPU cần laptop cấu hình thế nào?
Tư liệu chỉ nói là laptop tiêu dùng, không GPU, chứ không nêu rõ RAM hay đời CPU. Với model cỡ 35B, RAM thường là yếu tố quyết định hơn số nhân CPU, nên cứ kiểm tra RAM trống trước khi tải. Cách chắc nhất là đo thử trên máy mình thay vì tin số của người khác.
28-30 token/s là nhanh hay chậm?
Mức này tương đương tốc độ người đọc khá nhanh, nên với chat và các tác vụ ngắn thì thoải mái. Nhưng đây là tốc độ sinh chữ thôi. Thời gian đọc prompt dài (prefill) mới là chỗ quyết định cảm giác khi dùng để code.
Prefill và decode khác nhau thế nào?
Prefill là lúc model đọc toàn bộ prompt và ngữ cảnh đầu vào, decode là lúc nó nhả từng token trả lời. Prompt càng dài, prefill càng tốn thời gian trước khi thấy chữ đầu tiên. Với agent lập trình hay nhồi nhiều file, prefill thường là điểm nghẽn.
Chạy local có thay được thuê bao AI không?
Thay được một phần, tuỳ công việc. Việc ngắn, lặt vặt hoặc cần giữ code riêng tư thì local ổn. Tác vụ dài, ngữ cảnh lớn, hoặc cần mức thông minh tối đa thì thuê bao vẫn có lợi thế, và nhiều người sẽ dùng kết hợp cả hai.
Tên Ornith-1.5-35B-A3B có nghĩa gì?
35B là tổng số tham số. Đuôi A3B theo cách đặt tên phổ biến thường chỉ số tham số được kích hoạt mỗi token, khoảng 3B, kiểu mixture-of-experts. Tư liệu không giải thích chi tiết nên bạn nên đối chiếu model card để chắc chắn.


