Bỏ qua tới nội dung
Ông T.vn

FreeToken: chạy mô hình MoE lớn trên máy cá nhân — hướng dẫn cài đặt và dùng

12 phút đọcCập nhật

Bài này là một góc nhìn khác về FlashML-org/FreeToken — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: FreeToken: chạy model MoE cỡ lớn trên PC gaming — hướng dẫn cài đặt và dùng →

FreeToken: chạy mô hình MoE lớn trên máy cá nhân — hướng dẫn cài đặt và dùng

Tóm tắt nhanh

FreeToken là engine phục vụ mô hình Mixture-of-Experts mã nguồn mở trên máy cá nhân, hỗ trợ các mô hình lớn và API tương thích Anthropic/OpenAI. Bạn có thể dùng ứng dụng desktop trên Windows hoặc Linux, hoặc cài CLI bằng uv/pip; phần CLI cần Python từ 3.10 trở lên.

FreeToken là engine chạy mô hình ngôn ngữ Mixture-of-Experts (MoE) lớn ngay trên máy cá nhân. Dự án tận dụng đồng thời GPU, CPU, RAM và kết nối giữa các phần cứng để đưa những mô hình có quy mô hàng trăm tỷ tham số về máy người dùng.

Repo này phù hợp với lập trình viên, nhóm nghiên cứu, người xây agent và người muốn thử mô hình mở mà không phải gửi toàn bộ dữ liệu lên dịch vụ đám mây. Điểm đáng giá nhất là FreeToken nhắm tới tốc độ tương tác trên máy tiêu dùng, thay vì chỉ phục vụ thử nghiệm ngoại tuyến.

Repo hiện có khoảng 17.139 sao và 1.698 fork. Mã nguồn dùng giấy phép Apache-2.0, ngôn ngữ chính là Python. Dự án có hỗ trợ native cho GPU NVIDIA RTX 30, RTX 40 và RTX 50, đồng thời có ứng dụng desktop cho Windows và Linux.

Ứng dụng

FlashML-org/FreeToken

FreeToken giúp chạy mô hình MoE mã nguồn mở rất lớn trên máy cá nhân bằng cách phối hợp GPU, CPU và bộ nhớ máy.

★ 17kPythonApache-2.0
Xem repo trên GitHub

I.FreeToken làm được gì

  • Chạy mô hình MoE rất lớn trên phần cứng cá nhân: FreeToken được thiết kế cho các mô hình open-weight có quy mô frontier, gồm cả nhóm 290B+ tham số. Việc phối hợp GPU, CPU và bộ nhớ máy giúp người dùng khai thác phần cứng sẵn có thay vì chỉ phụ thuộc vào một GPU dung lượng lớn.

  • Tăng tốc quá trình suy luận: Runtime có cơ chế đồng thực thi CPU–GPU thích ứng theo băng thông, được gọi là chính sách q-star. Với người dùng cuối, lợi ích là quá trình trả lời có thể tương tác tốt hơn khi mô hình không nằm hoàn toàn trong VRAM.

  • Nạp dữ liệu nhanh hơn khi bắt đầu cuộc hội thoại: FreeToken hỗ trợ streaming prefill theo từng lớp và double buffering. Điều này tập trung vào giai đoạn xử lý ngữ cảnh ban đầu, vốn thường gây chậm khi prompt dài hoặc khi nạp nhiều dữ liệu.

  • Tái sử dụng expert đã dùng: Bộ nhớ đệm expert toàn cục dùng chính sách LRU để giữ lại những expert thường xuyên được gọi. Nhờ vậy, các lần suy luận sau có cơ hội tránh phải nạp lại cùng dữ liệu từ đầu.

  • Lưu lại ngữ cảnh có ý nghĩa: Semantic anchor checkpoints cho phép lưu trạng thái recurrent và KV cache theo các mốc ngữ nghĩa. Cách này hữu ích với agent có tool call hoặc khối suy nghĩ, vì một số thay đổi trong ngữ cảnh có thể không cần tính toán lại toàn bộ.

  • Tự điều chỉnh VRAM khi đang chạy: FreeToken có thể phân bổ lại VRAM giữa expert cache và KV memory trong thời gian chạy. Engine không cần khởi động lại hoặc nạp lại trọng số chỉ vì nhu cầu bộ nhớ thay đổi.

  • Hỗ trợ nhiều mô hình và định dạng: README nêu các mô hình như DeepSeek-V4-Flash, Qwen3.6-35B-A3B và GLM-5.2. Các định dạng được đề cập gồm MXFP4, NVFP4, FP8, BF16 và GGUF.

  • Kết nối với công cụ phát triển hiện có: API tương thích Anthropic và OpenAI giúp FreeToken có thể tích hợp với các coding agent và hệ thống gọi công cụ như Codex, Claude Code, OpenCode, OpenClaw và DeepSeek Harness.

  • Có cả giao diện desktop lẫn CLI: Người mới có thể tải ứng dụng desktop cho Windows hoặc Linux để thiết lập engine, chạy mô hình, chat và tinh chỉnh. Người thích tự động hóa có thể cài gói Python bằng uv hoặc pip.

II.Cần chuẩn bị gì

  • Nếu dùng ứng dụng desktop, bạn cần máy chạy Windows hoặc Linux. README chỉ nói ứng dụng desktop hỗ trợ hai hệ điều hành này.

  • Nếu dùng CLI, cần Python từ phiên bản 3.10 trở lên. pyproject.toml khai báo yêu cầu này.

  • README khuyến nghị dùng uv, đồng thời nói có thể dùng pip. Tư liệu được cung cấp chưa ghi phiên bản cụ thể của uv hoặc pip.

  • Về phần cứng, FreeToken hướng tới laptop cá nhân, máy bàn chơi game và workstation GPU. Dự án có hỗ trợ native cho NVIDIA RTX 30, RTX 40 và RTX 50.

  • README không nêu dung lượng VRAM tối thiểu, RAM tối thiểu, CPU tối thiểu hay bắt buộc phải có GPU. Vì vậy, bạn không nên suy ra một cấu hình tối thiểu cụ thể chỉ từ phần giới thiệu.

  • Không có yêu cầu API key hoặc tài khoản dịch vụ nào được nêu trong README đã cung cấp. Nếu một mô hình hoặc tích hợp cụ thể yêu cầu thông tin xác thực, hãy kiểm tra tài liệu tương ứng trong repo trước khi cấu hình.

  • Dự án có giấy phép Apache-2.0. README không nêu chi phí của ứng dụng desktop, nên thông tin về giá hoặc điều khoản phân phối desktop cần được kiểm tra ở trang tải ứng dụng và tài liệu của dự án.

III.Cài đặt từng bước

  1. Chọn cách càiDùng ứng dụng desktop hoặc CLI tùy nhu cầu
  2. Cài CLICài gói FreeToken với uv hoặc pip
  3. Tạo môi trườngTạo và kích hoạt virtual environment khi build từ mã nguồn
  4. Cài bản mã nguồnCài FreeToken ở chế độ editable cùng accelerator
  5. Mở tài liệuXem hướng dẫn cài, quick start, model và CLI reference

A.Chọn ứng dụng desktop hoặc CLI

Nếu bạn muốn bắt đầu bằng giao diện chat, README hướng dẫn tải FreeToken cho Windows hoặc Linux từ trang chủ dự án. Ứng dụng desktop tự thiết lập engine và cung cấp giao diện để chạy mô hình, trò chuyện và tinh chỉnh engine.

Nếu bạn muốn tích hợp vào quy trình lập trình, agent hoặc script Python, hãy dùng CLI. README khuyến nghị cài bằng uv, nhưng cũng nói có thể dùng pip.

README chưa ghi lệnh khởi chạy cụ thể cho ứng dụng desktop. README cũng chưa ghi một lệnh CLI hoàn chỉnh để bắt đầu server hoặc tải một model cụ thể. Vì vậy, sau khi cài, bạn cần xem các tài liệu docs/install.md, docs/quickstart.md, docs/models.md và docs/cli.md trong repo.

B.Cài gói bằng uv

Mở terminal tại máy đã cài Python và uv, sau đó chạy đúng lệnh sau:

Terminal
uv pip install "freetoken[accel]"

Lệnh này cài gói freetoken cùng nhóm phụ thuộc accel, được README dùng cho cách cài CLI được khuyến nghị. Dấu ngoặc kép nên được giữ nguyên khi sao chép lệnh.

README không ghi lệnh cài uv, nên phần tư liệu hiện có chưa đủ để hướng dẫn cài công cụ này từ đầu. Nếu terminal báo không tìm thấy uv, hãy cài uv theo tài liệu chính thức của công cụ rồi chạy lại lệnh trên.

C.Tải mã nguồn và cài ở chế độ editable

Nếu muốn build từ source, README cung cấp nguyên khối lệnh sau:

Terminal
git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken
uv venv && source .venv/bin/activate
uv pip install -e ".[accel]"

Dòng đầu tải repo về máy rồi chuyển terminal vào thư mục FreeToken. Dòng thứ hai tạo virtual environment trong thư mục .venv và kích hoạt môi trường đó. Dòng cuối cài bản editable với nhóm phụ thuộc accel, nghĩa là mã nguồn trong thư mục làm việc được dùng trực tiếp khi phát triển.

Lệnh source .venv/bin/activate là cú pháp thường dùng trong shell kiểu Unix. README không đưa cú pháp PowerShell tương đương, nên trên Windows bạn không nên tự đoán lệnh thay thế từ riêng phần hướng dẫn này. Có thể dùng ứng dụng desktop Windows, hoặc xem tài liệu cài đặt trong repo để biết quy trình CLI dành cho môi trường của bạn.

D.Đọc tài liệu sau khi cài

Repo có các tài liệu riêng cho từng việc:

  • docs/install.md: hướng dẫn cài đặt chi tiết.
  • docs/quickstart.md: các bước bắt đầu nhanh.
  • docs/models.md: danh sách và thông tin model được hỗ trợ.
  • docs/cli.md: tham chiếu các lệnh CLI.
  • docs/ftw-hotfix.md: sửa các checkpoint FTW cũ.
  • scripts/checkpoint_diagnose/README.md: chẩn đoán checkpoint không tải được.

Phần README được cung cấp chỉ ghi đường dẫn tài liệu, chưa chép nội dung lệnh chạy bên trong. Khi triển khai thật, hãy mở đúng tài liệu theo model và cách cài bạn chọn thay vì tự đặt tên tham số.

Không dán API key, token hoặc dữ liệu riêng tư vào issue, log hay prompt kiểm thử. README không yêu cầu API key, nhưng các tích hợp bên ngoài có thể có yêu cầu xác thực riêng. Hãy kiểm tra nơi lưu cấu hình trước khi kết nối với agent hoặc dịch vụ khác.

IV.Kiểm tra đã chạy được chưa

Cách kiểm tra phụ thuộc vào lựa chọn của bạn. Với ứng dụng desktop, dấu hiệu thành công theo README là ứng dụng mở được giao diện để chạy model, chat và tinh chỉnh engine.

Với CLI, trước hết cần xác nhận lệnh cài hoàn tất mà không có lỗi. Nếu cài từ source, cần bảo đảm terminal đã ở trong repo, virtual environment đã được kích hoạt và lệnh uv pip install -e ".[accel]" chạy xong.

README không cung cấp một lệnh kiểm tra phiên bản, một lệnh health check hoặc một ví dụ chạy server cụ thể. Vì vậy, không nên tự dùng một lệnh chưa có trong tài liệu để kết luận hệ thống đã hoạt động. Hãy tiếp tục theo docs/quickstart.md và docs/cli.md; nếu checkpoint không tải được, dùng hướng dẫn chẩn đoán trong scripts/checkpoint_diagnose/README.md.

V.Dùng vào việc thật

A.Chủ shop cần hỏi đáp nội bộ về sản phẩm

Một chủ shop có thể chạy model trên máy cá nhân rồi dùng giao diện desktop để trò chuyện về danh mục hàng, chính sách đổi trả hoặc cách trả lời khách. Prompt mẫu có thể là: “Tóm tắt thông tin sản phẩm này thành câu trả lời ngắn, lịch sự cho khách hàng. Nếu thiếu dữ liệu, hãy nói rõ phần còn thiếu.”

Kết quả mong đợi là một phiên chat chạy cục bộ trên phần cứng của shop. Cách này phù hợp khi chủ shop muốn thử mô hình mở và hạn chế việc đưa nội dung nội bộ lên dịch vụ bên ngoài. README không mô tả tính năng quản lý dữ liệu hoặc bảo mật riêng cho tình huống này, nên người dùng vẫn cần tự kiểm soát file và quyền truy cập máy.

B.Nhân viên văn phòng xử lý tài liệu dài

Nhân viên có thể dùng ứng dụng desktop để trao đổi nhiều lượt với một tài liệu hoặc bộ ngữ cảnh dài. Prompt mẫu: “Tách nội dung này thành các việc cần làm, chỉ rõ người phụ trách nếu tài liệu có nêu, và đánh dấu thông tin chưa chắc chắn.”

Semantic anchor checkpoints và KV cache hướng tới việc tránh tính lại toàn bộ ngữ cảnh khi có chỉnh sửa hoặc tool call. Lợi ích thực tế là các phiên làm việc nhiều bước có thể phản hồi hiệu quả hơn. Tuy nhiên, README không cam kết độ chính xác của model cho nghiệp vụ cụ thể, nên các kết luận quan trọng vẫn cần người kiểm tra.

C.Lập trình viên dùng coding agent tại máy riêng

Lập trình viên có thể kết nối FreeToken với công cụ tương thích Anthropic hoặc OpenAI. README nêu các ví dụ như Codex, Claude Code, OpenCode, OpenClaw và DeepSeek Harness. Prompt mẫu: “Đọc cấu trúc project, đề xuất cách sửa lỗi này, giải thích file sẽ thay đổi trước khi viết mã.”

Điểm hữu ích là FreeToken cung cấp API tương thích để đưa model cục bộ vào quy trình coding và tool-calling. Bạn cần xem docs/cli.md và tài liệu của agent để biết cách cấu hình endpoint, model name hoặc thông tin xác thực. README được cung cấp chưa có đoạn cấu hình cụ thể, nên không nên tự điền URL hoặc biến môi trường chưa được tài liệu hóa.

D.Nhóm nghiên cứu thử nhiều định dạng model

Nhóm nghiên cứu có thể dùng FreeToken để so sánh các model MoE và định dạng như MXFP4, NVFP4, FP8, BF16 hoặc GGUF trên phần cứng sẵn có. Ví dụ, nhóm có thể bắt đầu bằng model được liệt kê trong docs/models.md, sau đó theo dõi tốc độ tương tác và mức dùng bộ nhớ trong các thử nghiệm của mình.

FreeToken có elastic memory management, cho phép phân bổ lại VRAM giữa expert cache và KV memory khi đang chạy. Điều này có ích khi bài thử thay đổi độ dài ngữ cảnh hoặc kiểu tải. Dù vậy, README không cung cấp bảng benchmark cụ thể trong phần tư liệu này, nên bạn cần tự đo trên máy của mình.

Một chiếc máy cá nhân có thể trở thành nơi chạy mô hình MoE lớn, nếu engine biết phối hợp đúng GPU, CPU và bộ nhớ.

Ông T

VI.Lỗi hay gặp và cách xử lý

A.Terminal báo không tìm thấy uv

README khuyến nghị uv nhưng không cung cấp lệnh cài uv. Hãy kiểm tra công cụ đã có trong PATH chưa, cài uv theo tài liệu của công cụ, rồi chạy lại uv pip install "freetoken[accel]".

B.Python không đáp ứng yêu cầu

pyproject.toml yêu cầu Python từ 3.10. Nếu môi trường đang dùng bản thấp hơn, hãy chuyển sang Python đáp ứng yêu cầu trước khi cài; không nên bỏ qua điều kiện này bằng cách sửa tạm file khai báo.

C.Lệnh kích hoạt môi trường không chạy trên Windows

README cung cấp source .venv/bin/activate, đây là cú pháp shell kiểu Unix. README không ghi lệnh PowerShell tương đương. Trên Windows, hãy ưu tiên ứng dụng desktop hoặc đọc docs/install.md để tìm quy trình CLI dành cho môi trường Windows.

D.Model hoặc checkpoint không tải được

Đừng tự đổi định dạng hoặc xóa cache ngay lập tức. Kiểm tra model có nằm trong danh sách hỗ trợ ở docs/models.md không, sau đó dùng hướng dẫn scripts/checkpoint_diagnose/README.md. Nếu là checkpoint FTW cũ, xem thêm docs/ftw-hotfix.md.

E.Không biết lệnh nào để chạy server

README được cung cấp chưa có lệnh khởi chạy server cụ thể. Hãy mở docs/quickstart.md và docs/cli.md; không nên đoán tên subcommand, cờ lệnh hoặc biến môi trường vì có thể làm sai cấu hình.

VII.Có nên dùng không

Bạn nên chọn FreeToken nếu muốn chạy model MoE open-weight lớn trên máy cá nhân, có GPU NVIDIA thuộc nhóm RTX được hỗ trợ, hoặc cần đưa model cục bộ vào coding agent và hệ thống tool-calling. Ứng dụng desktop phù hợp với người mới; CLI và bản cài từ source phù hợp hơn với lập trình viên và nhóm nghiên cứu.

Điểm mạnh là cách tiếp cận tận dụng cả GPU, CPU và bộ nhớ máy, có cache expert, semantic checkpoint, điều chỉnh VRAM khi đang chạy và hỗ trợ nhiều định dạng. API tương thích Anthropic/OpenAI cũng giúp việc tích hợp với công cụ hiện có dễ hơn về mặt kiến trúc.

Giới hạn cần lưu ý là README chưa nêu cấu hình tối thiểu, lệnh chạy server hoàn chỉnh, benchmark cụ thể, chính sách dữ liệu hay giá của ứng dụng desktop. Việc cài CLI từ source cũng chưa có hướng dẫn PowerShell trong phần được cung cấp. Nếu bạn cần một quy trình triển khai có sẵn, tài liệu vận hành chi tiết, hoặc model chạy được ngay trên phần cứng không rõ khả năng, hãy xem kỹ tài liệu trong repo trước khi quyết định.

FreeToken đáng để thử khi mục tiêu là suy luận cục bộ và tận dụng phần cứng sẵn có. Nếu ưu tiên đơn giản tuyệt đối, không muốn tự kiểm tra model, checkpoint và tương thích phần cứng, một dịch vụ hosted hoặc công cụ có bộ cài hoàn chỉnh hơn có thể phù hợp hơn.

4.2/5 · Ông T chấm

Chưa có độc giả chấm

Bài này có ích với bạn không?

Câu hỏi thường gặp

FreeToken có miễn phí không?

Mã nguồn được phát hành theo giấy phép Apache-2.0. README không nêu giá của ứng dụng desktop hoặc các chi phí hạ tầng, nên chưa thể kết luận toàn bộ trải nghiệm đều miễn phí.

FreeToken có chạy được trên Windows không?

Có. README nói ứng dụng desktop có bản cho Windows và Linux. Tuy nhiên, lệnh CLI `source .venv/bin/activate` được cung cấp theo cú pháp shell kiểu Unix, còn hướng dẫn PowerShell cụ thể chưa được nêu.

Có cần GPU không?

README mô tả FreeToken phối hợp GPU, CPU, bộ nhớ máy và interconnect, đồng thời hỗ trợ native NVIDIA RTX 30, RTX 40 và RTX 50. Tài liệu được cung cấp không nêu GPU là bắt buộc hay cấu hình tối thiểu cụ thể.

Có cần API key không?

README không yêu cầu API key cho cách cài và mô tả engine chạy cục bộ. Khi kết nối với agent hoặc dịch vụ bên ngoài, yêu cầu xác thực cụ thể chưa được nêu và cần kiểm tra tài liệu tích hợp.

FreeToken hỗ trợ những model nào?

README nêu DeepSeek-V4-Flash, Qwen3.6-35B-A3B và GLM-5.2, cùng các định dạng MXFP4, NVFP4, FP8, BF16 và GGUF. Danh sách đầy đủ cần xem trong `docs/models.md`.

FreeToken khác gì một API model trên cloud?

FreeToken tập trung chạy model open-weight trên phần cứng cá nhân bằng cách phối hợp GPU, CPU và bộ nhớ máy. README không cung cấp bảng so sánh trực tiếp với từng dịch vụ cloud, nhưng có nêu API tương thích Anthropic/OpenAI để tích hợp vào công cụ hiện có.

Chuyển nhanh tới mục

  1. I.FreeToken làm được gì
  2. II.Cần chuẩn bị gì
  3. III.Cài đặt từng bước
    1. A.Chọn ứng dụng desktop hoặc CLI
    2. B.Cài gói bằng uv
    3. C.Tải mã nguồn và cài ở chế độ editable
    4. D.Đọc tài liệu sau khi cài
  4. IV.Kiểm tra đã chạy được chưa
  5. V.Dùng vào việc thật
    1. A.Chủ shop cần hỏi đáp nội bộ về sản phẩm
    2. B.Nhân viên văn phòng xử lý tài liệu dài
    3. C.Lập trình viên dùng coding agent tại máy riêng
    4. D.Nhóm nghiên cứu thử nhiều định dạng model
  6. VI.Lỗi hay gặp và cách xử lý
    1. A.Terminal báo không tìm thấy uv
    2. B.Python không đáp ứng yêu cầu
    3. C.Lệnh kích hoạt môi trường không chạy trên Windows
    4. D.Model hoặc checkpoint không tải được
    5. E.Không biết lệnh nào để chạy server
  7. VII.Có nên dùng không

Repo & Skill · 13/11/2026 · 11 phút đọc

Garden Skills: bộ skill thiết kế web, tạo ảnh, làm video cho AI — hướng dẫn cài đặt và dùng

Garden Skills là bộ sưu tập Agent Skills (kỹ năng cho AI) của tác giả ConardLi, dùng được với Claude Code, Cursor, Codex và các AI coding agent khác. Mỗi skill dạy agent làm tốt một việc như thiết kế trang web, tạo ảnh, làm video bằng code, biến tài liệu thành bài viết đẹp. Cài không khó, nhưng README có nhiều cách cài nên bạn cần chọn một cách hợp với công cụ đang dùng.

Repo & Skill · 13/11/2026 · 15 phút đọc

thesysdev/openui: xây giao diện AI dạng streaming — hướng dẫn cài đặt và dùng

OpenUI là framework full-stack, độc lập framework, giúp mô hình AI sinh giao diện có cấu trúc và hiển thị dần khi dữ liệu streaming về. Bạn có thể dựng nhanh một ứng dụng chat bằng CLI hoặc cài từng gói cho React, Vue, Svelte, Angular và LangChain. Việc bắt đầu khá đơn giản nếu máy có đúng phiên bản Node; README chưa ghi đầy đủ lệnh chạy ứng dụng sau khi scaffold.

Repo & Skill · 13/11/2026 · 11 phút đọc

Ruflo: điều phối nhóm agent AI cho Claude Code và Codex — hướng dẫn cài đặt và dùng

Ruflo (trước đây là Claude Flow) là một agent harness: lớp công cụ bao quanh Claude Code và Codex, bổ sung nhiều agent chuyên biệt, bộ nhớ qua các phiên và khả năng chia việc cho nhóm agent. Cài bằng một lệnh `npx ruflo@latest init` trong thư mục dự án, cần Node 20 trở lên. Cài khá dễ, nhưng hệ thống rất rộng nên bạn nên bắt đầu từ một tác vụ nhỏ.