Bỏ qua tới nội dung
Ông T.vn

Memorilla: nén cả kho tài liệu thành 16 token bộ nhớ cho LLM — hướng dẫn cài đặt và dùng

11 phút đọcCập nhật
Memorilla: nén cả kho tài liệu thành 16 token bộ nhớ cho LLM — hướng dẫn cài đặt và dùng

Tóm tắt nhanh

Memorilla là thư viện Python của nhóm nghiên cứu Stanford, dùng để cho một LLM đang đóng băng "nhớ" cả bộ tài liệu dài mà chỉ cần 16 token bộ nhớ. Nó hợp với lập trình viên và nhà nghiên cứu muốn làm trợ lý nhớ lịch sử người dùng. Cài không khó về thao tác, nhưng đòi hỏi Linux, GPU NVIDIA và Python 3.11.

Memorilla là một thư viện Python giúp một mô hình ngôn ngữ lớn (LLM) "nhớ" được cả một kho tài liệu rất dài. Nó đọc toàn bộ kho, ví dụ lịch sử chat của một người dùng hoặc cả một cuốn sách. Sau đó nó nén lại thành đúng 16 token bộ nhớ, phụ thuộc vào câu hỏi, rồi đưa cho LLM. Repo là mã nguồn đi kèm bài báo khoa học của nhóm Stanford, có cả phần huấn luyện lẫn đánh giá.

Vấn đề nó giải quyết rất quen thuộc. LLM chỉ dùng được những gì nằm vừa trong cửa sổ ngữ cảnh. Muốn trợ lý nhớ 100 cuộc trò chuyện cũ của khách, bạn thường phải nhét hết vào prompt (chậm, tốn) hoặc tìm vài đoạn liên quan bằng RAG (dễ bỏ sót những manh mối gián tiếp). Memorilla đi đường khác: LLM luôn nhận cùng 16 token, dù kho tài liệu lớn hay nhỏ.

Theo tác giả, với ngân sách nhỏ này Memorilla đạt hiệu năng trung bình tốt nhất khi so với các phương pháp như Mem0 và MemoRAG. Trên bộ FactKG, nó còn chính xác hơn việc đưa toàn bộ tài liệu cho LLM (84,33% so với 80,43%) mà dùng ít token hơn khoảng 108 lần. Repo hiện có khoảng 867 sao và 63 fork, giấy phép Apache-2.0, và vẫn được cập nhật trong vài tháng gần đây.

Lưu ý ngay từ đầu: đây là công cụ cho người có GPU NVIDIA lớn và biết đọc Python. Nếu bạn chỉ cần một ứng dụng bấm là chạy, repo này chưa phải thứ đó.

Thư viện

snap-stanford/memorilla

Memorilla đọc cả bộ tài liệu hoặc lịch sử chat rồi đưa cho LLM đóng băng chỉ 16 token bộ nhớ theo từng câu hỏi, thay vì nhét hết vào prompt.

★ 867PythonApache-2.0
Xem repo trên GitHub

I.Memorilla làm được gì

A.Nén cả kho tài liệu thành 16 token

Memorilla gồm một mô-đun bộ nhớ được huấn luyện, đặt cạnh một LLM đóng băng (bản dựng sẵn dùng Qwen3-8B) và một bộ mã hoá embedding (Qwen3-Embedding-4B). LLM không bị sửa gì cả. Bạn không phải tinh chỉnh chính LLM, chỉ thêm phần bộ nhớ.

B.Tìm ra manh mối nằm rải rác

Ví dụ trong README: người dùng có 107 cuộc trò chuyện cũ, khoảng 32.000 token. Họ hỏi "gợi ý bữa sáng dễ làm mà no lâu". Trong một cuộc trò chuyện cũ, họ từng hỏi chuyện tiểu đường bên họ ngoại có làm tăng nguy cơ hơn bên họ nội không. Memorilla nối hai chi tiết đó và gợi ý món ăn ít làm tăng đường huyết, còn Qwen3-8B không có bộ nhớ chỉ trả lời một danh sách bữa sáng chung chung. Đây là kiểu cá nhân hoá mà RAG thông thường hay bỏ lỡ.

C.Thời gian phản hồi gần như không đổi

Theo README, trên một GPU H100, khi kho tăng từ 1 lên 512 tài liệu (khoảng 128K token), thời gian phản hồi của Memorilla vẫn khoảng 0,74 giây. Còn nhét hết tài liệu vào prompt thì thời gian tăng từ 0,75 lên 19,9 giây, chậm hơn 27 lần. Trong bài báo, tác giả nén sách và kịch bản phim từ NarrativeQA với tỉ lệ hơn 4.000 lần.

D.Dùng được với dữ liệu của bạn

Bạn có thể huấn luyện và đánh giá trên bộ tài liệu có câu hỏi và đáp án của riêng mình mà không phải sửa code. Chỉ cần chuẩn bị file parquet đúng cột.

E.Có sẵn checkpoint, benchmark và baseline

Repo cung cấp các checkpoint đã huấn luyện trên Hugging Face, script đánh giá trên 8 benchmark và các baseline để so sánh (không dùng tài liệu, RAG, đưa toàn bộ ngữ cảnh). Ngoài ra có PersonalizationV4, một bộ benchmark cá nhân hoá tổng hợp do chính nhóm tạo ra, và phần học tăng cường (RL) trên trò chơi TextWorld. Với TextWorld, tác giả báo tỉ lệ thành công trung bình của agent tăng từ 18,6% lên 24,2%.

II.Cần chuẩn bị gì

Theo README và pyproject.toml, bạn cần:

  • Hệ điều hành: Linux có GPU NVIDIA hỗ trợ CUDA. README không nói gì về Windows hay macOS.
  • Python: 3.11 trở lên (pyproject.toml yêu cầu >=3.11).
  • Công cụ cài: uv, trình quản lý gói Python mà README dùng cho mọi lệnh cài. Cách cài uv xem trên trang tài liệu của uv.
  • Phần cứng: các công thức huấn luyện và chạy trong README được thử trên GPU NVIDIA H100 80GB. Ví dụ "Getting started" cần một GPU 80 GB.
  • Dung lượng và mạng: lần chạy đầu tải khoảng 25 GB mô hình và bộ test 37 MB. Nếu huấn luyện đủ ba giai đoạn, cần tải thêm khoảng 310 GiB dữ liệu và embedding.
  • Tài khoản / API key: README không yêu cầu key cho phần chạy cơ bản. Các tuỳ chọn như Weights & Biases hay pipeline PersonalizationV4 (dùng OpenAI client) có thể cần tài khoản riêng, nhưng README không nói chi tiết.

Chạy thử cần GPU 80 GB và hàng chục GB ổ đĩa. Nếu bạn chỉ có laptop văn phòng, hãy thuê máy chủ GPU hoặc dùng máy của công ty trước khi bắt tay vào. Thuê GPU tính tiền theo giờ nên nhớ tắt máy khi dùng xong.

III.Cài đặt từng bước

  1. Cài uvChuẩn bị trình quản lý gói uv trên máy Linux có GPU
  2. Tải mã nguồnClone repo và vào thư mục memorilla
  3. Tạo môi trường ảoTạo venv Python 3.11 bằng uv và kích hoạt
  4. Cài góiCài memorilla ở chế độ chỉnh sửa được
  5. Cài FlashAttention-2Cần cho huấn luyện (đánh giá không cần)

A.Cài uv

README chỉ dẫn tới tài liệu của uv, chưa ghi lệnh cài cụ thể. Bạn hãy làm theo hướng dẫn chính thức của uv cho Linux. Gõ uv --version để chắc uv đã chạy được trước khi sang bước sau.

B.Tải mã nguồn

Mở terminal trên máy Linux của bạn (hoặc SSH vào máy chủ GPU) rồi chạy:

Terminal
git clone https://github.com/snap-stanford/memorilla.git && cd memorilla

Lệnh đầu tải repo về, lệnh sau cd vào thư mục vừa tải. Các lệnh tiếp theo phải chạy trong thư mục này. Đây là chỗ người mới hay vấp: mở terminal mới là về lại thư mục cũ.

C.Tạo môi trường ảo

Terminal
uv venv --python 3.11 && source .venv/bin/activate

Lệnh này tạo môi trường Python 3.11 riêng trong thư mục .venv và kích hoạt nó. Khi kích hoạt thành công, đầu dòng terminal thường hiện tên môi trường. Mỗi lần mở terminal mới, bạn cần chạy lại source .venv/bin/activate.

D.Cài gói

Terminal
uv pip install -e .

Cài memorilla từ thư mục hiện tại, cùng các thư viện nó cần. Dấu chấm ở cuối là một phần của lệnh, đừng bỏ.

E.Cài FlashAttention-2

Terminal
uv pip install --no-build-isolation flash-attn==2.7.4.post1

Huấn luyện dùng FlashAttention-2 theo mặc định. Chạy ví dụ và đánh giá thì không cần. Nếu không cài được, README cho phép huấn luyện bằng attention của PyTorch:

Terminal
scripts/train.sh configs/stage1_enwiki.yaml --attn_implementation sdpa

F.Gói tuỳ chọn

Tuỳ nhu cầu, bạn có thể cài thêm:

Terminal
uv pip install -e ".[dev]"                 # tests, linters and pre-commit
uv pip install -e ".[wandb]"               # Weights & Biases logging
uv pip install -e ".[personalizationv4]"   # OpenAI client for the PersonalizationV4 pipeline
uv pip install -e ".[rl]"                  # TextWorld, for the RL data tools

IV.Kiểm tra đã chạy được chưa

Cách kiểm tra trực quan nhất là chạy ví dụ "Getting started" của README trên một GPU 80 GB. Lần đầu sẽ tải khoảng 25 GB mô hình, nên cần kiên nhẫn. Chạy trong môi trường ảo đã kích hoạt:

Python
from memorilla.benchmarks import PERSONA_PROMPT
from memorilla.data import ensure_data, load_split
from memorilla.vllm import MemoryVLLM

row = load_split("pmv2", "test", ensure_data("pmv2", ["test"]))[73]  # one user's question and past conversations

model = MemoryVLLM.from_pretrained("memorilla/Memorilla-Qwen3-8B", "pmv2")  # Qwen3-8B, the memory module and the encoder
answer = model.answer(row["question"], row["documents"], system_prompt=PERSONA_PROMPT)
print(f"Question: {row['question']}\nMemorilla: {answer}")

Kết quả mong đợi theo README: câu hỏi là "What are some easy breakfast ideas that will keep me full all morning?". Câu trả lời của Memorilla nhắc tới tiền sử tiểu đường trong gia đình và gợi ý món như trứng với bơ hoặc sữa chua Hy Lạp với hạt chia. Câu chữ cụ thể có thể khác chút giữa các lần chạy, nhưng điểm cần thấy là câu trả lời có nhắc đến chi tiết sức khoẻ mà người dùng chưa từng nói thẳng.

Ngoài ra, nếu đã cài gói dev, bạn có thể chạy bộ kiểm thử đơn vị chỉ cần CPU và không cần mạng:

Terminal
pytest

Bộ này kiểm tra code chứ không kiểm tra việc chạy trên GPU, nên ví dụ ở trên vẫn là phép thử thực tế hơn.

V.Dùng vào việc thật

Hãy nhớ đây là công cụ nghiên cứu. Các tình huống dưới đây bám vào những gì README mô tả, và bạn nên thử nghiệm kỹ trước khi đưa vào sản phẩm thật.

A.Trợ lý nhớ lịch sử khách hàng

Bạn là lập trình viên cho một ứng dụng chăm sóc sức khoẻ hoặc tư vấn. Khách đã chat hàng chục lần, giờ họ hỏi một câu tưởng chừng không liên quan. Bạn có thể dựa trên đúng ví dụ README: nạp danh sách các cuộc trò chuyện cũ vào documents, đưa câu hỏi mới vào question, rồi gọi model.answer(...) với prompt hệ thống phù hợp. Kết quả là câu trả lời đã cá nhân hoá theo chi tiết nằm rải rác trong lịch sử, mà không phải nhét 32.000 token vào prompt.

Kho tài liệu có lớn đến đâu, LLM vẫn chỉ nhận đúng 16 token bộ nhớ.

Ông T

B.Huấn luyện trên bộ tài liệu của riêng bạn

Bạn là kỹ sư dữ liệu ở một công ty có kho tài liệu nội bộ cùng các cặp hỏi–đáp. Theo README, bạn tạo file parquet cho mỗi phần dữ liệu (ví dụ train-00000-of-00001.parquet) trong my_data/data/my_task/. Mỗi dòng là một câu hỏi, với các cột collection_id, question, answer, documents. Sau đó chạy:

Terminal
python train.py --config configs/single_task.yaml --data_repo my_data --datasets my_task --output_dir runs/my_task
python evaluate.py --data_repo my_data --config my_task --split test --scoring generation --checkpoint runs/my_task/epoch-04

Lệnh đầu huấn luyện, lệnh sau đánh giá. Embedding được tính ở lần dùng đầu tiên. Kết quả là một checkpoint riêng cho tác vụ của bạn cùng điểm đánh giá. Công thức single_task mặc định khởi động từ checkpoint Stage 2. Muốn huấn luyện từ đầu thì thêm --init_memory "".

C.So sánh với RAG và đưa toàn bộ ngữ cảnh

Bạn là nhà nghiên cứu hoặc dev cần quyết định có đáng dùng Memorilla hay không. Repo có sẵn các baseline để đo trên cùng dữ liệu:

Terminal
scripts/baselines.sh closed_book all
scripts/baselines.sh rag all --top_k 5
scripts/baselines.sh full_context triviaqa

Ba lệnh lần lượt chạy: không cho tài liệu, RAG với 5 tài liệu gần nhất, và đưa toàn bộ ngữ cảnh. Đánh giá một checkpoint trên cả 8 benchmark mất khoảng 15 phút trên một GPU, theo README. Kết quả cho bạn con số để cân nhắc mà không phải tin vào lời quảng cáo.

D.Tải checkpoint dựng sẵn để khỏi huấn luyện

Huấn luyện đủ ba giai đoạn mất khoảng 19 giờ trên 4 GPU H100, nên đa số người mới sẽ muốn dùng checkpoint có sẵn:

Terminal
hf download memorilla/Memorilla-Qwen3-8B --local-dir checkpoints
scripts/evaluate.sh checkpoints/pv4 pv4
Python
from memorilla import MemoryModule

memory = MemoryModule.from_pretrained("checkpoints/stage3")

Lệnh hf download tải các mô-đun bộ nhớ về thư mục checkpoints. README không ghi cách cài công cụ hf, nên bạn xem tài liệu của Hugging Face nếu máy chưa có. Sau đó bạn có thể đánh giá checkpoint hoặc nạp nó trong code Python.

VI.Lỗi hay gặp và cách xử lý

A.Hết bộ nhớ GPU khi chạy ví dụ

Ví dụ trong README cần một GPU 80 GB. Nếu card của bạn nhỏ hơn, việc báo lỗi hết bộ nhớ (out of memory) là rất dễ xảy ra. Hãy chạy trên GPU đúng cỡ (như H100 80GB), đừng cố ép trên card nhỏ. README chưa nêu cấu hình thấp hơn nào được kiểm chứng.

B.Cài flash-attn thất bại

Gói này cần biên dịch và phụ thuộc vào CUDA cũng như môi trường của máy. Nếu bạn chỉ định chạy đánh giá thì bỏ qua được. Nếu cần huấn luyện, dùng cờ --attn_implementation sdpa như README hướng dẫn để dùng attention của PyTorch thay thế.

C.Chạy trên Windows hoặc máy không có GPU NVIDIA

README nói Memorilla cần Linux với GPU CUDA. Nếu bạn dùng Windows, hãy thuê hoặc mượn một máy Linux có GPU và SSH vào, thay vì cố cài lên máy thường. Riêng bộ kiểm thử pytest thì README ghi chỉ cần CPU.

D.Dùng sai phiên bản Python

Nếu uv pip install -e . báo không tương thích, kiểm tra lại bạn đã tạo môi trường bằng uv venv --python 3.11 và đã kích hoạt nó chưa. pyproject.toml yêu cầu Python 3.11 trở lên.

E.Chạy nhiều GPU bị treo hoặc đánh giá chậm

README có một tài liệu Troubleshooting riêng cho các trường hợp: multi-GPU bị đứng, đánh giá chậm, và máy không có mạng (offline). Hãy mở thư mục docs/ trong repo để đọc trước khi hỏi người khác. Ngoài ra, mỗi script có --help liệt kê toàn bộ tuỳ chọn.

VII.Có nên dùng không

Điểm mạnh. Ý tưởng rất hấp dẫn: bộ nhớ có kích thước cố định, thời gian phản hồi gần như không đổi dù kho tài liệu lớn lên. Kết quả báo cáo tốt hơn nhiều phương pháp bộ nhớ phổ biến. Repo đầy đủ: có checkpoint, dữ liệu, script huấn luyện và đánh giá, giấy phép Apache-2.0 và vẫn đang được cập nhật.

Giới hạn. Yêu cầu phần cứng cao (Linux, GPU NVIDIA, ví dụ cần 80 GB). Checkpoint dựng sẵn đều gắn với Qwen3-8B và Qwen3-Embedding-4B. README chưa nói đến việc dùng với các LLM khác hay các API đóng như GPT hay Claude. Mỗi bộ dữ liệu trong Memorilla-Data giữ giấy phép riêng của nguồn gốc, nên nếu dùng thương mại bạn cần kiểm tra. Các con số ấn tượng là do tác giả tự báo cáo trên benchmark của họ, bạn nên tự đo trên dữ liệu thật của mình.

Khi nào chọn cách khác. Nếu bạn chỉ có laptop, chỉ cần chatbot hỏi đáp tài liệu đơn giản, hoặc dùng LLM qua API, thì RAG thông thường sẽ dễ cài và rẻ hơn nhiều. Memorilla đáng thử khi bạn có GPU lớn, tài liệu rất dài hoặc lịch sử người dùng phức tạp, và cần câu trả lời nối được các manh mối gián tiếp. Với người mới, cách vào nhẹ nhàng nhất là chạy ví dụ Getting started trên một máy thuê, xem câu trả lời rồi hãy quyết định có đầu tư tiếp không.

4.8/5 · Ông T chấm

Chưa có độc giả chấm

Bài này có ích với bạn không?

Câu hỏi thường gặp

Memorilla có miễn phí không?

Mã nguồn dùng giấy phép Apache-2.0 nên dùng và sửa miễn phí. Mỗi bộ dữ liệu trong Memorilla-Data giữ giấy phép của nguồn gốc, còn PersonalizationV4 dùng CC BY 4.0. Chi phí thực tế nằm ở GPU, vì README cho biết cần máy có GPU lớn.

Có cần GPU không?

Có. README nói Memorilla cần Linux với GPU CUDA, và các công thức được chạy trên NVIDIA H100 80GB. Ví dụ bắt đầu nhanh cần một GPU 80 GB. Riêng bộ kiểm thử đơn vị (pytest) chỉ cần CPU.

Chạy được trên Windows không?

README chỉ nói về Linux và không đề cập Windows. Nếu bạn dùng Windows, cách an toàn là dùng một máy Linux có GPU, ví dụ máy thuê, rồi kết nối vào. Repo chưa có thông tin về việc chạy trực tiếp trên Windows.

Cài đặt có khó không?

Chỉ có vài lệnh: clone repo, tạo môi trường bằng uv với Python 3.11, rồi cài gói. Chỗ khó nằm ở phần cứng và việc cài flash-attn, vốn chỉ cần khi huấn luyện. Lần chạy đầu cũng phải tải khoảng 25 GB mô hình.

Memorilla khác gì RAG thông thường?

RAG tìm một số đoạn tài liệu liên quan rồi đưa vào prompt. Memorilla đọc cả bộ tài liệu và nén thành 16 token bộ nhớ phụ thuộc vào câu hỏi cho LLM đóng băng. Theo tác giả, cách này đạt điểm trung bình tốt hơn các phương pháp như Mem0 và MemoRAG, nhưng bạn nên tự đo trên dữ liệu của mình.

Có dùng được với dữ liệu riêng của tôi không?

Có. README cho phép huấn luyện và đánh giá trên bộ tài liệu riêng mà không phải sửa code, bằng file parquet có các cột collection_id, question, answer và documents. Về việc dữ liệu có được gửi ra ngoài hay không, README chưa có mô tả riêng. Các checkpoint và mô hình thì được tải về từ Hugging Face.

Có dùng được với GPT hay Claude không?

Chưa có thông tin. Các checkpoint trong README đều huấn luyện với Qwen3-8B làm bộ giải mã và Qwen3-Embedding-4B làm bộ mã hoá. Mô-đun bộ nhớ được thiết kế để đi cùng LLM đóng băng chạy cục bộ.

Chuyển nhanh tới mục

  1. I.Memorilla làm được gì
    1. A.Nén cả kho tài liệu thành 16 token
    2. B.Tìm ra manh mối nằm rải rác
    3. C.Thời gian phản hồi gần như không đổi
    4. D.Dùng được với dữ liệu của bạn
    5. E.Có sẵn checkpoint, benchmark và baseline
  2. II.Cần chuẩn bị gì
  3. III.Cài đặt từng bước
    1. A.Cài uv
    2. B.Tải mã nguồn
    3. C.Tạo môi trường ảo
    4. D.Cài gói
    5. E.Cài FlashAttention-2
    6. F.Gói tuỳ chọn
  4. IV.Kiểm tra đã chạy được chưa
  5. V.Dùng vào việc thật
    1. A.Trợ lý nhớ lịch sử khách hàng
    2. B.Huấn luyện trên bộ tài liệu của riêng bạn
    3. C.So sánh với RAG và đưa toàn bộ ngữ cảnh
    4. D.Tải checkpoint dựng sẵn để khỏi huấn luyện
  6. VI.Lỗi hay gặp và cách xử lý
    1. A.Hết bộ nhớ GPU khi chạy ví dụ
    2. B.Cài flash-attn thất bại
    3. C.Chạy trên Windows hoặc máy không có GPU NVIDIA
    4. D.Dùng sai phiên bản Python
    5. E.Chạy nhiều GPU bị treo hoặc đánh giá chậm
  7. VII.Có nên dùng không

Repo & Skill · 13/11/2026 · 11 phút đọc

Garden Skills: bộ skill thiết kế web, tạo ảnh, làm video cho AI — hướng dẫn cài đặt và dùng

Garden Skills là bộ sưu tập Agent Skills (kỹ năng cho AI) của tác giả ConardLi, dùng được với Claude Code, Cursor, Codex và các AI coding agent khác. Mỗi skill dạy agent làm tốt một việc như thiết kế trang web, tạo ảnh, làm video bằng code, biến tài liệu thành bài viết đẹp. Cài không khó, nhưng README có nhiều cách cài nên bạn cần chọn một cách hợp với công cụ đang dùng.

Repo & Skill · 13/11/2026 · 15 phút đọc

thesysdev/openui: xây giao diện AI dạng streaming — hướng dẫn cài đặt và dùng

OpenUI là framework full-stack, độc lập framework, giúp mô hình AI sinh giao diện có cấu trúc và hiển thị dần khi dữ liệu streaming về. Bạn có thể dựng nhanh một ứng dụng chat bằng CLI hoặc cài từng gói cho React, Vue, Svelte, Angular và LangChain. Việc bắt đầu khá đơn giản nếu máy có đúng phiên bản Node; README chưa ghi đầy đủ lệnh chạy ứng dụng sau khi scaffold.

Repo & Skill · 13/11/2026 · 11 phút đọc

Ruflo: điều phối nhóm agent AI cho Claude Code và Codex — hướng dẫn cài đặt và dùng

Ruflo (trước đây là Claude Flow) là một agent harness: lớp công cụ bao quanh Claude Code và Codex, bổ sung nhiều agent chuyên biệt, bộ nhớ qua các phiên và khả năng chia việc cho nhóm agent. Cài bằng một lệnh `npx ruflo@latest init` trong thư mục dự án, cần Node 20 trở lên. Cài khá dễ, nhưng hệ thống rất rộng nên bạn nên bắt đầu từ một tác vụ nhỏ.