Memorilla: bộ nhớ ngữ nghĩa cho LLM, chỉ 16 token — hướng dẫn cài đặt và dùng
Bài này là một góc nhìn khác về snap-stanford/memorilla — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: Memorilla: nén cả kho tài liệu thành 16 token bộ nhớ cho LLM — hướng dẫn cài đặt và dùng →

Tóm tắt nhanh
Memorilla là mã nguồn của nhóm nghiên cứu Stanford để huấn luyện và đánh giá một module bộ nhớ cho LLM. Nó nén cả bộ tài liệu thành 16 memory token phụ thuộc vào câu hỏi. Cài đặt không quá phức tạp, nhưng cần Linux, GPU NVIDIA (README ví dụ dùng H100 80GB) và Python 3.11.
Memorilla là một hệ thống bộ nhớ cho mô hình ngôn ngữ lớn (LLM), do nhóm nghiên cứu Stanford công bố kèm mã nguồn Python để huấn luyện và đánh giá. Nó đọc toàn bộ một bộ tài liệu, ví dụ lịch sử chat của một người dùng hoặc một cuốn sách dài. Sau đó nó đưa cho LLM đúng 16 "memory token", chứa phần thông tin mà từng câu hỏi cần.
Vấn đề nó giải quyết rất quen thuộc. LLM chỉ dùng được những gì nhét vừa cửa sổ ngữ cảnh. Càng nhét nhiều tài liệu, mô hình càng chậm và tốn kém. Các cách làm phổ biến như RAG (tìm vài đoạn liên quan rồi dán vào prompt) thì dễ bỏ sót những manh mối nằm rải rác. Memorilla đi hướng khác: học cách nén cả bộ tài liệu thành một lượng token cố định, bất kể tài liệu dài bao nhiêu.
Repo này hợp với lập trình viên, nhà nghiên cứu hoặc nhóm kỹ thuật muốn thử bộ nhớ dài hạn cho trợ lý AI, cá nhân hoá câu trả lời hay làm việc với văn bản rất dài. Hiện repo có khoảng 867 sao và 63 fork. Điểm đáng giá nhất theo README: trên bộ FactKG, Memorilla trả lời chính xác hơn việc đưa toàn bộ tài liệu cho LLM (84,33% so với 80,43%) mà dùng ít token hơn 108 lần. Lưu ý đây là code nghiên cứu cần GPU mạnh, không phải ứng dụng cài vào là dùng như phần mềm văn phòng.
snap-stanford/memorilla
Memorilla đọc cả bộ tài liệu hoặc lịch sử chat rồi đưa cho LLM đóng băng đúng 16 memory token chứa thông tin cần cho từng câu hỏi.
I.Memorilla làm được gì
A.Nén cả bộ tài liệu thành 16 token
LLM luôn nhận đúng 16 memory token, dù bạn lưu 1 hay 512 tài liệu. Theo README, trên một GPU H100, tăng bộ tài liệu từ 1 lên 512 (khoảng 128 nghìn token) thì thời gian phản hồi của Memorilla vẫn khoảng 0,74 giây. Nhét tất cả tài liệu vào prompt thì thời gian tăng từ 0,75 lên 19,9 giây, chậm hơn 27 lần. Lợi ích thực tế: chi phí và độ trễ không phình ra theo lượng dữ liệu.
B.Nhớ và nối các manh mối rải rác
Ví dụ trong README dùng bộ PersonaMem-v2: người dùng đã có 107 cuộc trò chuyện trước đó với trợ lý (khoảng 32.000 token). Họ hỏi về món sáng dễ làm mà no lâu. Memorilla gợi ý món phù hợp với người có tiền sử gia đình bị tiểu đường type 2. Người dùng không hề nói điều đó trực tiếp. Manh mối chỉ nằm trong một cuộc chat cũ, khi họ hỏi về nguy cơ tiểu đường bên họ mẹ. Mô hình Qwen3-8B không có bộ nhớ thì chỉ trả lời một danh sách món sáng chung chung.
C.Chạy trên LLM đóng băng
Bạn không phải huấn luyện lại LLM. Module bộ nhớ là phần được huấn luyện, còn LLM giữ nguyên. Các checkpoint đã công bố đều dùng decoder Qwen3-8B và encoder Qwen3-Embedding-4B.
D.Có sẵn checkpoint, công thức huấn luyện và đánh giá
Repo có các checkpoint đã huấn luyện trên Hugging Face, các file cấu hình cho ba giai đoạn huấn luyện, và script đánh giá trên nhiều benchmark. Nó cũng có script chạy các baseline để so sánh: closed book (không tài liệu), RAG lấy top-5 tài liệu, và full context (đưa hết tài liệu).
E.Dùng được với dữ liệu của bạn
Bất kỳ bộ tài liệu kèm câu hỏi và đáp án đều có thể huấn luyện và đánh giá mà không cần sửa code. Bạn chỉ cần chuẩn bị file parquet đúng cột.
F.Bộ dữ liệu PersonalizationV4 và học tăng cường
Repo kèm PersonalizationV4, một benchmark cá nhân hoá tổng hợp với 149 người dùng hư cấu, mỗi người có 200 cuộc trò chuyện ngắn. Ngoài ra, thư mục rl/ huấn luyện module bộ nhớ bằng GRPO trên game phiêu lưu chữ TextWorld. Theo README, tỷ lệ thành công trung bình của agent tăng từ 18,6% lên 24,2%.
II.Cần chuẩn bị gì
Phần này quan trọng nhất, vì Memorilla đòi hỏi phần cứng khá nặng. README nói rõ:
- Hệ điều hành: Linux, có GPU NVIDIA hỗ trợ CUDA. README chỉ nói cần Linux, không nhắc Windows hay macOS, nên mình không khẳng định các hệ này chạy được.
- Python 3.11 (
pyproject.tomlyêu cầu Python từ 3.11 trở lên). - Công cụ uv để tạo môi trường và cài gói.
- Git, để tải mã nguồn.
- Phần cứng: các công thức đều được chạy trên GPU NVIDIA H100 80GB. Ví dụ "Getting started" cần một GPU 80 GB. Lần chạy đầu tải khoảng 25 GB model và bộ test 37 MB.
- Để huấn luyện lại từ đầu: README ghi ba giai đoạn mất khoảng 19 giờ trên 4 GPU H100 80GB và tải khoảng 310 GiB dữ liệu cùng embedding.
- Đánh giá một checkpoint trên cả tám benchmark mất khoảng 15 phút trên một GPU.
README không nhắc tài khoản hay API key cho phần chạy cơ bản. Riêng pipeline PersonalizationV4 có tuỳ chọn cài OpenAI client, nên phần đó có thể cần key OpenAI. Chi tiết xem trong thư mục personalizationv4/.
Memorilla cần GPU 80 GB và hàng chục GB dung lượng đĩa. Nếu bạn thuê máy GPU theo giờ, hãy tính chi phí trước và nhớ tắt máy khi dùng xong.
III.Cài đặt từng bước
- Tải mã nguồnDùng git clone rồi vào thư mục memorilla
- Tạo môi trườngDùng uv tạo môi trường Python 3.11 và kích hoạt
- Cài góiCài memorilla ở chế độ editable
- Cài FlashAttention-2Cần cho huấn luyện, đánh giá thì không cần
- Chạy thử ví dụChạy đoạn Python mẫu trên GPU 80 GB
A.Tải mã nguồn
Mở terminal trên máy Linux có GPU. Chạy lệnh sau để tải repo về và đi vào thư mục của nó.
git clone https://github.com/snap-stanford/memorilla.git && cd memorillaB.Tạo môi trường Python 3.11
README dùng uv. Nếu máy bạn chưa có uv, xem hướng dẫn cài tại trang của uv (đường dẫn nằm ngay trong README). Lệnh dưới tạo môi trường ảo Python 3.11 và kích hoạt nó. Sau khi kích hoạt, dấu nhắc terminal thường có thêm tên môi trường.
uv venv --python 3.11 && source .venv/bin/activateC.Cài gói memorilla
Lệnh này cài gói ở chế độ editable từ thư mục hiện tại. Bạn phải đang đứng trong thư mục memorilla vừa clone, nếu không lệnh sẽ báo lỗi.
uv pip install -e .D.Cài FlashAttention-2
Huấn luyện mặc định dùng FlashAttention-2. Lệnh này khá nặng vì phải biên dịch, nên có thể mất vài phút.
uv pip install --no-build-isolation flash-attn==2.7.4.post1README ghi rõ phần đánh giá không cần FlashAttention-2. Nếu bạn chỉ muốn huấn luyện mà không cài nó, có thể dùng attention của PyTorch bằng cách thêm cờ sau:
scripts/train.sh configs/stage1_enwiki.yaml --attn_implementation sdpaE.Cài thêm các phần tuỳ chọn
Tuỳ nhu cầu, bạn có thể cài thêm các nhóm gói sau. Chỉ cài cái nào bạn cần.
uv pip install -e ".[dev]" # tests, linters and pre-commit
uv pip install -e ".[wandb]" # Weights & Biases logging
uv pip install -e ".[personalizationv4]" # OpenAI client for the PersonalizationV4 pipeline
uv pip install -e ".[rl]" # TextWorld, for the RL data toolsIV.Kiểm tra đã chạy được chưa
Cách kiểm tra theo README là chạy luôn ví dụ "Getting started" trên bộ PersonaMem-v2. Bạn cần một GPU 80 GB. Lần đầu chạy sẽ tải khoảng 25 GB model và bộ test 37 MB, nên hãy kiên nhẫn chờ.
from memorilla.benchmarks import PERSONA_PROMPT
from memorilla.data import ensure_data, load_split
from memorilla.vllm import MemoryVLLM
row = load_split("pmv2", "test", ensure_data("pmv2", ["test"]))[73] # one user's question and past conversations
model = MemoryVLLM.from_pretrained("memorilla/Memorilla-Qwen3-8B", "pmv2") # Qwen3-8B, the memory module and the encoder
answer = model.answer(row["question"], row["documents"], system_prompt=PERSONA_PROMPT)
print(f"Question: {row['question']}\nMemorilla: {answer}")Kết quả mong đợi theo README: dòng Question: là câu hỏi "What are some easy breakfast ideas that will keep me full all morning?". Dòng Memorilla: là câu trả lời có nhắc tới tiền sử tiểu đường trong gia đình và gợi ý món ăn ít làm tăng đường huyết. Nếu bạn thấy câu trả lời kiểu này thì phần cài đặt đã ổn. Câu chữ có thể khác đôi chút.
Nếu muốn kiểm tra phần mã, README còn có bộ test chạy bằng CPU, không cần mạng:
uv pip install -e ".[dev]"
pytest # unit tests (CPU only, no network)
ruff check . && black --check . # lintV.Dùng vào việc thật
Vì đây là code nghiên cứu, các tình huống dưới đây hợp nhất với người có chút nền tảng kỹ thuật hoặc có đồng nghiệp kỹ thuật hỗ trợ.
A.Dev thử bộ nhớ cá nhân hoá cho trợ lý chat
Bối cảnh: bạn là lập trình viên đang làm một trợ lý AI cho khách hàng. Khách đã chat hàng trăm lượt, và bạn muốn trợ lý nhớ sở thích, hoàn cảnh của họ mà không phải dán toàn bộ lịch sử vào prompt. Bạn chạy lại ví dụ PersonaMem-v2 ở trên để xem Memorilla nối các manh mối trong lịch sử chat ra sao. Sau đó bạn đổi row["question"] và row["documents"] sang dữ liệu của mình, với cùng cấu trúc câu hỏi và danh sách tài liệu. Kết quả: câu trả lời mang yếu tố cá nhân hoá mà prompt vẫn gọn, vì LLM chỉ nhận 16 memory token.
Dù bạn lưu 1 hay 512 tài liệu, LLM vẫn chỉ nhận đúng 16 memory token.
Ông T
B.Nhóm dữ liệu huấn luyện trên bộ tài liệu riêng
Bối cảnh: công ty bạn có một bộ tài liệu nội bộ kèm cặp câu hỏi và đáp án, và muốn thử Memorilla trên đó. README nói không cần sửa code. Bạn tạo mỗi tập một file parquet, đặt tên dạng train-00000-of-00001.parquet, trong thư mục my_data/data/my_task/. Mỗi dòng là một câu hỏi, với các cột collection_id, question, answer, documents. Sau đó chạy:
python train.py --config configs/single_task.yaml --data_repo my_data --datasets my_task --output_dir runs/my_task
python evaluate.py --data_repo my_data --config my_task --split test --scoring generation --checkpoint runs/my_task/epoch-04Kết quả: một checkpoint trong runs/my_task và số liệu đánh giá trên tập test của bạn. Công thức single_task mặc định khởi động từ checkpoint Stage 2. Muốn huấn luyện từ đầu thì thêm --init_memory "".
C.Nhà nghiên cứu so sánh với RAG và full context
Bối cảnh: bạn cần báo cáo xem bộ nhớ nén có hơn RAG thông thường không. Bạn tải checkpoint về rồi chạy đánh giá song song với các baseline có sẵn của repo:
hf download memorilla/Memorilla-Qwen3-8B --local-dir checkpoints
scripts/evaluate.sh checkpoints/pv4 pv4
scripts/baselines.sh closed_book all
scripts/baselines.sh rag all --top_k 5
scripts/baselines.sh full_context triviaqaKết quả: bạn có số liệu Memorilla và ba baseline (closed book, RAG top-5, full context) trên cùng benchmark, đủ để đặt cạnh nhau trong báo cáo. Đánh giá một checkpoint trên cả tám benchmark mất khoảng 15 phút trên một GPU.
D.Làm agent học từ lịch sử của chính nó
Bối cảnh: bạn nghiên cứu agent chơi game chữ hoặc làm việc nhiều bước và muốn agent không lặp lại sai lầm cũ. Thư mục rl/ huấn luyện module bộ nhớ bằng GRPO trên TextWorld, dựa trên một bản fork của SkyRL. Việc cài đặt, dữ liệu, huấn luyện và đánh giá được ghi trong tài liệu riêng của thư mục này. Kết quả theo README: tỷ lệ thành công trung bình của agent tăng từ 18,6% lên 24,2%. Đây là việc dành cho người đã quen học tăng cường.
VI.Lỗi hay gặp và cách xử lý
A.Hết bộ nhớ GPU khi chạy ví dụ
Ví dụ mẫu cần một GPU 80 GB. Nếu GPU của bạn nhỏ hơn, việc báo lỗi hết bộ nhớ (out of memory) là rất dễ xảy ra. Cách xử lý an toàn: chạy trên máy đúng cấu hình README nêu, hoặc thuê máy GPU 80 GB theo giờ. README không nói chạy được trên GPU nhỏ hơn nên mình không hứa điều đó.
B.Cài flash-attn bị lỗi hoặc quá lâu
Gói này phải biên dịch nên hay vấp lỗi nếu môi trường thiếu thành phần CUDA phù hợp. Nếu bạn chỉ cần đánh giá thì bỏ qua bước này, vì README ghi đánh giá không cần FlashAttention-2. Nếu bạn cần huấn luyện, hãy dùng cờ --attn_implementation sdpa như trên.
C.Gõ lệnh trên Windows không chạy
README yêu cầu Linux với GPU CUDA, và lệnh kích hoạt môi trường là source .venv/bin/activate của Linux. Trên Windows, bạn nên dùng một máy Linux hoặc máy thuê. README không đảm bảo chạy được trên Windows.
D.Tải dữ liệu rất lâu hoặc máy không có mạng
Lần chạy đầu tải mô hình và dữ liệu từ Hugging Face, từ vài chục GB đến khoảng 310 GiB nếu bạn huấn luyện đủ ba giai đoạn. Hãy kiểm tra dung lượng đĩa trước. Với máy ngoại tuyến, hoặc khi huấn luyện nhiều GPU bị treo, README chỉ sang tài liệu Troubleshooting trong thư mục docs/.
E.Chạy script bị lỗi không tìm thấy đường dẫn
Các lệnh như scripts/train.sh và scripts/evaluate.sh dùng đường dẫn tương đối. Bạn phải đứng trong thư mục gốc của repo khi chạy. Ngoài ra đường dẫn checkpoint (ví dụ runs/stage3/epoch-04) chỉ tồn tại sau khi bạn huấn luyện xong, hoặc sau khi tải checkpoint về thư mục checkpoints.
VII.Có nên dùng không
Điểm mạnh: ý tưởng nén đáng chú ý, cho kết quả tốt so với các phương pháp như Mem0 và MemoRAG theo tuyên bố của tác giả, và chi phí không tăng theo lượng tài liệu. Repo có đủ checkpoint, công thức, baseline và tài liệu. Giấy phép mã nguồn là Apache-2.0. Mỗi bộ dữ liệu trong Memorilla-Data giữ giấy phép riêng của nguồn gốc, còn PersonalizationV4 dùng CC BY 4.0, nên hãy đọc kỹ nếu bạn định dùng thương mại.
Giới hạn: yêu cầu phần cứng cao (Linux, GPU 80 GB), các checkpoint chỉ gắn với decoder Qwen3-8B và encoder Qwen3-Embedding-4B, và đây là code nghiên cứu chứ không phải sản phẩm đóng gói sẵn. Các con số hiệu năng là của nhóm tác giả trên benchmark của họ. Với dữ liệu thật của bạn, kết quả cần tự kiểm chứng.
Khi nào nên chọn cách khác: nếu bạn là người làm văn phòng hay chủ shop chỉ cần một trợ lý nhớ ghi chú, bạn nên dùng các công cụ bộ nhớ có sẵn trong ứng dụng chat, hoặc RAG đơn giản. Memorilla hợp hơn khi bạn có GPU, có kỹ năng Python và muốn nghiên cứu hay thử nghiệm bộ nhớ ở mức sâu.
Câu hỏi thường gặp
Memorilla có miễn phí không?
Mã nguồn dùng giấy phép Apache-2.0, bạn tải và dùng được. Tuy nhiên chi phí phần cứng có thể đáng kể vì README dùng GPU H100 80GB. Mỗi bộ dữ liệu trong Memorilla-Data giữ giấy phép riêng của nguồn gốc, còn PersonalizationV4 dùng CC BY 4.0.
Memorilla có cần GPU không?
Có. README nói cần Linux với GPU CUDA và các công thức chạy trên NVIDIA H100 80GB. Ví dụ bắt đầu nhanh cần một GPU 80 GB. README chưa nói chạy được trên GPU nhỏ hơn hay chỉ dùng CPU, ngoại trừ bộ unit test chạy được bằng CPU.
Chạy trên Windows được không?
README chỉ ghi yêu cầu Linux với GPU CUDA và không nhắc tới Windows. Lệnh kích hoạt môi trường trong README cũng là kiểu Linux. Vì vậy bạn nên dùng máy Linux hoặc máy thuê. Chưa có thông tin xác nhận Windows chạy được.
Memorilla khác gì RAG thông thường?
RAG tìm vài đoạn tài liệu rồi dán vào prompt. Memorilla đọc cả bộ tài liệu và đưa cho LLM đúng 16 memory token phụ thuộc vào câu hỏi. Theo README, trên FactKG nó đạt 84,33% so với 80,43% khi đưa toàn bộ tài liệu, và dùng ít token hơn 108 lần.
Có cần huấn luyện lại LLM không?
Không. LLM được giữ nguyên (frozen), phần được huấn luyện là module bộ nhớ. Bạn cũng có thể tải checkpoint đã huấn luyện sẵn trên Hugging Face thay vì tự huấn luyện, vốn mất khoảng 19 giờ trên 4 GPU H100.
Dùng được với dữ liệu của riêng tôi không?
Được. README nói bạn có thể huấn luyện và đánh giá trên bộ tài liệu có câu hỏi và đáp án mà không cần sửa code. Bạn chuẩn bị file parquet với các cột collection_id, question, answer, documents. Còn về mức độ an toàn dữ liệu, README chưa có thông tin riêng ngoài việc mọi thứ chạy từ mã nguồn bạn tải về.
Kết quả có chắc chắn tốt trên dữ liệu thật không?
Chưa có gì đảm bảo. Các số liệu trong README là kết quả của tác giả trên các benchmark cụ thể. Với dữ liệu của bạn, hãy tự đánh giá bằng script có sẵn và so với các baseline như RAG hoặc full context.


