Bỏ qua tới nội dung
Ông T.vn

Memorilla: bộ nhớ 16 token cho LLM đọc cả kho tài liệu — hướng dẫn cài đặt và dùng

11 phút đọcCập nhật

Bài này là một góc nhìn khác về snap-stanford/memorilla — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: Memorilla: nén cả kho tài liệu thành 16 token bộ nhớ cho LLM — hướng dẫn cài đặt và dùng →

Memorilla: bộ nhớ 16 token cho LLM đọc cả kho tài liệu — hướng dẫn cài đặt và dùng

Tóm tắt nhanh

Memorilla là mã nguồn Python từ nhóm nghiên cứu Stanford, dùng để huấn luyện và chạy một module bộ nhớ cho LLM. Module này đọc cả bộ tài liệu rồi đưa cho LLM chỉ 16 memory token theo từng câu hỏi. Cài không khó về thao tác, nhưng cần máy Linux có GPU NVIDIA lớn (README dùng H100 80GB).

Memorilla là một hệ thống bộ nhớ cho mô hình ngôn ngữ lớn (LLM), do nhóm nghiên cứu ở Stanford phát hành kèm bài báo khoa học. Nó đọc cả một bộ tài liệu, ví dụ lịch sử chat của một người dùng hoặc một cuốn sách dài. Sau đó nó đưa cho LLM đúng 16 "memory token" chứa phần thông tin mà từng câu hỏi cần. LLM gốc vẫn được giữ nguyên, không bị sửa.

Vấn đề nó giải quyết rất quen thuộc. LLM chỉ dùng được những gì vừa trong cửa sổ ngữ cảnh. Nhét hết tài liệu vào prompt thì chậm, tốn token và dễ bị loãng. Cách tìm vài đoạn liên quan (RAG) thì có thể bỏ sót những chi tiết nằm rải rác. Memorilla đi đường thứ ba: nén cả kho tài liệu thành một lượng token cố định. Theo README, với ngân sách nhỏ này nó đạt điểm trung bình tốt nhất so với các phương pháp như Mem0 và MemoRAG. Trên bộ FactKG nó còn chính xác hơn việc đưa toàn bộ tài liệu cho LLM (84,33% so với 80,43%), mà dùng ít token hơn 108 lần.

Repo hiện có khoảng 875 sao và 64 fork, giấy phép Apache-2.0. Người nên đọc là lập trình viên, kỹ sư AI và nhóm nghiên cứu muốn làm trợ lý "nhớ" được người dùng qua hàng trăm cuộc trò chuyện. Mình nói thẳng từ đầu: đây là mã nghiên cứu, cần GPU rất mạnh và máy Linux. Nó không phải ứng dụng bấm là chạy trên laptop văn phòng.

Framework

snap-stanford/memorilla

Memorilla nén cả bộ tài liệu hoặc lịch sử chat thành 16 memory token để một LLM đóng băng trả lời đúng, nhanh và nhẹ hơn nhiều so với nhét hết vào prompt.

★ 875PythonApache-2.0
Xem repo trên GitHub

I.Memorilla làm được gì

A.Nén cả kho tài liệu thành 16 token

Dù bạn có 1 hay 512 tài liệu, LLM luôn nhận đúng 16 memory token. README nêu ví dụ: một người dùng có 107 cuộc trò chuyện cũ, khoảng 32.000 token, được nén còn 16 token, tức ít hơn khoảng 2.000 lần. Với sách và kịch bản phim trong bộ NarrativeQA, bài báo cho biết mức nén vượt 4.000 lần.

B.Nhớ cả những điều người dùng chưa từng nói thẳng

Ví dụ trong README rất đáng xem. Người dùng hỏi gợi ý bữa sáng no lâu. Trước đó họ chỉ từng hỏi một câu về nguy cơ tiểu đường khi bên ngoại có người mắc bệnh. Memorilla nối hai chi tiết này và gợi ý món ít làm tăng đường huyết. Qwen3-8B không có bộ nhớ chỉ trả về một danh sách món sáng chung chung.

C.Thời gian phản hồi gần như không đổi

Theo README, trên một H100, khi tăng từ 1 lên 512 tài liệu (khoảng 128K token), thời gian phản hồi của Memorilla vẫn ở mức 0,74 giây. Nếu nhét hết tài liệu vào prompt, thời gian tăng từ 0,75 lên 19,9 giây, chậm hơn 27 lần.

D.Giúp agent học từ lịch sử của chính nó

Memorilla cũng có thể làm bộ nhớ cho một agent chơi game văn bản TextWorld. Thư mục rl/ huấn luyện bằng GRPO. README ghi tỷ lệ thành công trung bình tăng từ 18,6% lên 24,2%.

E.Có sẵn checkpoint, dữ liệu và công cụ đánh giá

Bạn không bắt buộc phải huấn luyện từ đầu. Các checkpoint đã huấn luyện nằm trên Hugging Face. Repo còn có script đánh giá trên nhiều benchmark, các baseline để so sánh (closed book, RAG, full context) và bộ dữ liệu PersonalizationV4 với 149 người dùng hư cấu, mỗi người có 200 cuộc trò chuyện ngắn.

II.Cần chuẩn bị gì

Theo README và pyproject.toml, bạn cần:

  • Hệ điều hành: Linux có GPU NVIDIA hỗ trợ CUDA. README chỉ nói Linux, không nhắc Windows hay macOS.
  • Python: 3.11 trở lên (pyproject.toml yêu cầu >=3.11, README ghi Python 3.11).
  • Công cụ cài: uv, trình quản lý gói Python mà README dùng.
  • GPU: các công thức trong repo chạy trên NVIDIA H100 80GB. Ví dụ "Getting started" cần một GPU 80 GB.
  • Dung lượng và mạng: lần chạy đầu tải khoảng 25 GB mô hình và 37 MB bộ test. Nếu huấn luyện đủ ba giai đoạn, README ghi khoảng 310 GiB dữ liệu và embedding, mất khoảng 19 giờ trên 4 GPU H100 80GB.
  • Tài khoản / API key: README không yêu cầu cho phần chạy cơ bản. Riêng pipeline sinh dữ liệu PersonalizationV4 có gói phụ dùng OpenAI client, nên có thể cần key OpenAI. README chưa nói rõ chi tiết, bạn xem thêm trong thư mục personalizationv4/.

Nếu bạn không có GPU lớn, đừng cố cài trên laptop. README không nói đến cách chạy bằng CPU hay GPU nhỏ. Một lựa chọn là thuê máy GPU theo giờ, nhưng nhớ kiểm tra chi phí trước khi bật.

III.Cài đặt từng bước

  1. Chuẩn bị máyMáy Linux có GPU NVIDIA, đã cài uv
  2. Tải mã nguồngit clone repo rồi vào thư mục memorilla
  3. Tạo môi trườnguv venv với Python 3.11 và kích hoạt
  4. Cài góiuv pip install -e . để cài memorilla
  5. Cài FlashAttention-2Cần cho huấn luyện, có thể bỏ nếu chỉ chạy thử

A.Mở terminal trên máy Linux và tải mã nguồn

Mở terminal trên máy Linux có GPU. Nếu bạn thuê máy từ xa thì đăng nhập qua SSH rồi gõ lệnh ở đó, không gõ trên máy Windows của mình. Lệnh dưới tải repo về và đi vào thư mục của nó.

Terminal
git clone https://github.com/snap-stanford/memorilla.git && cd memorilla

B.Tạo môi trường ảo Python 3.11

Lệnh đầu tạo môi trường ảo tên .venv với Python 3.11. Lệnh sau kích hoạt nó. Khi kích hoạt xong, đầu dòng terminal thường hiện (.venv). Mỗi lần mở terminal mới bạn phải kích hoạt lại, đây là chỗ người mới hay quên.

Terminal
uv venv --python 3.11 && source .venv/bin/activate

C.Cài gói memorilla

Lệnh này cài repo ở chế độ chỉnh sửa được (-e), kéo theo các thư viện cần thiết khai báo trong pyproject.toml.

Terminal
uv pip install -e .

D.Cài FlashAttention-2

Huấn luyện dùng FlashAttention-2 theo mặc định. Việc đánh giá không cần nó. Bước này hay vướng nhất vì thư viện phải biên dịch, nên máy cần môi trường CUDA đúng.

Terminal
uv pip install --no-build-isolation flash-attn==2.7.4.post1

Nếu bạn bỏ qua hoặc cài lỗi, vẫn huấn luyện được bằng attention của PyTorch. README đưa lệnh sau:

Terminal
scripts/train.sh configs/stage1_enwiki.yaml --attn_implementation sdpa

E.Cài thêm gói tuỳ chọn (nếu cần)

Chỉ cài khi bạn dùng đúng tính năng đó:

Terminal
uv pip install -e ".[dev]"                 # tests, linters and pre-commit
uv pip install -e ".[wandb]"               # Weights & Biases logging
uv pip install -e ".[personalizationv4]"   # OpenAI client for the PersonalizationV4 pipeline
uv pip install -e ".[rl]"                  # TextWorld, for the RL data tools

IV.Kiểm tra đã chạy được chưa

Cách kiểm tra gần nhất với README là chạy ví dụ "Getting started". Bạn cần một GPU 80 GB và chấp nhận lần đầu tải khoảng 25 GB. Lưu đoạn sau vào một file Python rồi chạy trong môi trường đã kích hoạt:

Python
from memorilla.benchmarks import PERSONA_PROMPT
from memorilla.data import ensure_data, load_split
from memorilla.vllm import MemoryVLLM

row = load_split("pmv2", "test", ensure_data("pmv2", ["test"]))[73]  # one user's question and past conversations

model = MemoryVLLM.from_pretrained("memorilla/Memorilla-Qwen3-8B", "pmv2")  # Qwen3-8B, the memory module and the encoder
answer = model.answer(row["question"], row["documents"], system_prompt=PERSONA_PROMPT)
print(f"Question: {row['question']}\nMemorilla: {answer}")

Kết quả mong đợi theo README: dòng Question: là "What are some easy breakfast ideas that will keep me full all morning?". Dòng Memorilla: là câu trả lời gợi ý bữa sáng nhiều đạm, chất béo tốt và chất xơ, vì người dùng có tiền sử gia đình mắc tiểu đường tuýp 2. Nội dung câu trả lời có thể khác chữ so với README, nhưng điểm cần thấy là câu trả lời có nhắc đến yếu tố tiểu đường.

Nếu bạn đã cài gói phát triển, README còn có lệnh pytest để chạy unit test. Test này chạy bằng CPU và không cần mạng:

Terminal
uv pip install -e ".[dev]"
pytest

V.Dùng vào việc thật

A.Dev làm trợ lý cá nhân hoá nhớ lịch sử chat

Bạn là lập trình viên và đang thử ý tưởng một trợ lý nhớ hàng trăm cuộc trò chuyện của từng khách. Bạn chạy ví dụ ở trên để xem Memorilla xử lý lịch sử 107 cuộc chat ra sao. Sau đó thay row["documents"] bằng danh sách tài liệu của bạn và row["question"] bằng câu hỏi mới. Kết quả là LLM trả lời có cân nhắc những chi tiết nằm rải rác trong lịch sử, mà không phải nhét hết lịch sử vào prompt.

Lưu ý: hàm answer nhận câu hỏi và danh sách tài liệu theo đúng cách README viết. Các tuỳ chọn khác bạn xem trong mã nguồn thư mục memorilla/.

Cùng một LLM, nhưng chỉ cần 16 token bộ nhớ là nó nhớ ra điều khách chưa từng nói thẳng.

Ông T

B.Nhóm nghiên cứu tải checkpoint có sẵn để đánh giá

Bạn không muốn tốn 19 giờ huấn luyện. Bạn tải checkpoint đã huấn luyện, rồi đánh giá trên benchmark PersonalizationV4. README ghi mỗi lần đánh giá trên cả tám benchmark mất khoảng 15 phút trên một GPU.

Terminal
hf download memorilla/Memorilla-Qwen3-8B --local-dir checkpoints
scripts/evaluate.sh checkpoints/pv4 pv4

Lệnh đầu tải các checkpoint về thư mục checkpoints. Lệnh sau đánh giá checkpoint pv4 trên benchmark pv4. Bạn nhận được bảng chỉ số để so với số trong bài báo. Nếu máy chưa có lệnh hf, README chưa hướng dẫn cài riêng, bạn xem tài liệu của Hugging Face.

C.So sánh với RAG và "nhét hết vào prompt"

Sếp hỏi: "Sao không dùng RAG cho rẻ?". Bạn chạy ba baseline có sẵn để có số liệu trả lời:

Terminal
scripts/baselines.sh closed_book all
scripts/baselines.sh rag all --top_k 5
scripts/baselines.sh full_context triviaqa

Ba lệnh tương ứng: không cho tài liệu, RAG lấy 5 tài liệu đầu, và đưa toàn bộ tài liệu. Bạn đặt kết quả cạnh kết quả của Memorilla để thấy chênh lệch về độ chính xác và thời gian.

D.Huấn luyện trên dữ liệu riêng của công ty

Bạn có một bộ tài liệu nội bộ kèm câu hỏi và đáp án. README cho biết không cần sửa code. Bạn tạo mỗi tách dữ liệu (split) thành một file parquet tên dạng train-00000-of-00001.parquet, đặt trong my_data/data/my_task/. Mỗi dòng là một câu hỏi, gồm các cột collection_id, question, answer và documents. Rồi chạy:

Terminal
python train.py --config configs/single_task.yaml --data_repo my_data --datasets my_task --output_dir runs/my_task
python evaluate.py --data_repo my_data --config my_task --split test --scoring generation --checkpoint runs/my_task/epoch-04

Công thức single_task mặc định khởi động từ checkpoint Stage 2. Muốn huấn luyện từ đầu, thêm --init_memory "". Embedding được tính ở lần dùng đầu tiên. Vì dữ liệu nội bộ có thể nhạy cảm, hãy kiểm tra kỹ nơi dữ liệu và kết quả được lưu trước khi chạy trên máy dùng chung.

VI.Lỗi hay gặp và cách xử lý

A.Cài flash-attn báo lỗi biên dịch

Thư viện này phải biên dịch với CUDA nên hay lỗi khi môi trường không khớp. Vì README nói đánh giá không cần nó, bạn có thể bỏ qua khi chỉ đánh giá. Khi huấn luyện, thêm --attn_implementation sdpa như ở trên để dùng attention của PyTorch.

B.Hết bộ nhớ GPU (out of memory)

Ví dụ "Getting started" cần một GPU 80 GB. Nếu GPU của bạn nhỏ hơn, README không đưa cách chạy khác. Cách an toàn là thuê máy có GPU 80 GB, không nên tự hạ cấu hình bằng cách đoán tham số.

C.Ổ đĩa đầy hoặc tải về quá lâu

Lần chạy đầu tải khoảng 25 GB mô hình, còn huấn luyện đầy đủ tải khoảng 310 GiB. Hãy kiểm tra dung lượng trống trước khi chạy. Nếu máy không có mạng, thư mục docs/ có mục Troubleshooting về máy offline.

D.Huấn luyện nhiều GPU bị treo, hoặc đánh giá chậm

Đây là hai tình huống mà phần Troubleshooting trong tài liệu repo nhắc đến. Hãy đọc mục đó trong docs/ trước khi sửa lệnh. Mỗi script cũng có --help liệt kê mọi tuỳ chọn.

E.Lệnh scripts/... không chạy hoặc báo không tìm thấy

Các lệnh trong README đều chạy từ thư mục gốc của repo. Hãy chắc bạn đã cd memorilla và đã kích hoạt môi trường .venv. Nếu báo thiếu quyền chạy file, hãy kiểm tra quyền của script bằng các công cụ Linux thông thường.

VII.Có nên dùng không

Điểm mạnh:

  • Ý tưởng gọn: ngân sách bộ nhớ cố định 16 token, thời gian phản hồi gần như không tăng khi kho tài liệu lớn lên.
  • Kết quả trong README tốt so với Mem0, MemoRAG và cả việc đưa toàn bộ tài liệu trên FactKG.
  • Có checkpoint, dữ liệu, script đánh giá và baseline, nên tái hiện kết quả dễ hơn nhiều repo nghiên cứu khác.
  • Giấy phép Apache-2.0 cho mã nguồn. Mỗi bộ dữ liệu trong Memorilla-Data giữ giấy phép riêng của nguồn gốc, còn PersonalizationV4 theo CC BY 4.0. Hãy đọc kỹ trước khi dùng thương mại.

Giới hạn:

  • Cần Linux và GPU NVIDIA lớn. README không nói đến Windows, macOS hay GPU nhỏ.
  • Đây là mã nghiên cứu gắn với một bài báo. Không có tài liệu nào trong tư liệu nói về chạy production hay độ ổn định lâu dài.
  • README nói cách tiếp cận này "có thể" mở rộng đến hàng triệu token. Đó là kỳ vọng, chưa phải điều đã được chứng minh ở mức đó.
  • Huấn luyện đầy đủ rất tốn: khoảng 19 giờ trên 4 GPU H100 và hơn 300 GiB dữ liệu.

Khi nào chọn cách khác: nếu bạn chỉ cần trợ lý trả lời trên vài chục tài liệu và không có GPU, một giải pháp RAG thông thường hay một dịch vụ bộ nhớ có sẵn sẽ dễ triển khai hơn. Memorilla đáng thử khi bạn nghiên cứu hoặc xây hệ thống cá nhân hoá, cần LLM nhớ lịch sử dài và chấp nhận đầu tư hạ tầng.

4.2/5 · Ông T chấm

Chưa có độc giả chấm

Bài này có ích với bạn không?

Câu hỏi thường gặp

Memorilla có miễn phí không?

Mã nguồn dùng giấy phép Apache-2.0 nên tải và dùng không mất phí bản quyền. Tuy nhiên bạn cần GPU mạnh, nên chi phí thật nằm ở phần cứng hoặc tiền thuê máy. Mỗi bộ dữ liệu trong Memorilla-Data giữ giấy phép riêng, bạn cần xem kỹ nếu dùng thương mại.

Có cần GPU không?

Có. README nói Memorilla cần Linux với GPU CUDA, và các công thức được chạy trên NVIDIA H100 80GB. Ví dụ chạy thử cần một GPU 80 GB. README không nêu cách chạy bằng CPU.

Chạy được trên Windows không?

README chỉ nói Linux, không đề cập Windows. Vì vậy chưa có thông tin chính thức là chạy được. Cách thực tế là dùng một máy Linux có GPU, ví dụ máy thuê từ xa, rồi điều khiển qua terminal.

Memorilla khác RAG ở điểm nào?

RAG tìm một số đoạn tài liệu liên quan rồi đưa vào prompt. Memorilla đọc cả bộ tài liệu và đưa cho LLM 16 memory token phụ thuộc vào câu hỏi. Theo README, nó đạt điểm trung bình tốt hơn các phương pháp như Mem0 và MemoRAG, và trên FactKG chính xác hơn cả việc đưa toàn bộ tài liệu.

Có phải huấn luyện từ đầu không?

Không bắt buộc. Các checkpoint đã huấn luyện có trên Hugging Face và tải được bằng lệnh hf download. Bạn có thể đánh giá hoặc tiếp tục huấn luyện từ checkpoint đó. Huấn luyện đủ ba giai đoạn mất khoảng 19 giờ trên 4 GPU H100.

Dùng dữ liệu riêng của mình được không?

Được. README nói mọi bộ tài liệu có kèm câu hỏi và đáp án đều huấn luyện và đánh giá được mà không cần sửa code. Bạn chuẩn bị file parquet với các cột collection_id, question, answer và documents. README không có thông tin riêng về chuyện dữ liệu có được gửi ra ngoài hay không, nên bạn nên tự kiểm tra trước khi dùng dữ liệu nhạy cảm.

Chuyển nhanh tới mục

  1. I.Memorilla làm được gì
    1. A.Nén cả kho tài liệu thành 16 token
    2. B.Nhớ cả những điều người dùng chưa từng nói thẳng
    3. C.Thời gian phản hồi gần như không đổi
    4. D.Giúp agent học từ lịch sử của chính nó
    5. E.Có sẵn checkpoint, dữ liệu và công cụ đánh giá
  2. II.Cần chuẩn bị gì
  3. III.Cài đặt từng bước
    1. A.Mở terminal trên máy Linux và tải mã nguồn
    2. B.Tạo môi trường ảo Python 3.11
    3. C.Cài gói memorilla
    4. D.Cài FlashAttention-2
    5. E.Cài thêm gói tuỳ chọn (nếu cần)
  4. IV.Kiểm tra đã chạy được chưa
  5. V.Dùng vào việc thật
    1. A.Dev làm trợ lý cá nhân hoá nhớ lịch sử chat
    2. B.Nhóm nghiên cứu tải checkpoint có sẵn để đánh giá
    3. C.So sánh với RAG và "nhét hết vào prompt"
    4. D.Huấn luyện trên dữ liệu riêng của công ty
  6. VI.Lỗi hay gặp và cách xử lý
    1. A.Cài flash-attn báo lỗi biên dịch
    2. B.Hết bộ nhớ GPU (out of memory)
    3. C.Ổ đĩa đầy hoặc tải về quá lâu
    4. D.Huấn luyện nhiều GPU bị treo, hoặc đánh giá chậm
    5. E.Lệnh scripts/... không chạy hoặc báo không tìm thấy
  7. VII.Có nên dùng không

Repo & Skill · 13/11/2026 · 11 phút đọc

Garden Skills: bộ skill thiết kế web, tạo ảnh, làm video cho AI — hướng dẫn cài đặt và dùng

Garden Skills là bộ sưu tập Agent Skills (kỹ năng cho AI) của tác giả ConardLi, dùng được với Claude Code, Cursor, Codex và các AI coding agent khác. Mỗi skill dạy agent làm tốt một việc như thiết kế trang web, tạo ảnh, làm video bằng code, biến tài liệu thành bài viết đẹp. Cài không khó, nhưng README có nhiều cách cài nên bạn cần chọn một cách hợp với công cụ đang dùng.

Repo & Skill · 13/11/2026 · 15 phút đọc

thesysdev/openui: xây giao diện AI dạng streaming — hướng dẫn cài đặt và dùng

OpenUI là framework full-stack, độc lập framework, giúp mô hình AI sinh giao diện có cấu trúc và hiển thị dần khi dữ liệu streaming về. Bạn có thể dựng nhanh một ứng dụng chat bằng CLI hoặc cài từng gói cho React, Vue, Svelte, Angular và LangChain. Việc bắt đầu khá đơn giản nếu máy có đúng phiên bản Node; README chưa ghi đầy đủ lệnh chạy ứng dụng sau khi scaffold.

Repo & Skill · 13/11/2026 · 11 phút đọc

Ruflo: điều phối nhóm agent AI cho Claude Code và Codex — hướng dẫn cài đặt và dùng

Ruflo (trước đây là Claude Flow) là một agent harness: lớp công cụ bao quanh Claude Code và Codex, bổ sung nhiều agent chuyên biệt, bộ nhớ qua các phiên và khả năng chia việc cho nhóm agent. Cài bằng một lệnh `npx ruflo@latest init` trong thư mục dự án, cần Node 20 trở lên. Cài khá dễ, nhưng hệ thống rất rộng nên bạn nên bắt đầu từ một tác vụ nhỏ.