cs249r_book: giáo trình ML Systems mở của Harvard — hướng dẫn cài đặt và dùng
Bài này là một góc nhìn khác về harvard-edge/cs249r_book — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: cs249r_book: học hệ thống Machine Learning từ gốc — hướng dẫn cài đặt và dùng →

Tóm tắt nhanh
cs249r_book là kho giáo trình mở "Machine Learning Systems" của Harvard CS249r, gồm bốn tập sách và các công cụ đi kèm như TinyTorch, MLSys·im, Labs, Hardware Kits, StaffML. Đọc sách thì chỉ cần mở trình duyệt, không phải cài gì. Muốn chạy công cụ thì mỗi phần có hướng dẫn riêng trong repo và cần Python từ 3.10 trở lên.
cs249r_book là một bộ giáo trình mở về cách xây dựng hệ thống học máy, kèm các công cụ để tự tay xây, đo và luyện tập. Repo này là nơi đặt sách "Machine Learning Systems" của khoá Harvard CS249r. Hiện repo có khoảng 30.000 sao và 3.700 fork, nên đây là một trong những tài liệu học AI phổ biến trên GitHub.
Vấn đề nó giải quyết rất thực tế. Nhiều người biết huấn luyện một mô hình, nhưng chưa biết làm sao để mô hình đó chạy vừa bộ nhớ, đạt độ trễ cho phép, không vượt giới hạn điện năng và không hỏng khi người dùng thật dùng. Giáo trình gọi môn này là "AI engineering" (kỹ thuật AI), và dạy nó từ nguyên lý đầu tiên, với những con số bạn tự tính lại được.
Bạn nên xem repo này nếu là sinh viên, lập trình viên mới muốn hiểu AI chạy ra sao bên dưới, hoặc giảng viên cần giáo án có sẵn. Người làm kinh doanh muốn hiểu vì sao AI tốn tiền, tốn điện, tốn bộ nhớ cũng đọc được các chương đầu. Điểm đáng giá nhất là mọi thứ nằm cùng một chỗ: sách để hiểu, TinyTorch để tự code, bộ mô phỏng và kit phần cứng để thấy mô hình "vỡ" ở đâu.
harvard-edge/cs249r_book
Giáo trình mở về cách xây hệ thống học máy (Harvard CS249r), kèm TinyTorch, bộ mô phỏng, lab, kit phần cứng và ngân hàng câu hỏi phỏng vấn.
I.cs249r_book làm được gì
Repo gồm nhiều phần. Các phần được thiết kế để dùng cùng nhau, nhưng README nói rõ là phần nào cũng dùng riêng được. Bạn không cần học hết.
A.Bốn tập sách giáo trình
Mỗi tập mở rộng phạm vi của hệ thống ra thêm một bậc:
- Tập I – Introduction to Machine Learning Systems: trí tuệ nhân tạo chạy hiệu quả thế nào trên một máy. Tập này đã phát hành và sắp in bởi MIT Press.
- Tập II – Scaling Machine Learning Systems: mở rộng ra cả cụm máy và trung tâm dữ liệu. Tập này đang ở bản xem trước và còn sửa nhiều.
- Tập III – Agentic Machine Learning Systems: hệ thống AI tự hành động qua nhiều bước, có bộ nhớ ngữ cảnh, gọi công cụ, chạy trong sandbox.
- Tập IV – Physical AI: AI cảm nhận và tác động lên thế giới vật lý.
Tác giả ghi rõ tập III và IV là bản nháp mở, thay đổi thường xuyên, và đề nghị chưa trích dẫn hay đem ra giảng. Bạn nên bắt đầu từ tập I.
B.TinyTorch
Bạn tự xây một framework học máy từ đầu qua 20 module, từ tensor đến transformer. Lợi ích thực tế: tự viết rồi mới hiểu framework làm gì sau mỗi dòng lệnh, và không còn coi nó là hộp đen.
C.MLSys·im
Đây là bộ mô phỏng giới hạn bộ nhớ, tính toán, mạng và năng lượng của những hệ thống quá lớn để chạy trong lớp học. README cho biết các phép tính trong sách được xây trên nó. Nó ra đời vì tác giả từng gõ số bằng tay và thấy số liệu lệch nhau giữa các chương.
D.Hardware Kits
Bạn đưa mô hình lên các thiết bị Arduino, Seeed, Grove và Raspberry Pi, rồi gặp giới hạn bộ nhớ, ngân sách điện và độ trễ thật.
E.Labs
Đây là các notebook Marimo tương tác chạy trong trình duyệt, đi cùng từng chương. Bạn dự đoán kết quả, đổi một tham số, rồi xem cái gì hỏng. Phần này đang ở bản phát hành sớm.
F.StaffML
Có hơn 9.000 câu hỏi thiết kế hệ thống cho cloud, edge, mobile và TinyML, kèm bài luyện và phỏng vấn thử. Phần này cũng đang ở bản phát hành sớm.
G.Instructor Hub và slide
Mỗi khoá có giáo trình (syllabus), bài đọc theo tuần và slide. Các khoá gồm nhập môn, scaling, TinyML, Edge AI, Physical AI (bản nháp) và Agentic AI (đang chuẩn bị). Slide dạng Beamer cho mọi chương, dùng chung một theme dễ chỉnh.
Ngoài ra có hai thử nghiệm giai đoạn đầu: SocratiQ (gia sư AI thêm đọc có hướng dẫn, câu đố, ôn lặp lại ngắt quãng cho trang học tĩnh) và MLPerf EDU (bộ benchmark dạy học theo MLPerf của MLCommons).
II.Cần chuẩn bị gì
Tuỳ bạn dùng phần nào:
- Chỉ đọc sách: một trình duyệt web và kết nối Internet. Sách đọc trực tuyến tại trang dự án mlsysbook.ai. README đoạn mình có không nói cần tài khoản hay API key để đọc.
- Chạy mã trong repo: gói Python của repo tên là
mlsysbookvà filepyproject.tomlyêu cầu Python từ 3.10 trở lên. Repo có sẵnrequirements.txtvàpyproject.toml. - Git: nếu bạn muốn tải cả repo về máy.
- Hardware Kits: cần thiết bị thật như Arduino, Seeed, Grove hoặc Raspberry Pi. Chi tiết từng loại có trong hướng dẫn của thư mục
kits/. - GPU, hệ điều hành cụ thể, API key: đoạn README mình có chưa nói tới. Bạn xem hướng dẫn riêng của từng thành phần trong repo.
Mình chưa thấy yêu cầu API key nào trong phần README đã đọc. Nếu một lab hay công cụ nào đó hỏi key, hãy đọc kỹ hướng dẫn của phần đó trước, và đừng dán key vào file rồi đưa lên mạng.
III.Cài đặt từng bước
Điều quan trọng cần nói trước: đoạn README mình có chưa ghi một lệnh cài đặt chung cho cả repo. Repo là một "khu" gồm nhiều phần, mỗi phần có hướng dẫn riêng. Nên cách làm hợp lý là chọn phần bạn cần, rồi đọc hướng dẫn của phần đó.
- Chọn cách dùngChỉ đọc sách thì mở trang web, muốn chạy mã thì tải repo về
- Kiểm tra PythonChắc chắn máy có Python 3.10 trở lên
- Tải repoDùng git clone rồi vào thư mục
- Tìm hướng dẫn của phần cần dùngMở thư mục tinytorch, mlsysim, labs hoặc kits
- Làm theo hướng dẫn riêngCài và chạy đúng theo README trong thư mục đó
A.Chọn cách dùng
Nếu bạn chỉ muốn học, hãy mở trang mlsysbook.ai trong trình duyệt và đọc Tập I. Bạn không phải cài gì. Phần "Labs" cũng chạy trong trình duyệt theo README. Chỉ khi muốn sửa, chạy cục bộ hoặc đóng góp thì mới cần tải repo.
B.Kiểm tra Python
Mở terminal. Trên Windows, bạn mở PowerShell từ menu Start. Trên macOS hoặc Linux, bạn mở Terminal. Gõ lệnh sau để xem phiên bản:
python --versionNếu kết quả là 3.10 trở lên thì ổn. Nếu thấp hơn, bạn cần cài bản Python mới hơn. Một số máy dùng lệnh python3 thay cho python. Đây là chỗ người mới hay vấp.
C.Tải repo về máy
Lệnh git clone tải toàn bộ mã nguồn về một thư mục mới. Lệnh cd đưa terminal vào thư mục đó. Bạn phải chạy các lệnh sau trong thư mục đó, không chạy ở thư mục khác.
git clone https://github.com/harvard-edge/cs249r_book.git
cd cs249r_bookRepo có nhiều thư mục (sách, slide, lab, kit, công cụ), nên lần tải đầu có thể lâu hơn bạn nghĩ. Hãy kiên nhẫn chờ đến khi lệnh chạy xong.
D.Tìm hướng dẫn của phần bạn cần
Thư mục gốc của repo có các thư mục sau, mỗi thư mục ứng với một thành phần:
tinytorch/– xây framework từ đầumlsysim/– bộ mô phỏng MLSys·imlabs/– các notebook tương táckits/– hướng dẫn phần cứngslides/vàinstructors/– slide và giáo ánstaffml/– câu hỏi luyện phỏng vấn
Bảng trong README có cột "Repo guide" cho từng thành phần. Hãy mở file README bên trong thư mục tương ứng. Để xem nhanh nội dung thư mục trên Windows:
Get-ChildItem tinytorchE.Làm theo hướng dẫn riêng
Phần README mình có chưa ghi lệnh cài đặt cho tinytorch, mlsysim, labs hay kits. Mình không đoán tên gói hay lệnh để tránh sai. Bạn mở README trong từng thư mục, hoặc dùng các liên kết "Get started", "Use simulator", "Try labs", "Browse kits" trên trang chính của repo, và chép đúng lệnh trong đó.
Ghi chú nhỏ: pyproject.toml ở thư mục gốc khai báo gói tên mlsysbook, nhưng README đoạn mình có không nói đây là gói để cài lên máy hay chỉ phục vụ việc dựng sách. Vì vậy đừng cài thử theo trí nhớ. Hãy đọc hướng dẫn trước.
IV.Kiểm tra đã chạy được chưa
Tuỳ phần bạn dùng, cách kiểm tra khác nhau:
- Đọc sách: trang mlsysbook.ai mở được và bạn đọc được các chương của Tập I là xong.
- Tải repo: chạy
git statustrong thư mụccs249r_book. Nếu terminal không báo lỗi "not a git repository" thì bạn đã ở đúng thư mục. Chạypython --versionđể xác nhận Python từ 3.10.
git status
python --version- TinyTorch, MLSys·im, Labs: README đoạn mình có chưa mô tả kết quả mong đợi sau khi cài. Hướng dẫn trong thư mục tương ứng sẽ nói bạn thấy gì khi chạy đúng. Với Labs, README cho biết chúng là notebook tương tác chạy trong trình duyệt, nên dấu hiệu thành công là notebook mở được và bạn đổi được tham số.
V.Dùng vào việc thật
Bối cảnh dưới đây bám theo những gì README mô tả. Các ví dụ về cách dùng là mình gợi ý, không phải lệnh có sẵn trong README.
A.Lập trình viên mới muốn hiểu AI chạy thế nào
Bạn đã biết gọi một thư viện AI nhưng không rõ vì sao bộ nhớ đầy hay vì sao chạy chậm. Hãy đọc Tập I theo thứ tự các chương, rồi làm TinyTorch để tự dựng tensor đến transformer qua 20 module. Sau đó bạn hiểu những câu như "KV cache chiếm phần lớn bộ nhớ khi suy luận" mà README nêu ra. Kết quả: bạn đọc được tài liệu kỹ thuật của framework mà không thấy lạ.
Đọc để hiểu, tự code để nhớ, đo bằng số để biết hệ thống vỡ ở đâu.
Ông T
B.Kỹ sư cần ước lượng giới hạn của một hệ thống lớn
Bạn không có cụm GPU để thử, nhưng cần biết một thiết kế có chạm giới hạn bộ nhớ, mạng hay năng lượng không. MLSys·im được làm cho đúng việc này: mô hình hoá giới hạn tính toán, bộ nhớ, mạng và năng lượng. Bạn đọc hướng dẫn trong thư mục mlsysim/, chạy thử các ví dụ và đối chiếu với phép tính trong sách. Kết quả: có con số ước lượng để thảo luận với đội, thay vì phỏng đoán.
C.Chuẩn bị phỏng vấn kỹ sư hệ thống AI
Bạn sắp phỏng vấn và muốn luyện thiết kế hệ thống. StaffML có hơn 9.000 câu hỏi cho cloud, edge, mobile và TinyML, cùng bài luyện và phỏng vấn thử. Mỗi ngày bạn làm vài câu, gặp chỗ chưa vững thì quay lại đúng chương trong sách. Kết quả: có lộ trình ôn có hệ thống thay vì đọc rời rạc. Phần này đang ở bản phát hành sớm, nên nội dung có thể còn thay đổi.
D.Giảng viên dựng môn học
Bạn dạy một môn về hệ thống học máy hoặc TinyML. Hãy mở Instructor Hub, chọn khoá phù hợp, rồi dùng giáo án theo tuần, bài đọc và slide Beamer. Kit phần cứng và lab bổ sung phần thực hành. Kết quả: bạn có khung môn học sẵn, chỉnh theme slide dễ dàng. Với khoá Physical AI và Agentic AI, README ghi là bản nháp hoặc đang chuẩn bị, nên bạn cần cân nhắc.
VI.Lỗi hay gặp và cách xử lý
A.Không tìm thấy lệnh cài chung cho cả repo
Đây không phải lỗi mà là thiết kế. Repo gồm nhiều thành phần độc lập. Hãy chọn một phần (ví dụ tinytorch/) và đọc README trong thư mục đó, thay vì tìm một lệnh duy nhất ở gốc.
B.Python quá cũ
Nếu python --version cho kết quả thấp hơn 3.10, việc cài gói có thể báo lỗi phiên bản. Cài Python mới hơn rồi chạy lại. Nếu máy có nhiều bản Python, thử python3 thay cho python.
C.Tải repo quá lâu hoặc ngắt giữa chừng
Repo chứa sách, slide, lab, kit và nhiều công cụ nên khá nặng. Hãy kiểm tra mạng và chạy lại lệnh clone. Nếu chỉ cần xem nội dung, bạn có thể đọc trực tiếp trên web mà không phải tải.
D.Nội dung tập III, IV hoặc bản dịch không khớp
Tập III và IV là bản nháp, thay đổi thường xuyên. README cũng nói các bản dịch (tiếng Trung, Nhật, Hàn) bám theo một phiên bản cũ hơn của trang chính. Nếu thấy mâu thuẫn, hãy ưu tiên bản tiếng Anh và tập I.
E.Lab hoặc StaffML chưa ổn định
Cả hai ở giai đoạn phát hành sớm, nên có thể thiếu chương hoặc thay đổi. Nếu gặp lỗi hay thấy nội dung sai, bạn dùng biểu mẫu "book feedback" hoặc GitHub Issues như README gợi ý, thay vì tự sửa rồi nhầm là mình làm sai.
VII.Có nên dùng không
Điểm mạnh. Đây là giáo trình có hệ thống, bám "ràng buộc quyết định kiến trúc" từ máy vi điều khiển 256 KB đến máy chủ trung tâm dữ liệu. Sách đi kèm công cụ thực hành, mỗi con số trong sách được tính từ mã Python đi kèm, và nội dung được rà soát với kỹ sư ở nhiều công ty lớn. Repo còn được cập nhật trong vài tháng gần đây. Với người tự học, Tập I đọc miễn phí trực tuyến là điểm khởi đầu rất tốt.
Giới hạn. Đây là tài liệu học thuật, không phải công cụ "cài rồi dùng ngay" cho công việc văn phòng. Nó cần thời gian đọc và làm bài. Tập III và IV là bản nháp, Labs và StaffML mới ở bản đầu. README đoạn mình có không ghi rõ giấy phép (repo có file LICENSE.md, bạn nên đọc trước khi dùng lại tài liệu trong khoá học hay sản phẩm của mình). Hướng dẫn cài đặt cũng nằm rải rác theo từng thành phần.
Khi nào chọn cách khác. Nếu bạn chỉ muốn một ứng dụng AI làm việc ngay (viết nội dung, tóm tắt, tự động hoá), repo này không phải thứ bạn cần. Nếu bạn chỉ cần học cách dùng một framework cụ thể, tài liệu chính thức của framework đó sẽ nhanh hơn. Còn nếu muốn hiểu vì sao hệ thống AI được xây như vậy, và muốn tự tay kiểm chứng bằng số, đây là một lựa chọn rất đáng thử.
Câu hỏi thường gặp
cs249r_book có miễn phí không?
Sách được mô tả là giáo trình mở và đọc trực tuyến tại mlsysbook.ai. README đoạn mình có không nói gì về phí, nên bạn nên xem lại trang dự án. Giấy phép cụ thể README không ghi rõ, repo có file LICENSE.md để bạn đọc.
Mình có cần GPU để dùng không?
Phần đọc sách thì không cần gì ngoài trình duyệt. Với TinyTorch, MLSys·im và Labs, README đoạn mình có chưa nói yêu cầu GPU. MLSys·im được dùng để mô hình hoá hệ thống quá lớn để chạy trong lớp học, nên không phải tự có cụm GPU. Hãy xem hướng dẫn trong từng thư mục để biết chính xác.
Có chạy được trên Windows không?
README đoạn mình có chưa nêu hệ điều hành được hỗ trợ. Đọc sách và các lab chạy trong trình duyệt thì không phụ thuộc hệ điều hành. Với phần cài đặt cục bộ, bạn cần Python từ 3.10 trở lên và nên kiểm tra hướng dẫn riêng của từng thành phần.
Cần Python phiên bản nào?
File pyproject.toml của repo yêu cầu Python từ 3.10 trở lên, gói Python tên là mlsysbook. Chạy python --version trong terminal để biết máy bạn đang dùng bản nào.
Nên bắt đầu từ đâu nếu mình là người mới?
README gợi ý sinh viên và người tự học bắt đầu bằng Tập I trên trang đọc trực tuyến. Sau đó bạn có thể xây TinyTorch, dùng MLSys·im, thử các lab (bản phát hành sớm) và luyện với StaffML. Tập III và IV là bản nháp, tác giả đề nghị chưa trích dẫn hay đem ra giảng.
Repo này khác gì một khoá học AI thông thường?
Theo README, trọng tâm là kỹ thuật hệ thống: bộ nhớ, độ trễ, năng lượng, độ tin cậy và cách mở rộng, chứ không chỉ cách huấn luyện mô hình. Repo kết hợp sách, tự xây framework, mô phỏng, kit phần cứng và câu hỏi phỏng vấn. Mình chưa có thông tin so sánh trực tiếp với khoá học hay công cụ cụ thể nào khác.
Dữ liệu của mình có an toàn không?
README đoạn mình có không nói về việc thu thập dữ liệu người dùng. Đọc sách trên web hay chạy mã cục bộ là hai việc khác nhau. Nếu dùng phần nào cần tài khoản hoặc dịch vụ ngoài, bạn nên đọc hướng dẫn và điều khoản của phần đó trước.


