MLflow: theo dõi, đánh giá và quản lý ứng dụng AI — hướng dẫn cài đặt và dùng
Bài này là một góc nhìn khác về mlflow/mlflow — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: MLflow: theo dõi, đánh giá và quản lý ứng dụng AI — hướng dẫn cài đặt và dùng →

Tóm tắt nhanh
MLflow là nền tảng mã nguồn mở viết bằng Python, giúp bạn ghi lại và xem lại mọi lần ứng dụng AI (LLM, agent, mô hình ML) chạy, rồi đánh giá chất lượng và quản lý prompt, chi phí. Chỉ cần một lệnh `uvx mlflow server` là có giao diện web chạy trên máy bạn. Việc cài khá nhẹ, nhưng bạn nên quen dùng terminal và Python.
MLflow là một nền tảng mã nguồn mở dành cho "kỹ thuật AI": nó giúp bạn nhìn thấy bên trong ứng dụng dùng LLM hoặc agent, đo xem chạy tốt hay dở, và quản lý prompt, chi phí, quyền truy cập mô hình. Nó cũng quản lý cả vòng đời mô hình học máy truyền thống. Repo hiện có khoảng 28.789 sao và 6.611 fork, giấy phép Apache-2.0.
Bạn nên đọc bài này nếu đang làm một chatbot, một trợ lý tự động hoá hoặc công cụ AI nội bộ. Thường thì nó chạy ổn lúc thử, rồi sang tuần sau trả lời sai mà bạn không biết vì sao. MLflow ghi lại từng lần gọi (gọi mô hình nào, hỏi gì, đáp gì, mất bao lâu) để bạn xem lại như xem lịch sử. Người làm kinh doanh sẽ thấy được chi phí và chất lượng. Lập trình viên mới thì có chỗ gỡ lỗi rõ ràng thay vì đoán mò.
Điểm đáng giá nhất: README nói bạn có thể bắt đầu chỉ với một lệnh khởi động máy chủ, thêm hai dòng Python để bật ghi log, rồi mở trình duyệt xem kết quả. Không cần sửa nhiều code hay dựng hệ thống phức tạp.
mlflow/mlflow
MLflow là nền tảng mã nguồn mở giúp theo dõi, gỡ lỗi, đánh giá và quản lý chi phí cho ứng dụng LLM, agent và mô hình học máy.
I.MLflow làm được gì
MLflow chia thành hai mảng. Mảng thứ nhất dành cho LLM và agent. Mảng thứ hai dành cho huấn luyện mô hình học máy.
A.Với LLM và agent
- Quan sát (observability / tracing): ghi lại toàn bộ "dấu vết" mỗi lần ứng dụng chạy. README nói nó xây trên OpenTelemetry và hỗ trợ mọi nhà cung cấp LLM lẫn framework agent. Lợi ích thực tế: khi khách phàn nàn câu trả lời sai, bạn mở đúng lượt chạy đó ra xem từng bước.
- Đánh giá (evaluation): chạy đánh giá có hệ thống, theo dõi chất lượng theo thời gian và bắt lỗi "tụt chất lượng" trước khi lên môi trường thật. README nói có hơn 50 chỉ số và "LLM judge" dựng sẵn, bạn cũng tự định nghĩa thêm được.
- Quản lý prompt và tối ưu: lưu phiên bản prompt, theo dõi nguồn gốc, thử nghiệm và triển khai. README cũng nói có thể tự động tối ưu prompt bằng các thuật toán mới.
- AI Gateway: một cổng API thống nhất cho nhiều nhà cung cấp LLM, theo kiểu tương thích OpenAI. Nó định tuyến yêu cầu, giới hạn tốc độ, xử lý dự phòng khi một nhà cung cấp lỗi, quản lý thông tin xác thực, có guardrail và chia lưu lượng để thử A/B. Lợi ích: khoá API không phải rải khắp nơi, và chi phí dễ kiểm soát hơn.
README cho biết có tự động ghi log bằng một dòng cho hơn 60 framework, gồm LangChain, LangGraph, OpenAI Agent, DSPy, CrewAI, LlamaIndex và nhiều cái khác, cùng các nhà cung cấp như OpenAI, Anthropic, Gemini, Ollama, DeepSeek. Hỗ trợ Python, TypeScript/JavaScript, Java và ngôn ngữ khác, cũng tích hợp với MCP.
B.Với mô hình học máy
- Theo dõi thí nghiệm: lưu tham số, chỉ số và kết quả của từng lần huấn luyện để so sánh.
- Đánh giá mô hình: công cụ đánh giá tự động gắn với việc theo dõi thí nghiệm.
- Model Registry: nơi cả nhóm cùng quản lý vòng đời mô hình.
- Triển khai: chạy chấm điểm theo lô hoặc thời gian thực trên Docker, Kubernetes, Azure ML, AWS SageMaker và các nơi khác.
MLflow có thể chạy trên máy bạn, máy chủ nội bộ, nền tảng đám mây hoặc dịch vụ quản lý như Databricks, Amazon SageMaker, Azure ML. README nhấn mạnh nó "vendor-neutral", tức không bị buộc vào một hãng.
II.Cần chuẩn bị gì
Theo tư liệu, bạn cần:
- Python 3.11 trở lên. File
pyproject.tomlcủa repo yêu cầu>=3.11. - Công cụ
uv. Lệnh khởi động trong README dùnguvx, là một phần của uv. README không hướng dẫn cài uv, nên bạn xem trang chính thức của uv để cài. - Terminal. Trên Windows là PowerShell, trên macOS/Linux là Terminal. README không nói rõ hệ điều hành nào được hỗ trợ, nên bài này không khẳng định.
- Tài khoản và khoá của nhà cung cấp LLM nếu bạn muốn ghi lại các lần gọi mô hình thật. Ví dụ trong README gọi OpenAI, nên bạn cần có quyền gọi OpenAI theo cách bạn vẫn dùng.
- Với cách "wizard" nhanh: thư mục dự án phải là một Git repository, và máy phải có Claude Code, Codex hoặc OpenCode.
Tư liệu không nói gì về yêu cầu GPU hay dung lượng ổ đĩa. Phần ghi log và xem giao diện không cần GPU vì các mô hình LLM nằm ở nhà cung cấp, nhưng đây là suy luận của mình chứ README không khẳng định.
Khoá API của OpenAI hay nhà cung cấp khác là bí mật. Đừng dán vào code rồi đẩy lên GitHub, đừng gửi cho người khác. Mỗi lần gọi mô hình vẫn tính tiền theo nhà cung cấp đó, MLflow chỉ ghi lại chứ không làm chi phí biến mất.
III.Cài đặt từng bước
- Cài uv và PythonChuẩn bị Python 3.11+ và công cụ uv để dùng lệnh uvx
- Khởi động máy chủChạy uvx mlflow server để mở giao diện tại cổng 5000
- Bật ghi logThêm hai dòng Python để MLflow tự ghi lại các lần gọi OpenAI
- Chạy code của bạnGọi mô hình như bình thường
- Xem kết quảMở trình duyệt vào http://localhost:5000
A.Chuẩn bị Python và uv
Kiểm tra Python trước. README không có lệnh kiểm tra này, nhưng đây là lệnh phổ thông:
python --versionPhải hiện phiên bản 3.11 trở lên. Nếu thấp hơn, bạn cần cài bản mới hơn. Với uv, README chưa ghi cách cài, bạn xem hướng dẫn trên trang của uv rồi quay lại đây.
B.Khởi động máy chủ MLflow
Mở một cửa sổ terminal và chạy đúng lệnh trong README:
uvx mlflow serveruvx tải và chạy MLflow tạm thời mà không bắt bạn tạo môi trường riêng. Lệnh này chiếm cửa sổ terminal, nó cứ chạy cho tới khi bạn tắt. Đừng đóng cửa sổ này. Chỗ người mới hay vấp: các bước sau cần mở một cửa sổ terminal khác.
C.Bật ghi log trong code Python
Trong file Python của dự án, thêm đúng đoạn này ở đầu:
import mlflow
mlflow.set_tracking_uri("http://localhost:5000")
mlflow.openai.autolog()Dòng set_tracking_uri trỏ code của bạn về máy chủ vừa bật ở cổng 5000. Dòng autolog bảo MLflow tự ghi lại mọi lần gọi thư viện OpenAI, bạn không phải ghi tay. README không nói rõ cách cài thư viện mlflow và openai vào môi trường Python của bạn. Tên gói Python của MLflow là mlflow, và bạn có thể xem thêm trong tài liệu tại mlflow.org.
D.Chạy code gọi mô hình
Đây là ví dụ trong README:
from openai import OpenAI
client = OpenAI()
client.responses.create(
model="gpt-5.4-mini",
input="Hello!",
)Bạn chạy file này như một chương trình Python bình thường, trong cửa sổ terminal thứ hai. Nếu OpenAI báo thiếu khoá, hãy cấu hình khoá theo cách thư viện OpenAI yêu cầu rồi chạy lại.
E.Cách nhanh hơn: dùng wizard
README giới thiệu một "wizard" thiết lập tracing, gọi là cách khởi đầu nhanh nhất:
curl -LsSf https://mlflow.org/wizard/setup.sh | shChạy lệnh này từ thư mục gốc của dự án Git, và máy phải có Claude Code, Codex hoặc OpenCode. Wizard hướng dẫn bạn kết nối với máy chủ MLflow hoặc workspace Databricks, rồi mở trợ lý lập trình để thêm tracing vào ứng dụng giúp bạn. Vì lệnh này tải một đoạn script từ internet rồi chạy ngay, bạn nên mở địa chỉ đó ra đọc trước khi chạy.
IV.Kiểm tra đã chạy được chưa
Theo README, bạn xem dấu vết và chỉ số trên giao diện MLflow tại địa chỉ:
http://localhost:5000Mở địa chỉ này bằng trình duyệt trên cùng máy. Nếu cài đúng, bạn sẽ thấy giao diện MLflow và, sau khi chạy đoạn gọi OpenAI ở trên, thấy dấu vết (trace) của lần gọi đó. Nếu trang không mở, kiểm tra xem cửa sổ chạy uvx mlflow server còn mở hay không. Nếu chưa thấy trace nào, kiểm tra xem code đã có đủ hai dòng set_tracking_uri và autolog trước khi gọi mô hình chưa.
V.Dùng vào việc thật
Các tình huống dưới đây bám theo những gì README nói MLflow làm được. Phần ví dụ là minh hoạ của mình.
A.Chủ shop có chatbot trả lời khách
Bạn nhờ một lập trình viên dựng chatbot chăm sóc khách dùng OpenAI. Có hôm bot trả lời sai về chính sách đổi trả. Với hai dòng set_tracking_uri và autolog ở trên, mỗi lượt hỏi đáp đều được ghi lại. Bạn mở giao diện, tìm lượt chạy đó và xem câu hỏi thật của khách, câu bot đáp, thời gian xử lý. Kết quả: bạn chỉ ra được chính xác chỗ sai thay vì nói chung chung "bot hay trả lời lung tung".
Không biết ứng dụng AI đã làm gì thì không thể sửa nó. Ghi lại trước, tối ưu sau.
Ông T
B.Nhân viên văn phòng so sánh các phiên bản prompt
Bộ phận bạn dùng AI để soạn email trả lời khách và có hai cách viết prompt. README nói MLflow cho phép lưu phiên bản prompt, theo dõi nguồn gốc và chạy đánh giá với các chỉ số có sẵn hoặc tự định nghĩa. Bạn có thể giữ từng phiên bản prompt, chạy cùng một bộ câu hỏi mẫu, rồi so kết quả. Cách làm cụ thể xem trong mục Prompt Registry và Evaluation trên trang tài liệu của MLflow, vì README không đưa lệnh chi tiết.
C.Lập trình viên mới gỡ lỗi một agent
Bạn đang tập dùng một framework agent như LangChain hay CrewAI, và agent cứ gọi công cụ sai. README nói MLflow tự ghi log bằng một dòng cho hơn 60 framework, trong đó có các framework này. Bạn bật autolog tương ứng (danh sách và cú pháp ở trang integrations của tài liệu), chạy agent, rồi mở trace xem từng bước nó suy nghĩ và gọi công cụ. Việc này biến "không hiểu sao nó làm vậy" thành một chuỗi bước đọc được.
D.Nhóm kỹ thuật kiểm soát chi phí và quyền truy cập mô hình
Công ty bạn dùng nhiều nhà cung cấp LLM và khoá API đang nằm rải rác. README mô tả AI Gateway: một cổng thống nhất tương thích OpenAI, có quản lý thông tin xác thực, giới hạn tốc độ, dự phòng và chia lưu lượng để thử A/B. Nhóm kỹ thuật có thể cấu hình cổng này để ứng dụng chỉ nói chuyện với cổng, còn việc chọn nhà cung cấp và hạn mức do cổng lo. README chưa ghi lệnh thiết lập Gateway, bạn xem phần AI Gateway trong tài liệu.
VI.Lỗi hay gặp và cách xử lý
A.Lệnh uvx báo không tìm thấy
Nghĩa là máy chưa có uv. Cài uv theo hướng dẫn trên trang chính thức của uv, rồi đóng và mở lại terminal để máy nhận lệnh mới.
B.Trình duyệt không mở được localhost:5000
Thường là cửa sổ chạy uvx mlflow server đã bị đóng, hoặc lệnh báo lỗi khi khởi động. Quay lại cửa sổ đó, đọc thông báo lỗi. Nếu cổng 5000 đang bị chương trình khác dùng, README chưa nói cách đổi cổng, bạn xem tài liệu của MLflow.
C.Giao diện mở được nhưng không có trace
Kiểm tra ba điều: code có chạy mlflow.set_tracking_uri(...) và mlflow.openai.autolog() trước khi gọi mô hình không. Địa chỉ trong set_tracking_uri có khớp với địa chỉ máy chủ không. Và lần gọi mô hình có thực sự thành công không.
D.Code báo lỗi khi gọi OpenAI
Nguyên nhân hay gặp là thiếu hoặc sai khoá API, hoặc tài khoản hết hạn mức. Cấu hình lại khoá theo hướng dẫn của thư viện OpenAI. Tên mô hình trong ví dụ (gpt-5.4-mini) chép từ README, nếu tài khoản bạn không dùng được mô hình này thì đổi sang mô hình bạn có quyền.
E.Lệnh wizard không chạy
Wizard cần chạy trong thư mục Git và cần có Claude Code, Codex hoặc OpenCode. Nếu thiếu một trong hai, hãy làm theo ba bước thủ công ở phần trên. Đồng thời nhớ rằng đây là lệnh curl ... | sh, trên Windows bạn nên chạy trong môi trường có shell kiểu Unix như Git Bash hoặc WSL. README không nói rõ về Windows.
VII.Có nên dùng không
Điểm mạnh. MLflow có cộng đồng lớn, giấy phép Apache-2.0 và README nói đã có hơn 60 triệu lượt tải mỗi tháng. Nó gom nhiều việc vào một chỗ: tracing, đánh giá, prompt, gateway và quản lý mô hình ML. Lại không buộc bạn vào một nhà cung cấp hay framework nào. Việc bắt đầu nhẹ, chỉ cần một lệnh và hai dòng code. Repo vẫn được cập nhật trong vài tháng gần đây.
Giới hạn. Đây là công cụ cho người làm kỹ thuật. Bạn cần biết mở terminal, chạy Python và hiểu code gọi mô hình. Nếu bạn chỉ dùng ChatGPT trên web mà không viết code thì MLflow không dành cho bạn. Nền tảng cũng rộng, nên mỗi tính năng như Gateway hay tối ưu prompt cần đọc thêm tài liệu riêng. README không đưa lệnh chi tiết cho các phần này. Các thông tin về bảo mật dữ liệu khi triển khai thật, chi phí vận hành máy chủ, cấu hình cho nhóm đông người, tư liệu chưa nói.
Khi nào chọn cách khác. Nếu bạn chỉ cần thử nhanh một prompt, một ô chat là đủ. Nếu công ty đã có hệ thống giám sát riêng và bạn chỉ cần thu thập trace, README cho biết MLflow tích hợp OpenTelemetry nên có thể kết hợp thay vì thay thế. Còn nếu bạn mới bắt đầu và muốn hiểu ứng dụng AI của mình đang làm gì, MLflow là nơi khởi đầu hợp lý và miễn phí.
Câu hỏi thường gặp
MLflow có miễn phí không?
Có. MLflow là mã nguồn mở theo giấy phép Apache-2.0, bạn tự chạy trên máy mình. Tuy nhiên các lần gọi mô hình như OpenAI vẫn tính tiền theo nhà cung cấp đó. Nếu dùng dịch vụ quản lý như Databricks thì tư liệu chưa nói chi phí.
Cài MLflow có cần GPU không?
Tư liệu không nói MLflow cần GPU. Trong ví dụ của README, mô hình chạy ở nhà cung cấp (OpenAI) còn MLflow chỉ ghi log và hiển thị. Nếu bạn tự huấn luyện mô hình ML thì phần cứng cần thiết tuỳ vào mô hình đó, chứ README không đưa yêu cầu.
MLflow chạy được trên Windows không?
README không ghi rõ danh sách hệ điều hành được hỗ trợ. Lệnh `uvx mlflow server` là lệnh Python/uv nên về nguyên tắc chạy trong terminal, nhưng bạn nên kiểm tra tài liệu chính thức. Riêng lệnh wizard dùng `curl ... | sh` nên chạy trong môi trường shell kiểu Unix.
Cần phiên bản Python nào?
File pyproject.toml của repo yêu cầu Python từ 3.11 trở lên. Nếu máy bạn có bản thấp hơn thì cần cài bản mới. Tên gói Python là `mlflow`.
Dữ liệu của tôi có an toàn không?
Theo ví dụ trong README, máy chủ chạy ở localhost:5000, tức trên máy bạn. Bạn kiểm soát nơi lưu dấu vết. Tuy vậy các câu hỏi vẫn được gửi cho nhà cung cấp mô hình như OpenAI khi bạn gọi họ. README không có thông tin chi tiết về bảo mật khi triển khai cho cả nhóm, bạn cần xem tài liệu và file SECURITY.md trong repo.
MLflow dùng được với những framework agent nào?
README nói có tự động ghi log bằng một dòng cho hơn 60 framework. Trong đó có LangChain, LangGraph, OpenAI Agent, DSPy, CrewAI, LlamaIndex, AutoGen, Vercel AI SDK, Spring AI và nhiều cái khác. Danh sách đầy đủ nằm ở trang integrations trong tài liệu.
MLflow khác gì với việc chỉ in log ra màn hình?
In log chỉ cho bạn dòng chữ rời rạc. MLflow ghi lại cả chuỗi bước của mỗi lần chạy, có giao diện để xem lại, và còn có đánh giá chất lượng, quản lý prompt và gateway. Tư liệu không so sánh trực tiếp với công cụ cụ thể nào khác.


