MLflow: theo dõi, đánh giá và quản lý ứng dụng AI, LLM — hướng dẫn cài đặt và dùng
Bài này là một góc nhìn khác về mlflow/mlflow — repo từng đổi tên nên mình viết lại với cách tiếp cận khác. Bài hướng dẫn chính: MLflow: theo dõi, đánh giá và quản lý ứng dụng AI — hướng dẫn cài đặt và dùng →

Tóm tắt nhanh
MLflow là nền tảng kỹ thuật AI mã nguồn mở (Apache-2.0, viết bằng Python) để theo dõi, gỡ lỗi, đánh giá và giám sát agent, ứng dụng LLM và mô hình học máy. Bạn dùng nó để xem ứng dụng AI của mình đã làm gì, tốn bao nhiêu và chất lượng ra sao. Cài khá nhẹ: chỉ một lệnh để mở máy chủ, thêm hai dòng Python để bật ghi log.
MLflow là một nền tảng mã nguồn mở dành cho "kỹ thuật AI": giúp bạn gỡ lỗi, đánh giá, giám sát và tối ưu các ứng dụng dùng agent, mô hình ngôn ngữ lớn (LLM) hoặc mô hình học máy. Nói đơn giản, nó là cuốn sổ ghi chép và bảng điều khiển cho mọi thứ ứng dụng AI của bạn làm: gửi câu hỏi gì, nhận câu trả lời gì, mất bao lâu, tốn bao nhiêu.
Bạn nên quan tâm nếu đã làm một chatbot, một agent hay một quy trình gọi AI, và bắt đầu thấy khó trả lời những câu như "sao hôm nay nó trả lời sai?" hoặc "bản prompt nào tốt hơn?". Repo hiện có khoảng 28.789 sao và 6.611 fork, giấy phép Apache-2.0, và vẫn được cập nhật trong vài tháng gần đây. README cho biết dự án có hơn 60 triệu lượt tải mỗi tháng.
Điểm đáng giá nhất: bạn có thể thấy kết quả chỉ sau vài phút. Một lệnh để mở giao diện web, hai dòng Python để bật ghi log, rồi mọi lần gọi AI hiện ra trong trình duyệt. Không cần sửa code ứng dụng nhiều.
mlflow/mlflow
MLflow là nền tảng mã nguồn mở giúp ghi lại, gỡ lỗi, đánh giá và quản lý ứng dụng AI, agent, LLM và mô hình học máy, chạy được ngay trên máy bạn.
I.MLflow làm được gì
MLflow chia làm hai mảng: ứng dụng LLM/agent và huấn luyện mô hình học máy.
A.Với LLM và agent
- Quan sát (observability / tracing): ghi lại toàn bộ quá trình một ứng dụng AI hoặc agent chạy, từng bước một. Khi câu trả lời sai, bạn mở ra xem nó đã đi qua những bước nào. README nói phần này xây trên OpenTelemetry và hỗ trợ mọi nhà cung cấp LLM lẫn framework agent. Bạn cũng theo dõi được chất lượng, chi phí và độ an toàn khi chạy thật.
- Đánh giá (evaluation): chạy đánh giá có hệ thống, theo dõi chất lượng theo thời gian và bắt lỗi thụt lùi trước khi lên môi trường thật. README nói có hơn 50 chỉ số và bộ "giám khảo LLM" dựng sẵn, bạn cũng tự định nghĩa được.
- Quản lý và tối ưu prompt: lưu phiên bản prompt, kiểm thử, triển khai và theo dõi nguồn gốc. README còn nhắc việc tự động tối ưu prompt bằng các thuật toán hiện đại.
- AI Gateway: một cổng API chung cho nhiều nhà cung cấp LLM, dùng giao diện tương thích OpenAI. Cổng này định tuyến yêu cầu, giới hạn tốc độ, chuyển dự phòng, quản lý chi phí và khoá truy cập, có guardrail và chia lưu lượng để thử A/B.
README nói MLflow hỗ trợ Python, TypeScript/JavaScript, Java và các ngôn ngữ khác, đồng thời tích hợp OpenTelemetry và MCP. Có tính năng tự động ghi log bằng một dòng lệnh cho hơn 60 framework. Danh sách gồm LangChain, LangGraph, OpenAI, DSPy, CrewAI, LlamaIndex, Claude Code và nhiều cái khác.
B.Với mô hình học máy
- Theo dõi thử nghiệm: lưu mô hình, tham số, chỉ số và kết quả đánh giá qua các lần thử.
- Đánh giá mô hình: công cụ đánh giá tự động gắn với việc theo dõi thử nghiệm.
- Model Registry: quản lý vòng đời mô hình theo nhóm.
- Triển khai: đưa mô hình lên chấm điểm theo lô hoặc thời gian thực, trên Docker, Kubernetes, Azure ML, AWS SageMaker và các nơi khác.
Bài này tập trung vào đường nhanh nhất: bật theo dõi cho một ứng dụng gọi AI.
II.Cần chuẩn bị gì
- Python: file pyproject.toml của repo yêu cầu Python từ 3.11 trở lên.
- Công cụ uv: lệnh khởi động máy chủ trong README bắt đầu bằng
uvx, nên máy bạn cần cóuv. README không hướng dẫn cài uv, bạn xem hướng dẫn trên trang của chính uv. - Hệ điều hành: README không nêu yêu cầu riêng. Chưa có thông tin chính thức về từng hệ điều hành.
- Tài khoản và khoá API: ví dụ trong README gọi OpenAI, nên bạn cần khả năng dùng dịch vụ OpenAI (thư viện
openaivà khoá API theo hướng dẫn của OpenAI). README MLflow không nói chi tiết phần này. Nếu dùng nhà cung cấp khác, bạn cần khoá của nhà đó. - Phần cứng: README không nói cần GPU. Ví dụ ghi log ở đây chỉ gọi dịch vụ AI từ xa.
- Cách nhanh qua trình hướng dẫn: nếu muốn dùng wizard, README cho biết bạn cần một Git repository của dự án, và đã cài Claude Code, Codex hoặc OpenCode.
III.Cài đặt từng bước
- Mở máy chủ MLflowChạy một lệnh để có giao diện web tại localhost:5000
- Bật ghi logHai dòng Python để MLflow tự ghi các lần gọi OpenAI
- Chạy code của bạnGọi AI như bình thường, MLflow ghi lại phía sau
- Mở giao diện xem kết quảVào http://localhost:5000 để xem các trace
README gọi đây là "3 bước đơn giản". Nếu muốn cách nhanh hơn nữa, có thêm lối đi bằng wizard ở cuối phần này.
A.Mở máy chủ MLflow
Mở terminal (trên Windows là PowerShell hoặc Windows Terminal) ở bất kỳ thư mục nào rồi chạy:
uvx mlflow serverLệnh này dùng uvx để chạy gói mlflow mà không cần bạn tự dựng môi trường. Máy chủ sẽ chạy cho đến khi bạn tắt, nên hãy để cửa sổ terminal này mở và mở một cửa sổ khác cho các bước sau. Chỗ người mới hay vấp: gõ uvx mà báo không tìm thấy lệnh nghĩa là máy chưa cài uv.
B.Bật ghi log trong code
Trong file Python của ứng dụng, thêm các dòng sau:
import mlflow
mlflow.set_tracking_uri("http://localhost:5000")
mlflow.openai.autolog()Dòng set_tracking_uri trỏ code của bạn tới máy chủ vừa mở. Dòng autolog bảo MLflow tự ghi lại các lần gọi thư viện OpenAI, bạn không phải viết thêm gì. Lệnh import mlflow yêu cầu gói mlflow có trong môi trường Python đang chạy code. README không ghi lệnh cài gói này cho đoạn code; cách cài thông thường của Python là pip install mlflow (tên gói trong pyproject.toml là mlflow).
C.Chạy code gọi AI
Chạy đoạn gọi OpenAI như bình thường:
from openai import OpenAI
client = OpenAI()
client.responses.create(
model="gpt-5.4-mini",
input="Hello!",
)Đây là ví dụ y nguyên trong README. Mỗi lần chạy, MLflow ghi lại một bản ghi chi tiết. Nếu báo lỗi xác thực, nhiều khả năng là bạn chưa cấu hình khoá OpenAI theo hướng dẫn của OpenAI.
D.Cách nhanh: dùng wizard thiết lập
README giới thiệu một wizard để cài tracing cho dự án:
curl -LsSf https://mlflow.org/wizard/setup.sh | shChạy lệnh này từ thư mục Git repository của dự án, khi máy đã có Claude Code, Codex hoặc OpenCode. Wizard hướng dẫn bạn nối tới một máy chủ MLflow hoặc workspace Databricks, rồi mở agent lập trình để thêm tracing vào ứng dụng. Lưu ý: lệnh này tải một script từ internet và chạy luôn, nên hãy chắc bạn tin nguồn đó.
Lệnh curl ... | sh sẽ chạy script tải về ngay trên máy bạn. Chỉ chạy khi bạn tin nguồn và hiểu nó thao tác trên dự án của mình. Khoá API (ví dụ OpenAI) là bí mật của bạn: không dán vào code rồi đưa lên GitHub. Mỗi lần gọi AI vẫn tính phí theo nhà cung cấp.
IV.Kiểm tra đã chạy được chưa
Theo README, sau khi chạy xong, bạn mở trình duyệt vào địa chỉ sau để xem trace và chỉ số:
http://localhost:5000Nếu mọi thứ ổn, bạn sẽ thấy giao diện MLflow và có bản ghi cho lần gọi "Hello!" vừa chạy. Muốn chắc hơn, chạy đoạn gọi AI thêm một lần nữa rồi tải lại trang, bạn sẽ thấy bản ghi mới. Nếu trang không mở được, hãy kiểm tra cửa sổ terminal chạy uvx mlflow server còn mở và không báo lỗi.
V.Dùng vào việc thật
Các tình huống dưới đây bám vào khả năng được ghi trong README.
A.Chủ shop có chatbot trả lời khách
Bạn có chatbot gọi OpenAI để tư vấn sản phẩm, đôi khi nó trả lời lạc đề. Bạn thêm hai dòng set_tracking_uri và autolog ở trên vào code chatbot. Sau đó mở giao diện, tìm lần trả lời sai và xem đúng câu hỏi, câu trả lời và các bước nó đã đi qua. Bạn sẽ biết lỗi nằm ở prompt hay ở dữ liệu đưa vào, thay vì đoán mò.
Muốn sửa AI thì trước hết phải nhìn thấy nó đã làm gì.
Ông T
B.Lập trình viên mới thử nhiều agent framework
Bạn đang thử LangChain, rồi CrewAI, rồi một framework khác. README nói MLflow có tự động ghi log bằng một dòng lệnh cho hơn 60 framework. Bạn giữ nguyên máy chủ MLflow và chỉ đổi dòng autolog tương ứng (xem danh sách tích hợp trong tài liệu MLflow). Kết quả là mọi framework đều hiện trong cùng một giao diện, dễ so sánh cách chúng hoạt động.
C.Nhân viên văn phòng so sánh hai bản prompt
Bạn viết hai cách hỏi AI để tóm tắt hợp đồng và muốn biết cách nào tốt hơn. MLflow có tính năng quản lý phiên bản prompt và đánh giá có hệ thống với hơn 50 chỉ số hoặc giám khảo LLM dựng sẵn. Bạn lưu từng bản prompt, chạy đánh giá trên cùng bộ câu hỏi mẫu và so điểm. README chỉ giới thiệu ở mức tính năng, nên các lệnh cụ thể bạn xem trong tài liệu phần đánh giá và prompt tại mlflow.org.
D.Nhóm nhỏ quản lý chi phí và quyền dùng mô hình
Nhóm bạn dùng chung nhiều nhà cung cấp LLM và lo chi phí bị vượt. README nói AI Gateway cho phép định tuyến yêu cầu, đặt giới hạn tốc độ, chuyển dự phòng, quản lý thông tin xác thực và chia lưu lượng để thử A/B qua giao diện tương thích OpenAI. Đây là phần nâng cao hơn, README chưa kèm lệnh cài; bạn xem trang hướng dẫn AI Gateway trong tài liệu.
VI.Lỗi hay gặp và cách xử lý
- Gõ
uvxbáo không tìm thấy lệnh. Máy chưa có uv. Cài uv theo hướng dẫn chính thức rồi mở lại terminal. - Không vào được
http://localhost:5000. Kiểm tra cửa sổ chạyuvx mlflow servercòn mở và không báo lỗi. Nếu một chương trình khác đang chiếm cổng, README chưa nói cách đổi cổng; bạn xem tài liệu của lệnhmlflow server. - Chạy xong mà giao diện không có bản ghi. Kiểm tra địa chỉ trong
set_tracking_urikhớp với máy chủ, và dòngautologđược chạy trước khi gọi AI. - Báo thiếu module
mlflowhoặcopenai. Code Python của bạn chạy trong môi trường chưa có gói đó. Cài gói vào đúng môi trường đang dùng, đừng cài lung tung ở nhiều nơi. - Báo lỗi xác thực khi gọi OpenAI. Đó là chuyện khoá API của OpenAI, không phải của MLflow. Kiểm tra lại cấu hình khoá theo tài liệu của OpenAI và không để lộ khoá.
VII.Có nên dùng không
Điểm mạnh:
- Cài nhanh: một lệnh mở máy chủ và vài dòng Python là có giao diện xem.
- Mã nguồn mở, giấy phép Apache-2.0, "vendor-neutral": không bị gắn chặt vào một nhà cung cấp.
- Một nền tảng bao cả quan sát, đánh giá, quản lý prompt, cổng AI và quản lý mô hình học máy.
- Tích hợp rộng: hơn 60 framework và nhiều nhà cung cấp mô hình, theo README.
- Chạy được ở nhiều nơi: máy cá nhân, máy chủ riêng, đám mây hoặc dịch vụ quản lý như Databricks.
Giới hạn:
- Repo rất lớn, nhiều tính năng. Người mới dễ bị ngợp nếu cố học hết một lúc; hãy bắt đầu từ phần tracing.
- Phải biết chút Python để thêm vài dòng vào code. README không nói gì về cách dùng hoàn toàn không cần code, ngoài wizard.
- Chạy trên máy bạn thì dữ liệu nằm ở máy chủ MLflow bạn dựng. Chưa có thông tin trong README về việc bảo mật khi mở ra mạng; nếu dùng cho nhóm, bạn cần tự tìm hiểu phần phân quyền.
- Nếu bạn chỉ có một script nhỏ gọi AI vài lần, in kết quả ra màn hình có thể là đủ, chưa cần MLflow.
Tóm lại: nếu bạn đã có ứng dụng AI chạy thật và cần nhìn thấy, đo lường và so sánh nó, MLflow là lựa chọn đáng thử. Còn nếu chỉ đang thử vài câu hỏi đơn giản, bạn có thể để sau.
Câu hỏi thường gặp
MLflow có miễn phí không?
Có, repo dùng giấy phép Apache-2.0 và là mã nguồn mở. Tuy nhiên các dịch vụ AI bạn gọi qua nó (ví dụ OpenAI) vẫn tính phí theo nhà cung cấp. Các dịch vụ lưu trữ do bên thứ ba quản lý, như Databricks, README chưa nói rõ giá.
MLflow cần Python phiên bản nào?
File pyproject.toml của repo yêu cầu Python từ 3.11 trở lên. Lệnh khởi động trong README dùng uvx, nên máy bạn cũng cần cài công cụ uv.
Có cần GPU để chạy MLflow không?
README không nêu yêu cầu GPU. Ví dụ ghi log trong README chỉ gọi dịch vụ AI từ xa. Nếu bạn dùng MLflow để huấn luyện mô hình, nhu cầu phần cứng tuỳ vào mô hình của bạn, README không nói chi tiết.
Chạy được trên Windows không?
README không nêu hạn chế về hệ điều hành, nhưng cũng chưa có thông tin chính thức về từng hệ điều hành. Lệnh `uvx mlflow server` chạy trong terminal; nếu gặp vấn đề, bạn xem tài liệu tại mlflow.org.
Dữ liệu của tôi có an toàn không?
Theo README, bạn có thể tự chạy máy chủ MLflow trên máy mình (localhost) hoặc tự lưu trữ. README không nói chi tiết về bảo mật khi mở ra mạng hay dùng nhiều người. Bạn nên giữ khoá API là bí mật và đọc tài liệu nếu triển khai cho cả nhóm.
MLflow khác gì các công cụ như Langfuse hay Arize Phoenix?
README liệt kê Langfuse và Arize/Phoenix trong danh sách tích hợp, chứ không so sánh trực tiếp. Điểm riêng README nhấn mạnh là MLflow gom quan sát, đánh giá, quản lý prompt, AI Gateway và cả quản lý mô hình học máy vào một nền tảng. Chưa có thông tin so sánh chi tiết hơn.
Tôi chưa biết lập trình, dùng được không?
Cách chính trong README là thêm vài dòng Python vào code, nên cần chút Python. README còn có wizard thiết lập, nhưng nó yêu cầu có Git repository và một agent lập trình như Claude Code, Codex hoặc OpenCode. Người hoàn toàn không đụng code nên nhờ một bạn kỹ thuật cài giúp.


