# MLflow: theo dõi, đánh giá và quản lý ứng dụng AI — hướng dẫn cài đặt và dùng

> MLflow là nền tảng mã nguồn mở viết bằng Python, dùng để debug, đánh giá, giám sát và tối ưu agent, ứng dụng LLM và mô hình học máy. Bạn chạy một máy chủ MLflow, bật ghi log bằng hai dòng code rồi xem mọi lần gọi AI trên giao diện web. Cài đặt bản cơ bản không khó, nhưng cần Python 3.11 trở lên và biết dùng terminal.

- Tác giả: Ông T (https://ongt.vn/gioi-thieu)
- Chủ đề: Repo & Skill
- Đăng: 2026-05-06 · Cập nhật: 2026-11-13
- URL: https://ongt.vn/bai-viet/mlflow-theo-doi-danh-gia-quan-ly-ung-dung-ai-2

MLflow là nền tảng mã nguồn mở cho kỹ thuật AI: nó giúp bạn nhìn thấy, đo đạc và quản lý những gì xảy ra bên trong ứng dụng dùng mô hình ngôn ngữ (LLM), agent và cả mô hình học máy truyền thống. Bạn chạy một máy chủ MLflow, bật ghi log, rồi mở giao diện web để xem từng lần gọi AI đã làm gì, tốn bao nhiêu và trả lời ra sao.

Nếu bạn từng làm một con chatbot hay một agent rồi tự hỏi vì sao hôm nay nó trả lời sai, hoặc tháng này tốn bao nhiêu tiền, thì đây là loại công cụ dành cho bạn. Người dùng chính là lập trình viên và nhóm làm sản phẩm AI. Người làm kinh doanh cũng nên biết đến nó, vì nó giúp nhóm kỹ thuật trả lời được những câu hỏi như vậy bằng số liệu thay vì phỏng đoán.

Điểm đáng giá nhất là bạn không phải viết lại ứng dụng. Theo README, chỉ cần hai dòng code để bật ghi log tự động cho OpenAI, và có hỗ trợ ghi log một dòng cho hơn 60 framework. Repo hiện có khoảng 28.789 sao và 6.611 fork, giấy phép Apache-2.0, và vẫn được cập nhật trong 3 tháng gần đây.

```repo
- repo | mlflow/mlflow
- kind | Framework
- desc | MLflow là nền tảng mã nguồn mở giúp theo dõi, đánh giá và quản lý chi phí cho agent, ứng dụng LLM và mô hình học máy, chạy được ngay trên máy bạn.
- stars | 29k
- lang | Python
- license | Apache-2.0
```

## MLflow làm được gì

MLflow chia làm hai nhóm việc: một cho LLM và agent, một cho huấn luyện mô hình học máy. Bạn không cần dùng hết, chọn phần mình cần là đủ.

### Với LLM và agent

- **Quan sát (observability):** ghi lại toàn bộ quá trình chạy của ứng dụng AI, gọi là trace. Bạn thấy được agent đã gọi công cụ nào, theo thứ tự nào, nên tìm lỗi dễ hơn nhiều. README nói nó xây trên OpenTelemetry và hỗ trợ mọi nhà cung cấp LLM lẫn framework agent. Bạn cũng theo dõi được chất lượng, chi phí và độ an toàn khi chạy thật.
- **Đánh giá (evaluation):** chạy đánh giá có hệ thống, theo dõi chất lượng theo thời gian và bắt lỗi thụt lùi trước khi đưa lên môi trường thật. README nhắc đến hơn 50 chỉ số và bộ chấm điểm bằng LLM có sẵn, bạn cũng tự định nghĩa được chỉ số riêng. Lợi ích thực tế: sửa prompt xong, bạn biết ngay nó tốt lên hay tệ đi.
- **Prompt và tối ưu prompt:** quản lý phiên bản prompt, kiểm thử, triển khai và truy vết nguồn gốc. Ngoài ra còn có tính năng tự động tối ưu prompt bằng các thuật toán hiện đại. Không còn cảnh prompt tốt nhất nằm trong một file chat nào đó.
- **AI Gateway:** một cổng API thống nhất cho nhiều nhà cung cấp LLM, dùng theo kiểu tương thích OpenAI. Nó định tuyến yêu cầu, giới hạn tốc độ, xử lý dự phòng khi một nhà cung cấp lỗi, quản lý khóa truy cập, có guardrails và chia lưu lượng để thử A/B. Ý nghĩa với doanh nghiệp: kiểm soát chi phí và ai được dùng mô hình nào ở một chỗ.

README cũng nói MLflow dùng được với Python, TypeScript/JavaScript, Java và các ngôn ngữ khác, đồng thời tích hợp sẵn với OpenTelemetry và MCP.

### Với huấn luyện mô hình

- **Experiment Tracking:** theo dõi mô hình, tham số, chỉ số và kết quả đánh giá qua các lần thử nghiệm.
- **Model Evaluation:** công cụ đánh giá tự động gắn liền với theo dõi thử nghiệm.
- **Model Registry:** quản lý vòng đời mô hình cho cả nhóm cùng làm.
- **Deployment:** triển khai mô hình chạy theo lô hoặc thời gian thực trên Docker, Kubernetes, Azure ML, AWS SageMaker và các nơi khác.

Bài này tập trung vào đường nhanh nhất: bật ghi log cho một ứng dụng LLM.

## Cần chuẩn bị gì

Theo tư liệu, bạn cần:

- **Python 3.11 trở lên.** Đây là yêu cầu trong file `pyproject.toml` của repo.
- **Công cụ `uvx`**, vì lệnh khởi động máy chủ trong README dùng nó. README chưa ghi cách cài `uv`, bạn xem hướng dẫn trong tài liệu tại mlflow.org/docs/latest hoặc trang của công cụ uv.
- **Một terminal** (PowerShell, Terminal hay bất kỳ cửa sổ dòng lệnh nào).
- **Tài khoản và khóa API của nhà cung cấp LLM** nếu bạn muốn chạy ví dụ gọi OpenAI. README không nói chi tiết cách đặt khóa, bạn xem tài liệu của OpenAI.
- **Nếu dùng trình hướng dẫn nhanh:** README yêu cầu chạy trong một thư mục dự án Git, và đã cài sẵn Claude Code, Codex hoặc OpenCode.

Tư liệu không nói gì về yêu cầu GPU hay cấu hình máy tối thiểu, nên mình không khẳng định gì thêm ở điểm này.

```note
Khóa API của OpenAI hay của nhà cung cấp khác là thông tin nhạy cảm và gọi mô hình có thể tốn tiền. Đừng dán khóa vào code rồi đẩy lên GitHub, và hãy đặt giới hạn chi tiêu ở trang quản lý của nhà cung cấp trước khi thử.
```

## Cài đặt từng bước

```steps
- Mở terminal | Vào thư mục dự án hoặc một thư mục thử nghiệm
- Khởi động máy chủ | Chạy uvx mlflow server để có giao diện tại cổng 5000
- Bật ghi log | Thêm hai dòng code vào ứng dụng Python
- Chạy code của bạn | Gọi mô hình như bình thường
- Mở giao diện | Xem trace tại http://localhost:5000
```

### Cách nhanh nhất: trình hướng dẫn cài đặt (tùy chọn)

README giới thiệu một trình hướng dẫn giúp thêm tracing vào ứng dụng của bạn. Bạn chạy nó từ thư mục gốc của một dự án Git, trên máy đã có Claude Code, Codex hoặc OpenCode.

```bash
curl -LsSf https://mlflow.org/wizard/setup.sh | sh
```

Lệnh này tải một đoạn script từ trang mlflow.org và chạy ngay. Theo README, trình hướng dẫn sẽ giúp bạn kết nối tới máy chủ MLflow hoặc workspace Databricks, rồi mở công cụ lập trình AI của bạn để thêm tracing vào ứng dụng. Nếu chưa quen, bạn nên đọc nội dung script trước khi chạy, và nên chạy trong một dự án thử.

Bạn muốn tự làm từng bước thì đi tiếp ba bước dưới đây.

### Khởi động máy chủ MLflow

Mở terminal và chạy:

```bash
uvx mlflow server
```

Lệnh này chạy máy chủ MLflow trên máy bạn. Hãy để cửa sổ terminal này mở, vì nếu đóng nó thì máy chủ cũng tắt. Muốn làm việc tiếp, mở thêm một cửa sổ terminal mới. Theo README, giao diện nằm ở `http://localhost:5000`.

Nếu bạn muốn cài MLflow như một gói Python thông thường để dùng trong code, tên gói là `mlflow`:

```bash
pip install mlflow
```

Bạn cũng cần cài thư viện của nhà cung cấp mô hình mà bạn dùng. Với ví dụ bên dưới là OpenAI:

```bash
pip install openai
```

Hai lệnh `pip` này là cách cài gói Python phổ thông, không nằm trong phần Get Started của README. Hãy chạy chúng trong môi trường Python 3.11 trở lên.

### Bật ghi log trong code

Thêm hai dòng sau vào đầu file Python của bạn, trước khi gọi mô hình:

```python
import mlflow

mlflow.set_tracking_uri("http://localhost:5000")
mlflow.openai.autolog()
```

Dòng `set_tracking_uri` trỏ code của bạn tới máy chủ vừa bật. Dòng `mlflow.openai.autolog()` bật ghi log tự động cho các lần gọi OpenAI. Chỗ người mới hay vấp: phải khởi động máy chủ ở bước trước rồi mới chạy code, nếu không code không có nơi để gửi log.

### Chạy code gọi mô hình

Đây là đoạn ví dụ trong README, bạn chép nguyên và chạy:

```python
from openai import OpenAI

client = OpenAI()
client.responses.create(
    model="gpt-5.4-mini",
    input="Hello!",
)
```

Đoạn này gửi lời chào "Hello!" tới mô hình. Máy bạn phải có khóa OpenAI hợp lệ thì lệnh mới chạy được. Bạn dùng nhà cung cấp khác hoặc framework khác thì xem danh sách tích hợp tại trang tài liệu của MLflow để biết dòng autolog tương ứng.

## Kiểm tra đã chạy được chưa

Mở trình duyệt và vào `http://localhost:5000`. README nói bạn sẽ khám phá các trace và chỉ số trong giao diện MLflow tại đây. Nếu bạn thấy giao diện MLflow và có một bản ghi cho lần gọi "Hello!" vừa rồi, nghĩa là mọi thứ đã chạy.

Nếu trang mở được nhưng chưa có gì, hãy kiểm tra ba điều: máy chủ còn chạy không, địa chỉ trong `set_tracking_uri` có đúng `http://localhost:5000` không, và dòng `autolog()` đã nằm trước lệnh gọi mô hình chưa.

## Dùng vào việc thật

Tư liệu mô tả khả năng của MLflow, còn các tình huống dưới đây là cách mình hình dung áp dụng chúng. Phần nào cần cấu hình sâu hơn thì bạn xem trang tài liệu tương ứng.

### Dev debug chatbot trả lời sai

Bạn là lập trình viên làm chatbot chăm sóc khách hàng cho một cửa hàng. Khách phản ánh bot trả lời sai về chính sách đổi trả. Bạn bật `mlflow.openai.autolog()`, cho bot chạy lại đúng câu hỏi đó rồi mở giao diện MLflow. Trong trace, bạn xem được chính xác bot đã gửi prompt gì và nhận lại gì. Nhờ đó biết lỗi nằm ở prompt, ở dữ liệu đưa vào hay ở chính mô hình.

> Muốn sửa lỗi của AI, trước hết phải nhìn thấy nó đã làm gì.
>
> — Ông T

### Nhóm sản phẩm kiểm tra trước khi đổi prompt

Bạn quản lý một công cụ AI viết mô tả sản phẩm. Mỗi lần sửa prompt, bạn lo văn phong bị xấu đi mà không biết. Với phần đánh giá của MLflow, nhóm chuẩn bị một bộ câu hỏi mẫu, chạy đánh giá trước và sau khi sửa, rồi so các chỉ số. README nói có hơn 50 chỉ số và bộ chấm điểm bằng LLM có sẵn, bạn cũng tự định nghĩa thêm được. Kết quả là quyết định đổi prompt dựa trên số liệu chứ không dựa trên cảm giác.

### Kiểm soát chi phí và quyền truy cập mô hình

Công ty bạn có nhiều nhóm cùng dùng nhiều nhà cung cấp LLM, và mỗi nhóm giữ một khóa riêng. Với AI Gateway, bạn đặt một cổng chung theo kiểu tương thích OpenAI, quản lý khóa tập trung, giới hạn tốc độ và cấu hình dự phòng khi một nhà cung cấp gặp sự cố. README mô tả các tính năng này, nhưng tư liệu bài này không có lệnh cấu hình cụ thể. Bạn xem hướng dẫn AI Gateway trên trang tài liệu MLflow trước khi triển khai.

### Nhóm dữ liệu theo dõi thử nghiệm huấn luyện mô hình

Bạn là data scientist huấn luyện một mô hình dự báo doanh số và thử nhiều bộ tham số khác nhau. Dùng Experiment Tracking, bạn ghi lại tham số, chỉ số và kết quả của từng lần chạy, rồi dùng Model Registry để cả nhóm quản lý phiên bản mô hình. Kết quả là sau vài tuần, bạn vẫn biết lần chạy nào cho kết quả tốt nhất và nó được tạo ra bằng cấu hình gì.

## Lỗi hay gặp và cách xử lý

### Báo không tìm thấy lệnh uvx

Đây là lỗi dễ gặp nhất với người mới. Nghĩa là máy bạn chưa cài công cụ `uv`. README chưa ghi cách cài, nên hãy xem tài liệu chính thức của uv, hoặc dùng `pip install mlflow` rồi xem phần hướng dẫn chạy máy chủ trong tài liệu MLflow.

### Phiên bản Python quá cũ

Repo yêu cầu Python 3.11 trở lên. Nếu cài báo lỗi tương thích hoặc không tìm được phiên bản phù hợp, hãy kiểm tra phiên bản bằng `python --version`, rồi nâng cấp Python hoặc dùng môi trường ảo với phiên bản mới hơn.

### Mở localhost:5000 không thấy gì

Thường là máy chủ chưa chạy hoặc bạn đã lỡ đóng cửa sổ terminal đang chạy nó. Chạy lại `uvx mlflow server` và để cửa sổ đó mở. Nếu cổng 5000 đang bị chương trình khác chiếm, xem tài liệu MLflow để biết cách đổi cổng.

### Trang có nhưng không có trace nào

Kiểm tra xem `mlflow.set_tracking_uri("http://localhost:5000")` và `mlflow.openai.autolog()` đã nằm trước lệnh gọi mô hình chưa. Nếu bạn dùng thư viện khác chứ không phải OpenAI, cần dòng autolog tương ứng, không phải dòng của OpenAI.

### Lệnh gọi mô hình báo lỗi xác thực

Đây là lỗi từ phía nhà cung cấp, không phải MLflow: khóa API thiếu hoặc sai, hoặc tài khoản hết hạn mức. Kiểm tra lại khóa theo hướng dẫn của nhà cung cấp, và đừng dán khóa vào chỗ công khai.

## Có nên dùng không

**Điểm mạnh.** MLflow miễn phí, giấy phép Apache-2.0 và không phụ thuộc vào một nhà cung cấp nào. Bạn chạy ngay trên máy cá nhân, và cũng đưa lên máy chủ riêng hay dịch vụ đám mây được. Nó bao phủ rất rộng: theo dõi, đánh giá, quản lý prompt, cổng truy cập mô hình và cả huấn luyện mô hình, nên nhóm không phải ghép nhiều công cụ rời. Việc bật ghi log đơn giản, và README nói thao tác này không đòi hỏi thay đổi lớn trong code.

**Giới hạn.** Đây là một nền tảng lớn, tính năng nhiều nên người mới dễ choáng. Nếu bạn chỉ làm một cái chatbot nhỏ để dùng cá nhân, bạn có thể chưa cần đến nó. Bản chạy local trên máy bạn thích hợp để thử và học. Còn muốn dùng cho cả nhóm, bạn phải tính chuyện lưu trữ, phân quyền và vận hành máy chủ, phần này tư liệu bài này chưa mô tả chi tiết. Ngoài ra, README chưa nói gì về yêu cầu phần cứng.

**Khi nào nên chọn cách khác.** Nếu bạn không viết code và không có người trong nhóm làm kỹ thuật thì công cụ này khó dùng. Lúc đó, một công cụ có sẵn giao diện kéo thả hoặc dịch vụ quản lý trọn gói sẽ hợp hơn. Nếu bạn chỉ cần xem log gọi AI đơn giản, bạn có thể bắt đầu với riêng phần tracing rồi mới mở rộng sang đánh giá và gateway khi cần.

## Câu hỏi thường gặp

### MLflow có miễn phí không?

Repo được phát hành theo giấy phép Apache-2.0, là giấy phép mã nguồn mở. README mô tả MLflow là nền tảng mã nguồn mở và bạn có thể tự chạy trên máy mình. Chi phí gọi các mô hình như OpenAI vẫn do nhà cung cấp đó tính riêng.

### MLflow cần Python phiên bản nào?

File pyproject.toml của repo yêu cầu Python 3.11 trở lên. Tên gói Python là mlflow. Các yêu cầu khác như hệ điều hành thì tư liệu chưa nêu rõ.

### Cài MLflow nhanh nhất bằng cách nào?

README đưa ra lệnh uvx mlflow server để chạy máy chủ, sau đó thêm hai dòng code để bật ghi log. Ngoài ra có trình hướng dẫn cài tự động chạy bằng lệnh curl, dùng trong thư mục dự án Git có sẵn Claude Code, Codex hoặc OpenCode.

### MLflow có cần GPU không?

Tư liệu chưa có thông tin về yêu cầu GPU hay cấu hình phần cứng. Với việc theo dõi ứng dụng gọi mô hình qua API thì máy chủ MLflow chỉ cần chạy như một dịch vụ thông thường, nhưng bạn nên xem tài liệu chính thức để chắc chắn.

### MLflow dùng được với những framework và nhà cung cấp nào?

README nói MLflow có ghi log tự động một dòng cho hơn 60 framework. Danh sách gồm LangChain, LangGraph, OpenAI Agent, DSPy, CrewAI, LlamaIndex và nhiều cái khác. Về nhà cung cấp mô hình có OpenAI, Anthropic, Gemini, Amazon Bedrock, Ollama và các nhà khác. Danh sách đầy đủ nằm trên trang tài liệu tích hợp của MLflow.

### Dữ liệu của tôi có an toàn không?

Khi bạn chạy máy chủ MLflow trên máy mình như trong hướng dẫn, trace được gửi tới địa chỉ localhost bạn tự quản lý. Tuy vậy, tư liệu chưa có thông tin chi tiết về bảo mật hay phân quyền khi triển khai cho cả nhóm. Repo có file SECURITY.md để bạn tham khảo.

### MLflow chỉ dành cho LLM và agent phải không?

Không. Ngoài phần cho LLM và agent, MLflow còn có công cụ cho huấn luyện mô hình học máy: theo dõi thử nghiệm, đánh giá, Model Registry và triển khai lên Docker, Kubernetes, Azure ML, AWS SageMaker.
