# MLflow: theo dõi, đánh giá và quản lý ứng dụng AI, LLM — hướng dẫn cài đặt và dùng

> MLflow là nền tảng mã nguồn mở (Python, giấy phép Apache-2.0) để debug, đánh giá, giám sát ứng dụng AI, agent, LLM và mô hình học máy. Bạn chạy một máy chủ MLflow, bật ghi log bằng hai dòng code, rồi xem toàn bộ lịch sử gọi AI trên giao diện web. Cài đặt theo README khá nhẹ nếu bạn đã quen terminal và có sẵn uv.

- Tác giả: Ông T (https://ongt.vn/gioi-thieu)
- Chủ đề: Repo & Skill
- Đăng: 2026-10-16 · Cập nhật: 2026-11-13
- URL: https://ongt.vn/bai-viet/mlflow-theo-doi-danh-gia-quan-ly-ung-dung-ai-llm

MLflow là nền tảng mã nguồn mở dành cho kỹ thuật AI: giúp bạn theo dõi, gỡ lỗi, đánh giá và giám sát các ứng dụng dùng LLM, agent và cả mô hình học máy truyền thống. Nói đơn giản, nó giống một «hộp đen máy bay» cho ứng dụng AI của bạn: mỗi lần ứng dụng gọi mô hình, MLflow ghi lại chuyện gì đã xảy ra để bạn xem lại sau.

Repo này dành cho lập trình viên và các nhóm đang làm chatbot, trợ lý AI hay quy trình tự động dùng OpenAI, Anthropic, LangChain... Nếu bạn làm kinh doanh và có người trong nhóm viết code, đây là công cụ để họ trả lời những câu như: «Chatbot trả lời sai ở bước nào?», «Tháng này tốn bao nhiêu tiền gọi AI?», «Sửa prompt xong thì chất lượng tăng hay giảm?».

Điểm đáng giá nhất là bật theo dõi rất nhanh. README ghi cách làm trong ba bước: chạy máy chủ, thêm hai dòng code, chạy ứng dụng như bình thường. MLflow hiện có khoảng 28.800 sao và 6.600 fork trên GitHub, README cho biết nó có hơn 60 triệu lượt tải mỗi tháng.

```repo
- repo | mlflow/mlflow
- kind | Framework
- desc | MLflow là nền tảng mã nguồn mở giúp theo dõi, đánh giá, giám sát và quản lý chi phí cho agent, ứng dụng LLM và mô hình học máy.
- stars | 29k
- lang | Python
- license | Apache-2.0
```

## MLflow làm được gì

MLflow chia thành hai mảng: một cho ứng dụng LLM và agent, một cho huấn luyện mô hình học máy.

### Với LLM và agent

- **Quan sát (observability / tracing):** ghi lại toàn bộ quá trình ứng dụng AI chạy, từng lần gọi mô hình, từng bước của agent. Lợi ích thực tế: khi câu trả lời sai, bạn mở ra xem đúng bước nào có vấn đề thay vì đoán mò. README nói nó xây trên OpenTelemetry, hỗ trợ nhiều nhà cung cấp mô hình và framework agent, đồng thời giúp theo dõi chất lượng, chi phí và độ an toàn.
- **Đánh giá (evaluation):** chạy đánh giá có hệ thống, theo dõi chất lượng theo thời gian và bắt lỗi thụt lùi trước khi đưa lên thật. README nói có hơn 50 chỉ số và «LLM judge» dựng sẵn, bạn cũng có thể tự định nghĩa.
- **Quản lý prompt và tối ưu prompt:** lưu phiên bản prompt, kiểm thử, triển khai, có lịch sử nguồn gốc. README cũng nói có thuật toán tự động tối ưu prompt.
- **AI Gateway:** một cổng API chung cho nhiều nhà cung cấp LLM, dùng giao diện tương thích OpenAI. Nó định tuyến yêu cầu, giới hạn tốc độ, dự phòng khi lỗi, kiểm soát chi phí, quản lý thông tin xác thực, có guardrail và chia lưu lượng để thử A/B.

README cho biết MLflow hỗ trợ Python, TypeScript/JavaScript, Java và các ngôn ngữ khác, đồng thời tích hợp OpenTelemetry và MCP. Có tự động ghi trace chỉ bằng một dòng cho hơn 60 framework, trong đó có LangChain, LangGraph, OpenAI Agent, DSPy, CrewAI, LlamaIndex, Vercel AI SDK, Spring AI... Các nhà cung cấp mô hình được liệt kê gồm OpenAI, Anthropic, Gemini, Amazon Bedrock, Ollama, DeepSeek, Qwen và nhiều bên khác.

### Với mô hình học máy

- **Theo dõi thử nghiệm:** lưu mô hình, tham số, chỉ số và kết quả đánh giá qua các lần thử.
- **Đánh giá mô hình:** công cụ đánh giá tự động gắn với phần theo dõi.
- **Model Registry:** nhiều người cùng quản lý vòng đời của một mô hình.
- **Triển khai:** đưa mô hình chạy theo lô hoặc thời gian thực trên Docker, Kubernetes, Azure ML, AWS SageMaker và nơi khác.

## Cần chuẩn bị gì

Theo tư liệu, bạn cần:

- **Python 3.11 trở lên.** Đây là yêu cầu trong file pyproject.toml của repo.
- **Công cụ uv.** README khởi động máy chủ bằng lệnh `uvx`, nên máy bạn phải có uv. README không hướng dẫn cài uv, bạn xem hướng dẫn trên trang chính thức của uv.
- **Terminal** (PowerShell, Terminal trên macOS hoặc Linux đều được). README không nói riêng về hệ điều hành nào, nên mình không khẳng định gì thêm.
- **Tài khoản và khóa API của nhà cung cấp mô hình bạn dùng.** Ví dụ trong README gọi OpenAI, nên bạn cần quyền dùng OpenAI. Mỗi lần gọi mô hình có thể tính phí theo nhà cung cấp.
- **Nếu dùng trình hướng dẫn nhanh (wizard):** cần chạy trong thư mục Git của dự án và đã cài Claude Code, Codex hoặc OpenCode.

Tư liệu không nói gì về yêu cầu GPU hay cấu hình RAM, nên mình không đưa con số nào.

```note
Ứng dụng AI của bạn gửi nội dung gì cho mô hình thì trace có thể ghi lại nội dung đó. Nếu dữ liệu có thông tin khách hàng hoặc bí mật kinh doanh, hãy cân nhắc trước khi bật ghi log, và đừng để máy chủ MLflow mở công khai ra internet.
```

## Cài đặt từng bước

```steps
- Chuẩn bị môi trường | Có Python 3.11+ và uv, mở terminal
- Khởi động máy chủ | Chạy uvx mlflow server
- Bật ghi log | Thêm hai dòng code mlflow vào ứng dụng
- Chạy ứng dụng | Gọi mô hình như bình thường
- Xem kết quả | Mở trình duyệt vào http://localhost:5000
```

### Chuẩn bị môi trường

Trước hết kiểm tra Python và uv đã có chưa. Hai lệnh dưới đây là lệnh phổ thông, chỉ để in ra phiên bản:

```bash
python --version
uv --version
```

Nếu báo không tìm thấy lệnh, bạn cần cài phần còn thiếu trước. Người mới hay vấp ở đây: sau khi cài xong phải đóng và mở lại terminal thì lệnh mới nhận.

### Khởi động máy chủ MLflow

Mở một cửa sổ terminal và chạy lệnh trong README:

```bash
uvx mlflow server
```

Lệnh này chạy máy chủ MLflow trên máy bạn. Hãy để cửa sổ này mở, vì đóng lại là máy chủ tắt. Mọi bước tiếp theo bạn làm ở cửa sổ terminal khác.

### Cài thư viện cho ứng dụng của bạn (nếu chưa có)

Đoạn code ở bước sau cần thư viện mlflow và thư viện openai trong môi trường Python của ứng dụng. README không ghi lệnh cài cho phần này. Tên gói Python của repo là `mlflow`, và cách cài phổ thông là:

```bash
pip install mlflow openai
```

Đây là lệnh phổ thông chứ không chép từ README. Nếu muốn chắc chắn, bạn xem mục bắt đầu nhanh trong tài liệu chính thức tại mlflow.org/docs.

### Bật ghi log trong code

Thêm hai dòng này vào đầu ứng dụng. Dòng đầu trỏ tới máy chủ bạn vừa chạy, dòng sau bật tự động ghi trace cho OpenAI:

```python
import mlflow

mlflow.set_tracking_uri("http://localhost:5000")
mlflow.openai.autolog()
```

Lưu ý: phải thêm chúng trước khi gọi mô hình thì lần gọi đó mới được ghi.

### Chạy ứng dụng như bình thường

Ví dụ trong README:

```python
from openai import OpenAI

client = OpenAI()
client.responses.create(
    model="gpt-5.4-mini",
    input="Hello!",
)
```

Thư viện OpenAI cần khóa API để chạy. README không nói cách đặt khóa, bạn làm theo hướng dẫn của OpenAI. Đừng viết thẳng khóa vào file code rồi đưa lên GitHub.

### Cách nhanh hơn: trình hướng dẫn (wizard)

Nếu bạn đã dùng Claude Code, Codex hoặc OpenCode, README giới thiệu một lệnh «bắt đầu nhanh nhất»:

```bash
curl -LsSf https://mlflow.org/wizard/setup.sh | sh
```

Chạy lệnh này từ thư mục Git của dự án. Wizard sẽ hướng dẫn bạn kết nối tới máy chủ MLflow hoặc workspace Databricks, rồi mở công cụ lập trình AI của bạn để thêm tracing vào ứng dụng. Vì lệnh này tải một script về rồi chạy ngay, bạn nên mở địa chỉ đó trong trình duyệt đọc qua trước khi chạy.

Nếu muốn clone repo để đọc mã nguồn hoặc đóng góp, dùng lệnh phổ thông:

```bash
git clone https://github.com/mlflow/mlflow.git
cd mlflow
```

Với việc chỉ dùng MLflow, bạn không cần clone repo.

## Kiểm tra đã chạy được chưa

Theo README, sau khi chạy code, bạn mở trình duyệt vào:

```text
http://localhost:5000
```

Bạn sẽ thấy giao diện MLflow. Trace và các chỉ số của lần gọi vừa rồi nằm ở đó. Nếu trang mở được nhưng chưa có gì, hãy kiểm tra lại ba thứ: máy chủ còn đang chạy không, địa chỉ trong `set_tracking_uri` đúng chưa, và hai dòng mlflow đã nằm trước lệnh gọi mô hình chưa.

## Dùng vào việc thật

Dưới đây là các tình huống bám sát khả năng README nêu. Mình mô tả cách dùng, còn các chi tiết thao tác trong giao diện bạn xem thêm tài liệu chính thức.

### Tình huống 1: Chatbot chăm sóc khách của một shop trả lời sai

Chủ shop nhờ một bạn lập trình viên làm chatbot trả lời tin nhắn khách bằng OpenAI. Có hôm bot báo sai chính sách đổi trả. Bạn dev thêm hai dòng `mlflow.set_tracking_uri(...)` và `mlflow.openai.autolog()` vào code, chạy lại. Mỗi cuộc gọi mô hình giờ được ghi lại. Khi có tin nhắn sai, bạn ấy mở giao diện tại `http://localhost:5000`, tìm trace tương ứng và xem chính xác bot đã nhận gì, trả lời gì. Kết quả: biết ngay lỗi nằm ở câu lệnh hướng dẫn hay ở dữ liệu đầu vào, không phải đoán.

### Tình huống 2: Nhân viên văn phòng so sánh hai bản prompt

Một nhân viên vận hành dùng AI để tóm tắt email khách hàng. Sau khi sửa prompt, họ muốn biết bản mới có tốt hơn không. Với phần quản lý prompt và đánh giá của MLflow, nhóm có thể lưu từng phiên bản prompt và chạy đánh giá bằng các chỉ số hoặc LLM judge dựng sẵn, rồi theo dõi chất lượng theo thời gian. Kết quả: quyết định đổi prompt dựa trên số liệu, và bắt được trường hợp bản «mới» lại làm tệ đi trước khi đưa vào dùng thật.

> Ứng dụng AI không có dấu vết để xem lại thì mỗi lần sai đều là một lần đoán.
>
> — Ông T

### Tình huống 3: Dev kiểm soát chi phí và nhiều nhà cung cấp mô hình

Một nhóm nhỏ dùng cùng lúc OpenAI và Anthropic cho các tính năng khác nhau, và muốn tập trung chìa khóa API vào một chỗ. Họ dùng AI Gateway: ứng dụng gọi một địa chỉ chung theo giao diện tương thích OpenAI, còn gateway lo định tuyến, giới hạn tốc độ, dự phòng khi một bên lỗi, và quản lý thông tin xác thực. README cũng nói gateway có thể chia lưu lượng để thử A/B giữa hai mô hình. Cách bật chi tiết README chưa ghi, bạn xem tài liệu AI Gateway trên mlflow.org.

### Tình huống 4: Nhóm dữ liệu quản lý mô hình học máy

Một nhóm phân tích dự báo doanh số bằng mô hình học máy, mỗi tuần thử nhiều bộ tham số. Họ dùng phần theo dõi thử nghiệm để lưu tham số, chỉ số và kết quả mỗi lần chạy, rồi dùng Model Registry để cả nhóm biết mô hình nào là bản đang dùng. Kết quả: không còn cảnh «bản nào tốt nhất ấy nhỉ?» nằm rải rác trong các file trên máy cá nhân.

## Lỗi hay gặp và cách xử lý

### Báo không tìm thấy lệnh uvx

Nghĩa là máy chưa có uv, hoặc terminal chưa nhận. Cài uv theo hướng dẫn trên trang chính thức của uv, rồi đóng và mở lại terminal. Kiểm tra bằng `uv --version`.

### Mở localhost:5000 không thấy gì

Thường do máy chủ chưa chạy hoặc cửa sổ terminal chạy `uvx mlflow server` đã bị đóng. Chạy lại lệnh đó và để cửa sổ mở. Nếu máy bạn có chương trình khác đang dùng cổng 5000, README chưa ghi cách đổi cổng, bạn xem tài liệu của lệnh server.

### Chạy code xong nhưng giao diện không có trace

Kiểm tra theo thứ tự: hai dòng mlflow có nằm trước lệnh gọi mô hình không, địa chỉ trong `set_tracking_uri` có khớp với máy chủ không, và bạn có đang dùng đúng thư viện nhà cung cấp mà `autolog` hỗ trợ không (ví dụ `mlflow.openai.autolog()` dành cho OpenAI).

### Lỗi liên quan khóa API hoặc hạn mức khi gọi mô hình

Lỗi này đến từ phía nhà cung cấp mô hình chứ không phải MLflow. Kiểm tra khóa API, tài khoản còn hạn mức không, và tên mô hình có đúng với tài khoản của bạn không. Không dán khóa vào chỗ công khai.

### Báo thiếu module hoặc sai phiên bản Python

Nếu Python thấp hơn 3.11, hãy nâng lên theo yêu cầu của repo. Nếu báo không có module `mlflow` hoặc `openai`, nghĩa là môi trường Python bạn đang chạy chưa cài các gói đó. Cài vào đúng môi trường mà ứng dụng của bạn dùng.

## Có nên dùng không

**Điểm mạnh:** mã nguồn mở theo giấy phép Apache-2.0, dự án còn được cập nhật trong vài tháng gần đây, có cộng đồng lớn. Bật theo dõi chỉ cần vài dòng code. Hỗ trợ rất nhiều framework và nhà cung cấp mô hình, không bị gắn chặt với một hãng, và dùng được cả cho agent, LLM lẫn mô hình học máy truyền thống. README cũng nói bạn có thể tự lưu trữ trên máy mình hoặc dùng trên các nền tảng như Databricks, Amazon SageMaker, Azure ML.

**Giới hạn:** đây là công cụ cho người có chút nền lập trình. Bạn phải sửa code ứng dụng và chạy máy chủ. Phạm vi của MLflow khá rộng (theo dõi, đánh giá, prompt, gateway, registry, triển khai), nên người mới nên bắt đầu từ phần tracing rồi mở rộng dần. Tư liệu cũng chưa nói về yêu cầu phần cứng hay cách bảo mật khi triển khai cho nhiều người dùng, nên nếu đưa vào môi trường công ty bạn cần đọc kỹ tài liệu chính thức.

**Khi nào chọn cách khác:** nếu bạn không viết code, hoặc chỉ cần thử nhanh một prompt trong khung chat, MLflow là quá mức cần thiết. Nếu bạn đã dùng một công cụ quan sát khác như Langfuse hay Arize / Phoenix, README liệt kê chúng trong phần tích hợp, nên hãy xem tài liệu để biết cách phối hợp thay vì thay thế ngay.

## Câu hỏi thường gặp

### MLflow có miễn phí không?

MLflow là mã nguồn mở theo giấy phép Apache-2.0 nên bạn dùng và tự chạy máy chủ không mất phí bản quyền. Tuy nhiên, các lần gọi mô hình như OpenAI vẫn tính phí theo nhà cung cấp đó. Tư liệu không nêu chi phí của các dịch vụ được lưu trữ sẵn.

### MLflow có cần GPU không?

Tư liệu không nói MLflow đòi hỏi GPU. Ví dụ trong README chỉ chạy máy chủ và gọi mô hình qua API. Nếu bạn tự huấn luyện mô hình lớn thì nhu cầu phần cứng phụ thuộc vào mô hình của bạn, README chưa có thông tin cụ thể.

### MLflow chạy được trên Windows không?

README không nêu rõ danh sách hệ điều hành được hỗ trợ. Điều tư liệu xác nhận là cần Python 3.11 trở lên và lệnh khởi động máy chủ dùng uvx. Bạn nên xem tài liệu chính thức nếu cần chắc chắn về Windows.

### Dữ liệu của mình có an toàn không?

Bạn có thể tự chạy máy chủ MLflow trên máy mình, như ví dụ localhost trong README, nên dữ liệu trace nằm ở nơi bạn kiểm soát. Nhưng trace có thể chứa nội dung gửi tới mô hình, nên cần cẩn thận với thông tin nhạy cảm. Tư liệu chưa có thêm thông tin về cấu hình bảo mật chi tiết.

### MLflow khác gì việc chỉ dùng OpenAI hoặc LangChain trực tiếp?

OpenAI hay LangChain giúp bạn gọi mô hình và dựng ứng dụng, còn MLflow thì ghi lại, đánh giá và giám sát những gì ứng dụng đó làm. README cho biết MLflow tích hợp với cả hai, nên chúng bổ sung cho nhau chứ không thay thế nhau.

### MLflow chỉ dành cho LLM hay cả học máy truyền thống?

Cả hai. Ngoài phần LLM và agent, README nêu rõ các công cụ cho huấn luyện mô hình: theo dõi thử nghiệm, đánh giá mô hình, Model Registry và triển khai lên Docker, Kubernetes, Azure ML, AWS SageMaker và nơi khác.

### Có cách nào cài nhanh hơn cho người đã dùng Claude Code không?

Có. README giới thiệu một wizard chạy bằng lệnh curl từ thư mục Git của dự án, yêu cầu đã cài Claude Code, Codex hoặc OpenCode. Wizard hướng dẫn kết nối máy chủ MLflow hoặc Databricks, rồi mở công cụ lập trình AI để thêm tracing vào ứng dụng.
