SkillEvaluator: chấm điểm và đo tác động của skill AI agent — hướng dẫn cài đặt và dùng

Tóm tắt nhanh
SkillEvaluator là công cụ dòng lệnh (Python) của NVIDIA để chấm điểm các skill của AI agent, phát hiện nội dung trùng lặp và chạy agent thật để đo tác động của skill. Bạn có thể chạy thử không cần API key, chỉ cần Git và uv. Cài và chạy ví dụ đầu tiên khá nhanh, nhưng các tầng sâu hơn cần thêm scanner, API key và sandbox.
SkillEvaluator là một công cụ dòng lệnh mã nguồn mở của NVIDIA, dùng để kiểm tra chất lượng các "skill" của AI agent và đo xem skill đó có thật sự giúp agent làm việc tốt hơn hay không. Skill ở đây là một thư mục chứa hướng dẫn và các file đi kèm, theo chuẩn Agent Skills. Công cụ này nằm trong quy trình NVIDIA Verified Skills.
Nếu bạn đang viết skill cho Claude Code, Codex hoặc agent khác, chắc bạn từng thắc mắc: skill này viết có ổn không, có an toàn không, có trùng với skill khác không, và agent có chạy tốt hơn nhờ nó không? SkillEvaluator trả lời lần lượt từng câu hỏi đó, theo ba tầng độc lập.
Điểm đáng giá nhất là bạn có thể thử ngay mà không cần API key, GPU hay Docker. Chỉ cần Git và uv là ra điểm chất lượng đầu tiên cho một skill mẫu. Repo hiện có khoảng 971 sao và 115 fork, giấy phép Apache-2.0, và vẫn được cập nhật trong 3 tháng gần đây.
NVIDIA/SkillEvaluator
Công cụ mã nguồn mở của NVIDIA để kiểm tra chất lượng skill của AI agent và đo xem skill đó có thật sự giúp agent làm việc tốt hơn không.
I.SkillEvaluator làm được gì
Công cụ chia việc thành ba tầng. Mỗi tầng trả lời một câu hỏi riêng và bạn có thể chạy riêng từng tầng.
- Tầng 1 – Kiểm tra (Validation): skill có an toàn và đúng cấu trúc không. Tầng này chấm điểm chất lượng và quét bảo mật. Nó dùng SkillSpector (công cụ quét bảo mật skill của NVIDIA) và Gitleaks khi cần. Lợi ích: bắt sớm skill viết ẩu hoặc lộ thông tin nhạy cảm trước khi chia sẻ cho cả nhóm.
- Tầng 2 – Chống trùng lặp (Deduplication): hướng dẫn trong skill có lặp hoặc chồng chéo không. Có thể thêm file danh mục skill để so sánh giữa các skill với nhau. Lợi ích: kho skill gọn, agent đỡ bị rối vì nhiều chỉ dẫn giống nhau.
- Tầng 3 – Đánh giá trực tiếp (Live Evaluation): skill có giúp agent không. Công cụ chạy agent thật, so sánh kết quả khi có và không có skill. Lợi ích: bạn có bằng chứng thay vì cảm giác.
- Tạo bộ dữ liệu đánh giá: lệnh
create-eval-datasetsinh thêm các ca kiểm thử để phủ rộng hơn. README dặn bạn nên xem lại các ca này. - Chạy kết hợp: lệnh
validatechạy cả ba tầng một lượt, có thể chọn tầng bằng--tiers. - Tích hợp CI: kiểm tra các skill vừa thay đổi ngay trong GitHub hoặc GitLab, có mẫu cấu hình sẵn.
- Skill cho agent: thư mục
skills/skillevaluator/trong repo để cài cho agent, nhờ agent tự chạy SkillEvaluator.
II.Cần chuẩn bị gì
Tùy bạn đi đến tầng nào mà yêu cầu khác nhau. Theo README:
- Chạy thử không cần LLM: Git và uv. Không cần API key, scanner, GPU hay Docker.
- Chạy chấm rubric bằng NVIDIA Build: Git, uv và một API key từ NVIDIA Build. Thành viên NVIDIA Developer Program đủ điều kiện có thể dùng endpoint do NVIDIA lưu trữ để thử nghiệm miễn phí, theo điều khoản và giới hạn tốc độ của họ.
- Python:
pyproject.tomlyêu cầu Python từ 3.12 đến dưới 3.15. README nói uv sẽ tự chuẩn bị Python 3.13 và các thư viện khi bạn chạy lệnh theo hướng dẫn. - Tầng 3: cần quyền truy cập nhà cung cấp mô hình, một agent được hỗ trợ và một sandbox đang chạy (mặc định là Docker).
- Tầng 1 đầy đủ: cần các scanner bên ngoài. README cho biết công cụ tự tải các bản SkillSpector và Gitleaks đã ghim phiên bản khi thiếu; Semgrep là tùy chọn.
README không nêu yêu cầu hệ điều hành cụ thể, nên mình không khẳng định gì về Windows hay macOS. Bạn xem thêm trang cài đặt trong tài liệu chính thức của dự án.
III.Cài đặt từng bước
- Cài Git và uvChuẩn bị hai công cụ nền, uv sẽ lo Python và thư viện
- Tải mã nguồnClone repo về máy rồi vào thư mục
- Chạy kiểm tra không cần LLMLấy điểm chất lượng đầu tiên cho skill mẫu
- Xem báo cáoMở file JSON kết quả
- (Tùy chọn) Dùng NVIDIA BuildĐặt API key để có điểm rubric do mô hình chấm
A.Cài Git và uv
Bạn cần Git và uv. README trỏ đến trang cài uv chính thức của hãng (docs.astral.sh/uv). README không chép lệnh cài uv, nên bạn làm theo trang đó cho đúng hệ điều hành của mình.
B.Tải mã nguồn về máy
Mở terminal (PowerShell hoặc Terminal) ở thư mục bạn muốn đặt dự án, rồi chạy:
git clone --depth 1 https://github.com/NVIDIA/SkillEvaluator.git
cd SkillEvaluatorLệnh đầu tải bản mới nhất (--depth 1 chỉ lấy lịch sử ngắn nên nhẹ hơn). Lệnh thứ hai đưa bạn vào thư mục dự án. Những lệnh sau phải chạy ở trong thư mục này, đây là chỗ người mới hay vấp nhất.
C.Chạy kiểm tra không cần LLM
uv run --python 3.13 skillevaluator quality-check \
src/skillevaluator/tier3/reference_skills/text-analyzer \
-r cli -r json -o reports/first-qualityLệnh này chấm skill mẫu text-analyzer có sẵn trong repo. -r cli -r json nghĩa là in kết quả ra màn hình và lưu thêm file JSON; -o là thư mục lưu. Dấu \ cuối dòng chỉ để ngắt dòng trong bash. Trên PowerShell bạn nên gõ cả lệnh trên một dòng, bỏ các dấu \.
Lần chạy đầu uv sẽ tải Python và thư viện nên hơi lâu, bạn cứ chờ.
D.Dùng NVIDIA Build (tùy chọn)
Nếu muốn điểm do mô hình chấm theo rubric, làm theo README:
- Đăng nhập build.nvidia.com và hoàn tất đăng ký.
- Mở trang một mô hình, chọn Get API Key và tạo key.
- Đặt nhà cung cấp và key trong cùng một cửa sổ terminal, rồi chạy:
export SKILL_EVAL_LLM_PROVIDER=nv_build
export NVIDIA_API_KEY='nvapi-...'
uv run --python 3.13 --extra llm skillevaluator rubric-eval \
src/skillevaluator/tier3/reference_skills/text-analyzer \
-r cli -r json -o reports/first-buildChỗ hay vấp: lệnh export là cú pháp của bash. README chỉ ghi cú pháp này, không ghi bản PowerShell, nên nếu dùng Windows bạn cần dùng cách đặt biến môi trường tương đương của hệ điều hành, hoặc chạy trong Git Bash. Thay nvapi-... bằng key thật của bạn.
Key là bí mật như mật khẩu. Đừng dán vào chat, đừng commit lên Git. Lệnh rubric-eval gửi tài liệu của skill lên mô hình, nên đừng chấm skill chứa thông tin nội bộ nếu chưa được phép gửi ra ngoài. Việc dùng mô hình và sandbox được quản lý có thể phát sinh chi phí.
E.Cài như một công cụ riêng (tùy chọn)
Nếu muốn có lệnh skillevaluator dùng thẳng, không cần chạy từ thư mục repo, README có lệnh pip:
pip install --upgrade skillevaluatorCách cài đầy đủ và cách cài gọn theo từng tầng nằm ở trang Installation trong tài liệu của dự án. Với các tầng 2 và 3, README dùng các "extra" như --extra tier2, --extra tier3, --extra all khi chạy bằng uv.
IV.Kiểm tra đã chạy được chưa
Với lệnh quality-check ở trên, README cho biết kết quả mong đợi:
- Skill mẫu được 84.5/100 (hạng B).
- Lệnh thoát với mã
0(tức là thành công; ngưỡng đạt mặc định là 70). - File
reports/first-quality/skillevaluator-quality.jsonđược tạo ra.
Nếu bạn thấy đúng điểm này và có file JSON, tức là cài thành công. Với bản dùng NVIDIA Build, kết quả nằm ở reports/first-build/skillevaluator-rubric.json. Lưu ý README nói một lần đánh giá hoàn tất vẫn có thể không đạt ngưỡng rubric. Đó là kết quả chấm, không phải lỗi cài đặt.
Ngoài ra, khi đã cấu hình đủ scanner và sandbox, bạn có thể kiểm tra mức sẵn sàng bằng:
uv run --python 3.13 --extra all skillevaluator doctor --env-mode dockerdoctor chỉ kiểm tra môi trường đã sẵn sàng chưa, không đảm bảo việc gọi mô hình sẽ thành công.
V.Dùng vào việc thật
A.Dev kiểm tra skill trước khi đưa cho cả nhóm
Bạn là lập trình viên vừa viết xong một skill cho Claude Code và muốn biết nó có đủ tốt không. Chạy tầng chất lượng, thay đường dẫn ví dụ bằng thư mục skill của bạn:
uv run --python 3.13 skillevaluator quality-check ./my-skill -r cli -r json -o reports/my-skillKết quả là điểm trên thang 100 kèm các phát hiện cụ thể. Bạn sửa theo từng phát hiện rồi chạy lại, đến khi qua ngưỡng. Lưu ý đây mới là chất lượng tĩnh. README nói bằng chứng để công bố vẫn ở trạng thái INCOMPLETE nếu chưa quét bảo mật và chưa đánh giá agent thật.
B.Người quản lý kho skill dọn các skill trùng nhau
Công ty bạn có hàng chục skill do nhiều người viết, nhiều cái na ná nhau. Dùng tầng 2 với file danh mục:
uv run --extra tier2 skillevaluator tier2 ./my-skill --catalog ./skill-catalog.jsonCông cụ báo chỗ hướng dẫn lặp hoặc chồng chéo, kể cả giữa các skill. Bạn dùng báo cáo để gộp hoặc xóa bớt. Tầng này cần embeddings và chat, tức là cần cấu hình nhà cung cấp mô hình.
Đừng hỏi skill của mình viết hay chưa. Hãy hỏi agent có làm tốt hơn khi có nó không.
Ông T
C.Đội kỹ thuật muốn đo skill có thật sự giúp agent
Bạn muốn biết skill có làm agent giải việc tốt hơn hay chỉ làm prompt dài ra. Sau khi đã cài provider, agent được hỗ trợ và sandbox, chạy tầng 3:
uv run --extra tier3 skillevaluator tier3 ./my-skillCông cụ so sánh các lần chạy có và không có skill. Theo README, nếu chưa có nguồn đánh giá, nó tạo một ca khởi đầu với độ phủ hạn chế. Để phủ rộng hơn, bạn sinh thêm ca rồi xem lại:
uv run --python 3.13 --extra tier3 skillevaluator tier3 create-eval-dataset ./my-skill --fullD.Tự động kiểm tra mỗi khi ai đó sửa skill
Nhóm bạn để skill trong một repo GitHub và muốn mỗi pull request đều bị kiểm tra. Mở terminal trong thư mục repo đã checkout và chạy:
pip install --upgrade skillevaluator
skillevaluator ci initBạn chọn các kiểm tra và phản hồi tùy chọn, rồi duyệt pull request thiết lập mà công cụ tạo ra. Dùng GitLab hoặc muốn tự làm tay thì README có sẵn các file mẫu trong thư mục ci/bundles/ của repo để chép vào .github/workflows/skill-checks.yml hoặc .gitlab-ci.yml.
VI.Lỗi hay gặp và cách xử lý
Không tìm thấy lệnh uv hoặc git. Bạn chưa cài hoặc terminal chưa nhận. Cài theo trang chính thức rồi mở lại terminal.
Báo không tìm thấy đường dẫn skill. Thường do bạn đang đứng sai thư mục. Hãy chắc chắn đã cd SkillEvaluator trước khi chạy lệnh dùng đường dẫn src/skillevaluator/.... Với skill của bạn, thử đường dẫn tuyệt đối.
Lệnh chạy dở và thoát mã khác 0 do thiếu scanner. README nêu rõ: --no-llm không bỏ yêu cầu scanner. Scanner nào không chạy được thì kết quả là INCOMPLETE và thoát mã khác 0. Hãy xem phần scanners trong tài liệu để biết cách cho chúng chạy được.
Lệnh dùng LLM không chạy hoặc bị từ chối. Kiểm tra bạn đã đặt SKILL_EVAL_LLM_PROVIDER và NVIDIA_API_KEY trong cùng một cửa sổ terminal với lệnh chạy chưa. Biến đặt ở cửa sổ khác sẽ không có tác dụng. Cũng nhớ rằng bản dùng thử có giới hạn tốc độ và điều khoản truy cập.
Tầng 3 không khởi động được. Tầng này cần agent được hỗ trợ và sandbox đang chạy (mặc định là Docker). Hãy bật Docker, chạy doctor để xem còn thiếu gì. Cẩn thận chi phí vì mô hình và sandbox được quản lý có thể tính phí.
VII.Có nên dùng không
Điểm mạnh. Có đường vào rất nhẹ: chấm chất lượng mà không cần key hay GPU. Ba tầng độc lập nên bạn đi từng bước theo nhu cầu. Có sẵn mẫu CI cho GitHub và GitLab. Giấy phép Apache-2.0, có tài liệu, bài báo nghiên cứu và có skill để agent tự chạy công cụ.
Giới hạn. README ghi mức hỗ trợ là Experimental: cộng đồng hỗ trợ theo khả năng, không có cam kết SLA hay hỗ trợ doanh nghiệp từ NVIDIA. Điểm tĩnh không phải bằng chứng skill hiệu quả; muốn biết tác động lên agent phải chạy tầng 3, và tầng này cần nhiều thiết lập hơn. Dự án cũng tự tải và cài thêm phần mềm mã nguồn mở của bên thứ ba, nên bạn nên xem giấy phép của chúng trước khi dùng. Bản kiểm tra bằng LLM gửi tài liệu skill lên mô hình, cần cân nhắc nếu nội dung nhạy cảm.
Khi nào chọn cách khác. Nếu bạn chỉ có một hai skill cá nhân và tự đọc lại là đủ, công cụ này có thể thừa. Nếu bạn không dùng skill theo chuẩn Agent Skills thì cũng không phải đối tượng chính. Còn nếu bạn cần hỗ trợ có cam kết cho doanh nghiệp, hãy tính đến việc README nói rõ chưa có.
Câu hỏi thường gặp
SkillEvaluator có miễn phí không?
Bản thân công cụ là mã nguồn mở, giấy phép Apache-2.0. Chạy thử bằng `quality-check` không cần API key. Khi dùng mô hình hoặc sandbox được quản lý thì có thể phát sinh chi phí; README nói thành viên NVIDIA Developer Program đủ điều kiện có thể dùng endpoint NVIDIA Build để thử nghiệm miễn phí, theo điều khoản và giới hạn tốc độ.
Có cần GPU hay Docker không?
Không cho lần chạy đầu. README nói chạy không cần LLM thì không cần API key, scanner, GPU hay Docker. Riêng tầng 3 (đánh giá agent thật) cần một sandbox đang chạy, mặc định là Docker.
Cần Python phiên bản nào?
pyproject.toml yêu cầu Python từ 3.12 đến dưới 3.15. Khi chạy theo hướng dẫn bằng uv, README cho biết uv tự chuẩn bị Python 3.13 và các thư viện.
Chạy được trên Windows không?
README không nêu rõ hệ điều hành nào được hỗ trợ. Các ví dụ dùng cú pháp bash, nên trên Windows bạn có thể cần Git Bash hoặc đặt biến môi trường theo cách của PowerShell. Bạn xem thêm trang Installation trong tài liệu chính thức.
Dữ liệu của tôi có an toàn không?
Lệnh chấm rubric bằng mô hình sẽ gửi tài liệu của skill đến mô hình, theo README. Vì vậy đừng chấm skill chứa thông tin chưa được phép gửi ra ngoài. Lệnh `quality-check` không cần LLM. Ngoài ra, dự án tải thêm phần mềm bên thứ ba, bạn nên xem giấy phép của chúng.
Ba tầng đánh giá khác nhau thế nào?
Tầng 1 kiểm tra skill có an toàn và đúng cấu trúc không. Tầng 2 phát hiện hướng dẫn trùng lặp hoặc chồng chéo. Tầng 3 chạy agent thật để xem skill có giúp ích không. Mỗi tầng độc lập và có yêu cầu thiết lập riêng.
Có được hỗ trợ chính thức từ NVIDIA không?
README ghi mức hỗ trợ là Experimental: do cộng đồng hỗ trợ theo khả năng, không có SLA hay quyền hưởng hỗ trợ doanh nghiệp của NVIDIA. Lỗi và đề xuất tính năng được gửi qua GitHub Issues.


