Hy-MT2: dịch đa ngôn ngữ nhanh — hướng dẫn cài đặt và dùng

Tóm tắt nhanh
Hy-MT2 là gia đình mô hình dịch máy đa ngôn ngữ của Tencent Hunyuan, gồm các bản 1.8B, 7B và 30B-A3B. Repo phù hợp để dịch văn bản, dữ liệu có cấu trúc và nội dung chuyên ngành bằng Python, vLLM, SGLang hoặc llama.cpp. Cài đặt không quá khó nếu bạn đã quen Python, nhưng bản 30B-A3B cần tài nguyên phần cứng đáng kể.
Hy-MT2 là gia đình mô hình dịch máy đa ngôn ngữ của Tencent Hunyuan, được thiết kế cho các tình huống dịch thực tế và những câu lệnh dịch phức tạp. Repo có các bản 1.8B, 7B và 30B-A3B dạng MoE, hỗ trợ dịch giữa 33 ngôn ngữ.
Điểm đáng chú ý là repo không chỉ đưa ra mô hình mà còn có ví dụ prompt, mã chạy bằng Transformers, vLLM, SGLang và llama.cpp. Bản 1.8B có các biến thể GGUF và lượng tử hóa 1.25-bit để triển khai trên thiết bị với dung lượng lưu trữ khoảng 440 MB theo README. Repo hiện có khoảng 1748 sao và 185 fork.
Đây là lựa chọn đáng xem cho chủ shop cần dịch mô tả sản phẩm, nhân viên văn phòng xử lý tài liệu nhiều ngôn ngữ, hoặc lập trình viên muốn tự chạy mô hình dịch thay vì gọi API thương mại. README không ghi rõ giấy phép của repo, vì vậy bạn nên kiểm tra các tệp giấy phép đi kèm trước khi dùng cho sản phẩm thương mại.
Tencent-Hunyuan/Hy-MT2
Hy-MT2 là bộ mô hình dịch máy đa ngôn ngữ, hỗ trợ 33 ngôn ngữ và nhiều cách triển khai từ Python đến llama.cpp.
I.Hy-MT2 làm được gì
A.Dịch giữa 33 ngôn ngữ
Hy-MT2 hỗ trợ tiếng Trung, tiếng Anh, tiếng Việt, tiếng Nhật, tiếng Hàn, tiếng Thái, tiếng Pháp, tiếng Đức, tiếng Tây Ban Nha và nhiều ngôn ngữ khác. Danh sách còn có tiếng Khmer, Myanmar, Urdu, Bengali, Tamil, Hebrew, Tibetan, Kazakh, Mông Cổ, Uyghur và Quảng Đông.
Điều này hữu ích khi bạn cần xây dựng một luồng dịch chung cho nhiều thị trường. Bạn có thể giữ cùng một cách gọi mô hình, sau đó thay đổi tên ngôn ngữ đích trong prompt.
B.Dịch theo hướng dẫn cụ thể
Mô hình hỗ trợ các yêu cầu như chỉ xuất bản dịch, giữ nguyên phong cách, tham khảo các cặp dịch mẫu, hoặc đưa thông tin nền trước khi dịch. Bạn có thể yêu cầu văn phong trang trọng, ngắn gọn, phù hợp với giao tiếp khách hàng hoặc một lĩnh vực cụ thể.
README nhấn mạnh rằng tên ngôn ngữ trong prompt nên viết đầy đủ. Khi dùng prompt tiếng Anh, hãy dùng tên tiếng Anh như Vietnamese hoặc English; khi dùng prompt tiếng Trung, dùng tên tiếng Trung tương ứng.
C.Giữ cấu trúc dữ liệu
Hy-MT2 có mẫu hướng dẫn cho JSON, HTML hoặc các định dạng dữ liệu có cấu trúc. Prompt mẫu yêu cầu mô hình chỉ dịch nội dung hiển thị cho người dùng, không thay đổi key, thuộc tính, thẻ mã hoặc biến thay thế như {{var}}, ${var}, %s và %d.
Tính năng này phù hợp với đội sản phẩm cần bản địa hóa giao diện. Bạn có thể đưa dữ liệu vào cùng cấu trúc rồi yêu cầu chỉ dịch phần văn bản nhìn thấy, giúp giảm nguy cơ làm hỏng mã chương trình.
D.Giữ dấu phân cách
Một mẫu prompt riêng yêu cầu giữ nguyên số lượng, vị trí và ký hiệu của các dấu phân cách. Đây là điểm hữu ích khi dịch phụ đề, dữ liệu phân đoạn hoặc văn bản có ký hiệu đặc biệt.
E.Chạy theo nhiều cách
Bạn có thể chạy mô hình bằng Transformers trong Python, dựng máy chủ bằng vLLM hoặc SGLang, hoặc biên dịch llama.cpp để chạy bản GGUF. README cũng cho biết repo có pipeline huấn luyện đầy đủ, hỗ trợ fine-tuning toàn bộ tham số, LoRA, nhiều cấu hình DeepSpeed ZeRO và tích hợp LLaMA-Factory.
F.Có bản lượng tử hóa cho thiết bị
Hy-MT2 có các biến thể FP8, GGUF, 2-bit GGUF và 1.25-bit GGUF tùy dòng mô hình. README cho biết AngelSlim 1.25-bit có thể giảm dung lượng bản 1.8B xuống khoảng 440 MB và tăng tốc suy luận 1,5 lần. Mức hiệu quả thực tế còn phụ thuộc vào phần cứng và cách triển khai.
G.Có bộ đánh giá riêng
Repo mở mã nguồn IFMTBench, một benchmark dùng để đánh giá khả năng làm theo hướng dẫn dịch. Đây là phần đáng quan tâm nếu bạn đang nghiên cứu chất lượng dịch theo yêu cầu, thay vì chỉ đo độ chính xác của bản dịch thông thường.
II.Cần chuẩn bị gì
Bạn cần một môi trường Python để chạy ví dụ Transformers. README yêu cầu transformers>=5.6.0. Ví dụ Python sử dụng thêm torch và các lớp AutoModelForCausalLM, AutoTokenizer.
Nếu dùng vLLM, README đưa ra cách tạo môi trường ảo bằng uv, sử dụng Python 3.12 và cài vLLM từ mã nguồn. Nếu dùng SGLang, README yêu cầu một bản sao mã nguồn SGLang, pip và transformers>=5.6.0.
Nếu dùng llama.cpp, bạn cần Git, CMake và trình biên dịch có thể xây dựng dự án C++. Bản GGUF của Hy-MT2 phụ thuộc vào STQ kernel được phát hành trong một pull request của llama.cpp. README không cung cấp yêu cầu phần cứng cụ thể cho từng bản mô hình.
Bạn cần tải được mô hình từ tên model tương ứng, chẳng hạn tencent/Hy-MT2-30B-A3B, khi chạy ví dụ Transformers, vLLM hoặc SGLang. README không nói rằng bạn cần tài khoản, API key hay dịch vụ trả phí.
README cũng không nêu rõ hệ điều hành được hỗ trợ. Các lệnh source, ./build/bin/... và python3 trong tài liệu mang phong cách Unix. Nếu dùng Windows, bạn cần tự kiểm tra cách tương ứng trong môi trường của mình.
III.Cài đặt từng bước
- Chọn biến thểChọn 1.8B, 7B hoặc 30B-A3B và cách chạy phù hợp
- Lấy mã nguồnSao chép repo Hy-MT2 về máy nếu cần xem mã, hướng dẫn và pipeline
- Chuẩn bị trình chạyDùng Transformers, vLLM, SGLang hoặc llama.cpp
- Tải và nạp mô hìnhDùng đúng tên model trong ví dụ của README
- Chạy bản dịch thửGửi prompt dịch và kiểm tra kết quả
A.Chọn mô hình và cách chạy
Hy-MT2 có các bản 1.8B, 7B và 30B-A3B. Với nhu cầu thử nghiệm hoặc thiết bị hạn chế, bạn có thể xem các bản 1.8B và những biến thể GGUF. Với nhu cầu dùng mô hình lớn hơn, README cung cấp ví dụ cho tencent/Hy-MT2-30B-A3B.
README không đưa ra một lệnh cài đặt chung cho toàn bộ repo. Bạn có thể lấy mã nguồn bằng lệnh phổ thông sau để xem README.md, thư mục train/ và các tệp liên quan:
git clone https://github.com/Tencent-Hunyuan/Hy-MT2.git
cd Hy-MT2Lệnh đầu tiên sao chép repo về máy. Lệnh thứ hai đưa terminal vào thư mục repo. Nếu chỉ muốn dùng model qua Transformers hoặc máy chủ suy luận, phần mã repo này không nhất thiết là nơi chứa toàn bộ trọng số mô hình.
B.Chạy bằng Transformers
README ghi rõ yêu cầu transformers>=5.6.0 nhưng không đưa lệnh pip install cho Transformers hoặc PyTorch. Bạn cần chuẩn bị các thư viện này theo môi trường Python của mình trước khi chạy ví dụ dưới đây.
Đoạn mã sau nạp tokenizer và mô hình 30B-A3B, sau đó dịch một câu tiếng Trung sang tiếng Anh:
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_path = "tencent/Hy-MT2-30B-A3B"
# Load tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
# Load model
model = AutoModelForCausalLM.from_pretrained(
model_path,
dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True,
)
model.eval()
# Example inference
prompt = "将以下文本翻译成英语,注意只需要输出翻译后的结果,不要额外解释:\n\n今天天气真好。"
messages = [{"role": "user", "content": prompt}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=4096,
)
response = tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True)
print(response)model_path là tên model được tải. trust_remote_code=True cho phép Transformers dùng mã cần thiết từ model. device_map="auto" để Transformers tự phân bổ model theo thiết bị mà nó nhận diện được. Prompt mẫu yêu cầu chỉ xuất bản dịch, không thêm giải thích.
README khuyến nghị tham số suy luận riêng cho bản 1.8B và 7B, còn bản 30B-A3B có bộ tham số khác. Các tham số này không được đưa trực tiếp vào đoạn mã trên, nhưng bạn có thể dùng chúng khi công cụ chạy của mình hỗ trợ:
{
"temperature": 0.7,
"top_p": 1.0,
"top_k": -1,
"repetition_penalty": 1.0,
"max_tokens": 4096
}Với 1.8B và 7B, README đưa ra top_p là 0.6, top_k là 20, repetition_penalty là 1.05; temperature là 0.7 và max_tokens là 4096. Mô hình không có system_prompt mặc định, nên nếu cần vai trò hoặc quy tắc riêng, bạn phải đưa chúng vào messages hoặc prompt.
C.Dựng máy chủ bằng vLLM
README hướng dẫn xây vLLM từ mã nguồn bằng uv:
uv venv --python 3.12 --seed --managed-python
source .venv/bin/activate
git clone https://github.com/vllm-project/vllm.git
cd vllm
uv pip install --editable . --torch-backend=autoLệnh đầu tiên tạo môi trường ảo Python 3.12 và thêm các công cụ cần thiết. Lệnh thứ hai kích hoạt môi trường. Hai lệnh sau lấy vLLM về và chuyển vào thư mục vLLM. Lệnh cuối cài vLLM ở chế độ editable với backend PyTorch tự chọn.
Sau đó khởi động máy chủ bằng:
vllm serve tencent/Hy-MT2-30B-A3B --tensor-parallel-size 1Tham số --tensor-parallel-size 1 là đúng theo ví dụ README. Nếu máy không đủ tài nguyên, lệnh có thể không khởi động được; README không đưa ra cấu hình thay thế cụ thể.
D.Dựng máy chủ bằng SGLang
README đưa ra các lệnh sau để lấy mã nguồn và cài SGLang:
git clone https://github.com/sgl-project/sglang
cd sglang
pip3 install pip --upgrade
pip3 install "transformers>=5.6.0"
pip3 install -e "python"Sau khi cài xong, khởi động máy chủ bằng:
python3 -m sglang.launch_server --model tencent/Hy-MT2-30B-A3B --tp 1Bạn cần giữ đúng tên model và tham số theo ví dụ. README không mô tả API gọi máy chủ sau khi khởi động, nên phần tích hợp vào ứng dụng cần xem thêm tài liệu của SGLang.
E.Chạy bản GGUF bằng llama.cpp
README cảnh báo bản GGUF phụ thuộc vào STQ kernel. Vì vậy, hãy kiểm tra khả năng hỗ trợ của phiên bản llama.cpp trước khi dùng các tệp GGUF Hy-MT2.
Lấy llama.cpp về:
git clone https://github.com/ggml-org/llama.cpp.gitĐi vào thư mục và biên dịch:
cd llama.cpp
cmake -B build
cmake --build build --config ReleaseChạy ví dụ hoàn tất văn bản:
./build/bin/llama-completion \
--model model.gguf \
-p "Translate the following segment into Chinese, without additional explanation:Hello" \
--jinja \
-ngl 0 \
-n 64 -stTrong đó model.gguf là đường dẫn đến tệp model của bạn. README không cung cấp tên tệp GGUF cụ thể trong lệnh mẫu, nên bạn phải thay bằng đường dẫn thật.
Có thể chạy benchmark bằng:
./build/bin/llama-bench -m model_zoo/model.gguf -ngl 0Đường dẫn model_zoo/model.gguf là ví dụ trong README. Nếu tệp của bạn nằm ở nơi khác, cần thay đường dẫn tương ứng.
IV.Kiểm tra đã chạy được chưa
Với Transformers, dấu hiệu thành công là chương trình tải được tokenizer và model, chạy model.generate() không lỗi, rồi in ra một câu trả lời sau print(response). Với prompt mẫu, kết quả mong đợi là bản dịch tiếng Anh của câu tiếng Trung “Hôm nay thời tiết thật đẹp”, không kèm lời giải thích.
Với vLLM, dấu hiệu thành công là lệnh vllm serve khởi động được máy chủ. Với SGLang, lệnh python3 -m sglang.launch_server phải chạy được tới trạng thái máy chủ sẵn sàng. README không đưa ảnh màn hình hoặc một đoạn log cụ thể để đối chiếu.
Với llama.cpp, nếu lệnh llama-completion in ra bản dịch và llama-bench chạy được benchmark thì phần biên dịch và nạp model đã hoạt động. Nếu chương trình báo lỗi liên quan STQ kernel, bản GGUF có thể chưa tương thích với bản llama.cpp đang dùng.
V.Dùng vào việc thật
A.Chủ shop dịch mô tả sản phẩm
Một chủ shop có danh mục tiếng Việt và muốn bán cho khách nói tiếng Anh có thể dùng prompt tiếng Anh như sau:
Translate the following text into English. Note that you should only output the translated result without any additional explanation:
Áo khoác chống nắng nhẹ, nhanh khô, phù hợp để đi làm và đi du lịch.Kết quả mong muốn là phần mô tả tiếng Anh בלבד, không có lời mở đầu hay nhận xét của mô hình. Cách này phù hợp với việc xử lý từng mô tả hoặc nối vào một quy trình dịch danh mục.
B.Nhân viên văn phòng giữ văn phong thương hiệu
Khi dịch email hoặc thông báo, bạn có thể yêu cầu phong cách cụ thể:
Please translate the following text into Vietnamese. Note that the translation style must strictly conform to [professional, concise, and polite]:
We have reviewed your request and will provide an update after the internal approval process.Mô hình sẽ nhận mục tiêu ngôn ngữ cùng yêu cầu về phong cách. Đây là cách đơn giản để tạo bản dịch nhất quán hơn giữa các email chăm sóc khách hàng.
C.Lập trình viên dịch JSON giao diện
Một nhóm phát triển có thể yêu cầu chỉ dịch giá trị hiển thị và giữ nguyên key, biến và cấu trúc:
Translate the user-facing text within the following JSON data into Vietnamese.
Strict Rules:
1. Preserve the original JSON structure, nesting, hierarchy, and indentation.
2. Translate ONLY the visible, user-facing text values.
3. Never translate or alter keys, properties, object names, or placeholders such as {{var}}, ${var}, %s, or %d.
Source Data:
{"title":"Welcome","message":"Hello, {{name}}"}Kết quả cần giữ nguyên title, message và {{name}}, chỉ dịch phần nội dung hiển thị. Trước khi đưa vào sản phẩm, lập trình viên vẫn nên kiểm tra JSON vì README chỉ cung cấp hướng dẫn prompt, không cam kết mô hình luôn giữ cấu trúc trong mọi trường hợp.
D.Dịch tài liệu có thuật ngữ cố định
Nếu doanh nghiệp có bảng thuật ngữ, bạn có thể đưa các cặp dịch tham khảo vào prompt:
Reference the following translations:
invoice translates to hóa đơn
customer account translates to tài khoản khách hàng
Translate the following text into Vietnamese. Note that you must ONLY output the translated result without any additional explanation:
Please download the invoice from your customer account.Cách này giúp mô hình hiểu cách đội ngũ đang dùng thuật ngữ. Nó phù hợp với tài liệu hướng dẫn, nội dung hỗ trợ và các câu lặp lại trong phần mềm.
Dịch tốt không chỉ là đổi ngôn ngữ, mà còn là giữ đúng ý định, cấu trúc và thuật ngữ của công việc.
Ông T
Mô hình tự chạy giúp bạn kiểm soát dữ liệu hơn, nhưng vẫn cần rà soát bản dịch trước khi gửi cho khách hàng hoặc đưa vào hợp đồng. README không nêu chi phí tải model hay yêu cầu tài khoản; hãy tự kiểm tra chi phí hạ tầng và điều khoản sử dụng trước khi triển khai.
VI.Lỗi hay gặp và cách xử lý
A.Dùng sai phiên bản Transformers
README yêu cầu transformers>=5.6.0. Nếu dùng bản cũ, các lớp model, chat template hoặc mã model có thể không hoạt động. Hãy kiểm tra môi trường Python và dùng đúng phiên bản tối thiểu được ghi trong README.
B.Thiếu tài nguyên khi nạp model lớn
Bản 30B-A3B lớn hơn đáng kể so với bản 1.8B và 7B. Nếu from_pretrained() hoặc máy chủ không khởi động được, hãy xem lại bộ nhớ và thiết bị hiện có, sau đó cân nhắc một biến thể nhỏ hơn hoặc GGUF. README không đưa ra cấu hình phần cứng tối thiểu, nên không nên tự suy đoán một con số cụ thể.
C.Prompt không nói rõ chỉ xuất bản dịch
Nếu bạn không ghi yêu cầu “chỉ xuất bản dịch, không giải thích”, mô hình có thể trả thêm phần diễn giải. Hãy dùng mẫu prompt trong README và ghi rõ ngôn ngữ đích bằng tên đầy đủ.
D.Làm hỏng key hoặc placeholder trong dữ liệu
Khi dịch JSON, HTML hoặc dữ liệu có mã, hãy nêu rõ phải giữ nguyên cấu trúc, key, thuộc tính và placeholder. Sau khi dịch, kiểm tra lại cú pháp và các biến như {{var}}, ${var}, %s hoặc %d trước khi đưa vào chương trình.
E.GGUF không chạy với llama.cpp
Bản GGUF phụ thuộc vào STQ kernel. Nếu lệnh hoàn tất hoặc benchmark báo lỗi, hãy kiểm tra việc xây dựng llama.cpp và khả năng hỗ trợ kernel này. README không có hướng dẫn sửa lỗi chi tiết hơn, nên cần xem phần triển khai liên quan trong llama.cpp và thông tin của bản GGUF đang dùng.
VII.Có nên dùng không
Nên thử Hy-MT2 nếu bạn cần dịch nhiều ngôn ngữ, muốn tự chạy model, cần kiểm soát prompt hoặc muốn giữ cấu trúc dữ liệu khi bản địa hóa phần mềm. Repo có nhiều lựa chọn triển khai, từ Python với Transformers đến máy chủ vLLM, SGLang và bản GGUF cho llama.cpp. Bản 1.8B và biến thể lượng tử hóa cũng mở ra hướng chạy nhẹ hơn.
Điểm mạnh khác là mô hình được thiết kế cho các tình huống dịch thực tế, hỗ trợ thuật ngữ, phong cách, dữ liệu có cấu trúc và dấu phân cách. README cũng cung cấp pipeline huấn luyện, LoRA, DeepSpeed ZeRO và LLaMA-Factory cho đội ngũ muốn tùy chỉnh model.
Giới hạn là README chưa ghi rõ hệ điều hành, phần cứng tối thiểu, quy trình cài Transformers và PyTorch, API của máy chủ sau khi khởi động, hay giấy phép của repo. Bản 30B-A3B có thể đòi hỏi hạ tầng đáng kể, còn chất lượng bản dịch vẫn cần kiểm tra với ngôn ngữ và lĩnh vực cụ thể của bạn.
Nếu bạn chỉ cần dịch vài câu và không muốn quản lý model, một API dịch vụ có thể đơn giản hơn. Nếu cần độ ổn định cao cho hợp đồng, y tế hoặc nội dung pháp lý, hãy thêm bước người kiểm duyệt. Còn nếu mục tiêu là tự chủ dữ liệu, thử nghiệm nhiều cách triển khai và xây quy trình dịch riêng, Hy-MT2 là một repo đáng đưa vào danh sách đánh giá.
Câu hỏi thường gặp
Hy-MT2 có miễn phí không?
README không nêu rõ phí sử dụng hoặc điều khoản giấy phép của repo. Repo có mở mã nguồn model và các thành phần liên quan, nhưng bạn nên kiểm tra các tệp giấy phép đi kèm trước khi dùng thương mại.
Hy-MT2 có cần GPU không?
README không ghi cấu hình phần cứng tối thiểu. Bản 30B-A3B được chạy với `dtype=torch.bfloat16` và `device_map="auto"` trong ví dụ, còn bản 1.8B có các biến thể lượng tử hóa phù hợp hơn cho triển khai nhẹ.
Hy-MT2 có chạy được trên Windows không?
README không nêu rõ hệ điều hành được hỗ trợ. Một số lệnh dùng cú pháp Unix như `source`, `./build/bin/llama-completion` và `python3`, nên người dùng Windows cần tự kiểm tra môi trường tương ứng.
Hy-MT2 có cần API key không?
README không yêu cầu API key hay tài khoản trong các ví dụ Transformers, vLLM, SGLang và llama.cpp. Mô hình được tham chiếu bằng tên model như `tencent/Hy-MT2-30B-A3B`.
Hy-MT2 hỗ trợ bao nhiêu ngôn ngữ?
Hy-MT2 hỗ trợ dịch giữa 33 ngôn ngữ theo README. Danh sách có tiếng Việt, tiếng Anh, tiếng Trung, tiếng Nhật, tiếng Hàn, tiếng Thái và nhiều ngôn ngữ khác.
Nên chọn bản 1.8B, 7B hay 30B-A3B?
README cung cấp cả ba kích thước nhưng không đưa bảng yêu cầu phần cứng cụ thể. Bản 1.8B có thêm các biến thể GGUF, 2-bit và 1.25-bit; bản 30B-A3B có ví dụ chạy bằng nhiều máy chủ suy luận nhưng cần cân nhắc tài nguyên.


