Performance Factory của OpenAI: agent điều tra lỗi hiệu năng, kỹ sư duyệt trước khi sửa

Tóm tắt nhanh
Performance Factory là hệ thống OpenAI dùng để điều phối nhiều agent: điều tra hồi quy hiệu năng, đề xuất bản sửa cho kỹ sư duyệt, rồi kiểm tra bản sửa có hiệu quả trên production hay không. Điểm đáng học là agent làm phần việc nặng, còn người giữ quyền duyệt. Dự án nhỏ dùng Claude Code vẫn áp dụng được: có số đo làm mốc, giao agent điều tra, bắt nó đề xuất chứ không tự merge, rồi đo lại sau khi deploy.
Nguồn của bài này chỉ là một dòng thông báo ngắn từ OpenAI. Mình sẽ nói rõ cái gì họ công bố, cái gì mình suy ra. Ranh giới đó quan trọng, vì phần lớn bài viết về "AI tự sửa lỗi" hay trộn hai thứ này vào nhau.
I.Performance Factory là gì, và OpenAI nói gì?
Đây là hệ thống OpenAI xây để điều phối các agent giữ cho ChatGPT chạy nhanh. Họ mở đầu bằng một câu rất gọn: Codex đã giúp họ build ChatGPT nhanh hơn, giờ nó giúp giữ ChatGPT nhanh.
Mình thích câu đó. Nó dịch chuyển trọng tâm từ "viết code nhanh" sang "giữ sản phẩm không chậm đi". Cái thứ hai ít ai khoe, nhưng đau hơn nhiều khi làm sản phẩm thật.
A.Điều thông báo nói rõ
Performance Factory làm ba việc. Một: điều phối các agent điều tra hồi quy (regression), tức những chỗ hệ thống bỗng chậm hơn trước. Hai: đề xuất bản sửa để kỹ sư duyệt. Ba: kiểm tra bản sửa có hiệu quả trên production hay không.
Có hai chi tiết mình để ý. Chữ "coordinate" nghĩa là có nhiều agent, không phải một agent làm hết. Còn chữ "for engineers to review" nghĩa là bản sửa không tự đi vào hệ thống. Người vẫn nằm trong vòng.
B.Điều chưa rõ
Thông báo không nói agent nào làm việc gì cụ thể. Nó cũng không nói đo bằng chỉ số nào, ngưỡng nào thì coi là hồi quy, hay bao nhiêu bản sửa được duyệt. Mình sẽ không đoán những phần đó.
Phần còn lại của bài là mình rút ra mô hình chung từ ba bước trên, rồi nghĩ xem một người làm dự án nhỏ với Claude Code dùng được gì. Đó là suy luận của mình, không phải mô tả nội bộ của OpenAI.
II.Vì sao lỗi hiệu năng hợp để giao cho agent?
Vì nó có đáp án đo được. Một hàm chậm đi hay không thì có số, không cần tranh cãi gu.
Đây là khác biệt lớn so với việc "viết tính năng mới". Tính năng đúng hay sai còn tuỳ yêu cầu mơ hồ. Hiệu năng thì có đồ thị, có mốc trước và sau. Agent làm tốt nhất khi có thứ để tự kiểm tra mình.
A.Điều tra là việc tốn công chứ không khó
Bạn từng ngồi lần ngược commit để tìm xem hôm nào trang bắt đầu chậm chưa? Đa số thời gian không nằm ở chỗ sửa. Nó nằm ở chỗ tìm: đọc log, so hai phiên bản, thử giả thuyết này đến giả thuyết khác.
Đó chính là loại việc lặp lại, nhiều bước, ít sáng tạo. Agent không mệt, không chán, và chạy song song được nhiều giả thuyết cùng lúc. Người thì phải làm tuần tự.
B.Vì sao cần nhiều agent thay vì một
Mình đoán (và đây chỉ là đoán) rằng chia việc ra có lý do thực tế. Một agent ôm cả điều tra, sửa lẫn tự chấm điểm dễ tự khen mình. Tách vai ra thì người đề xuất và người kiểm chứng không phải là một.
Trong các dự án nhỏ mình cũng thấy đúng điều này. Cùng một phiên chat vừa sửa vừa nói "đã nhanh hơn rồi" thì tin được rất ít.
Hiệu năng là loại lỗi hiếm hoi có đáp án bằng số. Có số thì agent mới có chỗ để tự sai, và người mới có chỗ để bắt.
Ông T
III.Ba tầng: điều tra, đề xuất, kiểm chứng
Mô hình này đáng học vì nó tách việc ra thành ba tầng, và tầng nào cũng có đầu ra kiểm tra được. Mình đọc theo thứ tự thông báo.
A.Tầng điều tra: tìm ra chỗ chậm và vì sao
Đầu ra tốt của tầng này không phải là "có vẻ do hàm X". Nó phải là một báo cáo: chậm từ lúc nào, chậm bao nhiêu, nghi ngờ commit hoặc thay đổi nào, bằng chứng là gì. Báo cáo không có bằng chứng thì bỏ.
B.Tầng đề xuất: viết bản sửa, nhưng chưa áp dụng
Đây là chỗ OpenAI ghi rất rõ: đề xuất cho kỹ sư duyệt. Agent đưa ra một bản sửa kèm lý do. Người đọc, hiểu, rồi mới cho đi tiếp.
Mình nghĩ đây là phần quan trọng nhất của cả mô hình. Nó biến agent từ "người tự quyết" thành "người đề xuất". Rủi ro giảm hẳn mà phần việc nặng vẫn được làm hộ.
C.Tầng kiểm chứng: sửa rồi phải chứng minh
Bản sửa chạy được trên máy không có nghĩa là hiệu quả thật. OpenAI nói họ kiểm tra bản sửa trên production. Ở môi trường thật, tải thật, dữ liệu thật, thì mới biết sửa có ăn thua hay không.
Nhiều bản sửa hiệu năng chỉ đẹp trong benchmark. Lên production thì chẳng đổi gì, hoặc làm chỗ khác chậm đi. Không đo lại thì bạn không bao giờ biết.
Sửa xong chưa phải là xong. Xong là khi số đo ngoài đời thật nói rằng nó nhanh hơn.
Ông T
IV.Vì sao con người vẫn phải duyệt?
Vì agent thấy được con số, còn người thấy được hệ quả. Hai thứ này không thay được nhau.
Một bản sửa có thể làm trang nhanh hơn nhưng bỏ qua một trường hợp hiếm. Nó có thể thêm một lớp cache khiến dữ liệu cũ hiện ra sai chỗ. Người làm sản phẩm lâu thường nhìn ra những thứ này trong vài phút, còn agent thì cần được dặn trước.
A.Giả sử một tình huống để thấy rõ
Mình lấy một ví dụ tưởng tượng, không phải chuyện của OpenAI. Trang danh sách đơn hàng của một shop nhỏ bỗng chậm sau một lần cập nhật. Agent điều tra thấy một truy vấn bị chạy lặp cho từng dòng. Nó đề xuất gộp thành một truy vấn.
Số đo đẹp: nhanh hơn rõ. Nhưng người duyệt nhớ rằng danh sách này có bộ lọc theo quyền người dùng. Bản gộp bỏ qua bộ lọc đó ở một nhánh. Không có người đọc, lỗi này lên thẳng production.
B.Hai cách giao việc, khác nhau chỗ nào
Giao agent kiểu nào?
| Agent tự sửa tự merge | Agent đề xuất, người duyệt | |
|---|---|---|
| Ai quyết định | agent | người |
| Rủi ro lỗi lan ra | cao, khó phát hiện sớm | thấp, bị chặn ở bước duyệt |
| Công sức của người | gần như không | đọc và duyệt bản sửa |
| Khi sai thì | sửa lại sau khi hỏng | bị bắt trước khi lên |
Cách thứ hai tốn của bạn vài phút đọc. Nhưng vài phút đó rẻ hơn rất nhiều so với một đêm gỡ lỗi production.
V.Áp dụng cho dự án nhỏ với Claude Code
Bạn không cần có hạ tầng như OpenAI. Bạn cần giữ đúng hình dạng của quy trình: có mốc đo, agent điều tra, agent đề xuất, người duyệt, rồi đo lại.
Nhớ lại là mình đang suy từ ba bước trong thông báo, không sao chép hệ thống của họ. Đây là cách mình sẽ làm với một repo nhỏ.
Quy trình năm bước cho dự án nhỏ
- Lập mốc đoChọn 2-3 chỉ số thật (thời gian tải trang, thời gian một truy vấn chính) và ghi lại hôm nay là bao nhiêu
- Giao điều traBảo Claude Code tìm nguyên nhân khi chỉ số xấu đi, yêu cầu có bằng chứng, chưa được sửa gì
- Xin đề xuấtYêu cầu một bản sửa trên nhánh riêng kèm lý do và rủi ro, không tự merge
- Tự duyệtĐọc diff, hỏi lại chỗ không hiểu, chạy test, để agent thứ hai hoặc phiên mới soi lại
- Đo lại sau deploySo chỉ số với mốc ban đầu trên môi trường thật, nhanh hơn thật mới giữ
A.Bước đầu tiên hay bị bỏ: mốc đo
Không có mốc thì không có "hồi quy", chỉ có cảm giác "hình như chậm". Cảm giác thì agent không kiểm chứng được. Chỉ cần một file ghi vài con số hôm nay, đo bằng cùng cách mỗi lần.
B.Ép agent tách điều tra khỏi sửa
Khi mình giao một lần cả hai việc, agent thường lao vào sửa luôn rồi lý giải sau. Tách ra thành hai yêu cầu sẽ khác. Điều tra xong, bạn đọc kết luận, đồng ý rồi mới cho sang bước đề xuất.
Bạn cũng nên dặn rõ trong hướng dẫn của dự án rằng agent chỉ làm trên nhánh riêng và không có quyền merge. Dặn bằng chữ chưa đủ chắc, nhưng cộng với quyền hạn thật của tài khoản thì đủ an toàn cho dự án nhỏ.
C.Đo lại sau khi deploy
Phần này đơn giản mà lại hay bị quên nhất. Sau khi bản sửa lên, chạy lại đúng phép đo đã lập mốc. Nếu không nhanh hơn, bạn có cơ sở để quay lại, thay vì tin vào lời báo cáo "đã tối ưu".
VI.Những sai lầm hay gặp khi giao việc hiệu năng cho agent
Sai lầm phổ biến nhất là tin kết luận của agent mà không nhìn bằng chứng. Agent nói rất tự tin, kể cả khi nó đoán sai.
A.Để agent vừa sửa vừa tự chấm
Nếu cùng một phiên vừa đề xuất vừa xác nhận "đã nhanh hơn", bạn đang nhờ người ra đề tự chấm bài. Hãy để số đo độc lập quyết định, hoặc ít nhất để một phiên khác kiểm lại.
B.Chỉ đo trên máy mình
Máy bạn ít dữ liệu, ít người dùng. Bản sửa chạy đẹp ở đó vẫn có thể vô dụng khi tải thật đổ vào. Đây là lý do OpenAI nhấn mạnh việc kiểm tra trên production.
Giao việc cho agent không phải giao luôn trách nhiệm. Trách nhiệm vẫn là của người bấm nút cho nó đi.
Ông T
C.Tối ưu thứ không ai đo
Agent rất giỏi làm theo yêu cầu. Bảo nó "làm cho nhanh" mà không nói nhanh ở đâu, nó sẽ chọn chỗ dễ tối ưu chứ chưa chắc chỗ đáng tối ưu. Mốc đo ở bước đầu chính là thứ giữ nó đi đúng hướng.
D.Bản kiểm nhanh trước khi cho một bản sửa đi tiếp
Trước khi merge bản sửa hiệu năng
- Có mốc đo trước khi sửa, ghi bằng số
- Báo cáo điều tra nêu được nguyên nhân kèm bằng chứng
- Bản sửa nằm trên nhánh riêng, đã đọc diff
- Test cũ vẫn qua, các trường hợp hiếm đã được nghĩ tới
- Có kế hoạch đo lại sau deploy bằng cùng phép đo
- Biết cách quay lại nếu chỉ số không tốt lên
Nếu phải chọn một điều rút ra từ Performance Factory, mình chọn thế này: đừng hỏi agent có sửa được không. Hãy hỏi bạn sẽ biết bằng cách nào rằng nó sửa đúng. Có câu trả lời cho câu thứ hai rồi thì câu thứ nhất mới đáng để thử.
Câu hỏi thường gặp
Performance Factory của OpenAI làm gì?
Theo thông báo của OpenAI, đây là hệ thống điều phối các agent để điều tra hồi quy hiệu năng của ChatGPT, đề xuất bản sửa cho kỹ sư duyệt và kiểm tra bản sửa có hiệu quả trên production. Thông báo chỉ nêu ba việc đó, không công bố chi tiết kỹ thuật bên trong.
Hồi quy hiệu năng (performance regression) là gì?
Đó là tình huống một phần hệ thống chạy chậm hơn so với trước, thường sau một thay đổi code hoặc cấu hình. Để phát hiện được, bạn cần có số đo làm mốc để so sánh. Không có mốc thì chỉ có cảm giác chậm chứ không chứng minh được.
AI agent có nên tự merge bản sửa lỗi hiệu năng không?
Với dự án thật thì không nên. Agent chỉ thấy được con số, còn người mới thấy được hệ quả như bỏ sót trường hợp hiếm hay dữ liệu cũ do cache. Cách an toàn hơn là cho agent đề xuất trên nhánh riêng và để người đọc diff rồi mới duyệt.
Dự án nhỏ dùng Claude Code có áp dụng được mô hình này không?
Được, nếu giữ đúng hình dạng: lập mốc đo, tách điều tra khỏi sửa, bắt agent đề xuất trên nhánh riêng, tự duyệt, rồi đo lại sau khi deploy. Bạn không cần hạ tầng lớn, chỉ cần vài chỉ số đo được và kỷ luật làm đúng thứ tự.
Vì sao phải đo lại trên môi trường thật sau khi sửa?
Máy cá nhân thường ít dữ liệu và ít người dùng, nên bản sửa chạy đẹp ở đó vẫn có thể không có tác dụng khi tải thật đổ vào. Đo lại bằng cùng phép đo trên môi trường thật mới cho biết bản sửa có giữ được hay phải quay lại.


