Chấm điểm và xếp hạng kết quả của các tác tử AgentHub
eval
Chấm điểm và xếp hạng kết quả các tác tử trong một phiên AgentHub bằng chỉ số hoặc AI làm giám khảo để chọn bản tốt nhất. Là lệnh /hub:eval.
Tải miễn phí. Theo dõi Skilnexa một lần là mở khoá mọi lượt tải trên web.
Nó là gì
Dành cho lập trình viên: lệnh /hub:eval chấm và xếp hạng kết quả các tác tử AgentHub trong một phiên, bằng một lệnh đo hoặc bằng AI làm giám khảo so các bản thay đổi (diff).
Hoạt động ra sao
Nếu có lệnh đo, hệ thống chạy lệnh đó trong worktree của từng tác tử rồi xếp hạng theo chỉ số. Nếu không, AI so sánh git diff, đọc bài báo cáo của từng tác tử và xếp hạng theo độ đúng, sự gọn gàng và chất lượng. Đầu ra là bảng xếp hạng có người thắng, và bước tiếp theo là /hub:merge.
Ví dụ ứng dụng
- Tình huống
- Ba tác tử AgentHub cùng sửa tốc độ một API; bạn muốn chọn bản chạy nhanh nhất để gộp vào nhánh chính.
- Bạn đưa vào
- Mã phiên 20260317-143022 và lệnh đo p50_ms, chiều thấp hơn là tốt.
- Bạn nhận được
- Bảng xếp hạng với agent-2 đứng đầu ở 142ms, kèm gợi ý chạy /hub:merge để gộp bản thắng.
Ví dụ minh họa theo quy trình trong tài liệu gốc, chưa phải kết quả thử chạy.
Dùng khi nào
Khi nhiều tác tử đã xong cùng một việc và bạn cần chọn bản thắng.
Các phần chính trong hướng dẫn
- Chọn chế độ chấm điểm
- Chấm theo chỉ số
- Chấm bằng AI làm giám khảo
- Kết hợp hai chế độ
- Làm bước sau chấm điểm
Xem mô tả gốc của tác giả (tiếng Anh)
Evaluate and rank agent results by metric or LLM judge for an AgentHub session. Use when the user runs /hub:eval or asks to score, compare, or pick a winner among completed AgentHub agents.
Chi tiết tính năng
- Run the evaluation command in each agent's worktree:
- Get the diff:
git diff {base_branch}...{agent_branch} - Read the agent's result post from
.agenthub/board/results/agent-{i}-result.md - Compare all diffs and rank by:
- Correctness — Does it solve the task?
- Simplicity — Fewer lines changed is better (when equal correctness)
Ví dụ yêu cầu
- Run the evaluation command in each agent's worktree:
- Get the diff:
git diff {base_branch}...{agent_branch} - Read the agent's result post from
.agenthub/board/results/agent-{i}-result.md - Compare all diffs and rank by:
Cùng nhóm Dữ liệu và phân tích
- Thiết kế thử nghiệm A/BLập kế hoạch thử nghiệm A/B: viết giả thuyết, các phiên bản, chỉ số đo, cỡ mẫu và thời gian chạy. Ra bản tóm tắt thử nghiệm và bảng đầu vào tính cỡ mẫu.
- Trả lời câu hỏi từ dữ liệu, từ tra nhanh đến báo cáoTrả lời câu hỏi dữ liệu: tra một chỉ số, tìm nguyên nhân tăng giảm, so sánh nhóm theo thời gian hoặc soạn báo cáo chính thức cho các bên liên quan.
- Phân tích hiệu quả chiến dịch marketingPhân tích chiến dịch bằng ghi nhận đa điểm chạm, phễu chuyển đổi và tính ROI, ROAS, CPA theo kênh. Kết quả dạng bảng đọc được hoặc JSON.
- Quản lý hành động khắc phục cho thiết bị y tếQuản lý quy trình CAPA (khắc phục và phòng ngừa) của hệ thống chất lượng thiết bị y tế: tìm nguyên nhân gốc, 5 Whys, xương cá, theo dõi và kiểm tra hiệu quả.
- Vẽ biểu đồ chất lượng cao bằng PythonBiến kết quả truy vấn hoặc bảng dữ liệu thành biểu đồ đẹp để in hay trình bày, gợi ý loại biểu đồ phù hợp, có thể tạo biểu đồ tương tác để rê chuột và phóng to.
- Vẽ hành trình khách hàng từ biết đến giới thiệuLập tệp customer-journey.md về các giai đoạn, điểm chạm, cảm xúc, điểm đau, cơ hội và chỉ số, kèm sơ đồ Mermaid, từ lần chạm đầu tới lúc khách giới thiệu người khác.
Phần giải thích do Skilnexa viết sau khi đọc toàn bộ tài liệu gốc của tác giả và đã đối chiếu lại với nội dung gốc. Chưa phải kết quả thử chạy, nên hãy thử bằng dữ liệu giả trước khi dùng cho việc thật.