SSkilnexa
SkillDữ liệu và phân tíchHợp với: Lập trình viênMức: Kỹ thuật

Chấm điểm và xếp hạng kết quả của các tác tử AgentHub

eval

Chấm điểm và xếp hạng kết quả các tác tử trong một phiên AgentHub bằng chỉ số hoặc AI làm giám khảo để chọn bản tốt nhất. Là lệnh /hub:eval.

Tải miễn phí. Theo dõi Skilnexa một lần là mở khoá mọi lượt tải trên web.

Nút theo dõi đang được chuẩn bị.
Link tải đang được chuẩn bị.

Nó là gì

Dành cho lập trình viên: lệnh /hub:eval chấm và xếp hạng kết quả các tác tử AgentHub trong một phiên, bằng một lệnh đo hoặc bằng AI làm giám khảo so các bản thay đổi (diff).

Hoạt động ra sao

Nếu có lệnh đo, hệ thống chạy lệnh đó trong worktree của từng tác tử rồi xếp hạng theo chỉ số. Nếu không, AI so sánh git diff, đọc bài báo cáo của từng tác tử và xếp hạng theo độ đúng, sự gọn gàng và chất lượng. Đầu ra là bảng xếp hạng có người thắng, và bước tiếp theo là /hub:merge.

Ví dụ ứng dụng

Tình huống
Ba tác tử AgentHub cùng sửa tốc độ một API; bạn muốn chọn bản chạy nhanh nhất để gộp vào nhánh chính.
Bạn đưa vào
Mã phiên 20260317-143022 và lệnh đo p50_ms, chiều thấp hơn là tốt.
Bạn nhận được
Bảng xếp hạng với agent-2 đứng đầu ở 142ms, kèm gợi ý chạy /hub:merge để gộp bản thắng.

Ví dụ minh họa theo quy trình trong tài liệu gốc, chưa phải kết quả thử chạy.

Dùng khi nào

Khi nhiều tác tử đã xong cùng một việc và bạn cần chọn bản thắng.

Các phần chính trong hướng dẫn

  1. Chọn chế độ chấm điểm
  2. Chấm theo chỉ số
  3. Chấm bằng AI làm giám khảo
  4. Kết hợp hai chế độ
  5. Làm bước sau chấm điểm
Xem mô tả gốc của tác giả (tiếng Anh)

Evaluate and rank agent results by metric or LLM judge for an AgentHub session. Use when the user runs /hub:eval or asks to score, compare, or pick a winner among completed AgentHub agents.

Chi tiết tính năng

  • Run the evaluation command in each agent's worktree:
  • Get the diff: git diff {base_branch}...{agent_branch}
  • Read the agent's result post from .agenthub/board/results/agent-{i}-result.md
  • Compare all diffs and rank by:
  • Correctness — Does it solve the task?
  • Simplicity — Fewer lines changed is better (when equal correctness)

Ví dụ yêu cầu

  • Run the evaluation command in each agent's worktree:
  • Get the diff: git diff {base_branch}...{agent_branch}
  • Read the agent's result post from .agenthub/board/results/agent-{i}-result.md
  • Compare all diffs and rank by:

Cùng nhóm Dữ liệu và phân tích

Phần giải thích do Skilnexa viết sau khi đọc toàn bộ tài liệu gốc của tác giả và đã đối chiếu lại với nội dung gốc. Chưa phải kết quả thử chạy, nên hãy thử bằng dữ liệu giả trước khi dùng cho việc thật.