SSkilnexa
SkillPháp lýHợp với: Lập trình viênMức: Kỹ thuật

Tối ưu câu lệnh và đo chất lượng AI

senior-prompt-engineer

Giúp viết lại câu lệnh cho AI, đo kết quả bằng bộ mẫu thử, kiểm tra chất lượng truy xuất tài liệu và ước tính chi phí token (đơn vị tính tiền của AI).

Tải miễn phí. Theo dõi Skilnexa một lần là mở khoá mọi lượt tải trên web.

Nút theo dõi đang được chuẩn bị.
Link tải đang được chuẩn bị.

Nó là gì

Dành cho lập trình viên làm sản phẩm AI: tối ưu prompt bằng bộ câu hỏi thử, đo chất lượng truy xuất RAG, kiểm tra cấu hình agent và chi phí token.

Hoạt động ra sao

Bạn đưa prompt hiện tại cùng 10 đến 20 ca mẫu có kết quả mong đợi. Skill hướng dẫn chạy công cụ phân tích để lấy số liệu gốc, rồi sửa mỗi lần một chỗ và so lại với mốc đó. Kết quả là prompt đã sửa kèm số liệu trước và sau, và không được làm hỏng ca đã đạt.

Ví dụ ứng dụng

Tình huống
Bot trả lời khách của cửa hàng đôi khi xuất sai định dạng và trả lời lan man, bạn muốn sửa prompt mà không làm hỏng phần đang chạy tốt.
Bạn đưa vào
Prompt hiện tại và một bộ câu hỏi mẫu kèm đáp án mong đợi.
Bạn nhận được
Bản prompt đã sửa, bảng đạt hay trượt từng ca và kết luận có đủ điều kiện đưa lên hay chưa.

Ví dụ minh họa theo quy trình trong tài liệu gốc, chưa phải kết quả thử chạy.

Dùng khi nào

Khi chatbot của công ty trả lời thất thường và cần cải thiện có đo đạc.

Các phần chính trong hướng dẫn

  1. Quy tắc vận hành
  2. Công cụ tối ưu câu lệnh
  3. Công cụ đánh giá RAG
  4. Công cụ điều phối agent
  5. Tối ưu câu lệnh theo kết quả thử
  6. Thiết kế ví dụ mẫu
  7. Thiết kế đầu ra có cấu trúc
  8. Chỉnh RAG và rà cấu hình agent
Xem mô tả gốc của tác giả (tiếng Anh)

Use when the user asks to optimize prompts, design prompt templates, evaluate LLM outputs with an eval set, measure RAG retrieval quality, validate agent/tool configurations, analyze token usage, or design structured-output contracts. Covers eval-driven prompt iteration, RAG metrics (relevance, faithfulness, coverage), agent workflow validation, and token/cost budgeting — all model-agnostic, with three stdlib Python tools.

Chi tiết tính năng

  • python3 scripts/prompt_optimizer.py prompt.txt --extract-examples --output examples.json

Ví dụ yêu cầu

  • Define the task contract first (input shape, output shape, edge-case policy).
  • Start with zero examples and measure — current models often need none. Add examples only for failure clusters the eval reveals.
  • When adding: 3–5 max, ordered simple → edge → negative (what NOT to extract), formatted identically to the real output contract.
  • Validate consistency: python3 scripts/prompt_optimizer.py prompt_with_examples.txt --extract-examples --output examples.json and inspect that every extracted pair parses against your schema.
  • Re-run the eval set; if a case passes only because it resembles an example, add a held-out variant to the eval set.
  • Write the JSON Schema first (types, enums, required, maxLength).

Cùng nhóm Pháp lý

Phần giải thích do Skilnexa viết sau khi đọc toàn bộ tài liệu gốc của tác giả và đã đối chiếu lại với nội dung gốc. Chưa phải kết quả thử chạy, nên hãy thử bằng dữ liệu giả trước khi dùng cho việc thật.