Tối ưu câu lệnh và đo chất lượng AI
senior-prompt-engineer
Giúp viết lại câu lệnh cho AI, đo kết quả bằng bộ mẫu thử, kiểm tra chất lượng truy xuất tài liệu và ước tính chi phí token (đơn vị tính tiền của AI).
Tải miễn phí. Theo dõi Skilnexa một lần là mở khoá mọi lượt tải trên web.
Nó là gì
Dành cho lập trình viên làm sản phẩm AI: tối ưu prompt bằng bộ câu hỏi thử, đo chất lượng truy xuất RAG, kiểm tra cấu hình agent và chi phí token.
Hoạt động ra sao
Bạn đưa prompt hiện tại cùng 10 đến 20 ca mẫu có kết quả mong đợi. Skill hướng dẫn chạy công cụ phân tích để lấy số liệu gốc, rồi sửa mỗi lần một chỗ và so lại với mốc đó. Kết quả là prompt đã sửa kèm số liệu trước và sau, và không được làm hỏng ca đã đạt.
Ví dụ ứng dụng
- Tình huống
- Bot trả lời khách của cửa hàng đôi khi xuất sai định dạng và trả lời lan man, bạn muốn sửa prompt mà không làm hỏng phần đang chạy tốt.
- Bạn đưa vào
- Prompt hiện tại và một bộ câu hỏi mẫu kèm đáp án mong đợi.
- Bạn nhận được
- Bản prompt đã sửa, bảng đạt hay trượt từng ca và kết luận có đủ điều kiện đưa lên hay chưa.
Ví dụ minh họa theo quy trình trong tài liệu gốc, chưa phải kết quả thử chạy.
Dùng khi nào
Khi chatbot của công ty trả lời thất thường và cần cải thiện có đo đạc.
Các phần chính trong hướng dẫn
- Quy tắc vận hành
- Công cụ tối ưu câu lệnh
- Công cụ đánh giá RAG
- Công cụ điều phối agent
- Tối ưu câu lệnh theo kết quả thử
- Thiết kế ví dụ mẫu
- Thiết kế đầu ra có cấu trúc
- Chỉnh RAG và rà cấu hình agent
Xem mô tả gốc của tác giả (tiếng Anh)
Use when the user asks to optimize prompts, design prompt templates, evaluate LLM outputs with an eval set, measure RAG retrieval quality, validate agent/tool configurations, analyze token usage, or design structured-output contracts. Covers eval-driven prompt iteration, RAG metrics (relevance, faithfulness, coverage), agent workflow validation, and token/cost budgeting — all model-agnostic, with three stdlib Python tools.
Chi tiết tính năng
- python3 scripts/prompt_optimizer.py prompt.txt --extract-examples --output examples.json
Ví dụ yêu cầu
- Define the task contract first (input shape, output shape, edge-case policy).
- Start with zero examples and measure — current models often need none. Add examples only for failure clusters the eval reveals.
- When adding: 3–5 max, ordered simple → edge → negative (what NOT to extract), formatted identically to the real output contract.
- Validate consistency:
python3 scripts/prompt_optimizer.py prompt_with_examples.txt --extract-examples --output examples.jsonand inspect that every extracted pair parses against your schema. - Re-run the eval set; if a case passes only because it resembles an example, add a held-out variant to the eval set.
- Write the JSON Schema first (types, enums, required, maxLength).
Cùng nhóm Pháp lý
- Kiểm tra website có dễ dùng cho người khuyết tậtRà soát website để tìm lỗi trợ năng (a11y: người khiếm thị, khó vận động vẫn dùng được) và kiểm tra có đạt chuẩn WCAG không.
- Tạo video hoạt hình từ mô tả bằng lờiTừ mô tả tiếng thường, tạo một dự án Vite + React dùng Framer Motion với các cảnh tự chạy trong trình duyệt. Dùng cho video giới thiệu, bài trình bày động, demo sản phẩm.
- Kiểm tra thiết kế ứng dụng Apple theo chuẩn HIGĐối chiếu bản thiết kế hoặc ứng dụng iOS, macOS, watchOS, visionOS với hướng dẫn giao diện của Apple, gồm Liquid Glass: độ tương phản, kích thước vùng chạm, bố cục.
- Tạo mẫu trang Confluence và Jira dùng chungTạo và sửa mẫu, bố cục, thành phần dùng lại cho Jira và Confluence (biên bản họp, nhật ký quyết định, runbook), có script sinh định dạng đúng để đăng lên Confluence.
- Hỗ trợ kiểm tra kiểm soát nội bộ theo SOX 404Hỗ trợ chuẩn bị kiểm toán SOX 404: lập hồ sơ thử nghiệm kiểm soát, chọn mẫu kiểm toán, phân loại thiếu sót của kiểm soát theo chuẩn tài liệu.
- Áp màu và phông chữ thương hiệu Anthropic vào tài liệuDùng bảng màu và kiểu chữ chính thức của Anthropic: Poppins cho tiêu đề, Lora cho nội dung, tự đổi sang Arial hoặc Georgia nếu máy thiếu phông.
Phần giải thích do Skilnexa viết sau khi đọc toàn bộ tài liệu gốc của tác giả và đã đối chiếu lại với nội dung gốc. Chưa phải kết quả thử chạy, nên hãy thử bằng dữ liệu giả trước khi dùng cho việc thật.