SSkilnexa
SkillKỹ thuật phần mềmHợp với: Lập trình viênMức: Kỹ thuật

Tự thử nghiệm lặp để cải thiện một tệp theo chỉ số

autoresearch-agent

Cần một tệp, một lệnh đo chỉ số và kho git. Agent sửa tệp, chạy đo, giữ bản tốt hơn, bỏ bản kém, rồi lặp mãi. Dùng được cho tốc độ mã, dung lượng, tiêu đề quảng cáo.

Tải miễn phí. Theo dõi Skilnexa một lần là mở khoá mọi lượt tải trên web.

Nút theo dõi đang được chuẩn bị.
Link tải đang được chuẩn bị.

Nó là gì

Vòng lặp thử nghiệm tự động: AI sửa một tệp, chạy đánh giá có số đo, giữ bản tốt hơn (git commit), bỏ bản kém (git reset), rồi lặp lại. Dành cho người có kho git và một chỉ số đo được.

Hoạt động ra sao

Bạn chọn tệp mục tiêu, lệnh đánh giá và chỉ số cần đo, sau đó chạy script thiết lập. AI chạy từng lượt thử, ghi kết quả vào results.tsv với trạng thái keep, discard hoặc crash, và tiếp tục theo khoảng thời gian bạn đặt, ví dụ mỗi giờ.

Ví dụ ứng dụng

Tình huống
Nhóm nội dung muốn tìm tiêu đề bài viết có tỷ lệ nhấp cao hơn, dựa trên một file tiêu đề và một bộ chấm điểm.
Bạn đưa vào
File content/titles.md, lệnh đánh giá như python evaluate.py, và chỉ số ctr_score cần tăng.
Bạn nhận được
Nhật ký results.tsv liệt kê từng thử nghiệm, các bản tốt được giữ lại, và tiêu đề có điểm cao nhất sau khi chạy xong.

Ví dụ minh họa theo quy trình trong tài liệu gốc, chưa phải kết quả thử chạy.

Dùng khi nào

Khi muốn giảm dung lượng gói web bằng cách thử nhiều cách chỉnh liên tục qua đêm.

Các phần chính trong hướng dẫn

  1. Các lệnh Slash
  2. Thiết lập
  3. Tạo thí nghiệm lần đầu
  4. Giao thức của agent
  5. Việc cần làm trước khi bắt đầu
  6. Mỗi vòng lặp
  7. Bắt đầu thí nghiệm
  8. Nâng cấp chiến lược
Xem mô tả gốc của tác giả (tiếng Anh)

Autonomous experiment loop that optimizes any file by a measurable metric. Inspired by Karpathy's autoresearch. The agent edits a target file, runs a fixed evaluation, keeps improvements (git commit), discards failures (git reset), and loops indefinitely. Use when: user wants to optimize code speed, reduce bundle/image size, improve test pass rate, optimize prompts, improve content quality (headlines, copy, CTR), or run any measurable improvement loop. Requires: a target file, an evaluation command that outputs a metric, and a git repo.

Chi tiết tính năng

  • Running the eval command with timeout
  • Parsing the metric from eval output
  • Comparing to previous best
  • Reverting the commit on failure (git reset --hard HEAD~1)
  • Logging the result to results.tsv
  • Runs 1-5: Low-hanging fruit (obvious improvements, simple optimizations)
  • Runs 6-15: Systematic exploration (vary one parameter at a time)
  • Runs 16-30: Structural changes (algorithm swaps, architecture shifts)

Cùng nhóm Kỹ thuật phần mềm

Phần giải thích do Skilnexa viết sau khi đọc toàn bộ tài liệu gốc của tác giả và đã đối chiếu lại với nội dung gốc. Chưa phải kết quả thử chạy, nên hãy thử bằng dữ liệu giả trước khi dùng cho việc thật.