Tự thử nghiệm lặp để cải thiện một tệp theo chỉ số
autoresearch-agent
Cần một tệp, một lệnh đo chỉ số và kho git. Agent sửa tệp, chạy đo, giữ bản tốt hơn, bỏ bản kém, rồi lặp mãi. Dùng được cho tốc độ mã, dung lượng, tiêu đề quảng cáo.
Tải miễn phí. Theo dõi Skilnexa một lần là mở khoá mọi lượt tải trên web.
Nó là gì
Vòng lặp thử nghiệm tự động: AI sửa một tệp, chạy đánh giá có số đo, giữ bản tốt hơn (git commit), bỏ bản kém (git reset), rồi lặp lại. Dành cho người có kho git và một chỉ số đo được.
Hoạt động ra sao
Bạn chọn tệp mục tiêu, lệnh đánh giá và chỉ số cần đo, sau đó chạy script thiết lập. AI chạy từng lượt thử, ghi kết quả vào results.tsv với trạng thái keep, discard hoặc crash, và tiếp tục theo khoảng thời gian bạn đặt, ví dụ mỗi giờ.
Ví dụ ứng dụng
- Tình huống
- Nhóm nội dung muốn tìm tiêu đề bài viết có tỷ lệ nhấp cao hơn, dựa trên một file tiêu đề và một bộ chấm điểm.
- Bạn đưa vào
- File content/titles.md, lệnh đánh giá như python evaluate.py, và chỉ số ctr_score cần tăng.
- Bạn nhận được
- Nhật ký results.tsv liệt kê từng thử nghiệm, các bản tốt được giữ lại, và tiêu đề có điểm cao nhất sau khi chạy xong.
Ví dụ minh họa theo quy trình trong tài liệu gốc, chưa phải kết quả thử chạy.
Dùng khi nào
Khi muốn giảm dung lượng gói web bằng cách thử nhiều cách chỉnh liên tục qua đêm.
Các phần chính trong hướng dẫn
- Các lệnh Slash
- Thiết lập
- Tạo thí nghiệm lần đầu
- Giao thức của agent
- Việc cần làm trước khi bắt đầu
- Mỗi vòng lặp
- Bắt đầu thí nghiệm
- Nâng cấp chiến lược
Xem mô tả gốc của tác giả (tiếng Anh)
Autonomous experiment loop that optimizes any file by a measurable metric. Inspired by Karpathy's autoresearch. The agent edits a target file, runs a fixed evaluation, keeps improvements (git commit), discards failures (git reset), and loops indefinitely. Use when: user wants to optimize code speed, reduce bundle/image size, improve test pass rate, optimize prompts, improve content quality (headlines, copy, CTR), or run any measurable improvement loop. Requires: a target file, an evaluation command that outputs a metric, and a git repo.
Chi tiết tính năng
- Running the eval command with timeout
- Parsing the metric from eval output
- Comparing to previous best
- Reverting the commit on failure (
git reset --hard HEAD~1) - Logging the result to results.tsv
- Runs 1-5: Low-hanging fruit (obvious improvements, simple optimizations)
- Runs 6-15: Systematic exploration (vary one parameter at a time)
- Runs 16-30: Structural changes (algorithm swaps, architecture shifts)
Cùng nhóm Kỹ thuật phần mềm
- Kiểm tra và sửa lỗi truy cập cho người khuyết tậtQuét mã web theo WCAG 2.2 mức A và AA, tự sửa lỗi, kiểm độ tương phản màu, lập báo cáo; chạy được cho React, Vue, Angular, Svelte, HTML.
- Rà soát mã khắt khe qua ba góc nhìnXem lại thay đổi mã bằng ba nhân vật khó tính: kẻ phá hoại, người mới vào và kiểm toán bảo mật; mỗi người phải tìm ra lỗi, kết luận BLOCK, CONCERNS hoặc CLEAN.
- Điều quân đoàn agent làm việc lớn song songTriển khai hai lớp agent song song cho việc lớn như viết lại nhiều tệp, di chuyển hàng loạt, kiểm tra toàn mã nguồn, có an toàn git và kiểm tra trước khi chạy.
- Thiết kế hệ nhiều agent phối hợpChọn kiểu điều phối (giám sát, bầy đàn, dây chuyền), tạo khai báo công cụ cho agent và phân tích nhật ký chạy về chi phí, độ trễ, lỗi.
- Chạy bầy agent xử lý dữ liệu hàng loạtTriển khai nhiều agent phụ xử lý song song các việc dữ liệu như 1000 tài liệu, phân tích bộ dữ liệu, tạo nội dung số lượng lớn; có theo dõi tiến độ và khắc phục lỗi.
- Dựng đội agent cho quy trình kinh doanhHỏi về quy trình công việc rồi tạo cấu hình đội agent gồm vai trò, quyền dùng công cụ, cách liên lạc và quy tắc bàn giao.
Phần giải thích do Skilnexa viết sau khi đọc toàn bộ tài liệu gốc của tác giả và đã đối chiếu lại với nội dung gốc. Chưa phải kết quả thử chạy, nên hãy thử bằng dữ liệu giả trước khi dùng cho việc thật.