SSkilnexa
SkillKhácHợp với: Chuyên viên bảo mậtMức: Kỹ thuật

Đánh giá an ninh cho hệ thống AI

ai-security

Kiểm tra hệ thống AI về tấn công bằng câu lệnh độc (prompt injection), vượt rào, lộ dữ liệu huấn luyện, đầu độc dữ liệu; đối chiếu MITRE ATLAS và gợi ý biện pháp chặn.

Tải miễn phí. Theo dõi Skilnexa một lần là mở khoá mọi lượt tải trên web.

Nút theo dõi đang được chuẩn bị.
Link tải đang được chuẩn bị.

Nó là gì

Quy trình kiểm tra an ninh cho hệ thống dùng AI, như chatbot hay trợ lý có quyền gọi công cụ: tìm nguy cơ bị chèn lệnh (prompt injection), bẻ khóa (jailbreak) và lạm dụng công cụ. Chủ yếu dành cho người làm bảo mật và lập trình viên.

Hoạt động ra sao

AI chạy công cụ quét ai_threat_scanner.py với các câu lệnh thử, chấm điểm rủi ro và ánh xạ kết quả sang kỹ thuật MITRE ATLAS. Mã thoát 2 nghĩa là chặn triển khai, còn mã 1 là rủi ro trung bình hoặc cao, cần theo dõi và sửa trong sprint.

Ví dụ ứng dụng

Tình huống
Công ty bất động sản sắp đưa chatbot tư vấn căn hộ lên website, chatbot có quyền tra cứu hồ sơ khách.
Bạn đưa vào
Tệp JSON các câu thử tấn công như chèn lệnh, loại mục tiêu llm và mức truy cập black-box.
Bạn nhận được
Báo cáo rủi ro tổng thể, điểm chèn lệnh, ánh xạ MITRE ATLAS, và mã thoát 2 nghĩa là chặn triển khai.

Ví dụ minh họa theo quy trình trong tài liệu gốc, chưa phải kết quả thử chạy.

Dùng khi nào

Khi sắp đưa chatbot nội bộ ra dùng và muốn biết nó dễ bị lừa ở đâu.

Các phần chính trong hướng dẫn

  1. Chuẩn bị điều kiện cần
  2. Chạy công cụ quét mối đe dọa AI
  3. Chuẩn bị tệp kiểm thử
  4. Phát hiện tấn công prompt injection
  5. Chấm điểm mức độ tiêm lệnh
  6. Đánh giá nguy cơ vượt rào
  7. Phân loại kiểu vượt rào
Xem mô tả gốc của tác giả (tiếng Anh)

Use when assessing AI/ML systems for prompt injection, jailbreak vulnerabilities, model inversion risk, data poisoning exposure, or agent tool abuse. Covers MITRE ATLAS technique mapping, injection signature detection, and adversarial robustness scoring.

Chi tiết tính năng

  • This skill provides the methodology and tooling for AI/ML security assessment — scanning for prompt injection signatures, scoring model inversion and data poisoning risk, mapping findings to MITRE ATLAS techniques, and recommending guardrail controls. It supports LLMs, classifiers, and embedding models.
  • | Skill | Focus | Approach |
  • |-------|-------|----------|
  • | ai-security (this) | AI/ML system security | Specialized — LLM injection, model inversion, ATLAS mapping |
  • | security-pen-testing | Application vulnerabilities | General — OWASP Top 10, API security, dependency scanning |
  • | red-team | Adversary simulation | Offensive — kill-chain planning against infrastructure |
  • | threat-detection | Behavioral anomalies | Proactive — hunting in telemetry, not model inputs |
  • Access to test prompts or a prompt test file (JSON array). For gray-box and white-box access levels, written authorization is required before testing. The tool uses static signature matching and does not require live model access — it assesses inputs before they reach the model.

Cùng nhóm Khác

Phần giải thích do Skilnexa viết sau khi đọc toàn bộ tài liệu gốc của tác giả và đã đối chiếu lại với nội dung gốc. Chưa phải kết quả thử chạy, nên hãy thử bằng dữ liệu giả trước khi dùng cho việc thật.