Kiểm tra chất lượng bộ dữ liệu
data-quality-auditor
Soi bộ dữ liệu về độ đầy đủ, nhất quán, chính xác, tìm giá trị lạ và ô thiếu, rồi đưa kế hoạch sửa cụ thể.
Tải miễn phí. Theo dõi Skilnexa một lần là mở khoá mọi lượt tải trên web.
Nó là gì
Kiểm tra bộ dữ liệu trước khi phân tích hay huấn luyện mô hình: tìm ô trống, giá trị bất thường, dòng trùng và các giá trị như 0 hay N/A bị ngầm hiểu là thiếu, rồi chấm điểm chất lượng từ 0 đến 100 kèm việc cần sửa.
Hoạt động ra sao
AI chạy công cụ hồ sơ dữ liệu, phân tích giá trị thiếu và ngoại lệ, rồi kiểm tra chéo cột, trùng khóa và logic. Nó chấm điểm DQS theo năm tiêu chí: đầy đủ 30%, nhất quán 25%, hợp lệ 20%, duy nhất 15%, kịp thời 10%, và gắn mức tin cậy cho từng phát hiện. Kết quả là báo cáo kèm kế hoạch sửa.
Ví dụ ứng dụng
- Tình huống
- Phòng bán hàng xuất 5.000 đơn hàng tháng trước để làm báo cáo, nhưng nghi có ô doanh thu trống hoặc ghi 0.
- Bạn đưa vào
- File CSV đơn hàng và câu hỏi cụ thể: dữ liệu này đã dùng được cho báo cáo doanh thu chưa?
- Bạn nhận được
- Điểm DQS, tỷ lệ thiếu theo từng cột, các giá trị 0 hay N/A bị coi là thiếu, và cách xử lý từng loại.
Ví dụ minh họa theo quy trình trong tài liệu gốc, chưa phải kết quả thử chạy.
Dùng khi nào
Khi cần kiểm tra bảng dữ liệu trước khi phân tích hoặc huấn luyện mô hình.
Các phần chính trong hướng dẫn
- Điểm vào
- Kiểm tra toàn diện bộ dữ liệu mới
- Quét có mục tiêu theo mối lo
- Thiết lập giám sát liên tục
- Công cụ hỗ trợ
- Điểm chất lượng dữ liệu
- Dấu hiệu rủi ro cần chủ động báo
- Kế hoạch khắc phục
Xem mô tả gốc của tác giả (tiếng Anh)
Audit datasets for completeness, consistency, accuracy, and validity. Profile data distributions, detect anomalies and outliers, surface structural issues, and produce an actionable remediation plan. Use when the user asks to check data quality, profile a dataset, hunt outliers or missing values, or validate data before analysis or model training.
Chi tiết tính năng
- python3 scripts/data_profiler.py --file data.csv --format json
Cùng nhóm Khác
- Đánh giá an ninh cho hệ thống AIKiểm tra hệ thống AI về tấn công bằng câu lệnh độc (prompt injection), vượt rào, lộ dữ liệu huấn luyện, đầu độc dữ liệu; đối chiếu MITRE ATLAS và gợi ý biện pháp chặn.
- Chạy kiểm thử trên nhiều trình duyệt qua BrowserStackChạy bộ kiểm thử Playwright trên đám mây BrowserStack để thử web trên Safari, Firefox, Chrome và nhiều phiên bản khác.
- Tóm tắt tình hình kinh doanh trong một trangGom số liệu từ các công cụ đã kết nối (tiền mặt QuickBooks, doanh thu PayPal/Square, khách tiềm năng HubSpot, lịch, Gmail/Slack) thành một trang và chỉ ra việc quan trọng nhất hôm nay.
- Làm bài đăng mạng xã hội từ bản kế hoạch nội dungTừ bản kế hoạch đã duyệt, lập lịch đăng, tạo thiết kế Canva cho bài mạng xã hội, viết chú thích và thư email. Mỗi bước đều chờ chủ shop đồng ý.
- Dự báo dòng tiền 30, 60, 90 ngàyĐọc khoản phải thu, phải trả, chi phí cố định từ QuickBooks, PayPal, Stripe, Square hoặc tệp CSV, rồi lập dự báo dòng tiền, cảnh báo rủi ro và xuất bảng tính XLSX.
- Trả lời cực ngắn để tiết kiệm lượt dùngChuyển trợ lý sang kiểu nói rất cộc, bỏ lời thừa và câu chào, giảm khoảng 75% lượng chữ nhưng vẫn giữ đúng nội dung kỹ thuật.
Phần giải thích do Skilnexa viết sau khi đọc toàn bộ tài liệu gốc của tác giả và đã đối chiếu lại với nội dung gốc. Chưa phải kết quả thử chạy, nên hãy thử bằng dữ liệu giả trước khi dùng cho việc thật.