SSkilnexa
SkillKhácHợp với: Nhà phân tích dữ liệuMức: Vừa

Kiểm tra chất lượng bộ dữ liệu

data-quality-auditor

Soi bộ dữ liệu về độ đầy đủ, nhất quán, chính xác, tìm giá trị lạ và ô thiếu, rồi đưa kế hoạch sửa cụ thể.

Tải miễn phí. Theo dõi Skilnexa một lần là mở khoá mọi lượt tải trên web.

Nút theo dõi đang được chuẩn bị.
Link tải đang được chuẩn bị.

Nó là gì

Kiểm tra bộ dữ liệu trước khi phân tích hay huấn luyện mô hình: tìm ô trống, giá trị bất thường, dòng trùng và các giá trị như 0 hay N/A bị ngầm hiểu là thiếu, rồi chấm điểm chất lượng từ 0 đến 100 kèm việc cần sửa.

Hoạt động ra sao

AI chạy công cụ hồ sơ dữ liệu, phân tích giá trị thiếu và ngoại lệ, rồi kiểm tra chéo cột, trùng khóa và logic. Nó chấm điểm DQS theo năm tiêu chí: đầy đủ 30%, nhất quán 25%, hợp lệ 20%, duy nhất 15%, kịp thời 10%, và gắn mức tin cậy cho từng phát hiện. Kết quả là báo cáo kèm kế hoạch sửa.

Ví dụ ứng dụng

Tình huống
Phòng bán hàng xuất 5.000 đơn hàng tháng trước để làm báo cáo, nhưng nghi có ô doanh thu trống hoặc ghi 0.
Bạn đưa vào
File CSV đơn hàng và câu hỏi cụ thể: dữ liệu này đã dùng được cho báo cáo doanh thu chưa?
Bạn nhận được
Điểm DQS, tỷ lệ thiếu theo từng cột, các giá trị 0 hay N/A bị coi là thiếu, và cách xử lý từng loại.

Ví dụ minh họa theo quy trình trong tài liệu gốc, chưa phải kết quả thử chạy.

Dùng khi nào

Khi cần kiểm tra bảng dữ liệu trước khi phân tích hoặc huấn luyện mô hình.

Các phần chính trong hướng dẫn

  1. Điểm vào
  2. Kiểm tra toàn diện bộ dữ liệu mới
  3. Quét có mục tiêu theo mối lo
  4. Thiết lập giám sát liên tục
  5. Công cụ hỗ trợ
  6. Điểm chất lượng dữ liệu
  7. Dấu hiệu rủi ro cần chủ động báo
  8. Kế hoạch khắc phục
Xem mô tả gốc của tác giả (tiếng Anh)

Audit datasets for completeness, consistency, accuracy, and validity. Profile data distributions, detect anomalies and outliers, surface structural issues, and produce an actionable remediation plan. Use when the user asks to check data quality, profile a dataset, hunt outliers or missing values, or validate data before analysis or model training.

Chi tiết tính năng

  • python3 scripts/data_profiler.py --file data.csv --format json

Cùng nhóm Khác

Phần giải thích do Skilnexa viết sau khi đọc toàn bộ tài liệu gốc của tác giả và đã đối chiếu lại với nội dung gốc. Chưa phải kết quả thử chạy, nên hãy thử bằng dữ liệu giả trước khi dùng cho việc thật.