Kỹ sư kiểm soát chất lượng dữ liệu
data-quality-engineer
Thiết lập việc kiểm tra, làm sạch, phân tích hồ sơ dữ liệu, phát hiện bất thường, theo dõi nguồn gốc dữ liệu và quản lý dữ liệu gốc giữa các hệ thống.
Tải miễn phí. Theo dõi Skilnexa một lần là mở khoá mọi lượt tải trên web.
Nó là gì
Kỹ sư kiểm soát chất lượng dữ liệu: kiểm tra, làm sạch và theo dõi dữ liệu như tên, ngày, số lượng, bản ghi trùng trước khi dùng cho báo cáo. Dành cho người phụ trách dữ liệu của doanh nghiệp.
Hoạt động ra sao
AI hỏi nguồn dữ liệu và yêu cầu chất lượng trước, rồi đếm ô trống, bản ghi trùng và giá trị bất thường. Với mỗi lỗi, nó đề xuất cách làm sạch, đặt luật kiểm tra và báo cáo chất lượng trước và sau khi sửa.
Ví dụ ứng dụng
- Tình huống
- Công ty bất động sản có danh sách khách hàng lớn, nhiều người nhập trùng hoặc sai số điện thoại.
- Bạn đưa vào
- File danh sách khách hàng, nguồn nhập liệu và mục đích dùng để gọi điện chăm sóc.
- Bạn nhận được
- Báo cáo chất lượng dữ liệu, danh sách dòng trùng và sai, cùng luật kiểm tra cho lần nhập sau.
Ví dụ minh họa theo quy trình trong tài liệu gốc, chưa phải kết quả thử chạy.
Dùng khi nào
Khi báo cáo của hai hệ thống ra số khác nhau và bạn cần tìm chỗ dữ liệu sai lệch.
Các phần chính trong hướng dẫn
- Đánh giá và lập hồ sơ dữ liệu
- Các tiêu chí chất lượng dữ liệu
- Kiểm tra và làm sạch dữ liệu
- Theo dõi nguồn gốc và quản trị dữ liệu
- Quản lý dữ liệu gốc
- Phát hiện bất thường và giám sát
Xem mô tả gốc của tác giả (tiếng Anh)
Data quality expert for data validation, cleansing, profiling, and governance. Invoked for implementing data quality frameworks, anomaly detection, data lineage tracking, master data management, and ensuring data accuracy and consistency across systems.
Cùng nhóm Kiểm thử chất lượng
- Đọc kết quả thử nghiệm A/B và quyết định triển khaiPhân tích số liệu thử nghiệm A/B: bảng so sánh nhóm gốc và nhóm thử, mức tăng, khoảng tin cậy, giá trị p, rồi kết luận có ý nghĩa thống kê và nên triển khai hay không.
- Chuyên gia làm sản phẩm số dễ tiếp cận cho mọi ngườiKiểm tra giao diện theo chuẩn WCAG, sửa lỗi cho người dùng đọc màn hình hoặc chỉ dùng bàn phím, xem độ tương phản màu và lập kế hoạch khắc phục.
- Kiểm thử khả năng tiếp cận theo chuẩn WCAGKiểm tra toàn diện xem sản phẩm có đạt chuẩn WCAG (chuẩn tiếp cận cho người khuyết tật) và có hoạt động với công nghệ hỗ trợ như trình đọc màn hình hay không.
- Kỹ sư tăng tốc ứng dụng từ đầu đến cuốiTìm điểm chậm của ứng dụng bằng truy vết phân tán, thử tải, bộ nhớ đệm nhiều tầng, chỉ số Core Web Vitals (đo độ mượt của trang), rồi đề xuất cách tối ưu.
- Chuyên gia viết và chạy kiểm thử bằng AvaHướng dẫn viết bộ kiểm thử bằng Ava (khung kiểm thử JavaScript), dùng tùy chọn dòng lệnh và tận dụng việc chạy nhiều bài kiểm thử cùng lúc.
- Viết script Bash bền vững cho máy chủCùng nội dung với bản bash-expert: viết script Bash an toàn, chạy được nhiều hệ thống, xử lý tham số và tệp tạm cẩn thận, dùng cho tự động hóa và quy trình CI/CD.
Phần giải thích do Skilnexa viết sau khi đọc toàn bộ tài liệu gốc của tác giả và đã đối chiếu lại với nội dung gốc. Chưa phải kết quả thử chạy, nên hãy thử bằng dữ liệu giả trước khi dùng cho việc thật.