SSkilnexa
SkillThiết kếHợp với: Kỹ sư dữ liệuMức: Kỹ thuật

Xây đường ống xử lý dữ liệu lớn

senior-data-engineer

Hướng dẫn dựng đường ống dữ liệu ETL/ELT (gom, biến đổi, nạp dữ liệu) bằng Python, SQL, Spark, Airflow, dbt, Kafka, kèm mô hình hóa dữ liệu, kiểm soát chất lượng và quản trị dữ liệu.

Tải miễn phí. Theo dõi Skilnexa một lần là mở khoá mọi lượt tải trên web.

Nút theo dõi đang được chuẩn bị.
Link tải đang được chuẩn bị.

Nó là gì

Hướng dẫn xây đường ống xử lý dữ liệu lớn: lấy dữ liệu từ nguồn, làm sạch, biến đổi và đưa vào kho dữ liệu. Dành cho kỹ sư dữ liệu, dùng các công cụ như Python, SQL, Spark, Airflow, dbt, Kafka.

Hoạt động ra sao

Bạn mô tả nguồn dữ liệu, nơi đến và lịch chạy. AI chọn giữa xử lý theo lô hay theo luồng theo bảng quyết định, rồi sinh cấu hình điều phối (ví dụ Airflow) và các bước kiểm tra chất lượng: dữ liệu có tươi không, có đầy đủ và có trùng không.

Ví dụ ứng dụng

Tình huống
Chuỗi siêu thị muốn gom doanh thu của 200 cửa hàng mỗi đêm vào kho báo cáo để giám đốc xem buổi sáng.
Bạn đưa vào
Nguồn là cơ sở dữ liệu PostgreSQL, đích là Snowflake, và lịch chạy lúc 5 giờ sáng mỗi ngày.
Bạn nhận được
Cấu hình Airflow chạy lúc 5 giờ mỗi ngày, cùng bộ kiểm tra độ tươi, đầy đủ và trùng lặp của dữ liệu.

Ví dụ minh họa theo quy trình trong tài liệu gốc, chưa phải kết quả thử chạy.

Dùng khi nào

Khi cần gom dữ liệu bán hàng từ nhiều nguồn về một kho để làm báo cáo.

Các phần chính trong hướng dẫn

  1. Các công cụ cốt lõi
  2. Quy trình làm việc
  3. Khung quyết định kiến trúc
  4. Xử lý lô hay xử lý luồng
  5. Lambda hay Kappa
  6. Kho dữ liệu hay hồ dữ liệu
  7. Kiến trúc đường ống dữ liệu
  8. Mẫu mô hình hóa dữ liệu
Xem mô tả gốc của tác giả (tiếng Anh)

Data engineering skill for building scalable data pipelines, ETL/ELT systems, and data infrastructure. Expertise in Python, SQL, Spark, Airflow, dbt, Kafka, and modern data stack. Includes data modeling, pipeline orchestration, data quality, and DataOps. Use when designing data architectures, building data pipelines, optimizing data workflows, implementing data governance, or troubleshooting data issues.

Cùng nhóm Thiết kế

Phần giải thích do Skilnexa viết sau khi đọc toàn bộ tài liệu gốc của tác giả và đã đối chiếu lại với nội dung gốc. Chưa phải kết quả thử chạy, nên hãy thử bằng dữ liệu giả trước khi dùng cho việc thật.