Xây đường ống xử lý dữ liệu lớn
senior-data-engineer
Hướng dẫn dựng đường ống dữ liệu ETL/ELT (gom, biến đổi, nạp dữ liệu) bằng Python, SQL, Spark, Airflow, dbt, Kafka, kèm mô hình hóa dữ liệu, kiểm soát chất lượng và quản trị dữ liệu.
Tải miễn phí. Theo dõi Skilnexa một lần là mở khoá mọi lượt tải trên web.
Nó là gì
Hướng dẫn xây đường ống xử lý dữ liệu lớn: lấy dữ liệu từ nguồn, làm sạch, biến đổi và đưa vào kho dữ liệu. Dành cho kỹ sư dữ liệu, dùng các công cụ như Python, SQL, Spark, Airflow, dbt, Kafka.
Hoạt động ra sao
Bạn mô tả nguồn dữ liệu, nơi đến và lịch chạy. AI chọn giữa xử lý theo lô hay theo luồng theo bảng quyết định, rồi sinh cấu hình điều phối (ví dụ Airflow) và các bước kiểm tra chất lượng: dữ liệu có tươi không, có đầy đủ và có trùng không.
Ví dụ ứng dụng
- Tình huống
- Chuỗi siêu thị muốn gom doanh thu của 200 cửa hàng mỗi đêm vào kho báo cáo để giám đốc xem buổi sáng.
- Bạn đưa vào
- Nguồn là cơ sở dữ liệu PostgreSQL, đích là Snowflake, và lịch chạy lúc 5 giờ sáng mỗi ngày.
- Bạn nhận được
- Cấu hình Airflow chạy lúc 5 giờ mỗi ngày, cùng bộ kiểm tra độ tươi, đầy đủ và trùng lặp của dữ liệu.
Ví dụ minh họa theo quy trình trong tài liệu gốc, chưa phải kết quả thử chạy.
Dùng khi nào
Khi cần gom dữ liệu bán hàng từ nhiều nguồn về một kho để làm báo cáo.
Các phần chính trong hướng dẫn
- Các công cụ cốt lõi
- Quy trình làm việc
- Khung quyết định kiến trúc
- Xử lý lô hay xử lý luồng
- Lambda hay Kappa
- Kho dữ liệu hay hồ dữ liệu
- Kiến trúc đường ống dữ liệu
- Mẫu mô hình hóa dữ liệu
Xem mô tả gốc của tác giả (tiếng Anh)
Data engineering skill for building scalable data pipelines, ETL/ELT systems, and data infrastructure. Expertise in Python, SQL, Spark, Airflow, dbt, Kafka, and modern data stack. Includes data modeling, pipeline orchestration, data quality, and DataOps. Use when designing data architectures, building data pipelines, optimizing data workflows, implementing data governance, or troubleshooting data issues.
Cùng nhóm Thiết kế
- Tạo quảng cáo cả hình lẫn chữ đúng thương hiệuLấy nhận diện thương hiệu từ website, viết nhiều bản chữ quảng cáo và tạo hình ảnh đồng bộ cho Google, Meta và nền tảng trả tiền khác qua Hyper MCP.
- Ghi quyết định kiến trúc phần mềm (ADR)Soạn hoặc đánh giá bản ghi quyết định kiến trúc: chọn công nghệ, nêu đánh đổi và hệ quả, xem xét thiết kế hệ thống.
- Kiểm tra tài liệu có đúng nhận diện thương hiệuQuét tài liệu, slide để tìm màu, phông chữ, logo lệch chuẩn, đối chiếu hướng dẫn thương hiệu và gợi ý sửa.
- Rút giọng văn thương hiệu thành cẩm nangĐọc website, blog, email, mạng xã hội của công ty để rút ra giọng điệu, từ vựng, cấu trúc câu, rồi lập cẩm nang giọng văn và kiểm tra nội dung mới theo đó.
- Viết nội dung đúng giọng thương hiệuÁp dụng hướng dẫn thương hiệu khi viết email, đề xuất, bài đăng, slide, tin Slack; cũng sửa văn bản cho hợp giọng của công ty.
- Thiết kế poster và tác phẩm hình ảnh tĩnhTạo poster, tranh, thiết kế tĩnh thành tệp .png hoặc .pdf theo triết lý thiết kế riêng, không sao chép tác giả có sẵn.
Phần giải thích do Skilnexa viết sau khi đọc toàn bộ tài liệu gốc của tác giả và đã đối chiếu lại với nội dung gốc. Chưa phải kết quả thử chạy, nên hãy thử bằng dữ liệu giả trước khi dùng cho việc thật.