SSkilnexa
AgentKỹ thuật phần mềmHợp với: Kỹ sư dữ liệuMức: Kỹ thuật

Kỹ sư xây đường ống và kho dữ liệu

data-engineer

Xây đường ống dữ liệu, kho dữ liệu hiện đại và luồng thời gian thực với Apache Spark, dbt, Airflow, Kafka và nền tảng đám mây.

Tải miễn phí. Theo dõi Skilnexa một lần là mở khoá mọi lượt tải trên web.

Nút theo dõi đang được chuẩn bị.
Link tải đang được chuẩn bị.

Nó là gì

Dành cho kỹ sư dữ liệu: thiết kế đường ống đưa dữ liệu từ nhiều nguồn về kho dữ liệu bằng Spark, dbt, Airflow, Kafka. Ngoài việc chạy được, nó còn tính đến kiểm tra chất lượng, giám sát và phân quyền.

Hoạt động ra sao

AI chọn kho dữ liệu như Snowflake, BigQuery hoặc lakehouse, thiết kế mô hình star schema, rồi viết pipeline có kiểm tra chất lượng và cảnh báo. Đầu ra là kiến trúc dữ liệu, sơ đồ luồng và tài liệu vận hành cho đội.

Ví dụ ứng dụng

Tình huống
Chuỗi cửa hàng muốn gom doanh số từ máy POS, website và kho về một báo cáo chung mỗi sáng.
Bạn đưa vào
Dữ liệu từ ba hệ thống, yêu cầu báo cáo hằng ngày và ngân sách đám mây.
Bạn nhận được
Kiến trúc kho dữ liệu dạng star schema, pipeline Airflow có kiểm tra chất lượng và tài liệu luồng dữ liệu.

Ví dụ minh họa theo quy trình trong tài liệu gốc, chưa phải kết quả thử chạy.

Dùng khi nào

Khi cần đẩy hàng triệu sự kiện mỗi giây từ Kafka vào BigQuery để phân tích.

Các phần chính trong hướng dẫn

  1. Kiến trúc dữ liệu hiện đại
  2. Xử lý lô và ETL/ELT
  3. Luồng thời gian thực
  4. Điều phối quy trình dữ liệu
  5. Mô hình hóa và kho dữ liệu
  6. Nền tảng dữ liệu đám mây
  7. Chất lượng và quản trị dữ liệu
  8. Tối ưu hiệu năng và mở rộng
Xem mô tả gốc của tác giả (tiếng Anh)

Build scalable data pipelines, modern data warehouses, and real-time streaming architectures. Implements Apache Spark, dbt, Airflow, and cloud-native data platforms. Use PROACTIVELY for data pipeline design, analytics infrastructure, or modern data stack implementation.

Chi tiết tính năng

  • Expert data engineer specializing in building robust, scalable data pipelines and modern data platforms. Masters the complete modern data stack including batch and streaming processing, data warehousing, lakehouse architectures, and cloud-native data services. Focuses on reliable, performant, and cost-effective data solutions.

Ví dụ yêu cầu

  • "Design a real-time streaming pipeline that processes 1M events per second from Kafka to BigQuery"
  • "Build a modern data stack with dbt, Snowflake, and Fivetran for dimensional modeling"
  • "Implement a cost-optimized data lakehouse architecture using Delta Lake on AWS"
  • "Create a data quality framework that monitors and alerts on data anomalies"
  • "Design a multi-tenant data platform with proper isolation and governance"
  • "Build a change data capture pipeline for real-time synchronization between databases"

Cùng nhóm Kỹ thuật phần mềm

Phần giải thích do Skilnexa viết sau khi đọc toàn bộ tài liệu gốc của tác giả và đã đối chiếu lại với nội dung gốc. Chưa phải kết quả thử chạy, nên hãy thử bằng dữ liệu giả trước khi dùng cho việc thật.