Kỹ sư xây đường ống và kho dữ liệu
data-engineer
Xây đường ống dữ liệu, kho dữ liệu hiện đại và luồng thời gian thực với Apache Spark, dbt, Airflow, Kafka và nền tảng đám mây.
Tải miễn phí. Theo dõi Skilnexa một lần là mở khoá mọi lượt tải trên web.
Nó là gì
Dành cho kỹ sư dữ liệu: thiết kế đường ống đưa dữ liệu từ nhiều nguồn về kho dữ liệu bằng Spark, dbt, Airflow, Kafka. Ngoài việc chạy được, nó còn tính đến kiểm tra chất lượng, giám sát và phân quyền.
Hoạt động ra sao
AI chọn kho dữ liệu như Snowflake, BigQuery hoặc lakehouse, thiết kế mô hình star schema, rồi viết pipeline có kiểm tra chất lượng và cảnh báo. Đầu ra là kiến trúc dữ liệu, sơ đồ luồng và tài liệu vận hành cho đội.
Ví dụ ứng dụng
- Tình huống
- Chuỗi cửa hàng muốn gom doanh số từ máy POS, website và kho về một báo cáo chung mỗi sáng.
- Bạn đưa vào
- Dữ liệu từ ba hệ thống, yêu cầu báo cáo hằng ngày và ngân sách đám mây.
- Bạn nhận được
- Kiến trúc kho dữ liệu dạng star schema, pipeline Airflow có kiểm tra chất lượng và tài liệu luồng dữ liệu.
Ví dụ minh họa theo quy trình trong tài liệu gốc, chưa phải kết quả thử chạy.
Dùng khi nào
Khi cần đẩy hàng triệu sự kiện mỗi giây từ Kafka vào BigQuery để phân tích.
Các phần chính trong hướng dẫn
- Kiến trúc dữ liệu hiện đại
- Xử lý lô và ETL/ELT
- Luồng thời gian thực
- Điều phối quy trình dữ liệu
- Mô hình hóa và kho dữ liệu
- Nền tảng dữ liệu đám mây
- Chất lượng và quản trị dữ liệu
- Tối ưu hiệu năng và mở rộng
Xem mô tả gốc của tác giả (tiếng Anh)
Build scalable data pipelines, modern data warehouses, and real-time streaming architectures. Implements Apache Spark, dbt, Airflow, and cloud-native data platforms. Use PROACTIVELY for data pipeline design, analytics infrastructure, or modern data stack implementation.
Chi tiết tính năng
- Expert data engineer specializing in building robust, scalable data pipelines and modern data platforms. Masters the complete modern data stack including batch and streaming processing, data warehousing, lakehouse architectures, and cloud-native data services. Focuses on reliable, performant, and cost-effective data solutions.
Ví dụ yêu cầu
- "Design a real-time streaming pipeline that processes 1M events per second from Kafka to BigQuery"
- "Build a modern data stack with dbt, Snowflake, and Fivetran for dimensional modeling"
- "Implement a cost-optimized data lakehouse architecture using Delta Lake on AWS"
- "Create a data quality framework that monitors and alerts on data anomalies"
- "Design a multi-tenant data platform with proper isolation and governance"
- "Build a change data capture pipeline for real-time synchronization between databases"
Cùng nhóm Kỹ thuật phần mềm
- Chuyên gia viết web bằng Actix (ngôn ngữ Rust)Hỗ trợ viết ứng dụng web hiệu năng cao bằng Actix trên ngôn ngữ Rust: máy chủ HTTP, lập trình bất đồng bộ, mô hình actor và các lớp xử lý trung gian.
- Tìm và cài đặt agent Claude Code từ kho mẫuLiệt kê nhóm agent, tìm theo tên hoặc mô tả và cài agent từ kho awesome-claude-code-subagents trên GitHub vào máy bạn.
- Chuyên gia lập trình ứng dụng AndroidHỗ trợ viết ứng dụng Android hiện đại bằng Kotlin hoặc Java, dùng thư viện Jetpack, tối ưu tốc độ và bộ nhớ, giữ cấu trúc ứng dụng vững.
- Kiến trúc ứng dụng Angular quy mô lớnThiết kế ứng dụng Angular 15+ cho doanh nghiệp: quản lý trạng thái phức tạp, tối ưu RxJS, chia micro-frontend (giao diện ghép từ nhiều phần độc lập), xử lý hiệu năng.
- Viết mã Angular đúng chuẩn và nhanhViết mã Angular theo thực hành tốt: chia component, dùng RxJS, quản lý trạng thái bằng NgRx hoặc Akita, dùng Angular CLI, tối ưu hiệu năng.
- Chuyên gia AngularJS bản cũHỗ trợ tối ưu mã AngularJS (phiên bản đời đầu): tổ chức cấu trúc, tăng tốc vòng cập nhật scope, liên kết dữ liệu hai chiều, viết directive và component riêng.
Phần giải thích do Skilnexa viết sau khi đọc toàn bộ tài liệu gốc của tác giả và đã đối chiếu lại với nội dung gốc. Chưa phải kết quả thử chạy, nên hãy thử bằng dữ liệu giả trước khi dùng cho việc thật.