Ebook Data Engineering Design Pattern - Các Công Thức Để Giải Quyết Các Vấn Đề Data Engineering Phổ Biến Nhất [Ấn Bản Lần 1, Tháng 5/2025] [PDF, EPUB] [9277E]
Các dự án dữ liệu là một phần không thể thiếu trong hệ sinh thái kỹ thuật của một tổ chức, nhưng các kỹ sư dữ liệu tại nhiều công ty vẫn đang tiếp tục giải quyết những vấn đề mà các công ty khác đã giải quyết. Hướng dẫn thực hành này sẽ chỉ cho bạn cách cung cấp dữ liệu có giá trị bằng cách tập trung vào các khía cạnh khác nhau của data engineering, bao gồm data ingestion, data quality, idempotency, v.v.
Tác giả sẽ hướng dẫn bạn quy trình xây dựng các dự án data engineering toàn diện, đáng tin cậy, từ data ingestion đến data observability, tập trung vào các data engineering design pattern giúp giải quyết các vấn đề kinh doanh phổ biến một cách an toàn và tối ưu hóa lưu trữ. Mỗi pattern đều bao gồm phần mô tả trực quan về vấn đề, giải pháp và hậu quả, giúp đặt pattern vào bối cảnh thực tế.
Trong suốt hành trình này, bạn sẽ sử dụng các data tool nguồn mở và public cloud service để áp dụng từng pattern. Bạn sẽ học được:
- ✓ Những thách thức mà các kỹ sư dữ liệu phải đối mặt và tác động của chúng đến các hệ thống dữ liệu.
- ✓ Những thách thức này liên quan đến các thành phần của hệ thống dữ liệu như thế nào.
- ✓ Các ứng dụng hữu ích của các data engineering pattern.
- ✓ Cách xác định và khắc phục các sự cố với các data component hiện tại của bạn.
- ✓ Các giải pháp không phụ thuộc vào công nghệ cho các dự án dữ liệu mới và hiện có, với các ví dụ triển khai nguồn mở.
Mục lục:
- ✓ Chương 01. Giới thiệu các Data Engineering Design Pattern.
- ✓ Chương 02. Data Ingestion Design Pattern.
- ✓ Chương 03. Error Management Design Pattern.
- ✓ Chương 04. Idempotency Design Pattern.
- ✓ Chương 05. Data Value Design Pattern.
- ✓ Chương 06. Data Flow Design Pattern.
- ✓ Chương 07. Data Security Design Pattern.
- ✓ Chương 08. Data Storage Design Pattern.
- ✓ Chương 09. Data Quality Design Pattern.
- ✓ Chương 10. Data Observability Design Pattern.