Ebook Data Pipeline với Apache Airflow - Orchestration Cho Data & AI [Ấn Bản Lần 2, Tháng 1/2026] [PDF + CODE] [9119E]
Đơn giản hóa, hợp lý hóa và mở rộng các hoạt động dữ liệu của bạn với các data pipeline được xây dựng trên Apache Airflow.
Sách "Data Pipeline với Apache Airflow" đã giúp hàng ngàn data engineer xây dựng các nền tảng dữ liệu thành công hơn. Phiên bản thứ hai này đã được sửa đổi hoàn toàn cho Airflow 3 với nội dung bao gồm tất cả các tính năng mới nhất của Apache Airflow, bao gồm Taskflow API, các deferrable operator và tích hợp Large Language Model. Với nhiều kịch bản và ví dụ thực tế, bạn sẽ được hướng dẫn cẩn thận từ người mới bắt đầu đến chuyên gia Airflow.
Trong "Data Pipeline với Apache Airflow, Phiên bản thứ hai", bạn sẽ học cách:
- ✓ Làm chủ các khái niệm cốt lõi về kiến trúc Airflow và workflow design.
- ✓ Schedule data pipeline bằng cách sử dụng Dataset API và time tables, bao gồm cả các irregular schedule phức tạp.
- ✓ Phát triển các Airflow component tùy chỉnh phù hợp với nhu cầu cụ thể của bạn.
- ✓ Triển khai các chiến lược testing toàn diện cho các pipeline của bạn.
- ✓ Áp dụng các best practice trong ngành để xây dựng và duy trì các Airflow workflow.
- ✓ Triển khai và vận hành Airflow trong môi trường production.
- ✓ Điều phối các workflow trong môi trường container-native.
- ✓ Build & deploy các Machine Learning & Generative AI model bằng Airflow.
Sử dụng các tình huống và ví dụ thực tế, cuốn sách "Data Pipeline với Apache Airflow, Phiên bản thứ hai" hướng dẫn bạn cách đơn giản hóa và tự động hóa các data pipeline, giảm chi phí vận hành và tích hợp mượt mà tất cả các công nghệ trong stack của bạn. Vừa là tài liệu tham khảo vừa là hướng dẫn thực hành, mỗi kỹ thuật đều được minh họa bằng các ví dụ thực tế hấp dẫn, từ training các machine learning model cho generative AI đến tối ưu hóa các delivery route.
Về công nghệ:
Apache Airflow cung cấp một nền tảng thống nhất để thu thập, tổng hợp, làm sạch và phân tích dữ liệu. Với UI dễ sử dụng, các tính năng scheduling và monitoring mạnh mẽ, các tùy chọn plug-and-play, cùng khả năng Python scripting linh hoạt, Airflow giúp dễ dàng triển khai các pipeline an toàn và nhất quán cho bất kỳ tác vụ dữ liệu hoặc AI nào.
Về cuốn sách:
Sách "Data Pipeline với Apache Airflow, Phiên bản thứ hai" hướng dẫn bạn cách xây dựng, giám sát và duy trì các data workflow hiệu quả. Phiên bản mới này bổ sung nội dung toàn diện về các tính năng của Airflow 3, chẳng hạn như event-driven scheduling, dynamic task mapping, DAG versioning và UI hoàn toàn mới của Airflow. Nhiều ví dụ minh họa đề cập đến các trường hợp sử dụng phổ biến như data ingestion & transformation, kết nối với nhiều data source, cùng với các kỹ thuật AI-aware như xây dựng các hệ thống RAG.
Bên trong có gì:
- ✓ Deploy các data pipeline dưới dạng Airflow DAG.
- ✓ Các chiến lược Time & Event-based scheduling.
- ✓ Tích hợp với database, LLM và AI model.
- ✓ Deploy Airflow bằng Kubernetes.
Về người đọc:
Dành cho các data engineer, machine learning engineer, DevOps và sysadmin có kỹ năng Python ở mức trung cấp.
Mục lục:
- ✓ Phần 1. Bắt đầu:
- ✓ Chương 01. Giới thiệu về Apache Airflow.
- ✓ Chương 02. Cấu trúc của một Airflow DAG.
- ✓ Chương 03. Time-based Scheduling.
- ✓ Chương 04. Asset-aware Scheduling.
- ✓ Chương 05. Templating task sử dụng Airflow context.
- ✓ Chương 06. Xác định các dependency giữa các task.
- ✓ Phần 2. Nâng cao hơn:
- ✓ Chương 07. Kích hoạt các workflow với external input.
- ✓ Chương 08. Giao tiếp với các hệ thống bên ngoài.
- ✓ Chương 09. Mở rộng Airflow với các operator & sensor tùy chỉnh.
- ✓ Chương 10. Testing.
- ✓ Chương 11. Chạy các task trong container.
- ✓ Phần 3. Airflow trong thực tế:
- ✓ Chương 12. Các best practice.
- ✓ Chương 13. Project: Tìm cách di chuyển nhanh nhất quanh NYC.
- ✓ Chương 14. Project: Keeping Family Tradition Alive với Airflow & Generative AI.
- ✓ Phần 4. Airflow trong Production:
- ✓ Chương Chương 15. Vận hành Airflow trong Production.
- ✓ Chương 16. Bảo mật Airflow.
- ✓ Chương 17. Các tùy chọn triển khai Airflow.
- ✓ Phụ lục A. Chạy các code mẫu.
- ✓ Phụ lục B. Prometheus metric mapping.