Chia Sẻ Khóa Học Apache Airflow - Hướng Dẫn Thực Hành [Khóa 6647 A]
Làm chủ Apache Airflow từ A đến Z. Các Video thực hành về Airflow với AWS, Kubernetes, Docker, v.v.
Bạn sẽ học được gì:
- ✓ Coding Production Grade Data pipelines bằng cách làm chủ Airflow thông qua các ví dụ thực hành.
- ✓ Cách thực hiện theo các phương pháp hay nhất với Apache Airflow.
- ✓ Cách Scale Airflow với Local, Celery và Kubernetes Wxecutors.
- ✓ Cách thiết lập Monitoring với Elaticsearch và Grafana.
- ✓ Cách bảo mật Airflow với authentication, crypto và RBAC UI.
- ✓ Các khái niệm cốt lõi và nâng cao với những ưu điểm và hạn chế.
- ✓ Làm chủ DAG với timezones, unit testing, backfill and catchup.
- ✓ Tổ chức DAG folder và giữ mọi thứ clean.
Apache Airflow là một nền tảng được cộng đồng tạo ra để programmatically author, schedule và monitor workflow.
Nó có khả năng scalable, dynamic, extensible, và modulable.
Không còn nghi ngờ gì nữa, việc thành thạo Airflow đang trở thành một kỹ năng bắt buộc và hấp dẫn đối với bất kỳ ai làm việc với dữ liệu.
Bạn sẽ học được gì trong khóa học:
- ✓ Các nền tảng của Airflow được giải thích như Airflow là gì, cách thức hoạt động của scheduler và web server.
- ✓ Forex Data Pipeline project là một cách tuyệt vời để khám phá nhiều operator trong Airflow và xử lý Slack, Spark, Hadoop, v.v.
- ✓ Làm chủ DAG của bạn là ưu tiên hàng đầu và bạn có thể play với timezones, unit test DAG của mình, cấu trúc DAG folder của bạn và hơn thế nữa.
- ✓ Scaling Airflow thông qua các executor khác nhau như Local Executor, Celery Executor, và Kubernetes Executor sẽ được giải thích chi tiết. Bạn sẽ khám phá cách specialize các worker của mình, add các worker mới và điều gì sẽ xảy ra khi một node gặp sự cố.
- ✓ Một Kubernetes cluster gồm 3 node sẽ được thiết lập với Rancher, Airflow, và the Kubernetes Executor local để chạy các data pipeline của bạn.
- ✓ Các khái niệm nâng cao sẽ được thể hiện thông qua các ví dụ thực tế như templating DAG của bạn, cách làm cho DAG của bạn phụ thuộc vào một DAG khác, Subdag và deadlocks là gì , v.v.
- ✓ Bạn sẽ thiết lập một Kubernetes cluster trên đám mây với AWS EKS và Rancher để sử dụng Airflow và Kubernetes Executor.
- ✓ Monitoring Airflow là cực kỳ quan trọng ! Đó là lý do tại sao bạn sẽ biết cách thực hiện điều đó với Elaticsearch và Grafana.
- ✓ Vấn đề bảo mật cũng sẽ được giải quyết để làm cho Airflow instance của bạn tuân thủ với công ty của bạn. Chỉ định vai trò và quyền cho người dùng của bạn với RBAC, ngăn họ truy cập vào Airflow UI với authentication và password, data encryption, v.v.
Ngoài ra:
- ✓ Nhiều bài tập thực tế được đưa ra trong suốt khóa học để bạn có cơ hội áp dụng những gì đã học.
- ✓ Các phương pháp hay nhất được nêu khi cần để cung cấp cho bạn cách sử dụng Airflow tốt nhất.
- ✓ Quiz có sẵn để đánh giá mức độ hiểu của bạn ở cuối mỗi phần.
- ✓ Trả lời nhanh các câu hỏi của bạn là ưu tiên hàng đầu của tôi và tôi sẽ cố gắng hết sức vì bạn.
Tôi đã nỗ lực rất nhiều để mang đến cho bạn nội dung hay nhất và tôi hy vọng bạn sẽ thích nó nhiều như tôi mong muốn.
Kết thúc khóa học, bạn sẽ tự tin hơn bao giờ hết khi sử dụng Airflow.
Tôi chúc bạn thành công rực rỡ!
Mục lục:
- ✓ 01. Giới thiệu.
- ✓ 02 - Cơ bản về Apache Airflow.
- ✓ 03 - Forex Data Pipeline.
- ✓ 04 - Làm chủ DAG của bạn.
- ✓ 05 - Cải thiện DAG của bạn với các khái niệm nâng cao.
- ✓ 06 - Distributing Apache Airflow.
- ✓ 07 - Deploy Airflow trên AWS EKS với Kubernetes Executors và Rancher.
- ✓ 08 - Monitoring Apache Airflow.
- ✓ 09 - Bảo mật Apache Airflow.
- ✓ 10 - PHỤ LỤC.
Khóa học này dành cho ai:
- ✓ Data Engineer.
- ✓ Inspiring Data Engineer.
- ✓ DevOps.
- ✓ Software Engineer.
- ✓ Data Scientist.
NHẬN GET EBOOK TRÊN AMAZON THEO YÊU CẦU