Chia Sẻ Khóa Học Azure Data Factory Cho Data Engineer - Project Trên Covid19 [Update Tháng 1-2023] [Khóa 7453 A]
Dự án trong thế giới thực dành cho các Data Engineer sử dụng Azure Data Factory, SQL, Data Lake, Databricks, HDInsight, CI/CD [DP203].
Bạn sẽ học được gì:
- ✓ Bạn sẽ tìm hiểu cách xây dựng data pipeline trong thế giới thực trong Azure Data Factory (ADF).
- ✓ Bạn sẽ có được các kỹ năng Data Engineering tốt trong Azure bằng cách sử dụng Azure Data Factory (ADF), Azure Data Lake Storage Gen2, Azure SQL Database và Azure Monitor.
- ✓ Bạn sẽ tìm hiểu cách nhập dữ liệu từ các nguồn như HTTP và Azure Blob Storage vào Azure Data Lake Gen2 bằng Azure Data Factory (ADF).
- ✓ Bạn sẽ tìm hiểu cách chuyển đổi dữ liệu bằng Data Flows trong Azure Data Factory (ADF) và tải vào Azure Data Lake Storage Gen2.
- ✓ Bạn sẽ tìm hiểu cách chuyển đổi dữ liệu bằng Databricks Notebook Activity trong Azure Data Factory (ADF) và tải vào Azure Data Lake Storage Gen2.
- ✓ Bạn sẽ tìm hiểu cách chuyển đổi dữ liệu bằng Azure HDInsight Activity trong Azure Data Factory (ADF) và tải vào Azure Data Lake Storage Gen2.
- ✓ Bạn sẽ tìm hiểu cách tải dữ liệu đã chuyển đổi từ Azure Data Lake Storage Gen2 sang Azure SQL Database bằng Azure Data Factory (ADF).
- ✓ Bạn sẽ tìm hiểu sâu về Triggers trong Azure Data Factory (ADF) và cách sử dụng chúng để schedule cho các data pipeline.
- ✓ Bạn sẽ tìm hiểu cách monitor pipelines sử dụng Azure Data Factory (ADF), Azure Monitor và Log Analytics với một dự án trong thế giới thực.
- ✓ Bạn sẽ học cách xây dựng các production ready pipeline cũng như các phương pháp hay và naming standards.
- ✓ Bạn sẽ tìm hiểu các chủ đề bắt buộc trên Azure Data Factory để vượt qua Kỳ thi Azure Data Engineer Associate Certification DP203.
- ✓ Bạn sẽ tìm hiểu về cách tạo CI/CD pipelines trong Azure Devops để phát hành ADF pipelines lên môi trường cao hơn (Testing/ Production).
Cập nhật chính cho khóa học kể từ khi ra mắt:
- ✓ Tháng 1 năm 2023 - Cập nhật cho phần 3 (Environment Set-up) để phản ánh thay đổi đối với User Interface. Ghi lại 5 bài học.
- ✓ Tháng 11 năm 2022 - Bổ sung phần 15 & 16 tập trung vào Continuous Integration & Continuous Delivery (CI/CD).
Welcome!
Tôi rất mong được giúp bạn tìm hiểu một trong những công cụ kỹ thuật dữ liệu theo yêu cầu trên đám mây, Azure Data Factory (ADF)! Khóa học này đã được giảng dạy với việc triển khai giải pháp kỹ thuật dữ liệu bằng cách sử dụng Azure Data Factory (ADF) cho một vấn đề trong thế giới thực về báo cáo xu hướng Covid-19 và dự đoán về sự lây lan của loại vi-rút này.
Đây không giống như bất kỳ khóa học nào khác dành cho Azure Data Factory hoặc Data Engineering Technologies. Khi bạn đã hoàn thành khóa học bao gồm tất cả các bài tập, tôi thực sự tin tưởng rằng bạn sẽ có thể tự mình bắt đầu một dự án kỹ thuật dữ liệu trong thế giới thực và cũng thành thạo trên Azure Data Factory (ADF).
Tôi cũng đã đưa vào các bài học về các giải pháp lưu trữ như Azure Data Lake Storage, Azure Blob Storage, Azure SQL Database, v.v. Ngoài ra, còn có các bài học về Azure HDInsight và Azure Databricks. Tôi thậm chí còn đưa vào các bài học về xây dựng báo cáo bằng Power BI trên dữ liệu được xử lý bởi Azure Data Factory data pipelines. Tôi đã coi các mô hình machine learning nằm ngoài phạm vi. Bạn có thể sử dụng dữ liệu này để xây dựng các mô hình của riêng mình và dự đoán mức độ lây lan.
Khóa học tuân theo tiến trình hợp lý của việc triển khai dự án trong thế giới thực với các khái niệm kỹ thuật được giải thích và các data pipeline trong Azure Data Factory (ADF) được xây dựng cùng một lúc. Mặc dù khóa học này không được thiết kế đặc biệt để dạy cho bạn các kỹ năng cần thiết để vượt qua kỳ thi Chứng chỉ liên kết kỹ sư dữ liệu Azure DP203, nhưng nó có thể giúp bạn đạt được hầu hết các kỹ năng yêu cầu cần thiết cho kỳ thi.
Hiện tại khóa học dạy bạn những điều sau:
Azure Data Factory:
- ✓ Xây dựng một kiến trúc giải pháp cho một giải pháp kỹ thuật dữ liệu bằng các công nghệ Azure Data Engineering như Azure Data Factory (ADF), Azure Data Lake Gen2, Azure Blob Storage, Azure SQL Database, Azure Databricks, Azure HDInsight và Microsoft PowerBI.
- ✓ Tích hợp dữ liệu từ HTTP clients, Azure Blob Storage và Azure Data Lake Gen2 bằng Azure Data Factory.
- ✓ Branching và Chaining activities trong Azure Data Factory (ADF) Pipelines bằng cách sử dụng control flow activities, chẳng hạn như Get Metadata. If Condition, ForEach, Delete, Validation, v.v.
- ✓ Sử dụng Parameters và Variables trong Pipelines, Datasets và LinkedServices để tạo metadata driven pipelines trong Azure Data Factory (ADF).
- ✓ Gỡ lỗi data pipelines và giải quyết các vấn đề.
- ✓ Scheduling pipelines sử dụng triggers như Event Trigger, Schedule Trigger và Tumbling Window Trigger trong Azure Data Factory (ADF).
- ✓ Tạo Mapping Data Flows để tạo logic chuyển đổi. Khóa học bao gồm tất cả các bước chuyển đổi như Source, Filter, Select, Pivot, Lookup, Conditional Split, Derived Column, Aggregate, Join và Sink transformation..
- ✓ Debugging data flows, điều tra sự cố, sửa lỗi, v.v.
- ✓ Triển khai các Azure Data Factory pipeline để invoke Mapping Data Flows và thực thi chúng.
- ✓ Tạo ADF pipelines để thực thi các hoạt động HDInsight và thực hiện chuyển đổi dữ liệu.
- ✓ Tạo ADF pipelines để thực thi các hoạt động Databricks Notebook để thực hiện chuyển đổi.
- ✓ Tạo dependency giữa các pipeline để điều phối data flow.
- ✓ Tạo dependency giữa các trigger để điều phối data flow.
- ✓ Monitoring data pipelines, tạo cảnh báo, báo cáo số liệu từ Azure Data Factory Monitor.
- ✓ Giám sát các Data Factory pipeline bằng cách sử dụng Azure Monitor và setting diagnostic setting để được chuyển tiếp tới Azure Storage Account hoặc Log Analytics Workspace.
- ✓ Tạo Log Analytics workspace, tạo workbooks và charts từ log analytics trên Azure Data Factory pipelines.
- ✓ Triển khai công cụ giám sát Azure Data Factory Analytics và cách mở rộng khả năng hơn nữa.
Azure Storage Solutions:
- ✓ Tạo Azure Storage Account, Tạo containers, Uploading data, Access Control (IAM), Sử dụng Azure Storage explorer để tương tác với tài khoản lưu trữ.
- ✓ Tạo Azure Data Lake Gen2, Tạo containers, Uploading data, Access Control (IAM), Sử dụng Azure Storage explorer để tương tác với tài khoản lưu trữ.
- ✓ Tạo Azure SQL Database, Pricing Tiers, Tạo Admin User, Tạo Tables, Loading Data và truy vấn cơ sở dữ liệu.
Azure HDInsight & Databricks:
- ✓ Tạo HDInsight Clusters, Tương tác với UI, Sử dụng Ambari, Tạo Hive tables, Invoking HDInsight activities từ Azure Data Factory.
- ✓ Tạo Azure Databricks Workspace, Tạo Databricks clusters, Mounting storage accounts, Tạo Databricks notebooks, thực hiện chuyển đổi bằng Databricks notebooks, Invoking Databricks notebooks từ Azure Data Factory.
Azure Devops (CI/CD):
- ✓ Tạo Azure Devops Environment và định cấu hình Azure Devops Git Repository.
- ✓ Quy trình CI/CD để phát hành các tạo phẩm của Azure Data Factory lên môi trường cao hơn.
- ✓ Tạo build và release pipelines trong Azure Devops để phát hành code lên các môi trường cao hơn (Test/Prod).
- ✓ Configuring/ Parameterise CI/CD pipelines để release ADF pipelines truy cập Azure Data Lake Storage.
Mục lục:
- ✓ 01. Giới thiệu.
- ✓ 02 - Tổng quan.
- ✓ 03 - Environment Setup.
- ✓ 04 - Data Ingestion từ Azure Blob.
- ✓ 05 - Data Ingestion từ HTTP.
- ✓ 06 - Data Flows - Cases & Deaths Data Transformation.
- ✓ 07 - Data Flows - Hospital Admissions Data Transformation.
- ✓ 08 - Chuẩn bị dữ liệu cho HDInsight & Data Bricks.
- ✓ 09 - HDInsight Activity.
- ✓ 10 - Data Bricks Activity.
- ✓ 11 - Copy Data sang Azure SQL.
- ✓ 12 - Making Pipelines Production Ready.
- ✓ 13 - Monitoring.
- ✓ 14 - Power BI Reports.
- ✓ 15 - Continuous Integration / Continuous Delivery (CI/CD).
- ✓ 16 - CI/CD Scenario - Data Lake Access.
- ✓ 17 - Kết luận.
Khóa học này dành cho ai:
- ✓ Sinh viên đại học đang tìm kiếm một nghề nghiệp trong Data Engineering.
- ✓ Các IT developer làm việc trong các lĩnh vực khác đang cố gắng chuyển sang Data Engineering.
- ✓ Data Engineer/ Data Warehouse Developer hiện đang làm việc trên các công nghệ tại chỗ hoặc các nền tảng đám mây khác như AWS hoặc GCP muốn tìm hiểu Công nghệ Azure.
- ✓ Data Architects đang tìm cách hiểu về Azure Data Engineering stack.
- ✓ Các nhà khoa học dữ liệu muốn mở rộng kiến thức của họ sang data engineering.
NHẬN GET EBOOK TRÊN AMAZON THEO YÊU CẦU