Tin mới nhất

Menu

Browsing "Older Posts"

Chia Sẻ Khóa Học Apache Spark Và Databricks - Stream Processing Trong Lakehouse [Update Tháng 10-2023] [Khóa 6972 A]

31 tháng 10 2023 / No Comments

Làm chủ Stream processing sử dụng Apache Spark (PySpark) và Azure Databricks (Azure) với một Capstone Project từ đầu đến cuối.

Bạn sẽ học được gì:

  • ✓ Các khái niệm về Real-time Stream Processing.
  • ✓ Spark Structured Streaming API và Architecture.
  • ✓ Làm việc với Streaming Sources và Sinks.
  • ✓ Kafka for Data Engineer.
  • ✓ Làm việc với Kafka Source và tích hợp Spark với Kafka.
  • ✓ State-less và State-full Streaming Transformation.
  • ✓ Windowing Aggregates sử dụng Spark Stream.
  • ✓ Watermarking và State Cleanup.
  • ✓ Streaming Joins và Aggregation.
  • ✓ Handling Memory Problems với Streaming Joins.
  • ✓ Làm việc với Azure Databricks.
  • ✓ Capstone Project - Ứng dụng streaming trong Lakehouse.

Giới thiệu về khóa học:

Khóa học Apache Spark và Databricks - Stream Processing trong Lakehouse bằng Ngôn ngữ Python và PySpark API. Khóa học này sẽ giúp bạn hiểu về Real-time Stream processing bằng cách sử dụng Apache Spark và Databricks Cloud, đồng thời áp dụng kiến ​​thức đó để xây dựng các giải pháp real-time stream processing. Khóa học này dựa trên ví dụ và tuân theo cách tiếp cận giống như phiên làm việc. Chúng tôi sẽ thực hiện phương pháp live coding và giải thích tất cả các khái niệm cần thiết.

Capstone Project:

Khóa học này cũng bao gồm một Capstone project End-To-End. Dự án sẽ giúp bạn hiểu cách tiếp cận thiết kế, coding, triển khai, thử nghiệm và CI/CD của dự án thực tế.

Ai nên tham gia khóa học này?

Tôi đã thiết kế khóa học này cho các kỹ sư phần mềm sẵn sàng phát triển một Real-time Stream Processing Pipeline và ứng dụng bằng cách sử dụng Apache Spark. Tôi cũng tạo khóa học này cho các data architect và data engineer, những người chịu trách nhiệm thiết kế và xây dựng cơ sở hạ tầng lấy dữ liệu làm trung tâm của tổ chức. Một nhóm người khác là các manager và architect không trực tiếp làm việc triển khai Spark. Tuy nhiên, họ vẫn làm việc với những người triển khai Apache Spark ở cấp độ cơ bản.

Phiên bản Spark được sử dụng trong Khóa học:

Khóa học này sử dụng Apache Spark 3.5 . Tôi đã test tất cả source code và ví dụ được sử dụng trong khóa học này trên Azure Databricks Cloud bằng cách sử dụng Databricks Runtime 14.1 .

Mục lục:

  • ✓ 01 - Trước khi bạn bắt đầu.
  • ✓ 02 - Thiết lập môi trường của bạn.
  • ✓ 03 - Bắt đầu với Spark Streaming.
  • ✓ 04 - Kafka for Data Engineer.
  • ✓ 05 - Làm việc với Databricks Platform.
  • ✓ 06 - Capstone Project - Triển khai Real-time Project trong Lakehouse.
  • ✓ 07 - Lời cuối cùng.
  • ✓ 08 - Lưu trữ - Nội dung khóa học cũ.

Khóa học này dành cho ai:

  • ✓ Software Engineer và Architect sẵn sàng thiết kế và phát triển Bigdata Engineering Project bằng cách sử dụng Apache Spark và Databricks Cloud.
  • ✓ Các lập trình viên và nhà phát triển đang mong muốn phát triển và học hỏi Data Engineering bằng cách sử dụng Apache Spark và Databricks Cloud.


NHẬN GET EBOOK TRÊN AMAZON THEO YÊU CẦU




Copyright Disclaimer:
This site does not store any files on its server. We only index and link to content provided by other sites. Please contact the content providers to delete copyright contents if any and email us, we'll remove relevant links or contents immediately.
Tuyên bố miễn trừ bản quyền:
Trang web này không lưu trữ bất kỳ tệp nào trên máy chủ của nó. Chúng tôi chỉ lập chỉ mục và liên kết đến nội dung được cung cấp bởi các trang web khác. Vui lòng liên hệ với các nhà cung cấp nội dung để xóa nội dung bản quyền nếu có và gửi email cho chúng tôi, chúng tôi sẽ xóa các liên kết hoặc nội dung có liên quan ngay lập tức.