Chia Sẻ Khóa Học Thực Hành Về Message Streaming Với Apache Kafka [Khóa 5134 A]
Hướng dẫn thực hành về Apache Kafka với topic, partition, producer, consumer & consumer group.
Những điều bạn sẽ học:
- ✓ Hiểu rõ Apache Kafka là gì và khi nào nên sử dụng nó.
- ✓ Setup và vận hành một Kafka broker hiện đại dựa trên KRaft ở local bằng Docker.
- ✓ Tạo và cấu hình Kafka topic & partition.
- ✓ Build các producer để gửi tin nhắn đến các Kafka topic.
- ✓ Build các consumer để xử lý tin nhắn từ các Kafka topic.
- ✓ Hiểu rõ consumer group và cách mở rộng quy mô xử lý tin nhắn.
- ✓ Làm việc với các consumer group và hiểu rõ về ordering guarantees.
Khóa học thực hành này cung cấp phần giới thiệu thực tế về Apache Kafka, một trong những nền tảng distributed event streaming được sử dụng rộng rãi nhất để xây dựng các real-time data pipeline và các event-driven application.
Nếu bạn từng muốn hiểu cách các hệ thống hiện đại xử lý luồng sự kiện, giao tiếp bất đồng bộ ở quy mô lớn hoặc di chuyển lượng lớn dữ liệu giữa các ứng dụng trong thời gian thực, thì khóa học này dành cho bạn.
Chúng tôi tập trung vào việc học bằng cách thực hành. Không có những bài giảng lý thuyết nặng nề hay sự phức tạp không cần thiết. Thay vào đó, bạn sẽ làm việc trực tiếp với một Kafka cluster thực và xây dựng các ví dụ thực tế về message streaming ngay từ đầu.
Chúng ta sẽ bắt đầu bằng việc tìm hiểu Apache Kafka là gì, nó khác với các hàng đợi tin nhắn truyền thống như thế nào và khi nào thì event streaming có ý nghĩa đối với các ứng dụng hiện đại.
Sau đó chúng ta sẽ bắt tay vào thực hành ngay.
Chúng ta sẽ setup một Kafka broker hiện đại dựa trên KRaft ở local bằng Docker và khám phá các building block của Kafka, bao gồm broker, topic, partition, producer, consumer và consumer group.
Trong suốt khóa học, bạn sẽ học cách làm việc với:
- ✓ Apache Kafka.
- ✓ Kafka broker & cluster.
- ✓ Topic & partition.
- ✓ Producer & consumer.
- ✓ Consumer group.
- ✓ Message key & ordering.
- ✓ Các chiến lược Partitioning.
- ✓ Offset management.
- ✓ Message replication & Fault tolerance.
- ✓ Consumer lag.
- ✓ Kafka command-line tool.
- ✓ Node.js & TypeScript Kafka client.
- ✓ Monitoring & Troubleshooting.
Trước tiên, bạn sẽ tạo và consume message bằng các command-line tool của Kafka trước khi chuyển sang code ứng dụng thực tế với Node.js và TypeScript.
Chúng ta sẽ build các producer để publish các event lên các Kafka topic & consumer để xử lý các event đó trong thời gian thực. Bạn sẽ thấy cách các partition cho phép các Kafka workload scale và cách các consumer group phân phối công việc giữa nhiều application instance.
Bạn cũng sẽ tìm hiểu về message key và ordering guarantees, hiểu cách Kafka theo dõi tiến trình của consumer bằng cách sử dụng các offset, và học cách consumer lag có thể giúp bạn xác định các ứng dụng đang gặp khó khăn trong việc xử lý các event đến.
Mặc dù các ví dụ ứng dụng sử dụng Node.js và TypeScript, bản thân Kafka không phụ thuộc vào ngôn ngữ lập trình, và các khái niệm được đề cập trong suốt khóa học có thể áp dụng trực tiếp cho Java, Python, Go, .NET và các thư viện Kafka client khác.
Mọi thứ đều được giải thích thông qua các ví dụ thực tế được thiết kế để giúp bạn hiểu không chỉ cách sử dụng Kafka, mà còn cả cách các khái niệm cốt lõi của nó hoạt động cùng nhau khi xây dựng các event-driven system có khả năng mở rộng.
Sau khi hoàn thành khóa học này, bạn sẽ tự tin tạo được các Kafka topic, produce & consume event, làm việc với các partition và consumer group, quản lý các offset, và hiểu cách thiết kế các giải pháp dựa trên Kafka cho các ứng dụng thực tế.
Khóa học này rất phù hợp nếu bạn là:
- ✓ Một nhà phát triển đang xây dựng các event-driven application.
- ✓ Một kỹ sư backend đang làm việc với các hệ thống phân tán và kiến trúc microservices.
- ✓ Một DevOps hoặc cloud engineer đang làm việc với messaging infrastructure.
- ✓ Một software engineer đang khám phá real-time data processing.
- ✓ Bất cứ ai quan tâm đến việc học Apache Kafka từ đầu.
Kiến thức cơ bản về JavaScript hoặc TypeScript và quen thuộc với Docker là hữu ích, nhưng không yêu cầu kinh nghiệm sử dụng Apache Kafka trước đó.
Nếu bạn muốn có một khóa học giới thiệu rõ ràng, dễ hiểu và thực hành về message streaming với Apache Kafka, thì đây là khóa học dành cho bạn.
Mục lục:
- ✓ 1. Welcome & Setup:
- + Welcome!
- + Kafka là gì & Tại sao nên sử dụng nó.
- + Setup.
- ✓ 2. Kafka:
- + Chạy Kafka.
- + Topic đầu tiên.
- + Architecture.
- + Console Producer.
- + Console Consumer.
- + Setup Project.
- + Producer.
- + Messages với Keys.
- + Error Handling.
- + Consumer.
- + Consumer Group.
- + Offset, Ordering, Monitoring.
- + Good Practices.
- ✓ 3. Kết thúc:
- + Tổng kết & Cảm ơn!
- + Bài học bổ sung.
Khóa học này dành cho:
- ✓ Các nhà phát triển muốn tìm hiểu về Apache Kafka và real-time data streaming.
- ✓ Các kỹ sư backend đang xây dựng các event-driven architecture.
- ✓ Các chuyên gia DevOps đang quản lý các hệ thống phân tán.
- ✓ Bất cứ ai tò mò về cách các công ty xử lý hàng triệu tin nhắn mỗi giây.