Chia Sẻ Khóa Học Làm Chủ Big Data - Apache Spark - Hadoop - Sqoop - Hive - Flume - Mongo [Khóa 7206 A]
23 tháng 7 2023
/
No Comments
Khóa học chuyên sâu về Big Data - Apache Spark, Hadoop, Sqoop, Flume & Apache Hive, MongoDB & Big Data Cluster setup.
Bạn sẽ học được gì:
- ✓ Hadoop distributed File system and command. Lifecycle of sqoop command. Lệnh import Sqoop để di chuyển dữ liệu từ MySQL sang HDFS. Lệnh Sqoop import để di chuyển dữ liệu từ MySQL sang Hive. Làm việc với nhiều định dạng file, nén, phân tách file, mệnh đề where và truy vấn trong khi nhập dữ liệu. Hiểu các truy vấn split-by và boundary. Sử dụng incremental mode để di chuyển dữ liệu từ MySQL sang HDFS. Sử dụng sqoop export, di chuyển dữ liệu từ HDFS sang MySQL. Sử dụng sqoop export, di chuyển dữ liệu từ Hive sang MySQL. Hiểu kiến trúc Flume. Sử dụng flume, Nhập dữ liệu từ Twitter và lưu vào HDFS. Sử dụng flume, Nhập dữ liệu từ netcat và lưu vào HDFS. Sử dụng flume, Nhập dữ liệu từ exec và hiển thị trên console. Flume Interceptor.
Trong khóa học này, bạn sẽ bắt đầu bằng cách tìm hiểu hadoop distributed file system là gì và các lệnh hadoop phổ biến nhất cần có để hoạt động với Hadoop File system.
Sau đó, bạn sẽ được giới thiệu về Sqoop Import:
- ✓ Hiểu vòng đời của sqoop command.
- ✓ Sử dụng lệnh sqoop import để di chuyển dữ liệu từ Mysql sang HDFS.
- ✓ Sử dụng lệnh sqoop import để di chuyển dữ liệu từ Mysql sang Hive.
- ✓ Sử dụng các định dạng tệp khác nhau, nén, phân tách tệp, mệnh đề where và truy vấn trong khi import dữ liệu.
- ✓ Hiểu các truy vấn split-by và boundary.
- ✓ Sử dụng incremental mode để di chuyển dữ liệu từ Mysql sang HDFS.
Hơn nữa, bạn sẽ học Sqoop Export để di chuyển dữ liệu:
- ✓ Sqoop export là gì.
- ✓ Sử dụng sqoop export, di chuyển dữ liệu từ HDFS sang Mysql.
- ✓ Sử dụng sqoop export sqoop, di chuyển dữ liệu từ Hive sang Mysql.
Hơn nữa, bạn sẽ tìm hiểu về Apache Flume:
- ✓ Tìm hiểu Flume Architecture.
- ✓ Sử dụng flume, Nhập dữ liệu từ Twitter và lưu vào HDFS.
- ✓ Sử dụng flume, Nhập dữ liệu từ netcat và lưu vào HDFS.
- ✓ Sử dụng flume, Nhập dữ liệu từ exec và hiển thị trên console.
- ✓ Mô tả flume interceptors và xem các ví dụ về cách sử dụng interceptor.
- ✓ Flume multiple agents.
- ✓ Flume Consolidation.
Trong phần tiếp theo, chúng ta sẽ tìm hiểu về Apache Hive:
- ✓ Giới thiệu Hive.
- ✓ External & Managed Tables.
- ✓ Làm việc với các File khác nhau - Parquet, Avro.
- ✓ Compressions.
- ✓ Hive Analysis.
- ✓ Hive String Functions.
- ✓ Hive Date Functions.
- ✓ Partitioning.
- ✓ Bucketing.
Bạn sẽ tìm hiểu về Apache Spark:
- ✓ Giới thiệu Spark.
- ✓ Tổng quan về Cluster.
- ✓ RDD.
- ✓ DAG/Stages/Tasks.
- ✓ Actions & Transformations.
- ✓ Ví dụ về Transformation & Action.
- ✓ Spark Data frames.
- ✓ Spark Data frames - làm việc với File Formats & Compression khác.
- ✓ Dataframes API.
- ✓ Spark SQL.
- ✓ Ví dụ về Dataframe.
- ✓ Spark với Cassandra Integration.
- ✓ Chạy Spark trên Intellij IDE.
- ✓ Chạy Spark trên EMR.
Mục lục:
- ✓ 01 - Giới thiệu Big Data.
- ✓ 02 - Environment Setup.
- ✓ 03 - Hadoop & Yarn.
- ✓ 04 - Sqoop Import.
- ✓ 05 - Sqoop Export.
- ✓ 06 - Apache Flume.
- ✓ 07 - Apache Hive.
- ✓ 08 - Spark với Yarn & HDFS.
- ✓ 09 - GCS Cluster.
- ✓ 10 - Spark Internals.
- ✓ 11 - Spark RDD : Transformation & Actions.
- ✓ 12 - Spark RDD Practice.
- ✓ 13 - Spark Dataframes & Spark SQL.
- ✓ 14 - Sử dụng Intellij IDE.
- ✓ 15 - Chạy Spark trên EMR (AWS Cloud).
- ✓ 16 - Spark với Cassandra.
- ✓ 17 - Bắt đầu với MongoDB.
- ✓ 18 - CRUD Operations.
- ✓ 19 - Làm việc với Operators.
- ✓ 20 - MongoDB Compass.
- ✓ 21 - Mongo nâng cao.
- ✓ 22 - Spark với Mongo.
Khóa học này dành cho ai:
- Ai muốn tìm hiểu big data một cách chi tiết.
NHẬN GET EBOOK TRÊN AMAZON THEO YÊU CẦU