Chia Sẻ Khóa Học AI Engineering - Tùy Chỉnh Các LLM Cho Doanh Nghiệp (Fine-Tuning Các LLM Với QLoRA & AWS) [Khóa 5591 A]
Làm chủ kỹ năng AI đang được các doanh nghiệp săn đón: build và deploy các LLM tùy chỉnh. Học cách fine-tune các open-source LLM trên dữ liệu độc quyền và deploy các mô hình LLM tùy chỉnh của bạn bằng AWS SageMaker và Streamlit.
Những gì bạn sẽ học được:
- ✓ Fine-tune các open-source LLM cho mục đích kinh doanh tùy chỉnh.
- ✓ Deploy và scale các model cho mục đích doanh nghiệp bằng AWS SageMaker và Streamlit.
- ✓ Hiểu và triển khai QLoRA từ lý thuyết đến code.
- ✓ Học cách preprocess các tập dữ liệu độc quyền với chunking, tokenization và attention masking.
- ✓ Monitor training & performance để đảm bảo kết quả kinh doanh tối ưu.
- ✓ Quản lý cloud resource và tối ưu hóa chi phí.
- ✓ Áp dụng các kỹ thuật AI engineering nâng cao bao gồm quantization, v.v.
Đây không chỉ là một khóa học "nhập môn AI" đơn thuần. Nó là một khóa học đào sâu vào những kỹ năng thực tế giúp các AI Engineer trở nên khác biệt.
Bạn sẽ học cách tinh chỉnh các mô hình ngôn ngữ lớn nguồn mở trên dữ liệu tùy chỉnh, dạy cho bạn các kỹ năng cần thiết để làm điều tương tự với dữ liệu độc quyền hoặc riêng tư của doanh nghiệp.
Ngoài ra, bạn sẽ thực hiện fine-tuning bằng QLoRA - một kỹ thuật đột phá giúp cắt giảm đáng kể việc sử dụng tài nguyên.
Nhưng bạn sẽ không dừng lại ở đó. Các doanh nghiệp cần nhiều hơn từ các LLM của họ. Họ đòi hỏi nhiều hơn thế.
Bạn sẽ deploy các LLM tùy chỉnh của riêng mình bằng các công cụ AWS như SageMaker, Lambda và API Gateway, cũng như Streamlit để tạo giao diện người dùng dễ sử dụng cho nhân viên hoặc khách hàng của doanh nghiệp.
Trên đường đi, bạn sẽ nắm vững các khái niệm như bfloat16 training, dataset chunking, attention masks, Estimator API của HuggingFace và nhiều hơn nữa.
Từ lý thuyết đến coding thực hành, khóa học này cung cấp cho bạn toàn bộ trải nghiệm về việc xây dựng AI thực sự sẵn sàng đưa vào sản xuất.
Khóa học này chuẩn bị cho tôi những nghề nghiệp nào?
AI và machine learning đang rất hot hiện nay. Nếu bạn muốn bắt kịp và tận dụng làn sóng AI, việc tùy chỉnh các LLM cho các trường hợp sử dụng trong kinh doanh là một khởi đầu tuyệt vời. Đây là một kỹ năng được sử dụng trong rất nhiều ngành nghề đang có nhu cầu cao, dẫn đầu trong lĩnh vực Trí tuệ Nhân tạo, bao gồm:
AI Engineer & Machine Learning Engineer: Tập trung vào thiết kế, phát triển và tùy chỉnh các mô hình machine learning và deploy chúng vào môi trường sản xuất. Yêu cầu kỹ năng model training, optimization và deployment.
AI Specialist: Chuyên xây dựng các ứng dụng sử dụng các công nghệ trí tuệ nhân tạo và mô hình machine learning.
Data Scientist: Liên quan đến việc phân tích và giải thích dữ liệu phức tạp để giúp các công ty đưa ra quyết định sáng suốt. Yêu cầu chuyên môn về data preparation, exploratory data analysis và model building.
AI Research Scientist: Tiến hành nghiên cứu để thúc đẩy lĩnh vực trí tuệ nhân tạo và machine learning. Yêu cầu hiểu biết sâu sắc về các khái niệm machine learning nâng cao, bao gồm attention mechanism và large language model.
Cloud Engineer: Tập trung vào thiết kế, lập kế hoạch, quản lý, bảo trì và hỗ trợ các ứng dụng điện toán đám mây. Yêu cầu kiến thức về AWS services và các best practice cho cloud deployment.
DevOps Engineer: Thu hẹp khoảng cách giữa phát triển và vận hành bằng cách tự động hóa quy trình phân phối phần mềm và thay đổi cơ sở hạ tầng. Cần có kỹ năng deploy và monitoring các machine learning model bằng các công cụ như AWS CloudWatch.
Software Engineer: Phát triển các ứng dụng phần mềm, bao gồm cả các ứng dụng được tích hợp các machine learning component. Yêu cầu hiểu biết về việc tích hợp các machine learning model vào ứng dụng và đảm bảo khả năng mở rộng cũng như hiệu suất của chúng.
Data Engineer: Tập trung vào việc xây dựng và duy trì các data pipeline, đảm bảo dữ liệu sạch, đáng tin cậy và sẵn sàng để phân tích. Yêu cầu kiến thức về các giải pháp lưu trữ dữ liệu như AWS S3 và các kỹ thuật data preparation.
Technical Product Manager: Quản lý việc phát triển và triển khai các sản phẩm công nghệ, bao gồm cả các sản phẩm liên quan đến machine learning. Yêu cầu hiểu biết về các khía cạnh kỹ thuật của machine learning deployment & monitoring.
Chương trình học:
- ✓ 01. Giới thiệu.
- ✓ 02. Thiết lập AWS Account.
- ✓ 03. Thiết lập AWS Sagemaker Environment.
- ✓ 04. Gathering, Chunking, Tokenizing & Uploading Dataset của chúng ta.
- ✓ 05. Hiểu về LoRA và thiết lập HuggingFace Estimator.
- ✓ 06. Cải thiện Training Speed với Bfloat 16.
- ✓ 07. Thiết lập QLoRA Training Script với Mixed Precision & Double Quantization.
- ✓ 08. Chạy Fine Tuning Script cho LLM của chúng ta.
- ✓ 09. Deploy Fine Tuned LLM của chúng ta.
- ✓ 10. Cleaning up Resources.
- ✓ 11. Làm gì tiếp theo đây?