Chia Sẻ Khóa Học Tìm Hiểu Cách Test Hoặc Evaluate Gen AI - RAG, Agentic AI [Thực Hành] [Khóa 5806 A]
Làm chủ LLM Evaluation: Tìm hiểu cách test RAG , Agentic AI bằng Ragas, DeepEval, LangSmith. Tìm hiểu cách test GenAI.
Những gì bạn sẽ học được:
- ✓ Tìm hiểu quy trình evaluating toàn diện các ứng dụng LLM. Tiêu chí chất lượng để lựa chọn phương pháp evaluation phù hợp, số liệu cho RAG, Agentic AI.
- ✓ Tìm hiểu về Evaluation RAG với RAGA framework. Hiểu về RAG và các component nào cần evaluate của RAG.
- ✓ Tìm hiểu cách evaluate RAG với context precision và recall metrics. Cách test ứng dụng RAG với Python và RAGA.
- ✓ Tìm hiểu cách test và evaluate ứng dụng RAG với Pytest. Tìm hiểu về API automation của ứng dụng RAG.
- ✓ Tìm hiểu cách test và evaluate ứng dụng Agentic AI bằng DeepEval. Automation testing Agentic AI bằng Pytest.
- ✓ Tìm hiểu cách theo dõi ứng dụng RAG bằng LangSmith. Tạo evaluation dataset bằng Python. Evaluate với Dataset bằng LangSmith.
Việc Evaluating các ứng dụng Large Language Model (LLM) rất quan trọng để đảm bảo độ tin cậy, độ chính xác và sự tin tưởng của người dùng, đặc biệt là khi các hệ thống này được tích hợp vào các giải pháp thực tế. Khóa học thực hành này sẽ hướng dẫn bạn qua toàn bộ vòng đời evaluation của các ứng dụng dựa trên LLM, đặc biệt tập trung vào Retrieval-Augmented Generation (RAG) & Agentic AI workflow.
Bạn sẽ bắt đầu bằng việc tìm hiểu quy trình evaluation cốt lõi, khám phá cách đo lường chất lượng qua các giai đoạn khác nhau của một RAG pipeline. Tìm hiểu sâu hơn về RAGA, evaluation framework do cộng đồng điều hành, và học cách tính toán các metric chính như context relevancy, faithfulness và hallucination rate bằng các công cụ nguồn mở.
Thông qua các lab thực hành, bạn sẽ tạo và tự động hóa các test với Pytest, evaluate các hệ thống multi-agent và triển khai các test bằng DeepEval. Bạn cũng sẽ theo dõi và gỡ lỗi các LLM workflow của mình với LangSmith, giúp bạn hiểu rõ từng component của RAG hoặc Agentic AI system.
Đến cuối khóa học, bạn sẽ biết cách tạo các evaluation dataset tùy chỉnh và validate các LLM output dựa trên phản hồi thực tế. Cho dù bạn là một developer, quality engineer hay một người đam mê AI, khóa học này sẽ trang bị cho bạn các công cụ và kỹ thuật thực tế cần thiết để xây dựng các ứng dụng LLM đáng tin cậy, sẵn sàng cho sản xuất.
Không yêu cầu kinh nghiệm trước đó về các evaluation framework, chỉ cần kiến thức Python cơ bản và sự tò mò muốn khám phá.
Đăng ký và tìm hiểu cách evaluate hoặc test ứng dụng Gen AI.
Mục lục:
- ✓ 1. Giới thiệu.
- ✓ 2. Lý thuyết - Quy trình Evaluation và RAG.
- ✓ 3. RAG Evaluation với RAGA Framework.
- ✓ 4. DeepEval.
- ✓ 5. Langsmith.
Khóa học này dành cho ai:
Người mới bắt đầu, Tester, Quality Engineer, SDET, Data Engineer, Data Scientist, Evaluator, Gen AI developer, Sinh viên, Researcher, Project manager.
NHẬN GET EBOOK TRÊN AMAZON THEO YÊU CẦU