Chia Sẻ Khóa Học Test AI & LLM App Với DeepEval, RAGA, v.v Sử Dụng Ollama [Khóa 6085 A]
Lộ trình trở thành AI QA Engineer để test các LLM và Ứng dụng AI bằng DeepEval, RAGA và HF Evaluate với các Local LLM.
Những gì bạn sẽ học được:
- ✓ Hiểu mục đích của việc Testing LLM và ứng dụng dựa trên LLM.
- ✓ Hiểu rõ về DeepEval và RAGA từ đầu đến cuối.
- ✓ Hiểu các metric và evaluation khác nhau để evaluate các LLM và ứng dụng dựa trên LLM bằng DeepEval và RAGA.
- ✓ Hiểu các khái niệm nâng cao về DeepEval và RAGA.
- ✓ Testing ứng dụng dựa trên RAG bằng DeepEval và RAGA.
- ✓ Testing AI Agents bằng DeepEval để hiểu cách các tool calling có thể được test.
Testing AI & LLM App với DeepEval, RAGA và nhiều ứng dụng khác bằng Ollama và Local Large Language Models (LLM).
Làm chủ các kỹ năng thiết yếu để testing và evaluating các ứng dụng AI, đặc biệt là Large Language Models (LLM). Khóa học thực hành này trang bị cho các QA, AI QA, Developer, data scientist và AI practitioner các kỹ thuật tiên tiến để đánh giá hiệu suất AI, xác định các bias và đảm bảo phát triển ứng dụng mạnh mẽ.
Các chủ đề được đề cập:
- ✓ Phần 1: Nền tảng của AI Application Testing (Giới thiệu về LLM testing, các loại ứng dụng AI, evaluation metric, LLM evaluation library).
- ✓ Phần 2: Local LLM Deployment với Ollama (Local LLM deployment, AI models, chạy LLM local, triển khai Ollama, GUI/CLI, thiết lập Ollama dưới dạng API).
- ✓ Phần 3: Thiết lập môi trường (Jupyter Notebook để test, thiết lập Confident AI).
- ✓ Phần 4: DeepEval Basic (Traditional LLM testing, code DeepEval đầu tiên cho AnswerRelevance, Context Precision, evaluating trong Confident AI, testing với local LLM, hiểu về LLMTestCases và Goldens).
- ✓ Phần 5: LLM Evaluation nâng cao (LangChain for LLM, evaluating Answer Relevancy, Context Precision, bias detection, custom criteria với GEval, bias testing nâng cao).
- ✓ Phần 6: RAG Testing với DeepEval (Giới thiệu về RAG, tìm hiểu về các ứng dụng RAG, demo, tạo GEval for RAG, testing conciseness & completeness).
- ✓ Phần 7: RAG Testing nâng cao với DeepEval (Tạo multiple test data, Goldens trong Confident AI, actual output & retrieval context, LLMTestCases từ dataset, chạy evaluation for RAG).
- ✓ Phần 8: Testing AI Agents & Tool Callings (Hiểu về AI Agents, làm việc với agents, testing agents có và không có actual system, testing với multiple dataset).
- ✓ Phần 9: Evaluating LLM bằng RAGAS (Giới thiệu về RAGAS, Context Recall, Noise Sensitivity, MultiTurnSample, general purpose metric cho summaries và harmfulness).
- ✓ Phần 10: Testing các ứng dụng RAG với RAGAS (Giới thiệu và setup, tạo retrievers & vector stores, MultiTurnSample dataset for RAG, evaluating RAG với RAGAS).
Mục lục:
- ✓ 01. Giới thiệu.
- ✓ 02. Chạy LLM local bằng Ollama.
- ✓ 03. Source code khóa học hoàn chỉnh.
- ✓ 04. Bước môi trường cần thiết để Testing/Evaluating các LLM App và LLM.
- ✓ 05. Hiểu cơ bản về DeepEval (Building Blocks).
- ✓ 06. Evaluating các Real LLM (Local) làm Source và tạo Dataset với LLM.
- ✓ 07. Testing RAG (Retrieval-Augmented Generation) Application sử dụng DeepEval.
- ✓ 08. Testing RAG Application với DeepEval (Nâng cao).
- ✓ 09. Testing AI Agents và Tool Callings với Local LLM và DeepEval.
- ✓ 10. Evaluating/Testing LLM sử dụng RAGA.
- ✓ 11. Testing các RAG Application với RAGA.
- ✓ 12. Functional Testing của Large Language Models (LLM) với HuggingFace & Python.
- ✓ 13. Evaluate LLM sử dụng HuggingFace Evaluate.
Khóa học này dành cho ai:
- ✓ QA Engineer.
- ✓ AI QA Test Engineer.
- ✓ Business Analyst.
- ✓ AI Engineer.
NHẬN GET EBOOK TRÊN AMAZON THEO YÊU CẦU