Chia Sẻ Khóa Học AI Cho Beginner - Reasoning Model [Khóa 5163 A]
Hiểu cách thức hoạt động thực sự của các Reasoning Model từ đầu với các bài học thực tế và thú vị. Bạn sẽ được khám phá hậu trường của một trong những đột phá lớn nhất trong lĩnh vực AI và tìm hiểu cách các reasoning model "tư duy", cách chúng được training với reinforcement learning và đi sâu vào các tập dữ liệu như PRM800K, và lý do tại sao các reasoning model có thể chứa đầy những bí mật!
Những điều bạn sẽ học:
- ✓ Các “Reasoning model” thực sự là gì (và không phải là gì).
- ✓ So sánh các phong cách reasoning giữa các mô hình.
- ✓ PRM800K dataset đã tạo nên bước đột phá này.
- ✓ Prompt & context engineering được xây dựng cho các reasoning model.
- ✓ Tầm quan trọng của Generator–Verifier Gap (GVG).
- ✓ Cách Reinforcement Learning + các Process Reward Model định hình reasoning.
- ✓ Đi sâu vào các AI research paper.
- ✓ Vì sao các reasoning model có thể đang đánh lừa bạn...!
Tại sao cần tìm hiểu về các Reasoning Model?
Các Reasoning Model là một trong những bước đột phá lớn nhất trong AI vì chúng cho phép các mô hình suy nghĩ thấu đáo mọi việc bằng cách sử dụng một "scratchpad", giới thiệu một cái gì đó tương tự như tư duy Hệ thống 2.
Các Reasoning Model thoạt nhìn có vẻ kỳ diệu… cho đến khi chúng không còn như vậy nữa. Khóa học này giúp bạn hiểu điều gì đang diễn ra bên trong, để bạn biết cách sử dụng chúng, tại sao chúng hoạt động và công nghệ này sẽ phát triển đến đâu.
Bạn sẽ bắt đầu với những kiến thức cơ bản, sau đó nhanh chóng chuyển sang hành vi của mô hình thực tế. Bạn sẽ rèn luyện kỹ năng và khám phá các reasoning model thông qua các bài tập thực hành thực tế.
Sau đó, bạn sẽ hiểu được cách các hệ thống này được training: reinforcement learning, RLHF, các process reward model, PRM800K dataset và tác động của quy luật mở rộng mới nhất đến tương lai của AI: test-time compute.
Bạn cũng sẽ khám phá phần khó hơn (nhưng có lẽ thú vị hơn): khi nào các reasoning model đánh lừa bạn và những bí mật mà chúng che giấu.
Nội dung khóa học:
- ✓ 1. Giới thiệu:
- + 1. Giới thiệu.
- + 2. Replay: Chain-of-Thought Prompting - Phần 1.
- + 3. Replay: Chain-of-Thought Prompting - Phần 2.
- + Tài liệu khóa học.
- ✓ 2. Bên trong các Reasoning Model:
- + 4. Giới thiệu về các Reasoning Model.
- + 5. First Contact với Reasoning.
- + 6. Secrets & Lies!
- + 7. Thiết lập Open Source Reasoning Model của chúng ta.
- + 8. Suy nghĩ thực sự của một Reasoning Model - Phần 1.
- + 9. Suy nghĩ thực sự của một Reasoning Model - Phần 2.
- + 10. Thinking Like LLM - Breaking The Chains.
- + 11. Các Reasoning Model giỏi trong việc gì? Generator-Verifier Gap).
- + 12. Bài tập: Determine GVG.
- + 13. Prompt Engineering cho các Reasoning Model.
- + 14. Context Engineering.
- + 15. Thinking Like LLM: Cats Are...Confusing? - Phần 1.
- + 16. Thinking Like LLM: Cats Are...Confusing? - Phần 2.
- + 17. Reinforcement Learning - Problem.
- + 18. Reinforcement Learning - Cách nó hoạt động.
- + 19. RL Environments (Soccer).
- + 20. RL Environments (Go).
- + 21. Reinforcement Learning from Human Feedback (RLHF).
- + 22. Reinforcement Learning cho các Reasoning Model - Hãy xác minh từng bước.
- + 23. Reinforcement Learning cho các Reasoning Model - Process Reward Model.
- + 24. Giới thiệu PRM800K.
- + 25. PRM800K chuyên sâu.
- + 26. Test-Time Compute.
- + 27. Các Reasoning Model có đang nói dối bạn? - Phần 1.
- + 28. Các Reasoning Model có đang nói dối bạn? - Phần 2.
- + 29. Các Reasoning Model có đang nói dối bạn? - Phần 3.
- + 30. Các Reasoning Model có đang nói dối bạn? - Phần 4.
- ✓ 3. Bước tiếp theo là gì?
- + 31. Hãy cùng nhau tiếp tục học tập!
NHẬN GET