Ebook Thực Hành Deep Reinforcement Learning - Hướng Dẫn Thực Tế Và Dễ Làm Theo Về RL Từ Q-learning Và DQN Đến PPO Và RLHF [Ấn Bản Lần 3, Tháng 11/2024] [PDF, EPUB] [9261E]
Cuốn sách cung cấp những giải thích trực quan và hiểu biết sâu sắc về các khái niệm reinforcement learning (RL) phức tạp, bắt đầu từ những điều cơ bản của RL trên các môi trường và nhiệm vụ đơn giản cho đến các phương pháp hiện đại, tiên tiến
1. Các tính năng chính:
- ✓ Học với những lời giải thích ngắn gọn, các thư viện hiện đại và các ứng dụng đa dạng từ game đến stock trading và web navigation.
- ✓ Phát triển các deep RL model, cải thiện tính ổn định của chúng và giải quyết hiệu quả các môi trường phức tạp.
- ✓ Nội dung mới về RL từ human feedback (RLHF), MuZero và transformer.
2. Mô tả sách:
Hãy bắt đầu hành trình khám phá reinforcement learning (RL) và tự thưởng cho mình ấn bản thứ ba của cuốn sách Thực hành Deep Reinforcement Learning này. Cuốn sách này sẽ hướng dẫn bạn từ những kiến thức cơ bản về RL đến các khái niệm nâng cao hơn với sự trợ giúp của nhiều ứng dụng khác nhau, bao gồm game playing, discrete optimization, stock trading và web browser navigation. Bằng cách dẫn dắt bạn qua các research paper tiêu biểu trong lĩnh vực này, cuốn sách Deep Reinforcement Learning này sẽ trang bị cho bạn kiến thức thực tế về RL và nền tảng lý thuyết để hiểu và triển khai hầu hết các RL paper hiện đại.
Cuốn sách vẫn giữ nguyên phương pháp cung cấp những giải thích ngắn gọn và dễ hiểu từ các phiên bản trước. Bạn sẽ được làm quen với các ví dụ thực tế và đa dạng, từ các grid environment và game đến stock trading và các RL agent trong môi trường web, để có được hiểu biết toàn diện về RL, các khả năng và các trường hợp sử dụng của nó. Bạn sẽ tìm hiểu về các chủ đề chính, chẳng hạn như deep Q-networks (DQN), các policy gradient method, bài toán điều khiển liên tục và các phương pháp non-gradient có khả năng mở rộng cao.
Nếu bạn muốn tìm hiểu về RL thông qua một phương pháp thực tế sử dụng OpenAI Gym và PyTorch, các giải thích ngắn gọn và sự phát triển dần dần của các chủ đề, thì Thực Hành Deep Reinforcement Learning", Phiên bản thứ ba, chính là người bạn đồng hành lý tưởng của bạn.
3. Bạn sẽ học được gì:
- ✓ Luôn đi đầu với nội dung mới về MuZero, RL với human feedback và LLM.
- ✓ Evaluate các RL method, bao gồm cross-entropy, DQN, actor-critic, TRPO, PPO, DDPG và D4PG.
- ✓ Triển khai các thuật toán RL bằng PyTorch và các thư viện RL hiện đại.
- ✓ Build và train deep các Q-network để giải quyết các nhiệm vụ phức tạp trong môi trường Atari.
- ✓ Tăng tốc các mô hình RL bằng cách sử dụng các phương pháp tiếp cận thuật toán và kỹ thuật.
- ✓ Tận dụng các kỹ thuật nâng cao như proximal policy optimization (PPO) để training ổn định hơn.
4. Cuốn sách này dành cho ai:
Cuốn sách này lý tưởng cho các machine learning engineer, software engineer và data scientist muốn tìm hiểu và ứng dụng deep reinforcement learning vào thực tế. Sách yêu cầu người đọc đã quen thuộc với Python, phép tính vi phân và các khái niệm machine learning. Với các ví dụ thực tế và tổng quan chuyên sâu, cuốn sách cũng phù hợp với các chuyên gia giàu kinh nghiệm muốn đào sâu hiểu biết về các phương pháp deep RL nâng cao và áp dụng chúng trong nhiều ngành, chẳng hạn như gaming và tài chính.
5. Mục lục:
- ✓ PHẦN I: GIỚI THIỆU VỀ RL:
- ✓ Chương 01. Reinforcement Learning là gì?
- ✓ Chương 02. OpenAI Gym API & Gymnasium.
- ✓ Chương 03. Deep Learning với PyTorch.
- ✓ Chương 04. Cross-Entropy Method.
- ✓ PHẦN II: VALUE-BASED METHOD:
- ✓ Chương 05. Tabular Learning & Bellman Equation.
- ✓ Chương 06. Deep Q-Networks.
- ✓ Chương 07. Các thư viện Higher-Level RL.
- ✓ Chương 08. DQN Extension.
- ✓ Chương 09. Các cách để tăng tốc RL.
- ✓ Chương 10. Stocks Trading sử dụng RL.
- ✓ PHẦN III: POLICY-BASED METHOD:
- ✓ Chương 11. Policy Gradients.
- ✓ Chương 12. Actor-Critic Method - A2C & A3C.
- ✓ Chương 13. TextWorld Environment.
- ✓ Chương 14. Web Navigation.
- ✓ PHẦN IV: RL NÂNG CAO:
- ✓ Chương 15. Continuous Action Space.
- ✓ Chương 16. Trust Region Methods.
- ✓ Chương 17. Black-Box Optimization trong RL.
- ✓ Chương 18. Exploration nâng cao.
- ✓ Chương 19. Reinforcement Learning với Human Feedback.
- ✓ Chương 20. AlphaGo Zero & MuZero
- ✓ Chương 21. RL trong Discrete Optimization.
- ✓ Chương 22. Multi-Agent RL.