Chia Sẻ Khóa Học Build Một LLM Từ Đầu - Code Một GPT Trong PyTorch [Khóa 5023 A]
Tokenizer, attention, pretraining & fine-tuning: Build model theo phong cách ChatGPT của riêng bạn từng bước một, không cần dùng GPU.
Những gì bạn sẽ học:
- ✓ Build hoàn chỉnh một GPT model từ đầu bằng PyTorch và hiểu rõ từng dòng code.
- ✓ Biến text thành các token và embedding, đồng thời tự code self-attention và multi-head attention.
- ✓ Pretrain một mô hình ngôn ngữ, evaluate nó, kiểm soát text generation và load các GPT-2 weight thực tế.
- ✓ Fine-tune một LLM làm một spam classifier và instruction-following assistant, tích hợp thêm LoRA.
ChatGPT, Claude, Llama, Gemini: chúng ta sử dụng các large language model mỗi ngày, nhưng thực sự điều gì diễn ra bên trong chúng? Trong khóa học này, bạn không chỉ sử dụng một LLM mà còn tự build một mô hình, từng dòng code bằng PyTorch thuần túy, và nắm vững từng thành phần bên trong.
Ví dụ xuyên suốt khóa học là một Sherlock Holmes story. Đến cuối khóa học, code của chính bạn sẽ có thể:
- ✓ Pretrain một mô hình GPT nhỏ dựa trên story đó và generate text mang phong cách của Conan Doyle.
- ✓ Biến một mô hình GPT-2 đã được pretrain thành một spam filter cho tin nhắn văn bản.
- ✓ Fine-tune nó để tuân thủ các hướng dẫn, hoạt động giống như một trợ lý cá nhân thu nhỏ.
Khóa học gồm ba giai đoạn. Giai đoạn 1 xây dựng nền tảng: LLM là gì, biến text thành các token và embedding, coding self-attention và multi-head attention, lắp ráp thành một GPT model hoàn chỉnh. Giai đoạn 2 là Pretraining: training loop, evaluation, temperature & top-k sampling, cùng với loading các GPT-2 weight thực tế. Giai đoạn 3 là Fine-tuning: một text classifier và instruction fine-tuning với automatic evaluation.
Mỗi chương đều đi kèm với một animated video giải thích các ý tưởng thông qua các con số thực tế từ code thật, một notebook thực hành nơi bạn tự viết các hàm cốt lõi với các ô kiểm tra kết quả ngay lập tức để biết code của mình đúng hay sai, một quiz và một open challenge.
Hai phụ lục bao gồm phần ôn tập nhanh về PyTorch và parameter-efficient fine-tuning với LoRA. Hơn bốn mươi video bổ sung tùy chọn đi sâu hơn vào các chủ đề: byte pair encoding từ đầu, KV cache, grouped-query attention, mixture of experts, Llama, Qwen & Gemma architecture, DPO, và nhiều nội dung khác.
Bạn không cần dùng GPU: mọi notebook đều chạy mượt mà trên một chiếc laptop thông thường. Khóa học cũng không đòi hỏi toán học phức tạp; mọi công thức đều được minh họa bằng các con số cụ thể.
Mục lục:
- ✓ 1. Welcome.
- ✓ 2. Chương 1: Tìm hiểu về các Large Language Model.
- ✓ 3. Chương 2: Làm việc với Text Data.
- ✓ 4. Chapter 3: Coding các cơ chế Attention.
- ✓ 5. Chương 4: Triển khai một GPT Model từ đầu.
- ✓ 6. Chapter 5: Pretraining trên Unlabeled Data.
- ✓ 7. Chapter 6: Fine-tuning cho Classification.
- ✓ 8. Chapter 7: Fine-tuning cho Follow Instructions.
- ✓ 9. Phụ lục: Fine-tuning với LoRA.
Khóa học này dành cho:
- ✓ Python developer và học viên muốn hiểu sâu cách các mô hình kiểu ChatGPT thực sự hoạt động bên trong.
- ✓ Data scientist & ML engineer đang sử dụng LLM và muốn tự train & fine-tune mô hình của riêng mình.