Chia Sẻ Khóa Học Làm Chủ AI Stack Của Bạn Với Các Local Model [Khóa 5090 A]
Các local model hiện đủ tốt cho công việc coding hàng ngày, và việc tự chạy chúng có nghĩa là code của bạn được bảo mật và chi phí mỗi token là bằng không. Tìm hiểu cách các model family, format và quantization quyết định khả năng hoạt động tốt trên phần cứng của bạn. Cài đặt và vận hành LM Studio để cung cấp các open-source model cho VS Code và các terminal agent, với remote access từ bất kỳ thiết bị nào. Setup môi trường AI coding của riêng bạn mà không nhà cung cấp nào có thể rate-limit, reprice, or switch off!
Điều kiện tiên quyết: Có kiến thức cơ bản về agentic AI coding và có quyền truy cập vào một máy tính có khả năng chạy các local AI model, chẳng hạn như một Apple Silicon Mac hay một PC có card đồ họa rời.
Mục lục:
- ✓ 1. Giới thiệu.
- ✓ 2. Cách các LLM chạy trên phần cứng:
- + Setup LM Studio.
- + Tại sao nên sử dụng Local AI.
- + Model là gì
- + Token & Context.
- + Temperature, Top K & Seed.
- + Cách các LLM chạy trên phần cứng
- ✓ 3. Các Model Type by Task:
- + Model Family & Finding Model.
- + Download một Model Exercise.
- + Reasoning, Vision & Tool Calling.
- + MOE & Cấu hình các Model đang chạy.
- + Multi-Token Prediction.
- ✓ 4. Hardware & Quantization:
- + Model Format & Runtime.
- + Hiểu về Quantization.
- + Finding một Model Exercise.
- + Tối ưu hóa việc sử dụng bộ nhớ.
- + Cấu hình Model cho Coding.
- + Đo lường Local Inference.
- ✓ 5. Developer Tool Integration:
- + Cấu hình một Local Server.
- + Setup các Agentic Coding Tool.
- + Kết nối Pi
- ✓ 6. Cấu hình Remote Access:
- + Setup LM Link.
- + Remote Access với Tailscale.
- + Chạy các Model trên Cloud.
- ✓ 7. Tổng kết.