Chia Sẻ Khóa Học Web Scraping Với Python 2023 [Khóa 7480 A]
Tìm hiểu cách trích xuất dữ liệu từ web bằng Python chỉ với một khóa học, bao gồm selectolax, playwright, scrapy và hơn thế nữa.
Bạn sẽ học được gì:
- ✓ Hiểu các nền tảng của web scraping trong Python từ đầu.
- ✓ Cạo thông tin từ các website tĩnh và động và trích xuất nó sang nhiều định dạng khác nhau.
- ✓ Chặn và mô phỏng các API ẩn để xác định các lựa chọn thay thế hiệu quả cao để lấy dữ liệu của bạn.
- ✓ Làm chủ các requests library để làm việc với HTTP.
- ✓ Phân tích cú pháp và trích xuất nội dung từ HTML bằng cách sử dụng beautifulsoup, selectolax và Microsoft Playwright.
- ✓ Làm chủ các bộ chọn CSS phức tạp bao gồm descendant, child, sibling combinator.
- ✓ Hiểu cách thức hoạt động của web, bao gồm HTTP, HTML, CSS và JavaScript.
- ✓ Tạo các scrapy crawler và các practice item, itemloader và custom pipeline.
- ✓ Tích hợp scrapy với playwright để thu thập dữ liệu website động được tinh chỉnh, hiệu suất cao.
- ✓ Thực hành xử lý và trích xuất dữ liệu sang nhiều định dạng bao gồm csv, json, xml và SQL.
Chào mừng bạn đến với khóa học Web Scraping với Python, khóa học duy nhất bạn cần để đi từ một người mới bắt đầu hoàn toàn về Python đến một web scraper rất thành thạo.
Web scraping là quá trình trích xuất dữ liệu từ web theo chương trình. Các tác nhân thu thập dữ liệu truy cập vào một tài nguyên web, trích xuất nội dung từ đó, sau đó xử lý dữ liệu kết quả để phân tích một số thông tin cụ thể mà bạn quan tâm.
Scraping là loại kỹ năng lập trình cung cấp phản hồi ngay lập tức và có thể được sử dụng để tự động hóa nhiều tác vụ thu thập và xử lý dữ liệu.
Trong hơn 17 giờ tới, chúng tôi sẽ trình bày một cách có phương pháp mọi thứ bạn cần biết để viết các web scraping agent trong Python.
Khóa học này được tổ chức thành ba phần với độ khó tăng dần được thiết kế để giúp bạn dần dần xây dựng kỹ năng của mình.
Phần I - Bắt đầu:
Chúng ta sẽ bắt đầu tìm hiểu cách thức hoạt động của web bằng cách xem xét kỹ hơn HTTP, giao thức giao tiếp lớp ứng dụng chính của web hiện đại. Tiếp theo, chúng ta sẽ khám phá HTML, CSS và JavaScript từ các nguyên tắc đầu tiên để hiểu sâu hơn về cách website được xây dựng. Cuối cùng, chúng ta sẽ tìm hiểu cách sử dụng Python để gửi các HTTP request và phân tích cú pháp HTML, CSS và JavaScript thu được để trích xuất dữ liệu chúng ta cần. Mục tiêu của chúng tôi trong phần đầu tiên của khóa học là xây dựng một nền tảng vững chắc trong cả web scraping và Python, đồng thời đưa những kỹ năng đó vào thực hành bằng cách xây dựng các chức năng web scraper từ đầu. Các chủ đề được chọn bao gồm:
- ✓ Tổng quan chi tiết về chu trình request-response.
- ✓ Tìm hiểu user-agents, HTTP verbs, headers và statuses.
- ✓ Hiểu lý do tại sao custom header thường có thể được sử dụng để bypass paywalls.
- ✓ Nắm vững requests library để làm việc với HTTP trong Python.
- ✓ Stateless nghĩa là gì và cookies hoạt động như thế nào.
- ✓ Khám phá vai trò của proxy trong kiến trúc web hiện đại.
- ✓ Làm chủ beautifulsoup để phân tích cú pháp và trích xuất dữ liệu.
Phần II - Refine:
Trong phần thứ hai của khóa học, chúng tôi sẽ xây dựng trên nền tảng mà chúng tôi đã đặt ra để khám phá các chủ đề nâng cao hơn trong web scraping. Chúng ta sẽ tìm hiểu cách scrape các website động sử dụng JavaScript để render nội dung của chúng bằng cách thiết lập Microsoft Playwright làm một headless browser để tự động hóa quy trình này. Chúng ta cũng sẽ tìm hiểu cách xác định và mô phỏng lệnh gọi API để scrape data từ các website không có API công khai chính thức. Các dự án của chúng tôi trong phần này sẽ bao gồm một image scraper có thể tải xuống một số hình ảnh có độ phân giải cao được cung cấp một số từ khóa, cũng như một scraping agent khác trích xuất giá và nội dung của các trò chơi điện tử giảm giá từ một website được hiển thị động. Các chủ đề bao gồm:
- ✓ Xác định và sử dụng các API ẩn và hiểu những lợi ích mà chúng mang lại.
- ✓ Mô phỏng header, cookies và nội dung body một cách dễ dàng.
- ✓ Tự động gen code Python từ các API request bị chặn bằng cách sử dụng postman và httpie.
- ✓ Làm việc với thư viện phân tích cú pháp selectolax hiệu suất cao.
- ✓ Thành thạo CSS selector.
- ✓ Giới thiệu Microsoft Playwright cho headless browsing và dynamic rendering.
Phần III - Master:
Trong phần cuối cùng của khóa học, chúng tôi sẽ giới thiệu về scrapy. Điều này sẽ cung cấp cho chúng tôi một framework tuyệt vời, đã được thử nghiệm qua thời gian để xây dựng các web scraper phức tạp và mạnh mẽ hơn. Chúng ta sẽ tìm hiểu cách thiết lập scrapy trong môi trường ảo và cách tạo spiders và pipelines để trích xuất dữ liệu từ các website ở nhiều định dạng khác nhau. Sau khi đã học cách sử dụng scrapy, chúng ta sẽ khám phá cách tích hợp nó với Playwright để giải quyết thách thức của scraping các website động ngay trong scrapy. Chúng tôi sẽ kết thúc phần này bằng cách xây dựng một scraping agent để thực thi mã JavaScript tùy chỉnh trước khi trả lại HTML kết quả thành scrapy. Một số chủ đề từ phần này:
- ✓ Tìm hiểu cách thiết lập scrapy và khám phá giao diện dòng lệnh của nó ("scrapy tool").
- ✓ Tự động khám phá các response object bằng cách sử dụng scrapy shell.
- ✓ Hiểu và xác định item schemas và load data bằng itemloader và input/output processor.
- ✓ Tích hợp Playwright vào scrapy để giải quyết các trang web JavaScript được hiển thị động.
- ✓ Viết PageMethods để chỉ định các hướng dẫn cụ thể cao cho headless browser từ ngay trong scrapy.
- ✓ Xác định các đường dẫn tùy chỉnh để lưu vào cơ sở dữ liệu SQL và các định dạng đầu ra được tùy chỉnh cao.
Trong chương trình đào tạo này, tôi sẽ hướng dẫn bạn từng bước thông qua các bài giảng video hấp dẫn và dạy cho bạn mọi thứ bạn cần biết để bắt đầu web scraping trong Python.
Khi kết thúc khóa học này, bạn sẽ có một bộ công cụ hoàn chỉnh để lên ý tưởng và triển khai các scraping agent cho bất kỳ trang web nào mà bạn có thể tưởng tượng.
Hẹn gặp bạn bên trong!
Mục lục:
- ✓ 01. Giới thiệu.
- ✓ 02. HTTP Protocol.
- ✓ 03. HTML, CSS, và JavaScript.
- ✓ 04. Web Requests trong Python.
- ✓ 05. Parsing và Extraction.
- ✓ 06. Project 1 - Portfolio Valuation với Google Finance.
- ✓ 07. API: Hidden Gems.
- ✓ 08. Selectolax và CSS Selectors nâng cao.
- ✓ 09. Project 2 - Image Scraper.
- ✓ 10. Tackling JavaScript với Microsoft PlayWright.
- ✓ 11. Project 3 - Xây dựng một Configurable Scraping Pipeline.
- ✓ 12. Scrapy Framework.
- ✓ 13. Boosting Scrapy với scrapy-playwright.
- ✓ 14. Project 4 - Scraping Dynamic Sites với Scrapy và PlayWright.
- ✓ 15. Closing Thoughts.
- ✓ 16. Phụ lục - Python Fundamentals.
Khóa học này dành cho ai:
- ✓ Bất kỳ ai muốn tìm hiểu cách thu thập dữ liệu từ web theo chương trình.
- ✓ Học viên có hoặc không có kinh nghiệm web scraping đang tìm cách tăng cấp.
- ✓ Người mới bắt đầu hoàn toàn không có kinh nghiệm.
NHẬN GET EBOOK TRÊN AMAZON THEO YÊU CẦU
Chia sẽ bài viết lên:
Nhà Sách Tin Học
Chào mừng các bạn đến với Blog Nhà Sách Tin Học. Thông qua Blog này mình muốn chia sẻ đến các bạn những kiến thức về tin học, các tài liệu hay giáo trình mà mình có hoặc siêu tầm được... Mình rất mong được sự ủng hộ nhiệt tình của các bạn bằng cách comment bài viết, chia sẻ bài viết hoặc liên hệ với mình qua blog này! Mình xin cảm ơn!
No Comment to " Chia Sẻ Khóa Học Web Scraping Với Python 2023 [Khóa 7480 A] "