https://blog.iamdev.cn/tags/Web-scraping/ Recent content in Web Scraping on 技术杂烩 Hugo zh-CN Sun, 14 Jul 2024 18:05:16 +0800 https://blog.iamdev.cn/post/2024/Crawlee__%E4%B8%80%E6%AC%BE%E5%BC%BA%E5%A4%A7%E6%98%93%E7%94%A8%E7%9A%84%E7%88%AC%E8%99%AB%E5%92%8C%E6%B5%8F%E8%A7%88%E5%99%A8%E8%87%AA%E5%8A%A8%E5%8C%96%E5%BA%93__/ Sun, 14 Jul 2024 18:05:16 +0800 https://blog.iamdev.cn/post/2024/Crawlee__%E4%B8%80%E6%AC%BE%E5%BC%BA%E5%A4%A7%E6%98%93%E7%94%A8%E7%9A%84%E7%88%AC%E8%99%AB%E5%92%8C%E6%B5%8F%E8%A7%88%E5%99%A8%E8%87%AA%E5%8A%A8%E5%8C%96%E5%BA%93__/ <h2 id="crawlee一款强大而易用的爬虫和浏览器自动化库">Crawlee：一款强大而易用的爬虫和浏览器自动化库</h2> <p><a href="https://github.com/apify/crawlee-python">https://github.com/apify/crawlee-python</a> 在当今数据驱动的时代，从网络上提取信息的需求越来越迫切。Crawlee 应运而生，作为一款功能强大的爬虫和浏览器自动化库，它能够帮助你快速构建可靠的爬虫，实现无缝的端到端爬取和抓取数据。🚀</p> <p><strong>Human-like Crawling：规避机器人检测</strong></p> <p>利用Crawlee，你的爬虫会展现出近乎人类般的行为模式，即使使用默认配置，也能轻松躲过现代机器人的反爬机制。</p> https://blog.iamdev.cn/post/2024/ScrapeGraphAI_%E7%94%A8%E4%B8%80%E5%8F%A5%E8%AF%9D%E6%90%9E%E5%AE%9A%E7%BD%91%E9%A1%B5%E7%88%AC%E5%8F%96__/ Fri, 12 Jul 2024 11:30:08 +0800 https://blog.iamdev.cn/post/2024/ScrapeGraphAI_%E7%94%A8%E4%B8%80%E5%8F%A5%E8%AF%9D%E6%90%9E%E5%AE%9A%E7%BD%91%E9%A1%B5%E7%88%AC%E5%8F%96__/ <h2 id="用一句话搞定网页爬取scrapegraphai-让你轻松实现">用一句话搞定网页爬取？ScrapeGraphAI 让你轻松实现！</h2> <p>今天给大家介绍一个神器——ScrapeGraphAI，它可以帮你轻松实现网页爬取！</p> <p><a href="https://github.com/ScrapeGraphAI/Scrapegraph-ai">https://github.com/ScrapeGraphAI/Scrapegraph-ai</a> 你是否曾经苦恼于手动编写爬取脚本，还要应对各种网页结构变化？ScrapeGraphAI 彻底解决了这些问题！它利用大型语言模型 (LLM) 和直接图谱逻辑，只需你一句话描述要提取的信息，它就能帮你完成！</p>