https://blog.phpha.com/tag/gocolly/Recent content in Gocolly on PHPHAHugozhMon, 02 Sep 2019 00:00:00 +0000https://blog.phpha.com/archives/140/Mon, 02 Sep 2019 00:00:00 +0000https://blog.phpha.com/archives/140/<p>使用 <code>Golang</code> 的爬虫工具 <code>Gocolly</code> 抓取贝壳的出租房源信息。由于公司项目之一是长租公寓 <code>SaaS</code> 管理系统，需要为公寓的老板或管家们提供当地的租房价格参考。出于对 <code>Golang</code> 学习的目的，没有采用 <code>Python</code> 那些成熟的爬虫框架，而是采用了 <code>Gocolly</code>，抓取的数据存储在 <code>MongoDB</code>。</p>https://blog.phpha.com/archives/122/Tue, 23 Oct 2018 00:00:00 +0000https://blog.phpha.com/archives/122/<p>因项目需要，要对网络上某些信息进行抓取，以便加工后做数据分析。提到爬虫框架，知名度最高的当属基于<code>Python</code>的爬虫框架 <code>Scrapy</code>。但是由于本人对 <code>Python</code> 并不熟悉，并且暂时也不准备去深入学习，因此不在考虑范围。同时也是基于学习的目的，因此选择了 <code>Golang</code> 方向。基于 <code>Golang</code> 的成熟爬虫框架其实并不多，因此在选择上不用太纠结，就用 <code>Go-Colly</code> 了。</p>