Golang 操作 MongoDB 数据库
本文基于 Golang
的爬虫框架 Go-Colly
进行数据抓取,然后存储到 MongoDB
数据库。根据搜索结果,相对来说最成熟的 MongoDB
驱动,应该是 mgo
,但是目前 mgo
的作者已经停止维护。另外 MongoDB
官方也已经有对应 Golang
的驱动 mongo-go-driver
,但是 Google
上相关的资料并不多。
本文基于 Golang
的爬虫框架 Go-Colly
进行数据抓取,然后存储到 MongoDB
数据库。根据搜索结果,相对来说最成熟的 MongoDB
驱动,应该是 mgo
,但是目前 mgo
的作者已经停止维护。另外 MongoDB
官方也已经有对应 Golang
的驱动 mongo-go-driver
,但是 Google
上相关的资料并不多。
因项目需要,要对网络上某些信息进行抓取,以便加工后做数据分析。提到爬虫框架,知名度最高的当属基于Python
的爬虫框架 Scrapy
。但是由于本人对 Python
并不熟悉,并且暂时也不准备去深入学习,因此不在考虑范围。同时也是基于学习的目的,因此选择了 Golang
方向。基于 Golang
的成熟爬虫框架其实并不多,因此在选择上不用太纠结,就用 Go-Colly
了。