基于 Golang 的网络爬虫 Gocolly
因项目需要,要对网络上某些信息进行抓取,以便加工后做数据分析。提到爬虫框架,知名度最高的当属基于Python的爬虫框架 Scrapy。但是由于本人对 Python 并不熟悉,并且暂时也不准备去深入学习,因此不在考虑范围。同时也是基于学习的目的,因此选择了 Golang 方向。基于 Golang 的成熟爬虫框架其实并不多,因此在选择上不用太纠结,就用 Go-Colly 了。 ...
因项目需要,要对网络上某些信息进行抓取,以便加工后做数据分析。提到爬虫框架,知名度最高的当属基于Python的爬虫框架 Scrapy。但是由于本人对 Python 并不熟悉,并且暂时也不准备去深入学习,因此不在考虑范围。同时也是基于学习的目的,因此选择了 Golang 方向。基于 Golang 的成熟爬虫框架其实并不多,因此在选择上不用太纠结,就用 Go-Colly 了。 ...
开发环境的配置,记录一下。 ...
本文简单介绍下Redis是什么,Redis的安装与基本使用,Redis的基本数据类型,Redis与Memcached的选择依据等问题。 ...
由于项目上线后需要考虑分布式,SESSION准备放在Memcache来同步,下面是一些配置及随手的记录。 ...
下面介绍下在CentOS-6.4安装MySQL-5.6.14。 ...
下面介绍下怎么在CentOS下查看物理CPU信息。 ...
DDoS deflate是一款运行于Linux下,专门用于防止/减轻类DDOS攻击的程序。大多数DDOS攻击都是采取若干傀儡机同时对某一服务器发出大量连接请求,以耗光服务器资源的方法。 ...
首先需要说明的是,memcache与memcached的区别,memcache是客户端的扩展,memcached是服务端。 ...
Git就不用多介绍了,在Linux环境下开发的同学可能会发现默认已经安装的Git却并没有能实现命令的自动补全,还是感觉有点低效和不爽,因此我们需要调整下。下面直接步入正题。 ...
下面介绍下CentOS环境设置服务开机启动的两种方法。 ...