golang 爬虫实现(一)

kelindame · · 2492 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

一、环境准备

1、编译器,intellij idea。

下载地址:https://d1opms6zj7jotq.cloudfront.net/idea/ideaIC-2016.1.2b.exe

下载完,直接安装。安装之后的编辑器不支持golang。需要添加支持golang的插件,添加插件有两种方法。

第一种:

(1)点击file->setttings->plugins->Browse Repositories;

(2)搜索go,找到后,点击install,重起编译器;


第二种:

(1)下载golang插件的源码。下载地址:https://codeload.github.com/go-lang-plugin-org/go-lang-idea-plugin/zip/master

(2)编译源码,将编译好的工具,添加到编译器上。具体方法:http://blog.csdn.net/slug302/article/details/16991323


2、golang编译环境。

下载地址:http://pc2-dx1.newasp.net/soft/yh/go.windows-amd64.zip

编译环境安装也有两种。

第一种:

直接上官网下载exe文件,一键安装。


第二种:

这种安装方式属于源码安装。

下载源码之后,需要设置环境变量。解压下载之后的文件路径为:D:\go。

添加GOROOT,值为D:\go。同时需要在Path的值加上%GOROOT%\bin。

检测是否已经安装成功:

1、打开cmd,输入echo %PATH% 看环境变量是否已经加上。没有的话需要重启系统。

2、输入 go version。看是否有信息输出。


无论哪一种方式,都需要添加GOPATH。

GOPATH是go命令依赖的一个重要环境变量。它与工作目录挂钩。坦白讲就是你的工作空间。当有多个工作空间时,直接添加,用分号隔开。GOPATH工作目录约定有三个子目录:

-src 存放源代码(比如:.go 等等)

-pkg 存放编译后生成的文件(比如:.a)

-bin 存放编译后生成的可执行环境

以后自己新建应用或者添加第三方库、代码包的时候,都存放在src下。

 

3、mysql。

下载地址:http://cdn.mysql.com/Downloads/MySQL-5.7/mysql-5.7.12-winx64.msi

mysql安装也有两种方式。

第一种:直接下载.mis文件,一键安装。


第二种:.zip包安装。

(1)下载源码之后,解压后,需要更改环境变量。往Path添加:D:\mysql5.7\bin(解压后文件的路径);

(2)修改配置文件 my-default.ini.

#basedir = => basedir =D:\mysql5.7
#datadir = => datadir =D:\mysql5.7\data

(3)打开cmd,输入:mysqld -install;

(4)net start mysql;

(5)mysql -u root -p。输完之后会提示输入密码,密码为空,直接按回车;

(6)use mysql => update user set password=password('123456') where user ='root';(修改root的密码)

(7)重启mysql。net stop mysql => net start mysql;


4、安装mysql驱动

golang操作mysql,需要mysql驱动。mysql驱动源码下载:https://github.com/go-sql-driver/mysql

(1)下载完源码之后,将源码拷贝到GOPATH的工作目录src下;

(2)打开cmd,cd至放驱动源码的地方;

(3)go install;打开GOPATH目录pkg,可以看到生成的.a文件,也就是mysql驱动文件。

(4)写代码测试是否可以连接数据库。代码如下:

package main
import (
	"database/sql"
	"fmt"
	_ "reptiles/src/mysql-driver"//生成驱动文件的目录名字
)
type User struct {
	id                 int
	username, password string
}
var sqldata map[interface{}]interface{}
func main() {
	var u User
	db, err := sql.Open("mysql", "root:123456@tcp(127.0.0.1:3306)/splider?charset=utf8")
	check(err)
	//插入数据
	stmt, err := db.Prepare("INSERT t_test SET s_username=?,s_pwd=?")
	check(err)
	res, err := stmt.Exec("xiaowei", "xiaowei")
	check(err)
	id, err := res.LastInsertId()
	check(err)
	fmt.Println(id)
	//查询数据
	rows, err := db.Query("SELECT * FROM t_test")
	check(err)
	fmt.Println(rows.Columns())
	userinfo := make(map[interface{}]interface{})
	for rows.Next() {
		err := rows.Scan(&u.id, &u.username, &u.password)
		check(err)
		userinfo[u.id] = u
	}
	fmt.Println(userinfo)
}
func check(err error) {
	if err != nil {
		fmt.Println(err)
	}
}





有疑问加站长微信联系(非本文作者)

本文来自:CSDN博客

感谢作者:kelindame

查看原文:golang 爬虫实现(一)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

2492 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传