Go语言小爬虫--第一步

碰不到繁华 · · 2360 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

聽 聽 解析新浪手机新闻网页,获取5条新的新闻的url存入到数据库

package linksql


import (

"database/sql"

"log"

_"github.com/go-sql-driver/mysql"


)


func Open_url_table() *sql.DB{

db,err:=sql.Open("mysql","root:root@/mysql")

Checkerror(err)

return db

}

func Insertlink(id int,src string,url string){

db:=Open_url_table()

stmt,err1:=db.Prepare("insert into url_table(id,src,url) values(?,?,?)")

if err1!=nil{

log.Fatalln("prepare error",err1)

}

_,err2:=stmt.Exec(id,src,url)

if err2!=nil{

log.Fatalln("Exec error")

}

}


func Checkerror(err error){ 聽 //差错

if err!=nil{

log.Fatal(err)

}

}


package search_sina


import (

"net/http"

"log"

"gopkg.in/xmlpath.v2"


"test/linksql"

)



func Get_url(url string){ //找新URL

resp,err:=http.Get(url)

Checkerror(err)

root,err1:=xmlpath.ParseHTML(resp.Body)

Checkerror(err1)

path:=xmlpath.MustCompile(`//dl[@class="f_card"]/../@href`)

iter:=path.Iter(root)

i:=1

for iter.Next() && i<6{

//fmt.Println(iter.Node())

linksql.Insertlink(i,"sina",iter.Node().String())

i++

}


}

func Checkerror(err error){

if err!=nil{

log.Fatalln(err)

}

}


+----+------+-------------------------------------------------------------------------------+
|聽id聽|聽src聽聽|聽url聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽|
+----+------+-------------------------------------------------------------------------------+
|聽聽1聽|聽sina聽|聽http://tech.sina.cn/tech_zt/meitu_ipo?vt=4&pos=18聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽|
|聽聽2聽|聽sina聽|聽http://tech.sina.cn/i/gj/2016-12-15/detail-ifxytqav9330894.d.html?vt=4&pos=18聽|
|聽聽3聽|聽sina聽|聽http://zhuanlan.sina.cn/article?vt=4&pos=18&id=57660&ch=tech聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽|
|聽聽4聽|聽sina聽|聽http://tech.sina.cn/i/gj/2016-12-15/detail-ifxytqax6095612.d.html?vt=4&pos=18聽|
|聽聽5聽|聽sina聽|聽http://tech.sina.cn/i/gj/2016-12-15/detail-ifxytqav9326149.d.html?vt=4&pos=18聽|
+----+------+-------------------------------------------------------------------------------+



有疑问加站长微信联系(非本文作者)

本文来自:51CTO博客

感谢作者:碰不到繁华

查看原文:Go语言小爬虫--第一步

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

2360 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传