Golang 简单爬虫实现方法

七七八八的人 · · 2298 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

爬虫

介绍

今日在追一篇网络小说,由于个人比较穷,所以看不起正规网站的小说,无奈之下只能看一些免费的网站,我估计免费网站的小说也是爬取来的内容。但是想必大家都清楚,哪些免费的网站是靠什么盈利的。那就是广告啊,铺天盖地的的广告,防不胜防。

那怎么办呢,学了这么久的golang,试试自己爬一下吧。从哪里爬呢,就从免费的网站上爬吧。

准备

在实现爬虫之前,先介绍两个go的库

goquery

做过 Web 开发的,应该都用过或听过 jQuery,它提供了方便的操作 DOM 的 API。使用 Go 语言做服务器端开发,有时候需要解析 HTML 文件,比如抓取网站内容、写一个爬虫等。这时候如果有一个类似 jQuery 的库可以使用,操作 DOM 会很方便,而且,上手也会很快。github.com/PuerkitoBio/goquery这个库就实现了类似 jQuery 的功能,让你能方便的使用 Go 语言操作 HTML 文档。

另外有一篇很不错的goquery介绍的文章:GO 语言版 JQUERY — GOQUERY。具体使用方法可以参考这篇文章

mahonia

github.com/axgle/mahonia

这个包是golang中的字符集转换用的,因为很多时候,我们爬取的内容的编码格式可能是各种各样的,这里我们需要做一个统一的处理,转成utf-8的格式。

然后使用这个工具包,再进行一些简单的封装,形成以下的方法:

package commonimport("github.com/axgle/mahonia")funcConvertToString(srcstring, srcCodestring, tagCodestring)string{    srcCoder := mahonia.NewDecoder(srcCode)    srcResult := srcCoder.ConvertString(src)    tagCoder := mahonia.NewDecoder(tagCode)    _, cdata, _ := tagCoder.Translate([]byte(srcResult),true)    result :=string(cdata)returnresult}func GbkToUtf8(srcstring)string{returnConvertToString(src,"gbk","utf-8")}

因为很多情况我们遇到的都是gbk格式的编码,所以这里写了个gbk转utf-8的方法

实现爬虫

前面的2个工具已经介绍完了,接下来,就是把他们拼装组合一下,就是我自己的爬虫了。是不是很简单呢?下面就做一些简单的实现吧。

数据库设计

因为本次实现的比较简单,所以数据库的表也不复杂,表结构如下:

数据库表结构

其中,book表中的name字段是由唯一约束的,是为了保证书名唯一,这也是对于书名的简单去重处理。

另外,url表记录的是爬取的url地址信息,status的取值为:-1 -> 失效url, 0 -> 已爬取url, 1 -> 未爬取url。url字段具有唯一约束,避免重复。

爬虫设计

前面已经设计好了数据库,下面就是爬取数据,然后对数据库进行增删改查的操作了。

配置信息

首先,我们需要一些信息进行配置,包括日志,还有数据库:

[log]level = 1adapter = file[db]host = 127.0.0.1port = 3306user = rootpassword = 654321name = chain_booktimezone = Asia/Shanghaiprefix = bo_

当然这里的配置模块,以及日志模块是我之前写的一些简单的库里面的功能,可参考:igo

数据库操作

数据库的orm我使用的是beego的orm模块,不熟悉的可以看下beego 官方文档

这里,我仅将init函数贴出来,具体model的操作方法,可看源码:

packagemodelsimport("net/url""github.com/Chain-Zhang/igo/conf"_"github.com/go-sql-driver/mysql""github.com/astaxie/beego/orm")funcinit(){    dbhost := conf.AppConfig.GetString("db.host")    dbport := conf.AppConfig.GetString("db.port")    dbuser := conf.AppConfig.GetString("db.user")    dbpwd := conf.AppConfig.GetString("db.password")    dbname := conf.AppConfig.GetString("db.name")    timezone := conf.AppConfig.GetString("db.timezone")ifdbport ==""{        dbport ="3306"}    dsn := dbuser +":"+ dbpwd +"@tcp("+ dbhost +":"+ dbport +")/"+ dbname +"?charset=utf8"iftimezone !=""{        dsn = dsn +"&loc="+ url.QueryEscape(timezone)    }    orm.RegisterDataBase("default","mysql",dsn)    orm.RegisterModel(new(Book),new(Chapter),new(Url))}

爬取数据

到此,万事具备只欠东风了。接下来开始爬取数据了。

因为可能会有不同的源数据,那么,html文档的结构肯定也就不一样了。所以,这边就先实现一个爬虫的接口。以及信息的结构体和实例化方法:

package spiderimport("errors")type SBook struct{    NamestringImagestringUrlstringChapters []*SChapter}type SChapterstruct{TitlestringUrlstringOrderintPreintNextintContentstring}type Spider interface{    SpiderUrl(urlstring) error}funcNewSpider(fromstring)(Spider, error){switchfrom{case"booktxt":returnnew(BookTextSpider), nildefault:returnnil, errors.New("系统暂未处理该类型的配置文件")    }}

代码中的booktxt的源是www.boyfuli.com,而且,这个Spider函数是针对一本书的爬取(因为我只是爬我自己想看的小说,所有不对全站爬取,不贪心)。

然后就是针对booktxt的爬取操作了。

package spiderimport ("time""strings""ispider/common""ispider/models""github.com/PuerkitoBio/goquery""github.com/Chain-Zhang/igo/ilog")type BookTextSpiderstruct{    }func (self*BookTextSpider)SpiderUrl(url string)( error){    book := SBook{}    book.Url = url    doc, err := goquery.NewDocument(url)iferr !=nil{returnerr    }    bookname := common.GbkToUtf8(doc.Find("#info h1").Text())        b, err := models.GetBookByName(bookname)iferr !=nil{        b := models.Book{Name:bookname, CreatedAt:time.Now(), UpdatedAt:time.Now()}        models.BookAdd(&b)    }    doc.Find("#list dd").Each(func (iint, contentSelection *goquery.Selection){ifi <9{return}        pre := i -9next := i-7title := common.GbkToUtf8(contentSelection.Find("a").Text())        href, _ := contentSelection.Find("a").Attr("href")        chapter := SChapter{Title:title,Url:"http://www.boyfuli.com"+href, Order:i -8, Pre:pre, Next:next}        book.Chapters = append(book.Chapters, &chapter)        u := models.Url{Url:chapter.Url}        models.UrlAdd(&u)    })        channel := make(chanstruct{},100)for_, chapter := range book.Chapters{        channel <-struct{}{}        go SpiderChapter(b.Id, chapter, channel)    }fori :=0; i <100; i++{        channel <-struct{}{}    }    close(channel)returnnil}type ChanTagstruct{}func SpiderChapter(bookidint, chapter *SChapter, c chanstruct{}){    defer func(){<- c}()ifmodels.IsValidUrl(chapter.Url){        doc, err := goquery.NewDocument(chapter.Url)iferr !=nil{            ilog.AppLog.Error("get chapter details error: ", err.Error())return}        content := doc.Find("#content").Text()        content = common.GbkToUtf8(content)        content = strings.Replace(content,"聽"," ",-1)        ch := models.Chapter{BookId:bookid, Title:chapter.Title, Content:content,Sort:chapter.Order, Pre:chapter.Pre, Next:chapter.Next, CreatedAt:time.Now(),UpdatedAt:time.Now()}        models.ChapterAdd(&ch)        models.SpideredUrl(chapter.Url)    }}

调用

package mainimport("ispider/spider""fmt""github.com/Chain-Zhang/igo/ilog")funcmain(){    ilog.AppLog.Info("start")    s, err := spider.NewSpider("booktxt")iferr != nil{        ilog.AppLog.Fatal("new Spider error: ", err.Error())    }    err = s.SpiderUrl("http://www.boyfuli.com/2_2219/")iferr != nil{        ilog.AppLog.Fatal("new Document error: ", err.Error())    }    var strstringfmt.Scan(&str)}

这样,我们的小说就进到数据库里啦,只要写个前端看就行了,再也不会有广告了。哈哈哈。


有疑问加站长微信联系(非本文作者)

本文来自:简书

感谢作者:七七八八的人

查看原文:Golang 简单爬虫实现方法

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

2298 次点击  
加入收藏 微博
1 回复  |  直到 2019-06-27 10:18:51
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传