5.6 Go语言项目实战：并发爬虫

本篇文章IT兄弟连GO语言学院小美

给读者们分享一下

对GO语言感兴趣想要学习Golang开发技术的小伙伴就随小编来了解一下吧。

导入类库

import (
    "fmt"
    "regexp"
    "net/http"
    "io/ioutil"
    "strings"
    "sync"
    "time"
    "strconv"
)

定义全局数据

var (
    //存放图片链接
    chanImgUrls chan string
    //存放147个任务是否已完成
    chanTask  chan string
    waitGroup sync.WaitGroup
)

爬取一个页面上的全部图片链接，返回结果切片

func SpiderPrettyImg(url string) (urls []string) {
    pageStr := GetPageStr(url)
    //fmt.Println(pageStr)

    re := regexp.MustCompile(reImg)
    results := re.FindAllStringSubmatch(pageStr, -1)
    fmt.Printf("共找到%d条结果:\n", len(results))
    for _, result := range results {
        url := result[1]
        fmt.Println(url)
        urls = append(urls, url)
    }
    return
}

从url中提取文件名称

func GetFilenameFromUrl(url string, dirPath string) (filename string) {
    lastIndex := strings.LastIndex(url, "/")
    filename = url[lastIndex+1:]
    timePrefix := strconv.Itoa(int(time.Now().UnixNano()))
    filename = timePrefix + "_" + filename
    filename = dirPath + filename
    //fmt.Println(fileName)
    return
}

下载url对应的文件到指定路径

func DownloadFile(url string, filename string) (ok bool) {
    resp, err := http.Get(url)
    if err != nil {
        HandleError(err, "http.Get(url)")
        return
    }
    defer resp.Body.Close()

    //ioutil.ReadAll(resp.Body)read tcp 192.168.20.50:57178->175.6.244.4:80: wsarecv:
    // An existing connection was forcibly closed by the remote host.
    fBytes, e := ioutil.ReadAll(resp.Body)
    HandleError(e, "ioutil.ReadAll(resp.Body)")
    err = ioutil.WriteFile(filename, fBytes, 0644)
    HandleError(err, "http.Get(url)")
    if err != nil {
        return false
    } else {
        return true
    }
}

爬取一个页面下的所有图片链接，并丢入全局待下载数据管道

func SpiderImgUrls(url string) {
    //获取一个页面下的所有图片链接
    urls := SpiderPrettyImg(url)
    //将所有图片超链接丢入数据管道
    for _, url := range urls {
        chanImgUrls <- url
    }

    //通知当前协程任务完成
    chanTask <- url
    waitGroup.Done()
}

同步下载图片链接管道中的所有图片

func DownloadImg() {
    for url := range chanImgUrls {
        filename := GetFilenameFromUrl(url, "D:/BJBlockChain1801/demos/W4/day4/img/")
        ok := DownloadFile(url, filename)
        if ok {
            fmt.Printf("%s下载成功！\n", filename)
        } else {
            fmt.Printf("%s下载失败!!!!!!!!!!!!\n", filename)
        }
    }
    waitGroup.Done()
}

检查147个任务是否全部完成，完成则关闭数据管道

func CheckIfAllSpidersOk() {
    var count int
    for {
        url := <-chanTask
        fmt.Printf("%s完成爬取任务\n", url)
        count ++
        if count == 147 {
            close(chanImgUrls)
            break
        }
    }
    waitGroup.Done()
}

主程序

func main() {
    //初始化数据管道
    chanImgUrls = make(chan string, 1000000)
    chanTask = make(chan string, 147)

    //爬虫协程：源源不断地往管道中添加图片链接
    for i := 1; i < 148; i++ {
        waitGroup.Add(1)
        go SpiderImgUrls("http://www.umei.cc/tags/meinv_" + strconv.Itoa(i) + ".htm")
    }

    //开辟任务统计协程，如果147个任务全部完成，则关闭数据管道
    waitGroup.Add(1)
    go CheckIfAllSpidersOk()

    //下载协程：源源不断地从管道中读取地址并下载
    for i := 0; i < 10; i++ {
        waitGroup.Add(1)
        go DownloadImg()
    }
    waitGroup.Wait()
}

想要了解更多关于GO语言开发方面内容的小伙伴，

请关注IT兄弟连官网、公众号：GO语言研习社，

IT兄弟连教育有专业的微软、谷歌讲师为您指导，

此外IT兄弟连老师精心推出的GO语言教程定能让你快速掌握GO语言从入门到精通开发实战技能。