Go 爬虫：如何获取 js 文件中固定的内容？

简介

我想爬豆瓣电影的分类，网址是https://movie.douban.com/tag/。发现调用接口，返回的数据并没有我所需要的内容。

我自己看了一下接口调用，发现这些分类竟然是在app.js的二维数组固定写死的。

妹的，这就尴尬了，我岂不是要等待浏览器渲染完之后再匹配我想要的数据？

查查Go有没有库可以模拟浏览器的操作。发现了一个chromedp。于是查找了一些资料，学习了一下。

github地址

仓库地址：https://github.com/chromedp/chromedp
例子地址：https://github.com/chromedp/examples

参考的文档：
https://deepzz.com/post/golang-context-package-notes.html
https://www.cnblogs.com/apocelipes/p/9264673.html
https://codeday.me/news/20170529/20419.html

代码

获取豆瓣网站的电影分类。

// Command text is a chromedp example demonstrating how to extract text from a
// specific element.
package main

import (
    "context"
    "fmt"
    "log"
    "os"
    "regexp"
    "time"

    "github.com/chromedp/chromedp"
    "github.com/chromedp/chromedp/runner"
)



func text(res *string) chromedp.Tasks {
    return chromedp.Tasks{
        // 访问页面
        chromedp.Navigate(`https://movie.douban.com/tag/`),
        // 等待列表渲染
        chromedp.Sleep(5 * time.Second),
        // 获取获取服务列表HTML
        chromedp.OuterHTML("#content", res, chromedp.ByID),
    }
}

func main() {

    ctx, cancel := context.WithCancel(context.Background())
    defer cancel()

    // 创建 chrome 实例
    cdp, err := chromedp.New(ctx, chromedp.WithLog(log.Printf))
    if err != nil {
        log.Fatal(err)
    }

    var res string

    //执行调用
    err = cdp.Run(ctx, text(&res))
    if err != nil {
        log.Fatal(err)
    }

    // 调用 Shutdown
    err = cdp.Shutdown(ctx)
    if err != nil {
        log.Fatal(err)
    }

    // 等待 chrome 结束
    err = cdp.Wait()
    if err != nil {
        log.Fatal(err)
    }

    // 正则匹配所要的内容
    pattern := `class="tag">(.*?)</span>`
    rp2 := regexp.MustCompile(pattern)
    data := rp2.FindAllStringSubmatch(res, -1)

    // 创建一个 txt 文件，写入获取的内容
    f, err := os.Create("fenlei.txt")
    if err != nil {
        log.Fatalln(err)
    }
    // 关闭 f
    defer f.Close()

    // 遍历切片，获取需要的内容，并写入 txt 文件
    for i := 0; i < len(data); i++ {
        fmt.Println(data[i][1])
        f.WriteString(data[i][1] + "\n")

    }

}