使用闭包函数的类Scrapy的Go爬虫框架——Goribot

https://github.com/zhshch2002/goribot

一个Go语言爬虫框架。

简单实例：

package main

import (
    "encoding/json"
    "fmt"
    "github.com/zhshch2002/goribot"
)

func main() {
    s := goribot.NewSpider()
    _ = s.Get(nil, "https://httpbin.org/get?Goribot%20test=hello%20world", func(r *goribot.Response) {
        m := make(map[string]interface{})
        err := json.Unmarshal([]byte(r.Text), &m)
        if err != nil {
            fmt.Println(err)
        }
        fmt.Println(m)
    })
    s.Run()
}

在README里有完整的Bilibili爬虫实例。使用了Pipeline和闭包函数的设计。