使用闭包函数的类Scrapy的Go爬虫框架——Goribot

zhshch · · 2136 次点击 · 开始浏览    置顶
这是一个创建于 的主题,其中的信息可能已经有所发展或是发生改变。

[https://github.com/zhshch2002/goribot](https://github.com/zhshch2002/goribot) 一个Go语言爬虫框架。 简单实例: ``` package main import ( "encoding/json" "fmt" "github.com/zhshch2002/goribot" ) func main() { s := goribot.NewSpider() _ = s.Get(nil, "https://httpbin.org/get?Goribot%20test=hello%20world", func(r *goribot.Response) { m := make(map[string]interface{}) err := json.Unmarshal([]byte(r.Text), &m) if err != nil { fmt.Println(err) } fmt.Println(m) }) s.Run() } ``` 在README里有完整的Bilibili爬虫实例。使用了Pipeline和闭包函数的设计。

有疑问加站长微信联系(非本文作者)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

2136 次点击  ∙  2 赞  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传