Go语言爬取后端渲染网站(vue,react)

dollarkiller · · 1291 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

最近公司写爬虫 但是对于 前端渲染的网站(vue,react) 但是 chromedp selenium等又太重了 于是用puppeteer koa2 写了一个 通用服务 `https://github.com/dollarkillerx/marionette` docker 运行 ``` docker run --name marionette -d -p3000:3000 dollarkiller/marionette:latest ``` 简单说一下这个服务的Restful API ``` GET /ssr?q=http://google.com ``` 返回 respcode, html body, cookie 均为 目标网站的返回 我们现在使用Go来调用下这个API Go的http client 推荐一下我自己写的urllib `https://github.com/dollarkillerx/urllib` ``` httpCode, bytes, err = urllib.Get("http://0.0.0.0:3000/ssr").Querys("q","http://google.com").Byte() ```

有疑问加站长微信联系(非本文作者))

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

1291 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传