chromedp相关问题,多goroutine启动chromedp一段时间后发现内存占用持续走高

luojh2015 · 2018-11-10 21:41:56 · 1224 次点击 · 大约8小时之前 开始浏览    置顶
这是一个创建于 2018-11-10 21:41:56 的主题,其中的信息可能已经有所发展或是发生改变。

goroutine的情况如下图 image.png 起5个chromedp走一遍后的情况 image.png 上5个走完有重启5个,这样循环执行一段时间之后的情况

有一些列url需要抓取,一次启动5个chromedp分别抓5个url,这个chromedp抓取完成后会shutdown、wait、cancel,之后再重新起新的chromedp来抓剩下的...一段时间后发现内存占满了,跑了一下pprof后heap发现持续走高的为chromedp.AddTarget->handler.NewTargetHandler->client.Dial->websocket.Dialer.Dial->*Dialer.DialContext->websocket.newConn->bufio.NewReaderSize,试了试再chromedp.wait里面调用handler.conn.close()依然没有什么效果,请大神帮忙解惑一下。


有疑问加站长微信联系(非本文作者)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

1224 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传