1. 首页
  2. 主题
  3. 爬虫系列
demonkhh

go爬虫问题请教一下（一个简单的并发爬虫）

demonkhh · 2020-02-10 16:31:32 · 4450 次点击 · 大约8小时之前 开始浏览    置顶
这是一个创建于 2020-02-10 16:31:32 的主题，其中的信息可能已经有所发展或是发生改变。
第一次，站长亲自招 Gopher 了>>>

image.png image.png

createWorker中的in管道 没传值request能取到值 源码地址 https://gitee.com/awsomehh/go_crawler 问题在scheduler 里面 地址 https://gitee.com/awsomehh/go_crawler/blob/master/scheduler/queue.go 自己追踪后发现并没有向管道中传值

有疑问加站长微信联系（非本文作者）

入群交流（和以上内容无关）：加入Go大咖交流群，或添加微信：liuxiaoyan-s 备注：入群；或加QQ群：692541889

4450 次点击  
加入收藏 微博
赞
  • 爬虫
  • 源码
  • 并发
  • 请教
    3 回复  |  直到 2020-03-18 15:27:33
    lu569368
    lu569368 · #1 · 5年之前

    一个简单的爬虫小案例 http://topgoer.com/%E5%B9%B6%E5%8F%91%E7%BC%96%E7%A8%8B/%E7%88%AC%E8%99%AB%E5%B0%8F%E6%A1%88%E4%BE%8B.html

    demonkhh
    demonkhh · #2 · 5年之前
    对 lu569368lu569368 #1 回复

    一个简单的爬虫小案例 http://topgoer.com/%E5%B9%B6%E5%8F%91%E7%BC%96%E7%A8%8B/%E7%88%AC%E8%99%AB%E5%B0%8F%E6%A1%88%E4%BE%8B.html

    我知道简单的并发爬虫这个爬虫是优化过后的诶

    cuteLittleDevil
    cuteLittleDevil · #3 · 5年之前

    第29行go func 方法里面肯定有把数据给q.workerChan 也就是in啊 截图截全一点啊

    添加一条新回复 （您需要 登录 后才能回复 没有账号 ？）
    • 请尽量让自己的回复能够对别人有帮助
    • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
    • 支持 @ 本站用户；支持表情（输入 : 提示），见 Emoji cheat sheet
    • 图片支持拖拽、截图粘贴等方式上传

    用户登录

    Go今日面试题

     今日阅读排行

     一周阅读排行

      关注我

    • 扫码关注领全套学习资料 关注微信公众号
    • 加入 QQ 群：
      • 192706294（已满）
      • 731990104（已满）
      • 798786647（已满）
      • 729884609（已满）
      • 977810755（已满）
      • 815126783（已满）
      • 812540095（已满）
      • 1006366459（已满）
      • 692541889

    • 关注微信公众号
    • 加入微信群：liuxiaoyan-s，备注入群
    • 也欢迎加入知识星球 Go粉丝们（免费）