忙活了2天，不知道算不算广告，如果算的话麻烦站长删除。点我访问
周末在家练手用go写的一个笑话爬虫，主要是为孩子妈在家带孩子解闷，所以手机上看也的话，界面也还凑合。 主要使用了技术： golang mongodb mgo bootstrap beego 自己实现了一套简单的spider，包含调度器，蜘蛛，过滤器，存储器，使用了开源的goquery，以及mgo（用于连接mongodb），WEB展现为beego。
有疑问加站长微信联系（非本文作者）
周末在家练手用go写的一个笑话爬虫，发出来大家笑笑，不知道算不算广告，如果算的话麻烦站长删除
forbe · 2014-06-08 08:16:52 · 6485 次点击 · 大约8小时之前 开始浏览 置顶这是一个创建于 2014-06-08 08:16:52 的主题，其中的信息可能已经有所发展或是发生改变。
入群交流（和以上内容无关）：加入Go大咖交流群，或添加微信：liuxiaoyan-s 备注：入群；或加QQ群：692541889
- 请尽量让自己的回复能够对别人有帮助
- 支持 Markdown 格式, **粗体**、~~删除线~~、
`单行代码` - 支持 @ 本站用户；支持表情（输入 : 提示），见 Emoji cheat sheet
- 图片支持拖拽、截图粘贴等方式上传
今日阅读排行
付费用户「每日一学」2019-07-15：Go中的定时任务3：time.Ticker - 920 阅读
go使用exec.Command执行带管道的命令 - 919 阅读
付费用户「每日一学」2020-08-20：函数是一等公民，这到底在说什么？ - 919 阅读- 4关于context这里一定有你不知道的细节 - 919 阅读
- 5国内用 Dubbo 多还是 grpc 的多 - 919 阅读
- 6手把手教你写单元测试 - 919 阅读
- 7[go 面试] 缓存策略与应对数据库压力的良方 - 918 阅读
- 8[go 面试] 雪花算法与分布式ID生成 - 918 阅读
- 9选择适合微服务的编程语言 - 918 阅读
- 10[完结40周]物联网/嵌入式全能工程师（提薪优选) - 918 阅读
一周阅读排行
- 国内用 Dubbo 多还是 grpc 的多 - 7389 阅读
- 你知道 MySQL 中的 order by 是怎么工作的吗？ - 7386 阅读
- 手把手教你用Go语言实现缓存系统 - 7360 阅读
- 4手把手教你用Go实现Ping操作 - 7357 阅读
- 5手把手教你用go语言实现生产者消费者模式 - 7348 阅读
- 6手把手教你使用pprof进行性能优化 - 7347 阅读
- 7手把手教你写单元测试 - 7345 阅读
- 8初识分布式键值对存储etcd - 7343 阅读
- 9一文带你入门汇编语言 - 7343 阅读
- 10[完结40周]物联网/嵌入式全能工程师（提薪优选) - 7340 阅读
关注我
-
扫码关注领全套学习资料
-
加入 QQ 群：
- 192706294（已满）
- 731990104（已满）
- 798786647（已满）
- 729884609（已满）
- 977810755（已满）
- 815126783（已满）
- 812540095（已满）
- 1006366459（已满）
- 692541889
-
- 加入微信群：liuxiaoyan-s，备注入群
- 也欢迎加入知识星球 Go粉丝们（免费）
目前还比较简陋，不支持自定义ua，也没有将cookie带进去，但是可以扩展，比如增加一个新网站只需要增加一个spider就好了
因为我用的是阿里云，所以还不太敢抓太多。现在每天可以更新2000条笑话（包括图文），现在图片也没有抓到本地。因为空间只有20G。恐怕不太够。呵呵。
赞。有空学习下。当然不算广告了。
呵呵，感谢
开源吗，最近准备学习如何写爬虫