用go写了个mapReduce的word count程序有疑问,求大神指点

madiks · · 3021 次点击 · 开始浏览    置顶
这是一个创建于 的主题,其中的信息可能已经有所发展或是发生改变。

前两天用go写了一个mapReduce的word count,https://github.com/madiks/goMapReuce,大概设这样设计的: 四个channel:mapIn(接受map任务输入数据),mapOut(写入map任务的结果),reduceIn(将mapOut中的数据取出做分类整合然后写入reduceIn),reduceOut(写入reduce任务的结果)。在两个goroutine分别监听mapIn和reduceIn,一旦收到数据就启一个goroutine去执行map/reduce任务。基于这个写了一个word count。 我的疑问是: 1.假设有海量数据需要处理,不断写入mapIn channel,就会不断启动goroutine去执行任务,可是机器的承载力是有限的,这个程序是否会崩掉? 2.其实我觉得会崩掉的,那么是否要控制写入mapIn时的速度?根据什么控制? 3.也许是我在设计的时候就错了?那么怎样设计才能在面对海量任务时最大地利用当前机器的性能?

有疑问加站长微信联系(非本文作者)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

3021 次点击  
加入收藏 微博
4 回复  |  直到 2015-03-09 06:53:04
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传