Gleam-Go 分布式任务执行系统 Gleam-Go

blov2017-03-13 04:00:41 • 3789 次点击    
这是一个分享于 2017-03-13 04:00:41 的项目,其中的信息可能已经有所发展或是发生改变。

Gleam 是一个高性能和高效的分布式执行系统。纯 Go 编写,可独立运行,也可分布式运行。

纯 Go 编写的 mapper 和 reducer 具有高性能和并发性

LuaJIT 的性能,可与 C,Java,Go 相媲美。 它可流式处理数据,而不用在 Go 和 Lua 之间的上下文切换

数据通过内存时,可选择是否流入磁盘

多个 map/reduce 步骤被合并在一起以获得更好的性能

Gleam 不会发生常见的 GC 问题。 每个执行器在单独的 OS 进程中运行。 存储器由 OS 管理。 一台机器可以托管多个执行器

Gleam 主服务器和代理服务器是内存高效,只消耗大约 10 MB 内存

Gleam 尝试根据数据大小提示自动调整所需的内存大小,避免尝试法导致的错误,及手动调整工作

Gleam 流可以独立运行,也可分布式运行

在记忆模式或 OnDisk 模式下可调

Go 代码比 Scala,Java,C ++ 更易读

可选的 LuaJIT FFI 库可以轻松调用任何 C 函数,以获得更高的性能或使用任何现有的 C 库

(future)使用 Lua 编写的 UDF 编写 SQL

Fast, efficient, and scalable distributed map/reduce system, DAG execution, in memory or on disk, written in pure Go, runs standalone or distributedly.Read More

Latest commit to the master branch on 3-13-2025
Download as zip
授权协议:
Apache
开发语言:
Google Go 查看源码»
操作系统:
跨平台
3789 次点击  ∙  1 赞  
加入收藏 微博
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传