阿里云MaxCompute持续挑战极限,北京云栖大会现场完成基于公共云的BigBench评测!

maoerya · · 4947 次点击 · 开始浏览    置顶
这是一个创建于 的主题,其中的信息可能已经有所发展或是发生改变。

摘要: 2017年12月19 -20日,引发全球科技共振的云栖大会在国家会议中心举办2017年的压轴场—北京峰会。在本次大会上,阿里云主力计算平台MaxCompute将全球首次现场完成基于公共云的BigBench评测,并由阿里云总裁胡晓明在20日上午的主论坛宣布最终结果,令人期待。 2017年12月19 -20日,引发全球科技共振的云栖大会在国家会议中心举办2017年的压轴场—北京峰会。在本次大会上,阿里云主力计算平台MaxCompute将全球首次现场完成基于公共云的BigBench评测,并由阿里云总裁胡晓明在20日上午的主论坛宣布最终结果,令人期待。 **什么是BigBench大数据测试基准?** BigBench是基于零售业场景构建的端到端大数据测试基准,支持主流分布式大数据处理引擎,模拟了整个线上与线下业务流程,有30个查询语句,涉及到描述性过程型查询、数据挖掘以及机器学习的算法。涵盖了结构化、半结构化和非结构化数据,相对sort单一的数据结构和计算方式,能够从客户实际场景角度更全面的评估大数据系统软硬件性能。 **什么是[MaxCompute**](https://www.aliyun.com/product/odps?spm=5176.100239.blogcont291224.21.DWJmh6)? 作为全新一代人工智能计算引擎的MaxCompute(原ODPS),是一项提供快速、完全托管的PB级数据仓库解决方案的大数据计算服务,可以高效并经济的分析处理海量数据。 MaxCompute2.0是阿里巴巴内部和阿里云的大数据旗舰平台,阿里巴巴近99%的数据存储以及95%的计算能力都在这个平台上产生。在今年的双11当天,MaxCompute当日数据处理超过320PB,相当于全球最大图书馆-美国国会图书馆藏书存储的信息量的1200倍。同时数百万级的调度作业,持续冲击极限,以75%的增量全面超越2016年双11。 ![图片描述](http://img.blog.csdn.net/20171218141145584?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveXVucWlpbnNpZ2h0/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast) MaxCompute2.0在保持了大规模计算存储、强数据安全、高性能低成本的前提下,支持多源异构数据的离线/实时采集,支持SQL、MR、UDF(Java/Python)Graph、交互式、内存计算、机器学习等多种计算模式。为[众安保险](https://yq.aliyun.com/articles/226835?spm=5176.100239.blogcont291224.22.9toc6j)、[华大基因](https://yq.aliyun.com/articles/262073?spm=5176.100239.blogcont291224.23.mbLn8g)、[ofo小黄车](https://yq.aliyun.com/articles/277373?spm=5176.100239.blogcont291224.24.HAZUVH)等众多客户提供计算服务,为企业极大的提升了运行效率,降低了财务和人力成本。 **[MaxCompute](https://www.aliyun.com/product/odps?spm=5176.100239.blogcont291224.25.X5SeOn)为什么选择在北京云栖大会现场完成BigBench评测?** 作为计算平台,性能和效率是最核心的指标。作为阿里云的主力计算平台,MaxCompute一直积极参加各类计算评测,通过评测来推动阿里云计算性能的不断提升。 2015年我们参加了GraySort 评测。该比赛旨在评测超大规模数据量排序的速度,阿里云计算平台最终以377秒完成了100TB的数据排序,打破了Apache Spark23.4分钟的原有记录。 2016年我们参加了被称为“云计算效率之争”的CloudSort,以0.82美金/TB的成绩获得Indy(专用目的排序)和Daytona(通用目的排序) 两个子项的世界冠军,打破了AWS在2014年保持的纪录4.51美金/TB。阿里云计算平台在“算的快”的前提下,进一步创造了性价比的新世界记录。 2017年MaxCompute希望能从更接近实际生产场景和客户场景的角度,来呈现阿里云计算平台的计算速度和性价比优势。进行BigBench评测是因为它是基于零售业场景构建的端到端大数据测试基准,支持主流分布式大数据处理引擎,模拟了整个线上与线下业务流程,有30个查询语句,涉及到描述性过程型查询、数据挖掘以及机器学习的算法。涵盖了结构化、半结构化和非结构化数据,相对sort单一的数据结构和计算方式,能够从客户实际场景角度更全面的评估大数据系统软硬件性能。在把TPC的benchmark适配到MaxCompute后,我们将数据规模提升至100TB来完成本次直播评测, 我们对评测结果和计算能力有着绝对的信心,希望在云栖大会北京峰会主论坛和展厅现场与各位开发者和大数据爱好者共同见证。 2017年12月19日-20日,国际会议中心南序厅(近国家体育场北路)“[大数据计算服务MaxCompute](https://www.aliyun.com/product/odps?spm=5176.100239.blogcont291224.26.MvqzOM)”展台,不见不散。

有疑问加站长微信联系(非本文作者)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

4947 次点击  
加入收藏 微博
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传