大数据处理需要用到的编程语言

在巨大的数据集中进行筛选的最好工具是什么?以下是总结的十大合适大数据处理的编程语言。 **1. R语言** R语言是数据科学的宠儿，R语言有着简单而明显的吸引力，使用R语言，只需要短短的几行代码，你就可以在复杂的数据集中筛选，通过先进的建模函数处理数据，以及创建平整的图形来代表数字，它被比喻为是Excel的一个极度活跃版本。 **2. Python** 如果说R语言是一个神经质又可爱的高手，那么Python是它随和又灵活的表兄弟。作为一种结合了R语言快速对复杂数据进行挖掘的能力并构建产品的更实用语言，Python迅速得到了主流的吸引力。Python是直观的，并且比R语言更易于学习，以及它的生态系统近年来急剧增长，使得它更能够用于先前为R语言保留的统计分析。 在数据处理中，在规模和复杂性之间往往会有一个权衡，于是Python成为了一种折中方案。IPython notebook和NumPy可以用作轻便工作的一种暂存器，而Python可以作为中等规模数据处理的强大工具。丰富的数据社区，也是Python的优势，因为可以提供了大量的工具包和功能。 **3. Julia** 虽然当前的数据科学绝大多数是通过R语言，Python，Java，MatLab和SAS执行的。但依然有其他的语言存活于夹缝中，Julia就是值得一看的后起之秀。Julia是一种高层次的，极度快速的表达性语言。它比R语言快，比Python更可扩展，且相当简单易学。 **4. JAVA** Java不能提供R和Python同样质量的可视化，并且它并非统计建模的最佳选择。但是，如果你移动到过去的原型制作并需要建立大型系统，那么Java往往是你的最佳选择。 **5. Hadoop 和 Hive** Hadoop作为首选的基于Java的框架用于批处理数据已经点燃了大家的热情。Hadoop比其他一些处理工具慢，但它出奇的准确，因此被广泛用于后端分析。它和Hive——一个基于查询并且运行在顶部的框架可以很好地结对工作。 **6. Scala** Scala是另一种基于Java的语言，并且和Java相同的是，它正日益成为大规模机器学习，或构建高层次算法的工具。它富有表现力，并且还能够构建健壮的系统。 **7. Kafka和Storm** Kafka，诞生于LinkedIn内部，是一个超快速的查询消息系统，Storm是用Scala编写的另一个框架，它在硅谷中因为流处理而受到了大量的青睐。它被Twitter纳入其中，勿庸置疑的，这样一来，Twitter就能在快速事件处理中得到巨大的裨益。 **8. MatLab** MatLab一直以来长盛不衰，尽管它要价不菲，但它仍然被广泛使用在一些非常特殊的领域：研究密集型机器学习，信号处理，图像识别等。 **9. Octave** Octave和MatLab非常相似，但它是免费的。不过，它在学术性信号处理圈子之外很少见到。 **10. GO** GO是另一个正在掀起浪潮的后起之秀。它由Google开发，从C语言松散地派生，并在构建健壮基础设施上，正在赢得竞争对手。