扣丁学堂大数据培训分享国内Hadoop的应用

Hadoop在国内的应用主要以互联网公司为主，在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐，本篇文章扣丁学堂大数据培训小编给读者们介绍一下国内Hadoop的应用，我们来看看国内有哪些大规模使用Hadoop或研究Hadoop的公司吧。 1、百度 百度在2006年就开始关注Hadoop并开始调研和使用，在2012年其总的集群规模达到近十个，单集群超过2800台机器节点，Hadoop机器总数有上万台机器，总的存储容量超过100PB，已经使用的超过74PB，每天提交的作业数目有数千个之多，每天的输入数据量已经超过7500TB，输出超过 1700TB。 百度的Hadoop集群为整个公司的数据团队、大搜索团队、社区产品团队、广告团队，以及LBS团体提供统一的计算和存储服务，主要应用包括： 数据挖掘与分析。 日志分析平台。 数据仓库系统。 推荐引擎系统。 用户行为分析系统。 同时百度在Hadoop的基础上还开发了自己的日志分析平台、数据仓库系统，以及统一的C++编程接口，并对Hadoop进行深度改造，开发了HadoopC++扩展HCE系统。 2、阿里巴巴 阿里巴巴的Hadoop集群截至2012年大约有3200台服务器，大约30?000物理CPU核心，总内存100TB，总的存储容量超过60PB，每天的作业数目超过150?000个，每天hivequery查询大于6000个，每天扫描数据量约为7.5PB，每天扫描文件数约为4亿，存储利用率大约为 80%，CPU利用率平均为65%，峰值可以达到80%。阿里巴巴的Hadoop集群拥有150个用户组、4500个集群用户，为淘宝、天猫、一淘、聚划算、CBU、支付宝提供底层的基础计算和存储服务，主要应用包括： 数据平台系统。 搜索支撑。 广告系统。 数据魔方。 量子统计。 淘数据。 推荐引擎系统。 搜索排行榜。 为了便于开发，其还开发了WebIDE继承开发环境，使用的相关系统包括：Hive、Pig、Mahout、Hbase等。 3、腾讯 腾讯也是使用Hadoop最早的中国互联网公司之一，截至2012年年底，腾讯的Hadoop集群机器总量超过5000台，最大单集群约为2000个节点，并利用Hadoop-Hive构建了自己的数据仓库系统TDW，同时还开发了自己的TDW-IDE基础开发环境。腾讯的Hadoop为腾讯各个产品线提供基础云计算和云存储服务，其支持以下产品： 腾讯社交广告平台。 搜搜(SOSO)。 拍拍网。 腾讯微博。 腾讯罗盘。 QQ会员。 腾讯游戏支撑。 QQ空间。 朋友网。 腾讯开放平台。 财付通。 手机QQ。 QQ音乐。 4、奇虎360 奇虎360主要使用Hadoop-HBase作为其搜索引擎so.com的底层网页存储架构系统，360搜索的网页可到千亿记录，数据量在PB级别。截至2012年年底，其HBase集群规模超过300节点，region个数大于10万个，使用的平台版本如下。 HBase版本：facebook0.89-fb。 HDFS版本：facebookHadoop-20。 奇虎360在Hadoop-HBase方面的工作主要为了优化减少HBase集群的启停时间，并优化减少RS异常退出后的恢复时间。 5、华为 华为公司也是Hadoop主要做出贡献的公司之一，排在Google和Cisco的前面，华为对Hadoop的HA方案，以及HBase领域有深入研究，并已经向业界推出了自己的基于Hadoop的大数据解决方案。 6、中国移动 中国移动于2010年5月正式推出大云BigCloud1.0，集群节点达到了1024。中国移动的大云基于Hadoop的MapReduce实现了分布式计算，并利用了HDFS来实现分布式存储，并开发了基于Hadoop的数据仓库系统HugeTable，并行数据挖掘工具集BC-PDM，以及并行数据抽取转化BC-ETL，对象存储系统BC-ONestd等系统，并开源了自己的BC-Hadoop版本。 中国移动主要在电信领域应用Hadoop，其规划的应用领域包括： 经分KPI集中运算。 经分系统ETL/DM。 结算系统。 信令系统。 云计算资源池系统。 物联网应用系统。 E-mail。 IDC服务等。 7、盘古搜索 盘古搜索(目前已和即刻搜索合并为中国搜索)主要使用Hadoop集群作为搜索引擎的基础架构支撑系统，截至2013年年初，集群中机器数量总计超过380台，存储总量总计3.66PB，主要包括的应用如下。 网页存储。 网页解析。 建索引。 Pagerank计算。 日志统计分析。 推荐引擎等。 即刻搜索(人民搜索) 以上就是扣丁学堂大数据在线学习小编给大家分享的国内Hadoop的应用，希望对小伙伴们有所帮助，想要了解更多内容的小伙伴可以登录扣丁学堂官网咨询。 想要学好大数据开发小编给大家推荐口碑良好的扣丁学堂，扣丁学堂有专业老师制定的大数据学习路线图辅助学员学习，此外还有与时俱进的大数据课程体系和大数据视频教程供大家学习，想要学好大数据开发技术的小伙伴快快行动吧。 Pyhon基础课程：https://ke.qq.com/course/327534?flowToken=1008607 【扫码进入Python全栈开发免费公开课】 H5基础课程：https://ke.qq.com/course/320523?flowToken=1008606【扫码进入HTML5前端开发VIP免费公开课】