《电子技术应用》
您所在的位置:首页 > 通信与网络 > 业界动态 > Hadoop 2:大数据演进中的一次大飞跃

Hadoop 2:大数据演进中的一次大飞跃

2013-10-23
来源:来源:网界网

 新的Hadoop不仅能够进一步刺激为Hadoop编写应用程序,同时也将在Hadoop内创造全新的数据处理方法,这在此前的架构限制下是根本不可能实现的。总之,这是好东西。

 
一直以来是什么限制着Hadoop的发展?更重要的是,Hadoop的未来发展会是怎样?
 
对于Hadoop的各种批评主要围绕在其扩展限制,而这里最大的问题是其工作处理。Hadoop中的所有工作都是通过被称为JobTracker的守护程序进行批处理,这制造了一个可扩展性和处理速度的瓶颈。
 
而在Hadoop 2,这种JobTracker的方法已经消失。Hadoop使用了全新的工作处理框架,使用两个守护程序:ResourceManager—管理系统中的所有工作,以及NodeManager—在每个Hadoop节点上运行,并让ResourceManager知道节点上发生的情况。每个正在运行的应用程序也有自己的管理程序—ApplicationMaster。
 
MapReduce也与之前完全不同,Apache给了它一个全新的名称:YARN,或者Yet Another Resource Negotiator,另一种资源协调者,新的MapReduce运行作为其很多可能的组件之一。事实上,Apache声称,任何分布式应用程序都可以在YARN上运行,虽然需要一些移植。为此,Apache提供了一份与YARN兼容的应用程序列表,例如社会图标分析系统Apache Giraph(Facebook在使用)。
 
Apache明智地决定不破坏向后兼容性,因此,MapReduce 2仍然将采用相同的API,现有的工作只需要重新编译就能正常工作。
 
YARN让Hadoop可以与其他Apache项目实现更多的跨平台兼容性,来处理大数据。如果你使用其中一个平台,那么使用其他平台就会变得更加容易。Hadoop的这种改进将帮助推动Apache的其他项目。
 
这里最大的改进就是,MapReduce本身成为通过Hadoop挖掘数据的很多方式的一种。Apache自己的Spark(移植到YARN的另一种方式)可能比MapReduce更适合某些类型的工作,Hadoop 2给了你更多选择,让你选择最合适的引擎。
 
两个大型供应商Cloudera和Hortonworks对于YARN的重要性有着共同的看法,虽然他们从完全不同的方向使用Hadoop。Cloudera的Impala允许对HDFS存储的数据运行低延迟性SQL查询,这使其非常适合实时分析;而Hortonworks选择使用Apache的原生Hive技术,该技术非常适合大数据仓库操作(例如有很多连接型操作的长时间运行的查询)
 
移植应用程序到YARN并不是简单的工作,Hadoop在这方面带来的回报将取决于YARN在新框架内的部署情况。Cloudera和Hortonworks都是Hadoop 2的坚实支持者,他们并没有转向其他技术或者坚持上一代技术,从这一点来看,Hadoop 2并不只是烟雾或者上一代的镜像。
本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。