艾丽游戏ing

hadoop30新特性(hadoop300)

艾丽游戏ing 1

关于hadoop3.0新特性,hadoop3.0.0这个很多人还不知道,今天乐乐来为大家解答以上的问题,现在让我们一起来看看吧!

hadoop30新特性(hadoop300)hadoop30新特性(hadoop300)


1、大讲台Hadoop为你解答:1. Hadoop 3.0简介 Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.7在2015年4月已停止更新,这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本,而这正是hadoop 3.0。

2、 Hadoop 3.0的alpha版预计今年夏天发布,GA版本11月或12月发布。

3、 Hadoop 3.0中引入了一些重要的功能和优化,包括HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。

4、 2. Hadoop 3.0新特性 Hadoop 3.0在功能和性能方面,对hadoop内核进行了多项重大改进,主要包括: 2.1 Hadoop Common (1)精简Hadoop内核,包括剔除过期的API和实现,将默认组件实现替换成最高效的实现(比如将FileOutputCommitter缺省实现换为v2版本,废除hftp转由webhdfs替代,移除Hadoop子实现序列化库org.apache.hadoop.Records (2)Classpath isolation以防止不同版本jar包冲突,比如google Guava在混合使用Hadoop、HBase和Spark时,很容易产生冲突。

5、(3)Shell脚本重构。

6、 Hadoop 3.0对Hadoop的管理脚本进行了重构,修复了大量bug,增加了新特性,支持动态命令等。

本文到这结束,希望上面文章对大家有所帮助。