大数据人官方②群

排列三预测

 找回密码
 注册会员

扫一扫,访问微社区

3d走势图带连线专业版:Hadoop 3.0新特性预览

排列三预测 www.po1f4.com.cn 2016-5-31 06:53| 发布者: admin| 查看: 4471| 评论: 0|来自: 董西成

摘要: Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.7在2015年4月已停止更新,这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本,而这正是hadoop 3.0。 Hadoop 3.0的alpha版预计今年夏天发布,GA版本11月或12月 ...

1. Hadoop 3.0简介


Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.720154月已停止更新,这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本,而这正是hadoop 3.0。


Hadoop 3.0alpha版预计今年夏天发布,GA版本11月或12月发布。


Hadoop 3.0中引入了一些重要的功能和优化,包括HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。

 

2. Hadoop 3.0新特性

 

Hadoop 3.0在功能和性能方面,对hadoop内核进行了多项重大改进,主要包括:


2.1 Hadoop Common

1)精简Hadoop内核,包括剔除过期的API和实现,将默认组件实现替换成最高效的实现(比如将FileOutputCommitter缺省实现换为v2版本,废除hftp转由webhdfs替代,移除Hadoop子实现序列化库org.apache.hadoop.Records

2Classpath isolation以防止不同版本jar包冲突,比如google Guava在混合使用Hadoop、HBaseSpark时,很容易产生冲突。(https://issues.apache.org/jira/browse/HADOOP-11656

3Shell脚本重构。 Hadoop 3.0Hadoop的管理脚本进行了重构,修复了大量bug,增加了新特性,支持动态命令等。https://issues.apache.org/jira/browse/HADOOP-9902

 

2.2 Hadoop HDFS

 

1HDFS支持数据的擦除编码,这使得HDFS在不降低可靠性的前提下,节省一半存储空间。(https://issues.apache.org/jira/browse/HDFS-7285

2)多NameNode支持,即支持一个集群中,一个active、多个standby namenode部署方式。注:多ResourceManager特性在hadoop 2.0中已经支持。(https://issues.apache.org/jira/browse/HDFS-6440

 

2.3 Hadoop MapReduce

 

1Tasknative优化。为MapReduce增加了C/C++map output collector实现(包括Spill,SortIFile等),通过作业级别参数调整就可切换到该实现上。对于shuffle密集型应用,其性能可提高约30%。(https://issues.apache.org/jira/browse/MAPREDUCE-2841

2MapReduce内存参数自动推断。在Hadoop 2.0中,为MapReduce作业设置内存参数非常繁琐,涉及到两个参数:mapreduce.{map,reduce}.memory.mbmapreduce.{map,reduce}.java.opts,一旦设置不合理,则会使得内存资源浪费严重,比如将前者设置为4096MB,但后者却是“-Xmx2g”,则剩余2g实际上无法让java heap使用到。(https://issues.apache.org/jira/browse/MAPREDUCE-5785

 

2.4 Hadoop YARN


1)基于cgroup的内存隔离和IO Disk隔离(https://issues.apache.org/jira/browse/YARN-2619

2curator实现RM leader选举(https://issues.apache.org/jira/browse/YARN-4438

3containerresizinghttps://issues.apache.org/jira/browse/YARN-1197

4Timelineserver next generation https://issues.apache.org/jira/browse/YARN-2928

 

3.   Hadoop3.0总结


Hadoop 3.0alpha版预计今年夏天发布,GA版本11月或12月发布。


Hadoop 3.0中引入了一些重要的功能和优化,包括HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。


最新评论

关闭

站长推荐上一条 /2 下一条


id="mn_portal" >首页Portalid="mn_P18" onmouseover="navShow('P18')">应用id="mn_P15" onmouseover="navShow('P15')">技术id="mn_P37" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">前沿id="mn_P36" onmouseover="navShow('P36')">宝箱id="mn_P61" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">专栏id="mn_P65" >企业id="mn_forum_2" >社区BBSid="mn_Nd633" >导航 折叠导航 关注微信 关注微博 关注我们

QQ|广告服务|关于我们|鄂ICP备14012176号-2|Archiver|手机版|小黑屋|排列三预测    

GMT+8, 2019-5-20 08:49 , Processed in 0.532813 second(s), 23 queries .

Powered by 小雄! X3.2

© 2014-2016 排列三预测

返回顶部
  • 会玩!134米大桥之巅唱K “中国红”点亮悉尼全城 2019-05-20
  • 不仅是肌肉、技术比拼,更是精神PK,所以是文明人的战争。 2019-05-19
  • 大熊猫日记:和奶爸过年超开心  春节7天迎客38万+ 2019-05-19
  • 【新时代 新作为 新篇章】“煤老大”渐行渐远 新动能清风徐来 2019-05-18
  • 就因为“阶级亲”,才应把这些难民送到欧洲。欧洲生活水平高呀,让亲人生活的更好。不能让他们到中国受苦受难呀。 2019-05-18
  • 回复@笑傲江湖V:7000 2019-05-17
  • 期末评语少些“百搭句” 应最大限度地为学生成长服务 2019-05-16
  • 【学习时刻】清华大学周绍杰:坚定不移地贯彻落实新发展理念 2019-05-15
  • 传媒期刊秀:《今传媒》 2019-05-15
  • 本帖关键部分已被残酷删除。 2019-05-14
  • 郭树清谈非法集资风险:收益率超6%需谨慎 2019-05-14
  • 主持人资料库——吴小莉 2019-05-13
  • 包住内力,在不断变化中寻找契机,可出击可借力亦可卸力。 2019-05-13
  • 【北京新兴翔悦车型报价】北京新兴翔悦4S店车型价格 2019-05-12
  • 世界杯专版  2018俄罗斯世界杯C组巡礼 2019-05-12
  • 667| 434| 180| 66| 191| 84| 304| 875| 106| 744|