大数据人官方②群

排列三预测

 找回密码
 注册会员

扫一扫,访问微社区

排列五和值走势图带线:Hadoop 3.0新特性预览

排列三预测 www.po1f4.com.cn 2016-5-31 06:53| 发布者: admin| 查看: 3224| 评论: 0|来自: 董西成

摘要: Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.7在2015年4月已停止更新,这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本,而这正是hadoop 3.0。 Hadoop 3.0的alpha版预计今年夏天发布,GA版本11月或12月 ...

1. Hadoop 3.0简介


Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.720154月已停止更新,这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本,而这正是hadoop 3.0。


Hadoop 3.0alpha版预计今年夏天发布,GA版本11月或12月发布。


Hadoop 3.0中引入了一些重要的功能和优化,包括HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。

 

2. Hadoop 3.0新特性

 

Hadoop 3.0在功能和性能方面,对hadoop内核进行了多项重大改进,主要包括:


2.1 Hadoop Common

1)精简Hadoop内核,包括剔除过期的API和实现,将默认组件实现替换成最高效的实现(比如将FileOutputCommitter缺省实现换为v2版本,废除hftp转由webhdfs替代,移除Hadoop子实现序列化库org.apache.hadoop.Records

2Classpath isolation以防止不同版本jar包冲突,比如google Guava在混合使用Hadoop、HBaseSpark时,很容易产生冲突。(https://issues.apache.org/jira/browse/HADOOP-11656

3Shell脚本重构。 Hadoop 3.0Hadoop的管理脚本进行了重构,修复了大量bug,增加了新特性,支持动态命令等。https://issues.apache.org/jira/browse/HADOOP-9902

 

2.2 Hadoop HDFS

 

1HDFS支持数据的擦除编码,这使得HDFS在不降低可靠性的前提下,节省一半存储空间。(https://issues.apache.org/jira/browse/HDFS-7285

2)多NameNode支持,即支持一个集群中,一个active、多个standby namenode部署方式。注:多ResourceManager特性在hadoop 2.0中已经支持。(https://issues.apache.org/jira/browse/HDFS-6440

 

2.3 Hadoop MapReduce

 

1Tasknative优化。为MapReduce增加了C/C++map output collector实现(包括Spill,SortIFile等),通过作业级别参数调整就可切换到该实现上。对于shuffle密集型应用,其性能可提高约30%。(https://issues.apache.org/jira/browse/MAPREDUCE-2841

2MapReduce内存参数自动推断。在Hadoop 2.0中,为MapReduce作业设置内存参数非常繁琐,涉及到两个参数:mapreduce.{map,reduce}.memory.mbmapreduce.{map,reduce}.java.opts,一旦设置不合理,则会使得内存资源浪费严重,比如将前者设置为4096MB,但后者却是“-Xmx2g”,则剩余2g实际上无法让java heap使用到。(https://issues.apache.org/jira/browse/MAPREDUCE-5785

 

2.4 Hadoop YARN


1)基于cgroup的内存隔离和IO Disk隔离(https://issues.apache.org/jira/browse/YARN-2619

2curator实现RM leader选举(https://issues.apache.org/jira/browse/YARN-4438

3containerresizinghttps://issues.apache.org/jira/browse/YARN-1197

4Timelineserver next generation https://issues.apache.org/jira/browse/YARN-2928

 

3.   Hadoop3.0总结


Hadoop 3.0alpha版预计今年夏天发布,GA版本11月或12月发布。


Hadoop 3.0中引入了一些重要的功能和优化,包括HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。


最新评论

关闭

站长推荐上一条 /2 下一条


id="mn_portal" >首页Portalid="mn_P18" onmouseover="navShow('P18')">应用id="mn_P15" onmouseover="navShow('P15')">技术id="mn_P37" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">前沿id="mn_P36" onmouseover="navShow('P36')">宝箱id="mn_P61" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">专栏id="mn_P65" >企业id="mn_forum_2" >社区BBSid="mn_Nd633" >导航 折叠导航 关注微信 关注微博 关注我们

QQ|广告服务|关于我们|鄂ICP备14012176号-2|Archiver|手机版|小黑屋|排列三预测    

GMT+8, 2018-8-16 18:04 , Processed in 0.444451 second(s), 21 queries .

Powered by 小雄! X3.2

© 2014-2016 排列三预测

返回顶部
  • 中国警察被要求自觉接受监督 习惯在镜头下执法 2019-02-21
  • “互联网+”“+”出正风反腐新动能 2019-02-21
  • 快看!山西这场1600℃高温打铁花表演震撼人心 2019-02-20
  • 2018“我们的中国梦”文化进万家活动在兰考启动 2019-02-19
  • 赵雅芝联合“我·爱我 女性健康工程”为乳腺健康共发声 2019-02-19
  • 周边景区邀你开心过节 2019-02-18
  • 胡杏儿晒儿子软萌照 睡眼惺忪眼神迷人可爱十足 2019-02-18
  • 习近平会见塔吉克斯坦总统拉赫蒙 2019-02-17
  • 河北大城民间匠人手工打造故宫角楼模型 2019-02-16
  • 习近平主持上海合作组织青岛峰会小范围会谈 2019-02-15
  • 海峡两岸学者聚首漳州共同探讨黄道周文化 2019-02-15
  • "创造101"杨超越引争议 表演业余人气高别光怨选手 2019-02-14
  • 空调有异味是为什么 这是你可能忽略的健康隐患 2019-02-14
  • 百件国宝齐聚浙博讲述浙江故事 2019-02-13
  • 宁波本土手工匠人创作的青瓷作品“海曙楼青瓷盘”亮相 2019-02-12
  • 806| 312| 424| 856| 288| 55| 659| 681| 460| 393|