大数据人官方②群

排列三预测

 找回密码
 注册会员

扫一扫,访问微社区

连准300期杀码公式:Hadoop生态新增列式存储系统Kudu

排列三预测 www.po1f4.com.cn 2016-6-18 20:19| 发布者: admin| 查看: 26107| 评论: 0|原作者: 董西成

摘要: Hadoop生态系统发展到现在,存储层主要由HDFS和HBase两个系统把持着,一直没有太大突破。在追求高吞吐的批处理场景下,我们选用HDFS,在追求低延迟,有随机读写需求的场景下,我们选用HBase,那么是否存在一种系统, ...

Hadoop生态系统发展到现在,存储层主要由HDFS和HBase两个系统把持着,一直没有太大突破。在追求高吞吐的批处理场景下,我们选用HDFS,在追求低延迟,有随机读写需求的场景下,我们选用HBase,那么是否存在一种系统,能结合两个系统优点,同时支持高吞吐率和低延迟呢?有人尝试修改HBase内核构造这样的系统,即保留HBase的数据模型,而将其底层存储部分改为纯列式存储(目前HBase只能算是列簇式存储引擎),但这种修改难度较大。Kudu的出现有望解决这一难题。

Kudu是Cloudera开源的列式存储引擎,具有以下几个特点:

  • C++语言开发

  • 高效处理类OLAP负载

  • 与MapReduce,Spark以及Hadoop生态系统中其他组件进行友好集成

  • 可与Cloudera Impala集成,替代目前Impala常用的HDFS+Parquet组合

  • 灵活的一致性模型

  • 顺序写和随机写并存的场景下,仍能达到良好的性能

  • 高可用,使用Raft协议保证数据高可靠存储

  • 结构化数据模型

Kudu的出现,有望解决目前Hadoop生态系统难以解决的一大类问题,比如:

  • 流式实时计算结果的更新

  • 时间序列相关应用,具体要求有:

    • 查询海量历史数据

    • 查询个体数据,并要求快速返回

  • 预测模型中,周期性更新模型,并根据历史数据快速做出决策


Kudu架构如下图所示:

目前Kudu处于beta版,仍在不断开发迭代中,不久将提交并成为Apache Software Foundation incubator,据有关资料介绍,国内小米参与了kudu的开发,并做出不少贡献。据小米首席架构师崔宝秋介绍:“作为 Hadoop 生态系统的长期用户和贡献者,小米在 Kudu 项目初期就开始了和 Cloudera 的合作开发,并已经将 Kudu 独特的实时排列三预测功能用到了小米业务中?!?/p>

Kudu官方网站://getkudu.io

Kudu源代码:https://github.com/cloudera/kudu

最新评论

关闭

站长推荐上一条 /2 下一条


id="mn_portal" >首页Portalid="mn_P18" onmouseover="navShow('P18')">应用id="mn_P15" onmouseover="navShow('P15')">技术id="mn_P37" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">前沿id="mn_P36" onmouseover="navShow('P36')">宝箱id="mn_P61" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">专栏id="mn_P65" >企业id="mn_forum_2" >社区BBSid="mn_Nd633" >导航 折叠导航 关注微信 关注微博 关注我们

QQ|广告服务|关于我们|鄂ICP备14012176号-2|Archiver|手机版|小黑屋|排列三预测    

GMT+8, 2019-5-20 08:19 , Processed in 0.787565 second(s), 21 queries .

Powered by 小雄! X3.2

© 2014-2016 排列三预测

返回顶部
  • 会玩!134米大桥之巅唱K “中国红”点亮悉尼全城 2019-05-20
  • 不仅是肌肉、技术比拼,更是精神PK,所以是文明人的战争。 2019-05-19
  • 大熊猫日记:和奶爸过年超开心  春节7天迎客38万+ 2019-05-19
  • 【新时代 新作为 新篇章】“煤老大”渐行渐远 新动能清风徐来 2019-05-18
  • 就因为“阶级亲”,才应把这些难民送到欧洲。欧洲生活水平高呀,让亲人生活的更好。不能让他们到中国受苦受难呀。 2019-05-18
  • 回复@笑傲江湖V:7000 2019-05-17
  • 期末评语少些“百搭句” 应最大限度地为学生成长服务 2019-05-16
  • 【学习时刻】清华大学周绍杰:坚定不移地贯彻落实新发展理念 2019-05-15
  • 传媒期刊秀:《今传媒》 2019-05-15
  • 本帖关键部分已被残酷删除。 2019-05-14
  • 郭树清谈非法集资风险:收益率超6%需谨慎 2019-05-14
  • 主持人资料库——吴小莉 2019-05-13
  • 包住内力,在不断变化中寻找契机,可出击可借力亦可卸力。 2019-05-13
  • 【北京新兴翔悦车型报价】北京新兴翔悦4S店车型价格 2019-05-12
  • 世界杯专版  2018俄罗斯世界杯C组巡礼 2019-05-12
  • 452| 158| 758| 62| 100| 812| 891| 411| 445| 726|