Twitter开发了新的流处理系统Heron | Twitter
TearSnow FanS


Twitter开发了新的流处理系统Heron

Twitter已经用Heron完全替换了Storm。一直以来,Twitter都在致力于开发替代方案Heron,因为 Storm无法满足他们的实时处理需求。前者现在每天处理“数10TB的数据,生成数10亿输出元组”,在一个标准的单词计数测试中,“吞吐量提升了6到14倍,元组延迟降低到了原来的五到十分之一”,硬件减少了2/3。

1

Twitter的新实时处理需求包括 :“每分钟数十亿的事件;大规模处理具有次秒级延迟和可预见的行为;在故障情况下,具有很高的数据准确性;具有很好的弹性,可以应对临时流量峰值和管道阻塞;易于调试;易于在共享基础设施中部署。Twitter使用 Storm 实时分析海量数据已经有好几年了,并在2011年将其开源。该项目稍后开始在Apache基金会孵化,并在去年秋天成为顶级项目。

本文固定链接: http://www.tuiteblog.com/?p=22

该日志由 admin 于2015年06月16日发表在 twitter资讯 分类下,
原创文章转载请注明: Twitter开发了新的流处理系统Heron
关键字: ,

报歉!评论已关闭.