TubeMQ:腾讯开源的万亿级分布式消息中间件

腾讯rom 时间:2021-01-29 阅读:()

TubeMQ是腾讯在2013年自研的分布式消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,经过近7年上万亿的海量数据沉淀,目前日均接入量超过25万亿条.
较之于众多明星的开源MQ组件,TubeMQ在海量实践(稳定性+性能)和低成本方面有着比较好的核心优势.
该项目于2019年11月03日正式进入Apache孵化器.
TubeMQ的性能从TubeMQ架构图可以很清晰的看到,作为分布式的消息中间件系统,Broker单节点的性能情况直接影响到集群总体的性能表现,即相同的节点数下Broker节点性能越高则TubeMQ的总体性能越强.
下表是根据我们多年的线上运营经验总结的典型场景:如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop通过对TubeMQ与Kafka进行对比测试分析,在1份写入2份并行消费的场景下,从机型、关键配置、系统测试结果数据的对比中我们可以很清晰的看到TubeMQ的性能情况,用大家熟悉的复仇者联盟角色类比,相当于是如下表的情况总结:1/10如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop总的来说:Kafka按照顺序写+顺序块读的模式实现,单实例下性能数据很强,但随着实例数增多,它的性能就呈现不稳定下降状态;TubeMQ采用顺序写+随机读的模式,即使在最大限制下系统仍可以做到长期稳定的1G以上的入流量,同时,结合服务端过滤过滤消费非常顺畅.

展开全文