用户您好!请先登录!

TubeMQ正式开源

TubeMQ正式开源

本来各大公司开源自己的核心产品是现在互联网的一大趋势,但作为腾讯第一个捐赠给Apache组织的开源中件间,仍然显得那么与众不同,不知道何时可以成为Apache的顶级项目?在消息中间件满天飞的今天,重新使用新的框架是需要企业有很大的决心和魄力的。

Github 开源地址:http://github.com/Tencent/TubeMQ (提交的时间仅为四天前)

TubeMQ是腾讯在2013年自研的分布式消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,经过近7年上万亿的海量数据沉淀,目前日均接入量超过25万亿条。较之于众多明星的开源MQ组件,TubeMQ在海量实践(稳定性+性能)和低成本方面有着比较好的核心优势。

TubeMQ 捐赠 Apache 基金会

9月12日,Apache软件基金会成立20周年之际,腾讯在ApacheCon宣布TubeMQ 捐赠给 ASF。TubeMQ 成为腾讯开源第一个捐赠 Apache 基金会的项目。

Apache再添一员猛将,腾讯万亿消息中间件开源

 

TubeMQ系统特点

1. 纯Java实现语言

Tube MQ采用纯Java语言开发,便于开发人员快速熟悉项目及问题处理;

2. 引入Master协调节点

相比Kafka依赖于Zookeeper完成元数据的管理和实现HA保障不同,Tube MQ系统采用的是自管理的元数据仲裁机制方式进行,Master节点通过采用内嵌数据库BDB完成集群内元数据的存储、更新以及HA热切功能,负责Tube MQ集群的运行管控和配置管理操作,对外提供接口等;通过Master节点,Tube MQ集群里的Broker配置设置、变更及查询实现了完整的自动化闭环管理,减轻了系统维护的复杂度;

3. 服务器侧消费负载均衡

Tube MQ采用的是服务侧负载均衡的方案,而不是客户端侧操作,提升系统的管控能力同时简化客户端实现,更便于均衡算法升级;

4. 系统行级锁操作

对于Broker消息读写中存在中间状态的并发操作采用行级锁,避免重复问题;

5. Offset管理调整

Offset由各个Broker独自管理,ZK只作数据持久化存储用(最初考虑完全去掉ZK依赖,考虑到后续的功能扩展就暂时保留);

6. 消息读取机制的改进

Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理,解决消费严重滞后时吞吐量下降以及SSD磁盘容量小、刷盘次数有限的问题,使其满足业务快速生产消费的需求;

7. 消费者行为管控

支持通过策略实时动态地控制系统接入的消费者行为,包括系统负载高时对特定业务的限流、暂停消费,动态调整数据拉取的频率等;

8. 服务分级管控

针对系统运维、业务特点、机器负载状态的不同需求,系统支持运维通过策略来动态控制不同消费者的消费行为,比如是否有权限消费、消费时延分级保证、消费限流控制,以及数据拉取频率控制等;

9. 系统安全管控

根据业务不同的数据服务需要,以及系统运维安全的考虑,Tube MQ系统增加了TLS传输层加密管道,生产和消费服务的认证、授权,以及针对分布式访问控制的访问令牌管理,满足业务和系统运维在系统安全方面的需求;

10. 资源利用率提升改进

相比于Kafka,Tube MQ采用连接复用模式,减少连接资源消耗;通过逻辑分区构造,减少系统对文件句柄数的占用,通过服务器端过滤模式,减少网络带宽资源使用率;通过剥离对Zookeeper的使用,减少Zookeeper的强依赖及瓶颈限制;

11. 客户端改进

基于业务使用上的便利性以,我们简化了客户端逻辑,使其做到最小的功能集合,我们采用基于响应消息的接收质量统计算法来自动剔出坏的Broker节点,基于首次使用时作连接尝试来避免大数据量发送时发送受阻。

行走的code
行走的code

目前为止有一条评论

行走的code
行走的code 发布于11:53 下午 - 9月 15, 2019

客观来说,腾讯的步子落后阿里太多,在阿里消息中间件开源那么久之后才开源自己的产品,实为非常不明智的做法,但开源总好过不开源;对于广大技术爱好者和公司而言,毕竟多了一种渠道,一种可能性。

要发表评论,您必须先登录

%d 博主赞过: