纽约M17大会:腾讯云数据库CDB的设计原理

  纽约时间4月12日,著名开源数据库组织MariaDB在美国纽约曼哈顿召开了第一届M17会议,腾讯云数据库专家程彬分享腾讯云的数据库CDB设计原理,讲述了诸多不为人知的内容,包括设计思想以及技术细节,在腾讯云的数据库设计中,性能优化和Logbus部分为核心特点。

  该会议为著名MySQL的分支MariaDB的第一次用户大会,旨在让更多用户、开发者和公司学习交流数据库技术,互通有无。

  首先腾讯云数据库产品,基于大规模用户的使用,经过QQ、微信、腾讯游戏等世界级用户量的产品验证,积累了丰富的经验,在过去的2016年,用户数量倍增。

  据程彬透露,在创立腾讯云数据库之初,各业务均希望数据库能提供更低的成本,同时提供更优的RTO和RPO,并能7*24小时的服务,免去繁琐的运维,让使用者能从繁重的数据库运维中解脱出来。因此,一开始的设计过程就对存储、运维、性能、可用性、扩展性、安全性以及成本等做了全局考虑。

  客户们使用了云数据库后,对他们的运维和DBA团队,带来的工作方式的改变。可以节约更多时间来思考和业务结合更加紧密的工作。例如,他们把原来用于维护数据库的时间来做数据分析,深刻的理解业务数据,挖掘更多的商业价值。

  CDB采用可配置的一主多Slave模式,可以设置这些Slave节点位于不同的可用区,在不同的配置条件下可以去满足不同行业的可用性要求。同时,也可根据可用区延迟灵活的配置同步方式,从而保证性能优先或数据一致性优先。为了提高性能,腾讯云数据库对SQL线程和IO现成的锁冲突,随机IO消耗以及Relaylog的缓存,均做了优化,并提出了自己的同步组件称之为LogBus,加速主备切换时间和故障发现时间。

  因为云数据库的服务,和以往自建服务不同,为了完成回档、多份数据的持久性和数据的安全性,跨地域容灾等实例之间的数据同步,是一个用得非常多的特性。这个会关系到整个集群的可用性,因此,这里的logbus接管了主备同步的数据,在中间优化传输速度,保证传输的可靠性,对整个集群带来了本质的改变。

  演讲中,程彬详细介绍了性能优化的诸多手段,例如线程池、查询计划缓存,MVCC优化,redo log锁优化,以及jemalloc优化等,腾讯云数据库一直以性能著称,除了采用最新,最优秀的硬件设备外,内核优化也是杀手锏。并且程彬还承诺,这些优化会很快开源出来,共享到全球企业。

  在数据持久性方面,腾讯云数据库采用弹性备份策略,可以针对数据进行逻辑备份,单表备份,以及物理备份,然后根据备份的数据,可以提供回档功能。

  在分布式方面,程彬透露了一个新组件的内部开发即将完成。正在紧张测试阶段,该分布式服务可以把现有的数据库分片到主从版数据库,支持分布式事务,支持完整的DDL DML等语句,扩容方便,支持PB级的分布式存储。

  同时程彬也提到和腾讯云数据库在社区方面的一些后续动作,将在2017年投入人力,整理部分云数据库的优秀功能,回馈社区,并广泛的和国内外开源界进行沟通交流,引进优秀方案,输出研究成果,多参与社区活动,一起把将开源数据库提升到企业级品质。

  最后程彬还透露了部分后续数据库的规划,其中性能诊断、DBA工具集是大家翘首以盼的运维利器,期望早日与用户见面。

  2018年最后一天,你想跟谁一起倒计时?是蔡徐坤、乐华七子、火箭少女、oner、朱一龙等超人气爱豆,还是蔡依林、林俊杰、张惠妹、徐佳莹等歌坛扛把子的天王天后,又或者是马...

  随着社交网络化的进一步普及,对于手机端用户,尤其是追求个性化表达的年轻群体而言,信息的即时性和可视化成为核心需求。以微信发送60s语音为例,就曾多次登上热搜榜,成...

  2018年很快就要过去了,假如有人问你,这一年过得怎么样?大概一千个人会有一千个不同答案。 有行业巨头在内部会议喊出“活下去”的口号,让人感到阵阵寒意。 有...

  今天是2018年最后一个工作日,2019年已经在向我们招手!2018年是改革开放40周年,也是中国零售业发生深刻变化的一年,对苏宁来说,这一年意义更为特别,由苏宁首创的智慧零...

  12月28日,新华网主办的第十一届中国企业社会责任峰会暨2018中国社会责任公益盛典在京召开,苏宁荣获杰出企业奖,苏宁控股集团党委副书记、苏宁易购集团副总裁马康作主题演...

TAG标签:
Ctrl+D 将本页面保存为书签,全面了解最新资讯,方便快捷。