分布式数据库DragonBase架构设计与实践.pdf

1、Fintech技术沙龙金融级数据库架构设计及运维实践金山云分布式数据库DragonBase架构设计与实践1分布式数据库发展背景金山云DragonBase架构设计金山云DragonBase应用实践2商业进阶（19801990）开源+分析（19902000）NoSQL数据库（20002010）云原生分布式、NewSQL、多模（20102020）软硬一体化云化+分布式+HTAP数据库系统演进OracleIBM DB2SQL ServerSysbaseInformixMySQLPostgresqlTeradataSybase IQGreenplumRedisHbaseMongoDBHadoopAuro

2、raRedshiftGoogle SpannerCockroachDB/TiDBSequoiaDBNEWDBs结构化数据RDBMS数据仓库ETL+OLAP在线关系计算在线/离线数据抽取&分析多样化异构数据计算文档KV空间向量时序结构化图半结构化多模&混合计算数据库统一服务HTAP软硬结合云原生分布式MutiModeDBaaS3分布式数据库技术架构演进APPAPPDB单体数据库分布式数据库垂直拆分APPDBAPPDBAPPDB配置中心分布式数据库分库分表APPAPPAPPproxyproxyproxyDBDBDBDISKsDISKsDISKsDISKsDISKsDISKs云原生数据库-计算存储分

3、离APPAPPAPPproxyproxyproxyDBDBDB分布式存储系统（FS/S3/NAS）高速网络HTAP数据库TP Server ClusterAP Server ClusterData AssociationAPPAPPAPPproxyproxyproxy分布式存储系统（FS/S3/NAS）高速网络4分布式数据库核心技术要素核心要素一致性高可用安全性能扩展性兼容性可运维性多副本一致性分布式事务能力RPO0,RTO30s数据访问、数据传输、数据存储、数据备份安全聚合计算性能、数据访问时延动态弹性扩缩容应用兼容、功能兼容运维平台自动化运维5分布式数据库发展背景金山云DragonBase

4、架构设计金山云DragonBase应用实践6数据库管理平台接入服务管控服务数据服务控制台API/SDKLB安全控制系统Zeus高可用系统Hera运维系统Beacon校验系统Homles监控系统Eagles数据传输DTS数据备份DBS数据管理DMS数据库集群计算节点DragonServer(DS)存储节点DragonData（DD）DSSQL解析执行计划并行计算DSSQL解析执行计划并行计算存储单元Group全局管理服务GMS全局序列全局元数据全局事务管理DD（主）DD（从）存储单元GroupDD（主）DD（从）金山云分布式数据库DragonBase架构7分布式数据库DragonBase：副本间

5、数据一致性Raft强一致复制MasterServerControlChannelDataChannelConsensus ServerBraftEngineSlaveServerControlChannelDataChannelConsensus ServerBraftEngineReplication副本数据一致性：支持异步同步、半同步和基于raft的强同步，兼顾不同应用场景【同步特性】异步同步：性能高，但容易丢数据 半同步：性能较高，网络不稳定时会丢数据 Raft强同步：性能较高，保证数据一致性【客户价值】保障全局数据一致性，RPO0 按业务需求调配同步模式8分布式数据库DragonBas

6、e：事务ACID属性保障分布式事务的ACID属性，难点：分布式事务跨多个DB，部分DB提交成功，如何保证全局事务的原子性(A)多个分布式事务并发，全局事务间不知道彼此分支事务提交状态，如何保证事务之间的隔离性(I）举例如下：时刻事件账户A（DB X）账户B（DB Y）备注T0初始化100100T1分布式事务GTrx1开启：A给B转50元100100T2Gtrx1完成账户A扣款5050100T3分布式事务GTrx2：查询账户A和账户B50100此时全局事务GTrx1还未提交T4GTrx2读到账户A为50元，账户B为100元50100全局事务GTrx2事务读到GTrx1未完成提交的中间结果T5GT