1、江晶北京自然原数科技有限公司首席科学家Kingwow(金乌)通用型数据库的创新与实践目录CONTENTS金乌数据库架构特点01金乌技术创新与特点02金乌数据库应用实践03金乌数据库架构特点产品架构01数据库引擎应用程序编译器SQL解析查询执行器事务管理缓冲区管理权限管理文件管理索引统计数据数据字典数据文件日志磁盘存储传统集中式架构传统集中式架构VS具备高可用、高性能、弹性伸缩、多活部署、兼容性强、可靠性高等特征。满足银行关键业务 7*24 小时持续稳定运行的需求KingwowKingwow(金乌)分布式架构(金乌)分布式架构元数据内部管理日志处理管理平台应用程序KG节点.KG节点KG节点KG节
2、点.KG节点KG节点监控平台运维平台迁移平台数据平台查询执行器缓冲区管理查询优化器数据分片两阶段TG节点TG节点TG节点两阶段Paxos事务组(一主多备)Paxos事务组(一主多备)Paxos事务组(一主多备)动态数据缓存在内存中数据库存储层数据库引擎层数据自动分片应用层无感知分片分片分片分片分片分片分片分片.分片分片分片分片分片分片分片分片.分片分片分片分片分片分片分片分片.分布式文件系统事务管理日志处理PaxosKG(calculation engine)计算引擎,负责sqlsql词法分析,执行计划生成、数据管理MG(manager engine)管理引擎,负责集群元数据管理,各节点的状态
3、维护和任务调度TG(transaction engine)事务处理引擎,负责事务相关处理工作,日志同步部署模式02PaxosTG/DG/KGTG/DG/KGTG/DG/KG异地机房同城机房同城机房paxospaxosTG/MGTG/MGKGKGTG/MGTG/MGTG/MGKG主机房备机房paxosKGKGKGKGKGKGKGTG/MGTG/MGTG/MG主机房备机房最大可用KGKGKGKGKGKGKGTG/MGTG/MGTG/MGPaxos权重单机房部署两地三中心部署同城双中心部署三地五中心部署金乌数据库技术创新与特点01快速校验TB级数据,实现秒级校验快速克隆TB级联机库,秒级实现集群完整
4、克隆极速备份恢复秒级构建批量库;秒级无限次恢复至指定时间点CPU、存储、网络资源近乎零消耗;对联机无影响040203兼容性强高度兼容Oracle、DB2、MySQL、PG,应用平滑迁移代价小,适配成本低。技术创新与特点01快速校验01传输记录同时传输64位CRC校验码主集群和备集群事务节点的内存表必须保持一致副本数据文件汇报时进行校验多层次数据校验传输校验镜像校验副本校验金乌数据库多版本机制和文件系统校验功能,对于TB级别以上的大规模数据场景,可以实现秒级全数据量快速校验。兼容性强02数据类型OracleMySQLDB2金乌(Kingwow)32位有符号整数INTINTINTINT64位有符号
5、整数NUMBERBIGINTBIGINTBIGINT高精度数值类型DECIMALDECIMAL/NUMBERDECIMALDECIMAL变长字符,N表示字节数VARCHAR(N)VARCHAR(N)VARCHAR(N)VARCHAR(N)定长二进制类型-BINARYBINARYBINARY分页ROWNUMLIMITROWNUM()LIMIT/ROWNUMBIT-BIT-BITBLOBBLOBBLOBBLOBBLOBCLOBCLOBLONGTEXTCLOBTEXTJSON-JSONJSONJSON序列SEQUENCE-SEQUENCESEQUENCE时间类型DATEDATEDATEDATE时间戳
6、类型TIMESTAMPTIMESTAMPTIMESTAMPTIMESTAMP存储过程支持支持支持支持(Oracle样式)视图支持支持支持支持临时表支持支持支持支持触发器支持支持支持支持自定义函数支持支持支持支持游标支持支持支持支持(只读)JOIN、集合操作、子查询支持支持支持支持 支持 SQL-92 至 SQL:2016 全部国际标准,高度兼容Oracle、DB2、MySQL语法,为数据库国产化替换铺平道路。支持自动数据分片,支持DDL、DML、DCL的标准。支持Oracle常用功能,支持sequence、merg