1、金融行业分布式数据库容器化建设需求研究北京金融科技产业联盟2024 年 10 月I版权声明本报告版权属于北京金融科技产业联盟,并受法律保护。转载、编摘或利用其他方式使用本白皮书文字或观点的,应注明来源。违反上述声明者,将被追究相关法律责任。II编制委员会主任:聂丽琴编委会成员:吕俊锋罗学平杜志明田永江杨维强汪洋编写组成员:李嵩嵩杨旭刘月然朱鹏秦延涛曹伟刘海波吕初伟曹源李建国应珊珊龙恒杨欣孙勇福杨锐陈伟红黄贵赵亮燕征南梁海安骆明顺路新英梁广涛徐雪涛朱洁郎岳樟李保洋编审:黄本涛张蕾III参编单位:北京金融科技产业联盟招商银行股份有限公司中国农业银行股份有限公司杭州云猿生数据有限公司腾讯云计算(北京
2、)有限责任公司金篆信科有限责任公司平安科技(深圳)有限公司华为云计算技术有限公司阿里云计算有限公司上海爱可生信息技术股份有限公司北京百度网讯科技有限公司1目目录录一、目标.3二、技术分析.4(一)分布式数据库技术.4(二)容器技术.8三、运维需求分析.10(一)调度.11(二)变更.12(三)切换.17(四)副本重搭.19(五)备份恢复.21(六)迁移.22(七)监控报警.24(八)数据库访问控制.27(九)混沌工程.29(十)智能运维.32(十一)其他.34四、应用需求分析.36(一)一致性校验.36(二)容灾.382五、建设方案.41(一)分层抽象.41(二)管理平台API设计.46(三)
3、OPENAPI标准化.49六、展望与计划.493一、目标随着金融行业数字化转型的不断深入,金融机构对于数据管理提出了更高的要求。在容器技术和数据库生态系统不断发展的背景下,分布式数据库容器化已经成为一种趋势,凭借其灵活性、可扩展性和高可用性,成为金融行业数据管理的重要选择,可为金融行业带来如下收益:提高自动化程度提高自动化程度,分布式数据库容器化能使其在多云、混合云环境中灵活地部署和管理,利用云平台的资源调度和自动化能力,实现分布式数据库的自动扩缩容和高可用性。提升部署和运维效率提升部署和运维效率,分布式数据库容器化简化了部署和管理过程。通过使用容器镜像,将配置和依赖项打包在一起,实现一致性和
4、可重复性的部署,简化生产环境的运维工作,降低人为错误的风险。优化资源利用率优化资源利用率,传统的分布式数据库部署通常需要专用的服务器和资源,导致资源利用率较低。而分布式数据库容器化允许在同一台服务器上进行高密度的数据库实例部署,通过容器的隔离性和资源限制功能,可以更好地利用服务器资源,提高资源利用率和成本效益。数据库混合部署数据库混合部署,金融应用通常需要使用多种类型的数据库,容器化使得在同一个环境中运行和管理不同类型的数据库变得更加高效、经济,实现不同数据库的混合部署。保证数据安全与隔离保证数据安全与隔离,在多租户或共享环境中,相对于共享4物理机,分布式数据库容器化提供了更好的数据隔离和安全
5、保障。每个数据库实例运行在独立的容器中,可以减少数据泄露和相互干扰的风险。本文从金融行业视角,对分布式数据库和容器技术进行了研究,结合实践中的真实运维需求和应用需求给出了分布式数据库容器化建设方案,为云化时代金融机构运用容器技术解决云平台和分布式数据库间兼容匹配的问题提供有效参考。二、二、技术分析(一)分布式数据库技术数据库技术分布式数据库是一种在多个物理或逻辑位置存储数据的数据库系统。在金融行业,分布式数据库提供了高可用性、数据一致性和弹性扩缩容能力。金融机构可以利用分布式数据库处理大规模交易数据,实现快速查询和实时分析,从而提高决策效率。随着金融科技的发展,分布式数据库在支持复杂金融产品、
6、风险管理和客户服务等方面发挥着越来越重要的作用。分布式数据库的性能,源自其在数据分布、事务处理和架构上的独特之处。1.1.数据分布数据分布方式方式。分布式数据库与单机数据库存储在本地磁盘或者共享磁盘的方式不同,采用 Sharde-Nothing 架构。数据通过多副本保存在不同的数据节点,每个数据节点拥有一部分数据,多个数据节点共同组成完整数据。目前分布式数据库产品的数据分布有两种方式。指定分片键分布:数据表以指定分片键及分片算法方式,将5整张表的数据打散分布到各个数据节点。常用的分片策略有:哈希分片(hash)、范围分片(range)、列表分片(list)、复制分片(duplicate)、多级