《专题研讨1-于巍-分布式技术趋势分享.pptx》由会员分享,可在线阅读,更多相关《专题研讨1-于巍-分布式技术趋势分享.pptx(10页珍藏版)》请在三个皮匠报告上搜索。
1、分布式技术趋势分享,数据库产品部,数据库技术委员会主任 移动云海山数据库研发负责人 于巍,移动云和数据库团队简介,移动云立足云服务商第一阵营,入选国资委首批“创建世界一流专业领军示范企业”名单,开启“成为一流云服务商”新征程,移动云数据库团队十年前正式诞生,以实现数据库核心技术自主可控为目标,目前已构建完整产品和市场体系,并实现大规模商用。,中国公有云I+P服务市场份额第五位,2014,基于开源启动商业版产品打造集团内部推广和应用,苏州研发中心,2020,启动云改,转型云计算服务商海山数据库1.0发布,云能力中心,2024,云原生进阶,发布海山数据库2.0启动算力网络数据库探索和研究,规模20
2、0+人苏州/北京/上海/南京,研发团队,15+31全国资源覆盖30万 核,资源规模,10+中移专业公司9大重点行业突破,市场推广,多领域市场份额领先,专属云,边缘云,No.1,政务云,No.2,(2023H2),移动云数据库产品矩阵,数据库生态工具数据库传输 数据库管理 数据库自治,事务型RDS数据库(MySQL、PostgreSQL、达梦、TiDB、SQL Server),分析与检索海山数据库数仓版搜索数据库向量数据库,NoSQL缓存数据库文档数据库多模数据库*(图、时序等),数据库统一云原生平台底座,海山数据库 MySQL版*海山数据库 PostgreSQL版海山数据库 分布式版*,L1,
3、L1,L1,L1,L1,L2,L3,L2,L2,算力网络数据库*,L4,*海山数据库MySQL版和分布式版公测中,即将上线*多模数据库正处于研发阶段*算力网络数据库正处于前期调研阶段,L1,移动云基于K8s构建云原生数据库底座,全线产品达云原生L1级自研海山数据库系列,采用存算分离架构,并全面向Serverless演进在中国移动算力网络战略下,大力探索算力网络数据库,积极推进相关技术以及行业标准制定,移动云一站式云原生数据库服务,海山数据库(He3DB)集中式版-整体架构,He3DB计算引擎:提供SQL解析,计算能力。所有写请求转化为日志 写,读请求从Page服务获取数据He3Store存储引
4、擎:异步回放日志成Page数据,最终使用S3作为数据持久层,分为日志服务与Page服务He3Proxy 智能中间件:能够感知业务负载,多维度负载均衡选择路由,提供读写一致性能力生态工具 实现业务零感知的秒级备份/恢复能力,提供监控工具,迁移工具,Cluster管理工具,主要组件主要组件,主要组件,He3DB 云原生版本采用存算分离数据共享架构。包含PostgreSQL、MySQL两个版本,100%兼容PostgreSQL、MySQL协议,支持1主15备读写分离底层共用一份数据,最大支持100TB数据量存储,RTO故障恢复时延可控制在30S以内,支持联邦内存池缓存命中率相对传统主备模式提升2倍以
5、上,支持秒级在线新增实例,适合大数据量实时在线交易性业务,海山单机、云原生一体化,成效:一套代码同时支持中小微客户需求,无需中断服务,实现数据共享与非共享访问模式的无感切换,本地 RDS 云原生数据库,数据库迁移场景应用示例,迁移,迁移,本地,迁移,友商:2次迁移,自研:1次迁移+1次无感切换,云原生数据库,海山算力网络一体化数据库服务,面向未来算力网络场景,打造“一专多能”一体化数据库,“专”在TP领域,“能”在提供AP、时序、流、图、文档、AI等多模能力,实现集中式分布式等架构一体化、AP/TP场景支撑一体化、多类引擎一体化,满足一站式即开即用场景需求。结合算网需求,在超大规模、跨域(计算
6、、传输)智能调度、多模协同等算网基础能力,逐步推出算力网络一体化数据库服务。,分布式事务及Google Spanner TrueTime,分布式事务:分布式数据库的扩展性必须需要数据分区,随之而来的后果就是必须处理跨数据分区的分布式事务。综述:An Evaluation of Distributed Concurrency Control(VLDB2017)。The End of a Myth:Distributed Transactions Can Scale(VLDB2017)Percolator:Google在分布式Key-value store(