稳筑基石云帆万里 -- 构建极速稳定多元异构数据库云化底座 - 胡自贵_云和恩墨.pdf

1、稳筑基石，云帆万里构建极速稳定多元异构数据库云化底座演讲人：胡自贵云和恩墨趋势挑战：行业变化、客户转型、产业升级带来的新挑战行业变化：多元、国产、上核心IT栈硬件全线升级，性能倍增国产数据库百花齐放，据墨天轮统计，品类总数近300 高性能、灵活扩展 应对外部爆炸式的业务并发和数据增长过去，硬件慢，软件慢点无所谓现在，硬件快，软件慢点大问题多元数据库百花齐放多资源池，管理难客户转型：集中化、云化产业升级：新硬件潜力有待挖掘自主可控部署要求硬件架构多，适配难 政策驱动，全栈国产自主可控 国产软硬件适配复杂，管理成本高，问题频发国产数据库上核心要求高性能高可靠的承载环境本地盘等部署方式，系统可靠性难

2、以支撑国产数据库上核心的诉求集中化建设系统A系统B系统C统一资源池 规范业务、打通流程，离散业务集中化、标准化 外部压力不变，内部压力倍增云化建设云资源池7.5X每百万用户计费话单量1.2亿 7.5亿10X省级网元运维数据量13.7PB 111.5PB银行业务办理2-4周秒级利用新技术，软硬件深度整合，充分挖掘整机性能成为当务之急实事求是：从一个用户的案例看国产数据库承载架构需求 数据库架构现状：1、使用某大厂分布式数据库集中式部署版本。2、当前业务分了4套数据库（按地市进行区分），每套数据库一主两备，一共12台主机；数据库存储在服务器本地盘，当前数据量较小，仅1-200G。【数据量很少，国产

3、库为什么都建议用本地盘？】3、服务器配置：全闪SSD，10T左右空间；CPU为鲲鹏920，64核；768G内存【存储资源浪费严重，磁盘故障率高】4、2023年12月底开始上线，购买了2个月原厂服务，经过几个月磨合，目前系统运行正常，CPU使用率一般处于20-30%之间，偶尔40%。【为什么会出现数据量很小，但是CPU占用还不低？】数据库承载架构思考：1、存算分离是架构设计的基本原则，也是解放单机架构下CPU能力的关键一环。2、本地盘性能好，但资源浪费，冗余性差，资源浪费？要实现既安全可靠又高性能，同时能实现存储资源的共享？资源共享，降本增效？3、国产数据库引擎相对Oracle还有一定差距，如何

4、弥补？同样的车，高速VS国道？1km、100km抽丝剥茧1：决定数据库性能的一些关键考核指标性能指标概念 IO：Input-Output，读写请求 IO大小：如4K、8K、1M，读写数据大小，交易型（OLTP）系统一般为小IO，分析型（OLAP）系统一般为大IO IOPS：系统每秒可以处理的IO数量，考察IO的并发处理能力，一般小IO才考察该能力。时延：每个IO执行的时间，一般小IO才考察该能力 带宽：系统每秒可以处理的IO带宽总数，一般大IO考察该能力性能考察方法（见右图）假设系统对每个IO的处理时间是1ms，系统可同时排队的IO数量是8个。则该系统的IO并发处理能力是8（如果计算IOPS，

5、则需要计算1秒内的IO处理能力），因为队尾的IO要等前面的IO执行完，所以队尾的IO时延更大（可能达到7ms），整体平均时延也会更大。因此，考察一个系统的小IO性能，要同时考量IO并发能力和单IO处理时延，单独考察其中之一都是没有意义的。一个高性能系统，要在低时延的情况下，观察IO并发能力（IOPS）。有些系统IOPS很高，但是时延也很高（甚至不可容忍），也说明系统性能较差。IO-1IO-2IO-3IO-4IO-5IO-6IO-7IO-8IO-9IO-11IO-10IO-12每个IO处理时间系统可以同时排队的IO数量性能关键指标99%和99.99%的时延：时延从低到高排序，排在第99%和99.

6、99%的IO时延。这两个时延是考察存储时延的通用指标。相当于中位数（这里是99%位数）。举例来说，小部分时延很高，大部分时延很低，平均时延则会很低。但存储系统往往要考察这小部分高时延的表现，所以会观察99%、99.99%位数的IO时延，这两个时延越低，说明系统的IO处理能力越强。抽丝剥茧2：数据库常用存储协议类型：块、文件、对象协议层存储层FC/iSCSI/NVMe-oF硬盘读/写NFS/CIFS/Posix文件打开/修改/保存/删除S3/SWIFT对象上传/下载/查询/删除块存储文件存储对象存储对比场景：数据库、虚拟化特点：二进制方式直接访问存储，性能最高，数据无法共享；用于结构化数据的存储