从行到列：探索 OceanBase 4.3 的列存储引擎_曹晖.pdf

1、从行至列探索 OceanBase 4.3 的列存储引擎曹晖OceanBase 资深技术专家Contents目录01 背景02 实践03 展望01背景SALARYIDNAMESALARYIDNAMESALARYIDNAMESALARYNAMEIDIDNAMESALARYIDSALARYNAMENSM(N-ary Storage Model)行存多值访问/更新友好DSM(Decomposition Storage Model)列(组)存Cache/压缩友好PAX(Partition Attributes Across)行列混存/列行混存列存存储格式MEMORYDISK 内存列存 磁盘行存内存镜像

2、TP 行存 AP 列存异构副本TPReplicaTPReplicaAPReplica 增量行存 基线列存Deleta StoreL-1 Delta StoreL-N Delta StoreMain Store列存存储模式Merge on Read写入快/读取慢Copy on Write不适合频繁更新Delta Store写入慢索引难以维护Delete Bitmap写入稍慢Upsert 带来更新放大Delta StoreDelete BitmapXXXX列存更新模式 ROWPAXMajor SSTableMinor SSTableMemoryDiskIn-Memory HashIn-Memory

3、 B!-TreeMutationLogsScanQueryMemTableBlock CacheMultiple storage versionsOceanBase 存储引擎 成熟的 LSM-Tree 引擎天然的 Delta Store完整的事务支持经过考验的基础算子性能完善的执行引擎行存模式已经支持计算下压无缝对接的向量化执行引擎灵活的原生分布式分布式并行查询灵活构建异构副本行存列存一体化OceanBase 的天然优势Minor SSTableMemoryDiskIn-Memory HashIn-Memory B!-TreeMutationLogsScanQueryMemTableBlock

4、 CacheMajor SSTableMultiple storage versionsROWPAXColumnOceanBase 存储引擎 4.302实践OceanBase 4.3 存储格式IDNAMESALARYIDNAMESALARYNAMESALARYIDROWIDROWIDROWID 行存/行列混存/列存 列组(簇)支持 索引元数据增加 rowidOceanBase 4.3 列存存储模式TPReplicaTPReplicaAPReplicaTableSecondaryIndexMEMTABLEMINOR SSTABLESMAJOR SSTABLE 主表列存 列存索引 列存副本Ocea

5、nBase 4.3 列存更新模式MEMTABLESMINOR SSTABLESMAJOR SSTABLEMAJOR SSTABLECOMPACTION 增量数据格式不变 事务/多版本管理透明列存 COMPACTIONCG MAJOR SSTABLECG MAJOR SSTABLECG MAJORSSTABLECG MAJORSSTABLECS MAJOR SSTABLECG MAJORSSTABLECS MAJOR SSTABLECG MAJOR SSTABLEMinor SSTABLECG MAJOR SSTABLEMinor SSTABLECS MAJOR TASK-1CS MAJOR TASK-2CS MAJOR DAG-2CG MAJOR SSTABLECG MAJOR SSTABLEMinor SSTABLECS MAJOR TASK-1Minor SSTABLECS MAJOR TASK-2CS MAJOR DAG-1CS MAJOR SSTABLEMinor SSTABLECG MAJOR SSTABLECG MAJOR SSTABLE 自适应调度 水平/垂直并行加速 资源管控03展望未来展望 灵活的列组支持 增量旁路导入功能丰富性能优化 更丰富的 skip index 支持 格式一体化 异构副本 存算分离部署模式谢