懂车帝二手车基于Las DataLeap的流批一体准实时指标体系架构.pdf

1、DataFunSummitDataFunSummit#20232023基于Las+DataLeap的流批一体准实时指标体系架构连家漯-懂车帝-资深研发工程师业务背景及挑战了解二手车门店业务的背景及数仓面临的挑战技术架构如何应对业务挑战Bytelake准实时指标体系的详细介绍遇到的问题及解决办法Bytelake准实时指标体系落地过程中遇到的问题及解决办法成果及规划当前落地效果及未来规划目录 CONTENTDataFunSummitDataFunSummit#2023202301二手车门店业务背景及挑战懂车帝二手车业务介绍懂车帝二手车业务主要分为线上媒体和线下门店两块线下门店于2022年5月启动，

2、旨在通过自营门店为用户提供值得信赖的二手车交易服务，成为最受信赖的信息、交易、服务平台。使命：让消费者买到安心二手车愿景：成为中国最值得信赖的二手车全国购平台Slogan：真实好车源，全国放心买二手车门店数仓面临的挑战指标一致性差业务发展快业务系统迭代频繁数仓需求交付节奏快架构不统一实时离线两套架构、两套代码指标查询多套方案DataFunSummitDataFunSummit#2023202302技术架构如何应对业务挑战如何解决指标一致性问题？存储计算层的统一统一实时离线架构查询服务层的统一统一指标生产统一指标消费一致性如何统一实时离线架构当前，二手车门店数仓采用的离线、实时两套架构两套代码分

3、别支持离线实线计算。这样做有如下问题：需要维护两套不同的计算代码，维护开发成本高 在开发迭代过程中，非常容易出现指标口径不一致的问题如果想要实现离线、实时的统一(流批一体)，需要解决两个问题：实时/离线存储层的统一 实时/离线计算层的统一如何统一实时离线架构Las是基于Apache Hudi深度定制的湖仓一体存储引擎1.提供了湖仓一体可扩展、高可用、高性能的元数据服务，完全兼容Hive Metastore，支持多种计算引擎2.支持对海量数据的高效 Insert/Overwrite 能力，以及完全兼容 HSQL 的 OLAP 能力。3.支持对历史数据的 Update/Delete 能力。4.支持

4、对新增数据的 Upsert（主键）和 Append（非主键）能力。5.支持 Streaming Source/Sink，提供近实时分析能力，同时支持接入数据集看板。统一存储层Las表批量读取交互式查询流式消费流式更新流式写入批式更新批式更新如何统一实时离线架构统一存储层Las借助Catalog Service为所有查询计算引擎提供了统一的元数据视图，站在使用者的角度与使用Hive表没有区别统一元数据如何统一实时离线架构统一存储层表类型适用场景存储方式写入方式查询方式COPY_ON_WRITE更适合离线场景（写少读多）列存（Parquet）每次写入数据，会先读取已有数据文件，然后与更新数据合并后

5、写入新的文件支持与 Hive 表类似的 HSQL 查询MERGE_ON_READ更适合近实时/实时场景（写多读少）行存（Delta Log）+列存（Base File）每次写入数据，更新数据会先写入行存（Delta Log），写入指定次数后，行存（Delta Log）文件会与列存（Base File）文件进行合并生成新的列存（Base File）文件，即 Compaction 过程。RealTime（RT）查询：读取行存（Delta Log）+列存（Base File），数据延迟低 ReadOptimized（RO）查询：仅读取 列存（Base File）数据，查询性能高 Incrementa

6、l 查询：适用于增量消费场景Las表存储类型如何统一实时离线架构统一存储层索引类型适用场景说明HIVE_BUCKET_INDEX有主键数据会基于主键进行去重（Upsert），支持 CRUD 能力注：对于主键表，使用insert overwrite时引擎不会做去重，需要由业务侧增加去重逻辑，insert into 时为Upsert 语义，写入数据会按照主键进行去重NON_INDEX无主键数据不会基于主键进行去重（Insert），支持高效的 Append 能力Las表索引类型如何统一实时离线架构统一存储层 多流列拼接支持按优先级保障不同列的产出海量数据场景下