DataFun-快手指标中台建设实践-夏桂林.pdf

1、DataFunSummit#2024快手指标中台建设实践夏桂林-快手-指标中台技术负责人个人介绍夏桂林负责快手指标中台服务专注于大数据分析、数据应用、数据服务等领域建设关于快手快手：拥抱每一种生活平均日活24Q1平均月活24Q13.93 亿6.97 亿短视频+直播电商，商业化，海外，本地生活 关于快手数据平台部集群规模总数据量万级EB级日增数据量PB级日作业量十万级快手大数据规模使命：打造高效且智能的自助式数据平台工具，提升分析决策效率职责：提供从数据集成、加工，到分析全链路的智能数据开发、管理和分析的泛大数据平台化能力，加速数据分析决策效率。01快手指标中台介绍介绍快手指标中台的背景，设计理

2、念，平台架构等02指标管理介绍介绍指标标准化管理、数据建模等03指标服务介绍介绍统一查询语言、统一查询查询引擎、生产加速等04未来展望介绍对指标中台未来发展的展望目录DataFunSummit#202401快手指标中台介绍指标相关介绍想要查询公司的 按城市 近7日 新增的 的 活跃用户个数时间范围维度原子指标案例派生指标业务过程实体度量（活跃用户）（用户）（个数）修饰词快手指标中台背景数据仓库层应用层BI 平台1W+指标AB 测试平台10W+指标专题产品平台1W+指标10W+数据表主站APP层电商APP层商业化APP层海外APP层问题与痛点p 指标管理不统一l多处管理，成本浪费，指标泛滥p 指

3、标口径不统一l同名不同义、同义不同名p 指标数据不一致l烟囱建设，数据孤岛p 重复开发建设l各应用系统对指标能力重复建设，浪费研发资源，研发效率低质量效率数仓直接对接各数据应用系统公共数仓解决思路：建设一套企业级指标中台系统，将数据层与应用层解耦，解决指标质量与效率问题如何构建企业级指标中台指标只需定义一次，就可以在 BI 产品、仪表盘等多种应用中使用基于表元信息抽取，通过算法、规则智能构建表与表之间的关系-数据模型方案1-指标驱动生产优势：落地比较彻底，从生产源头控制数据生产缺点：场景单一，不灵活，只能基于明细表加工聚合表实现复杂度：中等方案2-指标驱动分析优势：支持更灵活场景，数仓建设不受

4、限制缺点：数据仓库加工比较灵活，质量保障有风险实现复杂度：高趋势1-Headless BI趋势2-智能建模行业趋势业界方案快手指标中台解决方案数据源层druidhiveckredis指标中台数据应用层BI平台专题产品指标服务其他定制产品指标中台+BI快手BI指标中台+开放API开放生态指标中台数据应用数据源统一接入统一指标统一查询指标管理DataFunSummit#202402指标管理介绍指标管理相关背景问题与痛点p 指标管理不统一l多处管理，成本浪费l重复管理，指标泛滥p 指标口径不统一l同名不同义：口径不统一l同义不同名：命名不规范指标管理：通过建立标准化的指标定义、加工、建模等流程，将指

5、标维度等信息进行有效的管理，以协助业务提高指标管理效率，从而达到提效业务决策的目的BI 平台AB 测试平台专题产品平台主站数仓电商数仓商业化数仓数据仓库应用层指标管理解决方案BI平台专题产品其他定制产品直播电商商业化指标标准化规范/流程指标服务指标中台指标管理元数据管理模型管理数据建模数仓层应用层统一接入数据集管理l 数据集管理l 对数据集统一管理l 模型管理l 数据建模l 对数据模型统一管理l 元数据管理l 对指标维度元信息统一管理l 指标标准化规范/流程l 指标标准化规范l 指标标准化流程指标管理-指标标准化规范/流程业务人员（产品/运营）提出业务需求数据人员（产品/分析师）制定业务口径数

6、据开发数据表绑定/指标计算逻辑数据产品指标服务化业务线数据域规范指标维度命名规范词根规范数据开发规范数据模型规范指标一致性规范数据服务规范业务人员（产品/运营）数据分析业务线/数据域 数据管家审批/授权数据需求评审规范快手大数据安全管理规范指标标准化规范流程产品团队工具团队内容团队多团队协作指标管理-元数据/模型/数据集管理数据集管理模型管理元数据管理元数据管理指标元数据维度表元数据数据表元数据绑定关系元数据l指标分类原子指标派生指标复合指标l指标等级l业务域ll维度定义l维度等级l码值映射关系ll逻辑表名l过滤条件l表描述ll指标与表绑定关系l指标计算口径l维度与表绑定关系l模型管理雪花模型