3潘广远-AlAgent在快手生活服务数据中心的探索及应用.pdf

1、AI Agent AI Agent 在快手生活服数据中心的探索及应用在快手生活服数据中心的探索及应用演讲嘉宾演讲嘉宾：潘广远（快手：潘广远（快手-数据数据平台部）平台部）目录CONTENT01个人个人介绍介绍0204未来未来规划规划03数仓数仓AI AgentAI Agent的应用的应用项目项目背景背景01个人介绍个人个人简介简介职业经历京东京东(2014-2018)(2014-2018)就职于大数据平台 ，从事CMO数据集市、数据仓库建设工作 就职于数据技术产品部，从事文娱线数据仓库建设工作 就职于数据平台部，负责生活服务数据中心的数据研发工作阿里巴巴阿里巴巴(2018-2020)(2018

2、-2020)快手快手(2020-(2020-今今)02项目背景项目背景项目背景项目背景 2025年，从本地生活事业部升级为生活服务事业部（团购+线索）2022年9月成立，快手较新的业务线 本地团购业务竞争激烈 产品功能不断丰富、业务玩法越来越多 010203月均需求量翻了7倍 数据研发人力：数据研发人力：1010人人+利用有限的人力高质高效交付业务需求 保障数仓的建设质量 项目背景项目背景烟囱式建设烟囱式建设数仓建设常见问题数仓建设常见问题需求交付效率低需求交付效率低数据质量问题数据质量问题作为新的业务线怎么避免以上况？0101需求交付效率需求交付时长中间层依赖率app依赖模型数DQC覆盖率.

3、每周四进行质效Review按Q/半年进行集性治理020203030404命名规范埋点规范开发规范测试规范变更规范.模型评审代码评审方案评审.项目背景项目背景 重复建设重复建设 字段级重复建设400+表级别重复建设550+指标、维度语义指标、维度语义不统一不统一 同名不同意、同意不同名 命名不规范，难理解烟囱式建设烟囱式建设问题问题 逻辑逻辑漏洞漏洞 insert 字段乱序（2次）潜在质量潜在质量风险风险 空值不处理（22%任务）未限定列引用（68%）开发代码质量开发代码质量 上游变动上游变动导致导致 口径变更、枚举值变更（2次）开发开发问题问题 数据重复，导致GMV翻倍（1次）维度歧义，导致变

4、更口径错误（1次）数据质量数据质量问题问题 需求交付效率遇到需求交付效率遇到瓶颈瓶颈需求交付需求交付效率效率项目背景项目背景数仓数仓建设痛点建设痛点上线人前工评审、上线人前工评审、ReviewReview完成组织内具体工作所需要的技能，如财务、计算机操作、市场营销等。对于基层管理者来说，技术技能非常重要，因为他们需要直接处理具体的任务和工作需求快速交付需求快速交付 VS VS 标准流程规范（标准流程规范（DEDE人力紧张）人力紧张）业务要求快速交付时会跳过评审流程消耗大量人力消耗大量人力本地在模型评审、reveiw环节每月消耗50pd人力（包括模型设计评审、代码review等）能力）包含一系列

5、能力，如提出新想法、进行抽象思维、将组织视为一个整体以及识别决策对其他领域的影响等。这些能力使管理者能够处理复杂的问题，制定有效的战略和决策。对于高层管理者来说，概念技能尤为重要，因为他们需要制定全局性的战略和决策定期集中治理定期集中治理评审、评审、ReviewReview的质量无法保障（效率不高）的质量无法保障（效率不高）评审、review的质量极大依赖架构的经验、精力等不可控因素，评审后仍存在大量不规范建设情况。力）消耗大量人力消耗大量人力以前本地会以Q/半年为周期进行定期治理，包括DQC配置覆盖度、重复建设、代码质量问题等力）部分已建设模型无法治理部分已建设模型无法治理部分已建设好模型，

6、存在大量下游依赖，治理成本高力）陷入恶性循环陷入恶性循环陷入边污染、边治理的恶性循环力）02数仓数仓AI AgentAI Agent的应用的应用数仓智能化数仓智能化-整体规划整体规划研发工作研发工作评估评估确认智能化确认智能化建设优先级建设优先级数仓智能化数仓智能化-整体规划整体规划智能建模智能建模知识库知识库表血缘表血缘字段字段血缘血缘SQLSQL血缘血缘核心核心工具能力建设工具能力建设智能化能力建设智能化能力建设表级血缘交易财务商品商家直播视频用户营销建模规范研发规范命名规范字段级血缘表级查询记录字段查询记录血缘关系血缘关系解析解析重复性建设重复性建设识别识别字段重复性字段重复性建设建设表