字节跳动DataOps落地实践和思考_王洋.pdf

1、字节跳动基于字节跳动基于DataLeapDataLeap的的DataOpsDataOps实践实践 抖音直播数据研发负责人/王洋目录字节跳动数据研发的模式与挑战DataOps理念在字节的具象 DataOps产品化及落地最佳实践 未来展望字节跳动数据研发的模式与挑战中台+数据BP模式字节跳动数据研发的模式与挑战数据BP的业务支持场景场景需求类型需求类型支持模式支持模式优先级优先级决策决策 战略决策战略决策 产品决策产品决策 战略指标体系的建设及产品化支持战略指标体系的建设及产品化支持 适配业务场景的数仓建设及分析支持适配业务场景的数仓建设及分析支持 内部数据产品如数据门户建设内部数据产品如数据门户

2、建设高高运营运营 客户运营客户运营 内部运营内部运营 对外运营平台中的数据模块建设对外运营平台中的数据模块建设，提供页面提供页面/API/数据表等不同方式的支持数据表等不同方式的支持 内部运营所需的内部运营所需的BI、取数类支持取数类支持中中功能功能 产品功能产品功能 业务流程业务流程 用户产品中的实时用户产品中的实时/在线数据能力支持在线数据能力支持 业务流程链路中的数据支持业务流程链路中的数据支持低低策略策略 算法策略算法策略 经营策略经营策略 线上算法策略的评估分析线上算法策略的评估分析 业务经营策略的支持业务经营策略的支持低低字节跳动数据研发的模式与挑战数据BP的核心指标：09870数

3、据事故数为09需求满足率90%8分析覆盖率80%7用户NPS70%字节跳动数据研发的模式与挑战来自质量挑战 链路复杂链路复杂：最长任务链路节点超X000，单任务1级下游最大超X000 变更频繁变更频繁：每周线上任务变更次数超X000，其中风险场景超X00 事故易发事故易发：22年全年数据研发事故涉及到研发规范的占比56%字节跳动数据研发的模式与挑战来自硬件成本的挑战基于预算的成本控制基于需求的精细化控制字节跳动数据研发的模式与挑战来自人效的挑战 如何证明团队当前的状态是高效的？如何用更少的人员创造更大的业务价值？DataOps理念在字节的具象 DataOps的定义 数据研发运营一体化（Data

4、Ops）：是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。FROM 信通院DataOps理念在字节的具象 什么是，什么不是？DataOps是作用于人+流程+工具的一套方法论，目标是提高数据质量和开发效率，主要通过敏捷协作、自动化/智能化、以及清晰的度量监测，让数据流水线达到持续集成、部署、交付（CI/CD），在DataLeap体系内，DataOps主要以规范研发流程为目的，涵盖对规范研发流程的“已有能力集成”，形成一站式研发体验，

5、同时也包括规范研发流程所需关键的“新能力建设+集成”，除此以外的数据开发基础能力迭代不作为DataOps的一部分DataOps理念在字节的具象 DataOps产品化及落地-DataLeap DataOps产品化及落地 DataOps产品化及落地 中台+BP模式数据BP规范制定插件开发收益评估功能基座开放能力技术支持平台能力BP模式内部推广内外一体平台研发外部客户DataOps产品化及落地 需求管理 需求的准入要求 需求与开发过程及交付物绑定 需求的进度追踪 需求的价值评估DataOps产品化及落地 流水线管理 测试流水线 发布流水线 离线&实时任务管理 任务优先级管理最佳实践 推广运营：如何在

6、公司范围内大规模落地DataOps？鲶鱼效应让某些团队先跑起来拆箱即用提供低成本的切换路径自顶向下先让leader认清价值最佳实践 指标牵引最佳实践 管理者视角：围绕数据开发团队的价值和未来，通过开放让数据团队有可输出的专业价值业务业务价值价值专业专业价值价值最佳实践 开发者视角：如何获得工作中的成就感？认可认可&执行执行：规范本身是反人性的，在团队内落地DataOps需要充分沟通，结合团队调整与个人发展，讲清为什么，避免粗暴落地 参与参与&贡献贡献：构建人人可参与的开发环境