3-1 企业数据中台的智能进化—全链路数据治理.pdf

1、之全链路数据治理企业数据中台的智能进化阿里云智能-计算平台1、阿里巴巴数据平台发展历史与现状2、阿里巴巴数据治理的实践3、基于阿里云DataWorks的全链路数据治理平台能力目录阿里巴巴数据平台发展历史与现状01业务百花齐放，发现数据价值业务发展多个业务团队1688团队AliExpresss团队淘宝团队一淘团队2012“空气稀薄地带”到底有多稀薄？问题挑战多个Hadoop集群2012年阿里巴巴数据平台调度机器规模“人肉云计算”与“分步试计算”010002000300040005000类别一云梯1（Hadoop）云梯2（ODPS)）各种数据平台支持数字化转型数据平台建设Oracle之巅，亚洲最大

2、集群云梯1（Hadoop）达到4000台，多个BU多个集群大淘宝Hadoop统一调度-天网（现DataWorks）云梯2(ODPS，现MaxCompute)启动研发蚂蚁小微贷款“牧羊犬”业务上线云梯2阿里巴巴数据平台发展的四个阶段-20122015开着飞机换引擎启动统一数据平台建设12个业务部门X1号-X12号云梯1（Hadoop）遇到5000台瓶颈（开源墙）云梯2 通过5K项目能力从1500台跨入5000台DataWorks通过冰火鸟项目，支撑集团统一数据交换平台启动平台统一计划，将阿里所有的数据整合到云梯2打造集团统一数据平台9个平台项目1号-9号0.529.3633.6191350571

3、912.102505007501,00020092010201120122013201420152009-2015双11交易额问题挑战数据平台建设业务垂直小闭环，数据孤岛显现业务发展2013年，创立菜鸟，启动“all-in 无线”战略2014年，投资高德，与银泰合资，阿里旅行成立2015年，推出钉钉/零售通、成立口碑、控股阿里健康2015年，启动中台战略阿里巴巴数据平台发展的四个阶段-20155K项目2万台集群平台统一计划集团技术合璧，挑战5K巅峰不断增长的海量数据建设统一的底层数据平台结果：云梯2从1500台跨入5000台10倍压力测试通过支持跨集群计算与高可用挑战：如何统一管理数据？如何统

4、一保证数据安全？如何具备统一开放能力？结果：20多个子项目，涉及所有事业部通用数据平台能力产品化具备金融级平台能力85天集群水位封顶倒计时挑战：5000节点限制如何突破？开源体系如何保证数据的安全与可用性？业务交互频繁，跨机房如何保证数据交互？Why云梯2？Why统一平台？2018如何让“大中台”来支撑“小前台”问题挑战数据中台建设+资产化数据平台建设数据平台支撑数据中台建设DataWorks 构建大规模协同数据开发与治理的一站式能力MaxCompute 支持10万台集群服务100+阿里集团BU、20万+阿里员工的日常运营数据是谁的?谁来用?谁来管控?平台团队和业务团队是两个团队，成本关系是什

5、么？中台方法论，如何落地在数据平台落地？如何治理?数字增长很快，超过业务增长，怎么办？一张核心表12PB，每个部门复制1份，一年几千万就没了怎么办？我知道要删除一半的数据，但到底是哪一半？数据中台支撑业务可持续发展业务发展小二覆盖用户生命周期的数据化运营策略个性化的智能营销生意参谋探索数据业务化业务走向实时化阿里巴巴数据平台发展的四个阶段-20182021如何将阿里巴巴的经验和系统赋能客户问题挑战数据中台服务业务“正循环”数据平台建设云上数据中台与业务伴生业务发展集团业务系统100%上云，全面云原生化双11每秒53.8万笔，阿里云抗住全球最大流量洪峰数据中台覆盖阿里集团所有BU运营小二及时发现

6、问题、分析问题，实现实时运营决策短视频、直播等新业务出现DataWorks建设的数据中台全面服务业务支持集团内300+数据应用MaxCompute智能数仓让双11成为日常MaxCompute湖仓一体逐步成为下一代数据平台架构全链路数据治理，2020以10%成本增长支撑60%业务增速阿里巴巴的数据平台成为客户的数据平台Customer FirstService FirstCloud First阿里巴巴数据平台发展的四个阶段-20212012业务与数据平台十二年共同发展业务百花齐放，发现数据价值多个业务团队1688团队AliExpresss团队淘宝团队一淘团队各种数据平台支持数字化转型Oracle