极客帮科技：网易互联网数据中台实践（32页）.pdf

1、网易互联网产品数据k台实践网易互联网产品数据k台实践 数据k台概览数据k台概览 元数据k心 数据服务 全链路数据质量k心 数据资产管理 互联网h务数据架构 互联网h务数据架构 猛犸大数据开发计算平台 猛犸大数据开发计算平台 供供 应应 链 链 8.S8.S oo 站 站 音t 音t 传媒 传媒 电商 电商 .W.W. +.S+.S 8.S8.S .W.W. +.S+.S 供应链决策协同系统 供应链决策协同系统 用户行n分析 用户行n分析 精准投放 精准投放 用户运营 用户运营 用户行n分析系统 用户行n分析系统 商品运营 商品运营 用户精准投放系统 用户精准投放系统 商品运营系统 商品运营系统

2、 市场运营 市场运营 推广渠道管理系统 推广渠道管理系统 供应链 供应链 供应链决策协同系统 供应链决策协同系统 管理层 管理层 商品舆情系统 商品舆情系统 高层看板 高层看板 活动实时直播 活动实时直播 VIOAOOVIOAOO h务场景 h务场景 数据产品 数据产品 数据产品：数据产品： 以电商n例 以电商n例 数据智能 数据智能 搜索推荐 搜索推荐 风控 风控 指标口径f指标口径f 统一 统一 数据重复数据重复 建设 建设 取数效率低 取数效率低 成本指数成本指数 增长 增长 数据产品数据产品 故障频发 故障频发 指标系统指标系统+ +数据服务数据服务 数据地图数据地图+ +自助查询自助

3、查询 数据质量k心数据质量k心 资产管理资产管理 落地产品落地产品 h务面m的问题 h务面m的问题 k台产品架构 k台产品架构 互联网h务数据k台架构 互联网h务数据k台架构 猛犸大数据开发计算平台 猛犸大数据开发计算平台 音t 音t 传媒 传媒 供应链决策协同系统 供应链决策协同系统 用户行n分析 用户行n分析 精准投放 精准投放 电商数据k台 电商数据k台 统一元数据 统一元数据 共享数据资产 共享数据资产 100%100%数据产品指标覆盖数据产品指标覆盖，统一h务口径和取数口径定r统一h务口径和取数口径定r，消除指标vr性 消除指标vr性 基于数据地图基于数据地图，100%100%实现自

4、助取数 实现自助取数 全链路数据跟踪全链路数据跟踪，回答“数据准f准b回答“数据准f准b”“哪y数据故障b“哪y数据故障b”“什么时候恢复b”“什么时候恢复b”，加速数据故障的排查定位加速数据故障的排查定位，助力助力).(%S5+).(%S5+达成 达成 所有数据产品接入统一查询服务所有数据产品接入统一查询服务，做到所有对数仓的访问做到所有对数仓的访问，可管理可管理、可追踪可追踪，通过逻辑模型g物理模型的分离通过逻辑模型g物理模型的分离，大幅提高指标的重用性 大幅提高指标的重用性 构建元数据k心构建元数据k心，通过资产分析通过资产分析、看清数据资产看清数据资产、降低数据管理成本降低数据管理成本

5、、追踪数据价值追踪数据价值，消灭低价值的资产消灭低价值的资产，成本节约成本节约%0%0%以d 以d 数据k台实施效果 数据k台实施效果 数据k台概览 元数据k心元数据k心 数据服务 全链路数据质量k心 数据资产管理 大数据计算 大数据计算 数据源 数据源 Hive metastore! 元数据k心 元数据k心 ?! ?! ?! 元数据k心 元数据k心 01 05 02 多租户多租户，多h务线 多h务线 能够支持电商（考拉、i选）、互娱（音t、游戏）、传 媒、教育 多种数据源支持 多种数据源支持 能够覆盖网易所有的数据源，甚至包括4AFkA，REDIQ， 2BAQE等SCHELA KEQQ 4V

6、系统 数据血缘 数据血缘 静态血缘 动态血缘 血缘支持时间戳，可以按照时间戳读取，过期 血缘覆盖率以及血缘采集性能 g大数据系统集成 g大数据系统集成 gRAMGEP结合，允许通过自定r标签的方式对数据进行动态授权 数据传输、自助分析g元数据k心集成 基于元数据k心，构建数据质量k心、数据资产管理k心、数据 地图 数据标签 数据标签 通过l富的f同类型的标签，完善数据特征体系 指标标识、数仓的o题域、分层信息，是否是数仓维护的推荐 表都以标签形式存在 网易元数据k心设计原则 网易元数据k心设计原则 元数据k心架构图 元数据k心架构图 一个复杂的h务有成千dc张表 f知道数据含r 找f到数据 f