联通-尹正军-运营商企业级数据资产管理平台设计与研发实践.pdf

《联通-尹正军-运营商企业级数据资产管理平台设计与研发实践.pdf》由会员分享，可在线阅读，更多相关《联通-尹正军-运营商企业级数据资产管理平台设计与研发实践.pdf（47页珍藏版）》请在三个皮匠报告上搜索。

1、主办方： 运营商企业级数据资产管理 平台设计与研发实践 尹正军 联通大数据 架构师 数据源类型、结构、模式不尽相同，必 须经过采集、清洗与标准化才能进入数据仓库。 开发脚本的复杂性（如接口机开发脚本的复杂性（如接口机+HiveSQL模式）模式） 数据加工过程一般通过执行复杂冗长晦涩的脚本来完成， 要求开发人员必须有较高的专业技能；数据加工过程的逻辑错 误、语法错误也不容易捕捉；集群作业提交参数的合理性问题。 流程维护流程维护与数据加工稳定性与数据加工稳定性 （运营商运营商 VS 互联网）互联网） 数据处理的流程大量依赖各种脚本程序，难以理解与修改 维护；数据处理流程经常无法复用，缺乏统一管理；

2、因为数据 断传、漏传、补传造成的数据重跑问题突出。 飞速增长的数据量和非结构化数据类型飞速增长的数据量和非结构化数据类型 随着5G+物联网场景超大规模数据的输入；数据持续不断 的到达，数据集成应当具备PB级实时或准实时数据处理能力； 需要支持结构化、半结构化、非结构化等不同数据类型。 易用性 VS 功能完备性稳定性 与 兼容性数据平台的基础模块 主办方： 模块2：数据开发平台功能需求 核心模块1：数据加工模型设计 核心模块2：数据脚本过程管理 核心模块3：数据生命周期管理 定位与目标：定位与目标：支撑数据模型设计、 数据加工脚本标准化，实现开发、 测试、上线过程自动化，保障数据 模型与生命周期

3、管理标准落地。 产品诉求：从数据脚本标准化、自动化从数据脚本标准化、自动化到到Web IDE灵活灵活化化 主办方： 模块2：数据开发平台产品设计 标准化脚本模版规则标准化脚本模版规则 基于企业数据治理标准化需求，形成数据加工脚本从生成、测试、审批、到部署的全流程管控基于企业数据治理标准化需求，形成数据加工脚本从生成、测试、审批、到部署的全流程管控 统一的脚本执行机器管控统一的脚本执行机器管控开发脚本标准化创建开发脚本标准化创建 脚本运行测试脚本运行测试自动化部署上线自动化部署上线审批环节审批环节 主办方： 模块2：数据开发平台运营实践 数据开发平台与数据治理体系数据开发平台与数据治理体系 （数据治理的源头（数据治理的源头） 数据开发平台支撑数据治理文化落地，数据治理过程强调 组织、文化、工具、流程的全方位协同，针对大规模数据组织， 数据开发平台是数据治理工具体系非常重要的一部分。 产线环境