《网易数帆&DataFun：网易数据标准实践白皮书（2024版）（47页）.pdf》由会员分享，可在线阅读，更多相关《网易数帆&DataFun：网易数据标准实践白皮书（2024版）（47页）.pdf（47页珍藏版）》请在三个皮匠报告上搜索。

1、网易数据标准实践2024版2024版现实生活中，标准与我们息息相关，我们吃的食品需要满足国家标准才能给我们食用，汽车排放达标才能够上路行驶，电脑接口得满足统一的标准才能够与外设对接等等。在数据的世界，数据标准也同等重要。我们期望将数据标准真正应用到实践中去，帮助企业解决资产化不足、数据质量难以提升、数据开发效率低等问题，于是网易开始了数据标准的建设。在本手册中，网易将基于对数据标准的理解，阐述标准的建立并依据标准的建立内容和流程来设计的标准管理产品的介绍以及标准在数据治理过程中的具体实践，希望与大家碰撞出新的认识！导读introduction目录CONTENTSData standard数据标

2、准是什么010102value数据标准价值0303Set up如何建立数据标准053.1 数据标准规划05?收集现行标准05?从局部标准到全局标准06?发现更多数据标准063.2 数据标准制定07?元数据标准07?基础数据标准10?技术标准制定143.3 数据标准发布143.4 数据标准执行153.5 数据标准检查163.6 数据标准维护16Product introduction数据标准产品介绍17044.1 产品总体架构174.2 产品功能模块18?标准概览18?数据标准文件管理19?数据项标准管理19?元数据标准管理22?技术标准管理23?标准流程管理24?标准配置2705practic

3、e数据标准和数据中台的结合实践285.1 数据传输295.2 元数据29?表元模型设计30?字段元模型设计31?指标元模型设计32?标签元模型设计325.3 模型设计33?分层规划33?分类规划33?表结构及数据项标准设计345.4 数据开发355.5 数据质量355.6 数据安全36Sum up总结370638-41About us关于我们在实际的工作生产中，我们一般会参照国家标准、地方标准、行业标准等来进行具体的活动，来确保我们生成过程符合监管要求、便于上下游协同等，于是我们会见到如下的标准指导文件：同样，数据标准也会以文件的形式存在，在除了国标、行标定义的标准外，企业内部为了便于各部门采

4、取同样的数据建设规范，通常会使用文件来定义数据标准，以供各部门达成统一的共识。然而文件固然是标准的一种体现形式，但文件是非结构化的，在实际应用中，我们只有理解、提取文件里的内容，将标准应用于产品设计及流程活动当中去，标准才能起到真正的规范约束作用。01 数据标准是什么？01Data standard毫无疑问，这是正确的。但我们还需要将标准践行，以建设数据中台为例，我们知道数据中台强调的是资源整合，在数据层面就是整合多源异构系统中分散在各个孤岛的数据，形成统一的数据服务能力，这是一项艰巨的任务，很难通过互相约定以及默认信任相关方来保障数据的价值发掘，形成真正的数据资产。于是，基于此点将数据标准进

5、行扩充，一是对管理范围的扩充，从狭义的数据标准（指对基础数据本身的规范性约束，如数据格式、类型、值域等）扩充到整个数据中台层面的标准（包含治理各阶段的规范性约束）；二是对管理手段的扩充，数据标准不再是指一系列的数据标准化文档，而是一套由规范要求、流程制度、技术工具共同组成的体系，通过这套体系完成标准的规划、制定、发布、执行、检查、维护等行为，来完成数据的标准化以及标准的沉淀。根据信通院发布的数据标准管理实践白皮书定义：数据标准（Data Standards）是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。02免费试用在线咨询在说价值之前，我们先聊聊让我们头疼的问题。人人都在谈论数据

6、标准，但数据标准真的被应用起来了么，我们拿着一堆标准文件，期望企业内部宣贯大家要按照这个标准来，但执行的结果如何？数据集成多源异构数据时，数据工程师真的能快速理解这些数据的实际业务含义么？如果理解成本很高，开发人员可能就会出现认识偏差。终于数据集成进来了，可以开始进行数据建设了，如何保证每一层的数据都是符合质量要求的，靠开发的个人素质么？比如我们一般在dwd层做数据标准化，那么不同主题域的由不同的负责人进行开发，怎么保证标准化的结果似乎满足规范的？dws的数据可信度还能保证么？还能被叫做公共模型层么？再后，数据工程师开发完成后需要对外开放，我们其实开发的不光是其数据，还需要开发它的元数据信息，