11-聂安-观测数据治理-从生命周期的视角思考.pdf

《11-聂安-观测数据治理-从生命周期的视角思考.pdf》由会员分享，可在线阅读，更多相关《11-聂安-观测数据治理-从生命周期的视角思考.pdf（20页珍藏版）》请在三个皮匠报告上搜索。

1、观测数据治理从生命周期的视角思考大纲3总结1数据概述2数据生命周期数据，是数字孪生体系的核心要素。数据，是数字孪生体系的核心要素。概述概述:何为数据？何为数据？概述概述:观测和数字孪生是什么关系观测和数字孪生是什么关系?观测，是数字孪生的一个子域。观测，是数字孪生的一个子域。指标，是二维简化的机理模型。指标的取值，就是数字对象的状态。指标，是二维简化的机理模型。指标的取值，就是数字对象的状态。建模建模:谁负责谁负责?分工分工:谁来保障模型质量？数据使用方谁来保障模型质量？数据使用方vs服务提供方服务提供方从观测的视角看，服务先要做到可观测、然后才能被外部观测，数据从观测的视角看，服务先要做到可

2、观测、然后才能被外部观测，数据是具身属性。理想的方式是，服务提供方负责建模。是具身属性。理想的方式是，服务提供方负责建模。举例举例:一些一些BadCases-传统运维模式，传统运维模式，RD写代码、写代码、Ops建观测，经常是鸡同鸭讲、质量低下建观测，经常是鸡同鸭讲、质量低下-商业分析场景，业务商业分析场景，业务RD只管落库，大数据数仓只管落库，大数据数仓RD跨团队整合，运营跨团队整合，运营投入非常大投入非常大建模建模:优雅优雅vs连贯连贯?技术演化没有十全十美，人的认识也会不断迭代。数字对象的建技术演化没有十全十美，人的认识也会不断迭代。数字对象的建模，要连贯、不要洁癖。模，要连贯、不要洁癖

3、。举例举例:Pod网卡入向带宽指标网卡入向带宽指标生产生产:干掉老东西干掉老东西?IT体系先后经历了单机、分布式、微服务架构，每个时代都有经典留体系先后经历了单机、分布式、微服务架构，每个时代都有经典留存，很难赶尽杀绝。存，很难赶尽杀绝。举例举例:网络设备监控网络设备监控采取利旧路线，充分尊重、利用经典工具，把它们作为采集器、融采取利旧路线，充分尊重、利用经典工具，把它们作为采集器、融入到现有观测体系，很有性价比入到现有观测体系，很有性价比ROI。生产生产:共性下沉共性下沉借鉴架构理念，共性技术下沉到基础组件、框架，应用做少、做薄。借鉴架构理念，共性技术下沉到基础组件、框架，应用做少、做薄。最

4、理想的形态是，组件和框架由开源、公共云提供，观测数据通过统最理想的形态是，组件和框架由开源、公共云提供，观测数据通过统一的技术架构、集中生产，复用最佳实践。一的技术架构、集中生产，复用最佳实践。分层是技术架构演化的趋势。共性逻辑逐渐收敛下沉，并完成标准化、分层是技术架构演化的趋势。共性逻辑逐渐收敛下沉，并完成标准化、经典化；特化逻辑跟随业务场景迭代，对人员素质要求逐渐降低。观经典化；特化逻辑跟随业务场景迭代，对人员素质要求逐渐降低。观测搭上技术架构的顺风车，就能四两拨千斤。测搭上技术架构的顺风车，就能四两拨千斤。以云原生架构为例，以云原生架构为例，服务治理框架服务治理框架能产出能产出80+%的

5、观测价值，且质量很高的观测价值，且质量很高收集收集:协议归一协议归一收集器是观测体系的防腐层。它的入向数据可以异构，但出向必须收集器是观测体系的防腐层。它的入向数据可以异构，但出向必须协议归一，以降低存储、处理环节的实现复杂度。协议归一，以降低存储、处理环节的实现复杂度。举例举例:使用使用Telegraf完成协议转换完成协议转换类似类似Telegraf这样的这样的ETL组件，一般都是中心式架构，需要做好服务端组件，一般都是中心式架构，需要做好服务端负载均衡。负载均衡。收集收集:模型归一模型归一同类对象的数字体要长得相似，指标、标签、取值含义要一致。模型同类对象的数字体要长得相似，指标、标签、取

6、值含义要一致。模型归一也是重要的防腐操作，在多云场景应用广泛。归一也是重要的防腐操作，在多云场景应用广泛。以多云以多云EIP的入向带宽为例。使用的入向带宽为例。使用Telegraf从云平台查询指标，在从云平台查询指标，在PromQL语句打平数值的单位，在处理环节统一指标命名、提取语句打平数值的单位，在处理环节统一指标命名、提取&转转换标签字段，最终产出模型一致的换标签字段，最终产出模型一致的 多云多云EIP观测数据。观测数据。日志监控也是一种典型的日志监控也是一种典型的ETL过程，过程，Log到到Metric既有协