2019年饿了么监控体系的演进.pdf

《2019年饿了么监控体系的演进.pdf》由会员分享，可在线阅读，更多相关《2019年饿了么监控体系的演进.pdf（33页珍藏版）》请在三个皮匠报告上搜索。

1、全球敏捷运维峰会广州站饿了么监控体系的演进全球敏捷运维峰会广州站目录 背景 遇到的问题 场景化 系统设计全球敏捷运维峰会广州站背景1.02.03.01.Statsd/Graphite/Grafana2.ETrace3.Zabbix4.ELog1.Statsd/Graphite/Grafana2.ETrace/LinDB3.ESM/InfluxDB/Grafana4.ELK1.EMonitor/LinDB2.SLS单IDC异地多活全球敏捷运维峰会广州站现状1.覆盖了饿了么所有的监控（业务监控，全链路监控，PaaS，IaaS等）2.覆盖所有应用及服务器3.每天采集原始数据 800T4.高峰计算事件

2、 7000W/s全球敏捷运维峰会广州站目录 背景 遇到的问题 场景化 系统设计全球敏捷运维峰会广州站遇到的问题1.多套监控系统，包括收集，可视化及报警等2.各种上下文切换3.适合熟练工，不适合新同学1.快速发现问题2.快速定位问题1.GOC2.开发人员核心问题核心用户E-Monitor全球敏捷运维峰会广州站如何解决业务应用PaaSIaaS(订单/运单)Tracing/Logging(Exception/SOA/DB/Redis/Q)中间件(ES/DAL/Redis/Q/Job/SLB)(CPU/MEM/Network/TCP)1.各层面向的用户及其视角是不一样的2.做好业务侧监控，并能联动3.

3、标准化应用/PaaS/IaaS各层监控4.需要一个纽带来把各层串联起来5.端对端监控6.与其他系统集成全球敏捷运维峰会广州站如何解决Tracing业务应用PaaSIaaS全球敏捷运维峰会广州站如何解决一套系统覆盖所有监控，支持多平台全球敏捷运维峰会广州站目录 背景 遇到的问题 场景化 系统设计全球敏捷运维峰会广州站业务大盘VS Grafana1.与业务更贴合2.Dashboard App3.Chart Repo4.Drill Down5.小工具全球敏捷运维峰会广州站业务大盘全球敏捷运维峰会广州站应用监控全球敏捷运维峰会广州站应用监控 Exception全球敏捷运维峰会广州站应用监控-SOA全球

4、敏捷运维峰会广州站应用监控-SOA全球敏捷运维峰会广州站基础设施-DAL全球敏捷运维峰会广州站服务器监控全球敏捷运维峰会广州站Tracing采样10s内有问题的请求全球敏捷运维峰会广州站Tracing全球敏捷运维峰会广州站E-Monitor关键业务监控(报警发现问题)应用监控(定位问题)PaaS(Redis/DAL/Q/ES)IaaS(CPU/MEM/Network)fromdependencyrunrun全球敏捷运维峰会广州站目录 背景 遇到的问题 场景化 系统设计全球敏捷运维峰会广州站整体架构1.Pipeline-Lambda2.支持多IDC3.全量日志，通过指标+采样的方式4.支持 Ja

5、va/Golang/Python/PHP/C+/Node.js5.所有监控数据计算窗口为 10S5.自研+开源组件构建了整套系统全球敏捷运维峰会广州站整体架构全球敏捷运维峰会广州站踩过的坑1.Kafka broker 节点 IO Hang 住，导致所有 Producer 线程全部 Hang 住，流量掉底2.HBase 上构建了索引，导致 HBase 热点严重3.系统稳定性4.生产效率1.基于 Kafka Client 封装了一个 Broker 与 Thread 绑定的版本，即一个线程负责某一 Broker 的写入，当某一节点写入有问题，数据自动 Balance 到别的节点2.不支持全文检索，有

6、时看起很用的功能，其实不一定是用户真正需要的3.从 Pipeline 处理所有数据流，到计算和写存储分离类似 Lambda，计算采用类 SQL4.所有的数据都转换成 Metrics，外加自定义的可视化组件，阶段性的前进，每个阶段只做 1-2 件重要的事情全球敏捷运维峰会广州站计算-Shaka1.随着数据量不断增加，系统开始出现不稳定的情况，有时出问题之后需要较长时间来恢复2.计算是整系统的资源大户，也是整个系统最核心的组件之一1.基于 CEP(Esper)实现类 SQL 的计算2.非结构化的数据转换成结构化数据3.