SelectDB 王磊-如何基于 Apache Doris 构建更高性价比的日志存储与分析平台.pdf

《SelectDB 王磊-如何基于 Apache Doris 构建更高性价比的日志存储与分析平台.pdf》由会员分享，可在线阅读，更多相关《SelectDB 王磊-如何基于 Apache Doris 构建更高性价比的日志存储与分析平台.pdf（67页珍藏版）》请在三个皮匠报告上搜索。

1、基于基于Apache DorisApache Doris构建日志存储与分析平台构建日志存储与分析平台王磊王磊|SelectDB|SelectDB 资深大数据研发专家资深大数据研发专家个人简介个人简介王磊王磊 阿里云阿里云 MVPMVP，目前就职于目前就职于 SelectDBSelectDB，负责负责 Apache Doris Apache Doris 以以及企业级产品及企业级产品 SelectDB SelectDB 的数据生态建设工作，具有超的数据生态建设工作，具有超 10 10 年年大数据领域工作经验，对数据治理、数据湖和实时数仓有深入大数据领域工作经验，对数据治理、数据湖和实时数仓有深入理

2、解和实践，理解和实践，人气技术畅销书人气技术畅销书图解图解 Spark Spark 大数据快速分析大数据快速分析实战实战、offer offer 来了：来了：Java Java 面试核心知识点精讲（原理篇面试核心知识点精讲（原理篇&架构篇）架构篇）作者作者目录目录0101日志分析的需求和挑战日志分析的需求和挑战02020303040405050606传统日志分析解决方案传统日志分析解决方案Apache DorisApache Doris日志解决方案日志解决方案Apache DorisApache Doris日志解决方案核心技术解析日志解决方案核心技术解析Apache DorisApache D

3、oris日志方案入门实战日志方案入门实战Apache DorisApache Doris日志解决方案应用案例日志解决方案应用案例0101日志分析的需求和挑战日志分析的需求和挑战什么是日志分析？什么是日志分析？日志分析是一种通过收集、整理和分析计算机系统或网络设备产生的日志数据的过程。它可以帮助日志分析是一种通过收集、整理和分析计算机系统或网络设备产生的日志数据的过程。它可以帮助管理员识别系统或应用程序中的问题，并提供有关系统性能、安全性和用户行为的洞察。管理员识别系统或应用程序中的问题，并提供有关系统性能、安全性和用户行为的洞察。1 1：识别程序系统问题：识别程序系统问题2 2：量化系统性能：

4、量化系统性能3 3：提高系统安全性：提高系统安全性4 4：识别用户行为：识别用户行为为什么需要日志分析？为什么需要日志分析？基于国家网络安全法规的需求基于国家网络安全法规的需求0101中华人民共和国网络安全法（中华人民共和国主席令第五十三号）第二十一条三点规定：采取监测、记录网络运行状态、网络安全事件的技术措施,并按照规定留存相关的网络日志不少于六个月审计和运维审计和运维0202 审计需求：审计需求：运维团队要保障日志的可审计性，以便出现问题进行审计 运维需求：运维需求：上千台服务器，日志独立分散，故障不易发现提高产品和研发效率提高产品和研发效率0303 快速定位问题：快速定位问题：统一的日志

5、平台有助于研发人员快速分析和处理问题 更科学的产品设计：更科学的产品设计：产品经理通过日志分析用户的行为，为产品的设计审计提供数据上的支持提高产品稳定性提高产品稳定性0404 潜在消除问题：潜在消除问题：发现潜在的问题，在故障未出现时将可能的故障“消灭在萌芽状态”日志报警服务：日志报警服务：通过日志报警服务，可以提醒运维人员技术处理系统故障 提高系统可观测值：提高系统可观测值：日志监控能够帮助产研人员了解目前系统的运行状态日志分析主要的应用场景日志分析主要的应用场景舆情分析舆情分析网络设备日志网络设备日志CDNCDN日志日志服务器日志服务器日志应用程序日志应用程序日志传感器设备日志传感器设备日

6、志埋点日志埋点日志网络安全分析网络安全分析流量分析流量分析监控告警监控告警行为分析行为分析用户画像用户画像服务器监控服务器监控服务器告警服务器告警应用程序监控应用程序监控业务监控业务监控业务告警业务告警设备状态设备状态设备运营设备运营日志分析特点日志分析特点T1T1T2T2T3T3T4T4T5T5TNTN1 1：写入写吞吐大、数据实时可见：写入写吞吐大、数据实时可见2 2 存储存储周期长、数据量大、存储成本高存储存储周期长、数据量大、存储成本高3 3：查询快速检索、时间序列性强：查询快速检索、时间序列性强日志分析整体架构日志分析整体架构基础设施日志来源日志采集、解析、存储、分析应用场景容器Do