腾讯云clickhouse性能调优实践.pdf

《腾讯云clickhouse性能调优实践.pdf》由会员分享，可在线阅读，更多相关《腾讯云clickhouse性能调优实践.pdf（43页珍藏版）》请在三个皮匠报告上搜索。

1、 腾 讯 云 ClickHouse 性 能 调 优 及 实 践 三、 腾讯云ClickHouse性能调优 、 常ClickHouse实时分析场景 、 腾讯云ClickHouse在QQ乐实践 录 四、 腾讯云ClickHouse现状与规划 ClickHouse简介 极地节约了IO带宽 压缩（持LZ4, ZSTD) 列式存储与数据压缩 2 DDL(数据定义语) DML(数据操作语） 权限控制 数据备份与恢复 分布式管理 完备的DBMS功能 1 分布式计算 多核并计算 向量化执与SIMD 动态代码成 向量化执引擎 3 管理数据存储，不依赖其他组件 主键索引/级索引 数据集分(sharding) 数据

2、分区(partition) 数据容灾 TTL持 数据存储 5 对户友好的SQL语法 内置功能全的分析统计函数 丰富的数据结构持，字典、json, array, bitmap等 SQL持 4 论是查询还是写，性能极其卓越 性能卓越 6 、 QQ乐PB级数据实时分析带来的挑战 Hive离线分析仅能满T+1定时报表单 场景 Hive法满QQ乐多（产品、 运营员等）对实时交互分析的诉求 时效性 低 基于Hive跑离线任务需要数时 分析结果价值随着时间推移迅速降低 易性 低 数据分析需求来源于 产品、运营、市场 多员 由于分析槛，产品、运营、市场 员法主分析 流程效率 低 分析需求均需由分析师完成，需排

3、期、沟通、建模、分析、可视化等流程 整套流程常需周时间， 分析结果不及时 、 QQ乐PB级数据实时分析带来的挑战 ClickHouse集群现状业务价值 集群规模 近万核，PB级存储、万亿级别记录量。 每天过千亿数据落地库保存（实时流、 离线中间表等约700张表）。 实时性 复杂交互分析秒级完成（如分版本、分平台 DAU，营收及其他多径业务指标）。 性能指标 查询千亿、万亿流的请求可在数秒内完 成。 易性 利Superset可主DIY各类报表，当前 SuperSet过万图表中，超半由产品、研发、 运营、研究员、财务等数据同学创建。 三、 腾讯云ClickHouse性能调优 、 常ClickHouse实时分析场景 、 腾讯云ClickHouse在QQ乐实践 录 四、 腾讯云ClickHouse现状与规划 三、 常ClickHouse实时分析场景举例 场景1： 物化视图应：数据摄 三、 常Cli