10-5 阿里云 EMR StarRocks 介绍.pdf

《10-5 阿里云 EMR StarRocks 介绍.pdf》由会员分享，可在线阅读，更多相关《10-5 阿里云 EMR StarRocks 介绍.pdf（29页珍藏版）》请在三个皮匠报告上搜索。

1、阿里云EMR STARROCKS介绍周康 阿里云智能技术专家|01开源开源OLAP综述综述02开源数仓解决开源数仓解决方案方案03StarRocks介绍介绍04StarRocks最佳实践最佳实践目录目录CONTENT|开源OLAP综述常见开源OLAP技术介绍01|开源产品-百花齐放|技术分类|计算与存储一体OLAP数据仓库StarRocks(DorisDB)ClickHouseApache Doris预处理/Cube/NoSQLDruid/Kylin/HBase计算引擎 SQL on HadoopMPP引擎：Trino/PrestoDB/Impala批处理引擎：Spark/Hive增量数据湖格

2、式Hudi/Iceberg/DeltaLake开源数仓解决方案02|E-MapReduce 开源大数据解决方案|离线数仓体系-Lambda架构|实时数据湖解决方案|实时数仓解决方案（1）|实时数仓解决方案（2）|试用场景小结|Lambda架构数据量10PB+级别，希望以离线数仓为基座建设数据中台，数据存储于OSS/HDFS将部分离线的热数据表导入StarRocks/CK（配合离线大宽表制作），做OLAP查询（500ms2s）实时链路将数据导入StarRocks/CK，做OLAP查询（500ms2s）Join查询较多的场景使用StarRocks实时数据湖方案数据量PB+级别，希望统一离线、实时数

3、仓，用一套代码构建业务，数据存储于OSS/HDFS部分业务有Upsert变更需求，希望建设分钟级小时级数仓将最热的数据导入StarRocks/CK，OLAP查询（500ms2s）Hudi/Iceberg/Delta，利用Presto查询（5s30s）实时数仓方案每天增量数据10TB+，希望直接以单软件构建业务底座，数据先存储于CK/StarRocks，冷数据转存到OSS不必再运维Hadoop庞大体系，极大简化运维操作，媲美全托管实时性非常强，极大简化开发效率，数据一致性最高存算分离，海量数据，cache加速StarRocks介绍StarRocks核心特性介绍03|StarRocks价值|极速的

4、任意维度OLAP分析和AdHoc查询全新的向量化执行引擎，亚秒级查询延时单节点每秒可处理多达100亿行数据综合查询速度比其他产品快10100倍！全新的业务洞察速度数据秒级实时更新可见单节点支持100M/秒写入速度全新的业务洞察实时性支持数千用户同时分析支持高并发，部分场景每秒可支持高达1万以上的QPSTP99可控制在1秒以内赋能更多人员进行业务洞察03基于多种数据模型皆可实现极速分析业务交付时间从周加快到小时甚至分钟级提升数据工程师和分析师工作效率可达10倍以上构建灵活，快速响应业务变化0401020304重构企业数据基础设施|ETLCDCIngestionExternal tableQuer

5、yBI,Reporting,Applications,Ad Hoc新一代弹性MPP架构|极简架构 FE、BE，易运维 水平扩展 FE、BE水平扩展 自动均衡 易用 兼容MySQL协议 可使用各类MySQL客户端StarRocks极速引擎-全面向量化|全面向量化执行按列存储，按列计算更少的虚函数调用CPU Cache更友好更少的分值判断更好地利用SIMD指令向量化提升效果向量化Filter：提升5.1 倍向量化聚合：提升14.9 倍向量化Shuffle Join：提升3.7 倍向量化Broadcast Join：提升3.5 倍更多优化手段低基数优化：提升3.2 倍延迟物化：提升3.3 倍极速引擎

6、-全新CBO|优化器将SQL语句转化为一个可执行的PlanAnalyzer、Transformer、Rewriter、Optimizer优化方法基于Orca论文表达式重写、表达式复用、公共谓词提取、谓词推导谓词下推、limit下推、聚合下推列裁剪、分区裁剪、shuffle裁剪子查询改写Join顺序调整、Join算法自动选择极速引擎-多种分布式Join|全场景-丰富的数据模型|特点适用场景明细模型用于保存和分析原始明细数据，以追加写为主要写入方式，数据写入后几乎无更新。日志，操作记录，设备状态采样，时序类数据等聚合模型用于保存和分析汇总类（如：max、mi