使用 Paimon + StarRocks 构建湖仓一体数据分析方案.pdf

《使用 Paimon + StarRocks 构建湖仓一体数据分析方案.pdf》由会员分享，可在线阅读，更多相关《使用 Paimon + StarRocks 构建湖仓一体数据分析方案.pdf（17页珍藏版）》请在三个皮匠报告上搜索。

1、Paimon+StarRocks 构建湖仓一体数据分析方案曾庆栋/阿里云高级开发工程师Streaming lakehouse meetup传统数据仓库分析实现方案简介0101CONTENT目录 0202Paimon+StarRocks构建湖仓一体数据分析实现方案0303StarRocks与Paimon结合的使用方式与实现原理0404StarRocks社区湖仓分析未来规划01传统数据仓库分析实现方案简介传统数据仓库分析实现案简介Reference:https:/ Table StoreFlink Table StoreFlink SQLStreaming&BatchFlink SQLStream

2、ing&BatchbinlogData ServingSystemsFlink SQLQueriesFlink Table StoreODSDWDDWSADSFlink SQLStreaming&BatchPaimonPaimonPaimonPaimon+StarRocks构建湖仓体数据分析案-加速查询LogsRDBMSFlink Table StoreFlink Table StoreFlink SQLStreaming&BatchFlink SQLStreaming&BatchbinlogData ServingSystemsFlink SQLQueriesFlink Table Stor

3、eODSDWDDWSADSFlink SQLStreaming&BatchPaimon物化视图物化视图BatchBatchBatch!#$%&()*+,-./0123456789:;=Paimon+StarRocks构建湖仓体数据分析案!#$通过 SQL 定义，上手简单预计算，降低查询延时，减少重复计算开销自动查询路由，无需改写 SQL，透明加速123支持异步自动刷新数据4支持多表构建，基表可来自内表，外表，已有的物化视图5CREATE MATERIALIZED VIEW lo_mv2PARTITION BY lo_orderdateDISTRIBUTED BY HASH(lo_orderke

4、y)REFRESH ASYNC START(2023-07-01 10:00:00)EVERY(interval 1 day)ASselectlo_orderkey,lo_orderdate,lo_custkey,sum(lo_quantity)as total_quantity,sum(lo_revenue)as total_revenue,count(lo_shipmode)as shipmode_countfrom lineordergroup by lo_orderkey,lo_orderdate,lo_custkeyorder by lo_orderkey;Paimon+StarRo

5、cks构建湖仓体数据分析案-冷热分离例如，只在StarRocks 的物化视图保存最近个的数据，当查询paimon数据湖上的数据时，StarRocks 会帮你动改写查询SQL，最新的数据从物化视图查询，历史数据依旧从paimon数据湖查询，然后动进 Union 操作，将两部分数据合并并返回。03StarRocks与Paimon结合的使用方式与实现原理Paimon 外表使CREATE EXTERNAL CATALOG paimon_catalogproperties(type=paimon,paimon.catalog.type=filesystem,paimon.catalog.warehous

6、e=hdfs:/192.168.7.239:9000/user/hive/warehouse);set catalog paimon_catalog;show databases from paimon_catalog;use paimon_catalog.;show tables;select*from;创建 Paimon catalog查询 Paimon 表JNI ConnectorJNI Connector源码地址：https:/ ScanBE ScanC+MemoryJava MemoryJava Data