江进-阿里云Hologres+Paimon湖仓一体解决方案.pdf

1、阿里云阿里云Hologres+Paimon湖仓一体解决方案湖仓一体解决方案阿里云计算平台事业部资深技术专家2025/03从分析服务一体到一体化实时湖仓，持续演进的湖仓一体能力江 进构建一体化实时平台的挑战系统架构演进高成本、高TCO数据管理和优化依然困难存储层：湖和仓没有统一，全仓、全湖、湖仓一体？计算层：离线计算实时性太差，流计算太贵多个数据存储系统，多个元数据管理系统Lambda架构、存储两份、计算两份、逻辑不对齐，开发优化困难如何实现“成本可控的实时化”？稳定性如何保证需要逐一优化非常多的链路和query，怎么样自动化？怎么响应时间变化，避免越用越慢？Hologres：一体化实时湖仓统一

2、数据平台，面向未来的一体化架构高性能OLAP实时数仓：替换各 OLAP 引擎在线服务：替换 KV 数据库(HBase/Redis等)湖仓加速：加速查询MaxCompute/OSS数据向量数据库：助力RAG检索增强，企业级知识库Serverless资源，实现高可用与负载隔离强大的实时性能，保持数据新鲜度可扩展MPP架构，PB级数据可实现秒级分析每秒数十万QPS高性能点查，支持高吞吐更新全链路实时化，数据写入即可查数仓分层，支持流式、增量、全量多模式统一计算开放兼容生态，持续演进的湖仓一体支持标准SQL（兼容PostgreSQL协议）提供JDBC/ODBC接口，轻松对接第三方ETL和BI工具，包括

3、QuickBI、DataV、Tableau、帆软等元数据自动映射，支持Paimon/DeltaLake/Iceberg/Hudi等多种开放数据湖格式原生支持半结构化JSONB列式存储世界第一TPC-H 30,000GB标准测试国内唯一Forrester云数仓报告卓越表现者10亿+/秒高吞吐实时数据写入与更新8192节点中国信通院分析型数据库评测规模最大推荐向量引擎OpenAI和LangChain大模型社区同时推荐支持隔离不同业务、不同查询类型、写入和读取等资源竞争场景按需创建Serverless资源，稳定执行大规模ETL和查询分时弹性降低成本，支持队列进行负载限流+大查询隔离提供丰富的监控与告

4、警信息，支持系统热升级，满足各类企业级运维需求数据来源：TPC官网、中国信通院、内部测试The Forrester Wave:Cloud Data Warehouses,Q2 2023Hologres 通过统一数据平台构建湖仓存储一体、多模式计算一体、分析服务一体、Data+AI一体的一体化实时湖仓架构实现一份数据、一份计算、一份服务，极大提高数据开发及应用效率Hologres3.x全新升级：面向未来的一体化实时湖仓湖仓存储一体支持多种开放湖仓数据格式对接DLF/HiveMetastore一份数据、一份计算、一份服务，极大提高数据开发及应用效率一份服务OLAP查询RAG检索增强在线服务即席分析

5、一份计算一份数据Hologres 湖仓存储HIVE多种开放湖仓格式ICEBERGDELTA LAKEPAIMONHUDIMaxComputeHologres高性能存储ODS层DWD层DWS层ADS层数仓分层加工Hologres Dynamic Table实时计算流式刷新（Streaming）增量刷新（Incremental）增量计算全量刷新（Batch）离线计算多模式计算一体一份SQL、一份计算自动分层、自动匹配时效性要求分析服务一体OLAP查询、即席分析在线服务、点查Data+AI一体向量计算RAG检索增强NL2SQL（通义析言、DataWorks）湖仓存储一体、多模式统一计算面向未来的一体

6、化实时湖仓架构设计Hologres External Database 统一元数据管理湖仓一体使用体验及能力增强，全面对接ALakeHologres计算资源External DatabaseWorkers存储资源Dynamic Table2.查询加速1.元数据映射4.数仓分层 1CREATE EXTERNAL DATABASE dlf_paimon_catalogWITH metastore_type dlf-paimon catalog_type paimondlf_region cn-hangzhou dlf_catalog clg-paimon-dc758349b48a4e9e;3INS