当前位置:首页 > 报告详情

6-王祥虎杨华-融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系-美化zx-已定稿_compressed.pdf

上传人: li 编号:29311 2021-02-07 48页 3.11MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要介绍了融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系。文章首先解释了数据湖和数据仓库的概念,并比较了两者的区别和协作关系。接着,文章详细介绍了 Flink Hudi Kylin 的融合,包括湖仓一体的架构、T3 出行构建湖仓一体的实践、Apache Hudi 框架简介、Kylin 框架介绍以及 Hudi 与 Flink 的融合等。 关键点如下: 1. 数据湖是一个集中式的存储库,可以存储所有结构化、半结构化和非结构化数据,而数据仓库是一个中央存储库,可以分析来自事务系统、关系数据库和其他来源的数据。 2. 数据湖和数据仓库的主要区别在于数据源、数据质量、用户和分析类型。 3. Flink、Hudi 和 Kylin 的融合为大数据处理提供了更高效的解决方案。 4. Hudi 提供了对所有云服务的支持,并已在 Uber 线上稳定运行近四年。 5. Kylin 是一个开源的分析型数据仓库,提供了 SQL 查询接口和多维分析能力。 6. Hudi 和 Kylin 的融合使得 Kylin 可以将 Hudi 视为一张普通表,从而无缝使用 Hudi 的数据。 7. Flink Write Client 的解耦和流式读写提供了更灵活的湖仓一体解决方案。
"湖仓一体如何提升数据处理效率?" "Hudi、Kylin与Flink如何实现数据的高效融合?" "T3出行如何利用湖仓一体架构优化大数据生态?"
客服
商务合作
小程序
服务号
折叠