滴普科技&Gartner：2023湖仓一体演进与实践白皮书（35页）.pdf

1、湖仓一体演进与实践数据智能未来式：FastData实时湖仓平台 2023年2月本期内容序言 2第一章.从数据库到湖仓一体 3第二章.构建湖仓一体关键要点 19 第三章.湖仓一体方案实践 24Gartner的研究 数据湖仓一体是什么？30关于滴普科技 352序言湖仓一体演进与实践数据智能未来式：FastData实时湖仓平台 目录第一章 从数据库到湖仓一体 1.1 企业数字化平台建设 1.2 数据平台工程化面临的挑战 1.3 从数仓、数据湖到湖仓 1.4 湖仓一体的适用场景 第二章 构建湖仓一体关键要点 2.1 技术要点 2.2 标准统一 第三章 湖仓一体方案实践 3.1 实践项目背景 3.2 现

2、状与挑战 3.3 业务演进与目标 3.4 湖仓一体方案实践 湖仓一体演进与实践第一章：从数据库到湖仓一体1.1 企业数字化平台建设企业面向未来的数据基础设施应该具备如下三大特征：1.从业务应用系统的建设向数据平台和数据智能化应用建设转变；2.数据要素越来越重要，企业将会建设或升级统一的数据平台底座；3.业务应用和数据应用联系会越来越紧密，基于数据智能的业务应用会成为新趋势。下图是数字化时代企业的数据基础设施的整体架构图：4图1.未来企业IT架构业务领域过去的十多年时间里，企业的信息化、数字化建设的核心都是在围绕着“业务数字化”以及“数字业务化”展开，业务数字化是将数字技术引入到原有业务中，为其

3、带来效率提升和业务模式变革的过程；而数字业务化则是指通过提供数字技术，基于数据资源和数据资产服务等必要生产要素获取业务收入的过程。企业数据与业务如今结合越来越紧密，从数据的成熟度可以分为四个阶段：第一，能够将数据管理起来，但跟业务结合处于被动模式；第二，数据可以按照业务分类有序组织在一起，搭建模型去梳理业务；第三，基于数据构建模型以及科学分析，通过数据来反哺业务，甚至能对业务进行预测，辅助管理者进行决策；第四，以数据驱动业务、经营模式产生变革。资料来源：滴普科技数据领域数据领域是数字化基础设施的核心，企业数据平台的建设将成为数据价值呈现的关键因素。基于云原生技术的中立性，探索建设基于行业和场景

4、的新一代实时数据智能平台，将大幅度提升企业一线部门的数据应用效能。回归本质，企业要想更好地使用数据，应该聚焦在快速的数据融合与分析预测上，而不是把精力大量花费在数据技术的选择及大规模机器的部署维护。一家企业要想拥有大量繁多而有深度的技术专家：诸如OLAP数据库专家、分布式系统专家、多语言开发工程师，XXX-SQL工程师这是不可想象的，企业会更希望能够低门槛且便捷地使用数据。如果把时间拉长到3至5年之后，大数据和人工智能必定会紧密配合，它们之间的协同能力将对企业的智能应用起到决定性作用。在“Hidden Technical 5Debt in Machine Learning Systems”(机

5、器学习系统中隐藏的技术债务）论文中，Google认为：在任何人工智能系统应用过程中，绝大多数不是算法的聪明与否，而是围绕这些算法的“管道”，即数据收集、清洗、验证等基础设施的到位程度，这样才能有效支撑你想做到的任何机器学习。企业的数据智能平台的特点综合起来看，需要满足低使用门槛，高性能和扩展能力，操作维护和易用性更好，成本更低的要求。1.1.1 数字化基础设施一个具有现代化的数字化基础设施涉及的数据智能平台，通常会包含四大部分：数据平台底座数据平台底座的核心是为企业提供所有数据存储的平台。随着企业信息化、数字化的不断深入，企业的数据也逐渐呈现海量的趋势，包括了来自业务系统的结构化数据，还有AP

6、P或IT系统的日志等半结构化数据，以及图片、音视频、声音等各种非结构化数据。这些数据是否具有统一的存储格式、统一的存储标准、以及高效的读取性能，将为数据的持续加工、挖掘和价值分析奠定基础。数据集成数据迁移：数据库与数据库之间的数据搬迁，通常是一次性的，涉及到同构或异构的数据库，场景有灾备、异地多活、跨数据中心的搬迁等；数据同步则包括实时或非实时，有一对一、一对多等。数据传输服务通常会包含：数据迁移、订阅、同步；解析（decode）、恢复（restore）、备份（dump）和同步（sync或rump）等动作。而数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全