4夏俊伟V3.pdf

1、重塑云原生数据基座：腾讯云大数据DIaaS全栈数智化能力升级与实践演讲嘉宾演讲嘉宾：夏俊伟：夏俊伟目前平台架构目前平台架构问题问题与痛点与痛点compute engineCatalogstorageHive MetastoreHDFS（Iceberg.)QueryIngest数据存储优化Doris Muti CatalogDoris内置存储QueryIngest数据存储优化tf.data等简易管理COS（CSV/TXT.)InferenceIngest.分离式 Data+AI 架构计算引擎计算引擎：烟囱式架构：烟囱式架构：query、ingest、数据优化负载依赖各自独立引擎内的计算资源元数据

2、元数据：外挂式：外挂式CatalogCatalog：缺乏统一元数据，跨源查询代价大，数据治理投入较高存储存储：单模态存储体系：单模态存储体系：不同模态数据各自存储，缺乏多模态统一Lakehouse底座数据存储优化数据工程与机器学习平台割裂数据工程与机器学习平台割裂用户使用学习成本高，对团队人员稳定性要求高大数据与大数据与ML平台的计算资源不统一平台的计算资源不统一两套平台无法做到计算资源共享，整体TCO成本增加数据需要在两套平台间来回传输数据需要在两套平台间来回传输多份数据，往往数据处理完后需要额外加载到机器学习平台多模态数据工作负载不能在一套体系里完成，需要多份资源进行单独处理缺乏缺乏Dat

3、a+AI统一元数据统一元数据无法实现结构化与非结构化数据统一管理，包括权限/生命周期/血缘管理等数据管理与运维复杂数据管理与运维复杂运维复杂，管理成本高，有多套平台需要管理困难与挑战困难与挑战传统组装式数据平台架构天然与传统组装式数据平台架构天然与AIAI割裂，计算资源和数据无法实现在两套平台共享，缺乏统一元数据与多模态存储能力割裂，计算资源和数据无法实现在两套平台共享，缺乏统一元数据与多模态存储能力Data+AIData+AI 深度融合带来的需求变化深度融合带来的需求变化过去过去未来未来围绕数据分析的传统计算引擎围绕数据分析的传统计算引擎极致性能升级，支持多模态数据计算极致性能升级，支持多模

4、态数据计算计算引擎计算引擎传统结构化数据管理与存储传统结构化数据管理与存储面向面向 Data+AIData+AI 的多模态数据管理与存的多模态数据管理与存储储数据管理数据管理数据开发：传统代码式开发数据开发：传统代码式开发数据运维：依赖数据运维：依赖 SRESRE 人力人力基于基于 DataAgentDataAgent 的自然语言式开发的自然语言式开发围绕围绕 AIAI AgentAgent 的智能自治的智能自治系统交互系统交互YARNYARN 等基于等基于 CPUCPU 的调度体系的调度体系Ray+CPU+GPURay+CPU+GPU 混合调度混合调度调度体系调度体系数据平台的下一站：数据平

5、台的下一站：DIaaSDIaaS （DataData IntelligenceIntelligence asas a a ServiceService）DIaaSDIaaS 不是一套工不是一套工具而是一种能力：具而是一种能力：让数据智能真正让数据智能真正成为触手可及的成为触手可及的水、电、煤水、电、煤集成了高性能计算引擎、多模态数据处理、智能自治、面向集成了高性能计算引擎、多模态数据处理、智能自治、面向CPU+GPUCPU+GPU混合混合调度的调度的“智能操作系统智能操作系统”，我们称为，我们称为 新一代数据智能平台新一代数据智能平台 DIaaS定义定义普惠化普惠化敏捷化敏捷化智能化智能化内置

6、AI能力，提供更深层洞察和自动化决策辅助从依靠人的分析经验到依靠Agent主动洞察，快速响应业务变化自然语言即接口，让非技术人员轻松使用数据智能新一代数据智能平台新一代数据智能平台 DIaaSDIaaS 总体架构总体架构TCLake AI Lakehouse 底座加速服务加速服务 TCQA统一元数据服务统一元数据服务 TCCatalog 结构化数据服务结构化数据服务TCLake Table非结构化数据：多模态非结构化数据：多模态 Lakehouse 存储存储统一 CPU+GPU 资源调度智能分析Agent数据工程Agent智能搜索Agent数据科学AgentTCInsight资源成本分析洞察资