阿里云：ODPS降本增效新能力解读（2023）（140页）.pdf

1、阿里云ODPS降本增效新能力解读合一（刘一鸣）阿里云智能高级产品专家2023/03/10“高质量的增效降本是用创新型的技术来实现数量级式的效率提高，以实现单位成本下降。”引用：刘伟光太多企业在吃“降低成本”的亏发展历程：大数据从规模到效率的蜕变20092010MaxCompute1.0 发布 支撑蚂蚁小微贷款业务2013MaxCompute商业化 单集群突破5k 公共云开始部署2015MaxCompute全面替换Hadoop 联合Dataworks构建阿里统一数据中台体系2017MaxCompute2.0发布核心引擎整体重构单集群过万台全球部署超过10个数据中心2020MaxCompute3.

2、0发布性能再提升，综合成本减低30%湖仓一体企业级安全性持续增强发布Hadoop联邦计算2021MaxCompute&Hologres离线实时一体化2022MaxCompute（ODPS）研发启动 飞天大数据平台启动几点观察数据处理从半结构化为主，到80%结构化+20%半结构化、非结构化开发语言从Java到SQL，从过程语言到描述语言团队从成本中心转为效益中心（推荐、风控、营销）从为老板驾驶舱服务转为一线用数、取数服务，从离线到在线从开源自建转为产品力优先云是一种运维方式的改变，而不是开发方式Big Data is Dead,Big Data Long LiveODPS再出发：满足多样化计算需

3、求大规模计算实时化计算全频谱计算融合化体验一体化架构统一存储，统一开发平台，多引擎可扩展平台架构 ODPS-MaxCompute：面向规模数据的Serverless数仓引擎10万台2.79EB6年新纪录300+项20+项服务器并行计算单日最大数据处理规模蝉联TPCx-BB世界冠军TPC-H 2022年全球性能海内外专利软件著权数据驱动而生的超大规模多场景融合的大数据智能计算平台计算引擎数据集成、开发与治理数据存储OSS（Open Storage）数据应用ODPS-MaxComputeODPS-Hologres实时计算FlinkDataWorks 大数据开发治理平台Pangu（Managed S

4、torage）Reporting&DashboardAIOnline Applications行业解决方案合作伙伴方案ODPS开放架构，面向未来可扩展 ODPS-Hologres：面向交互式分析场景的实时数仓引擎ODPS云原生一体化数仓云原生一体化数仓是集阿里云大数据产品MaxCompute(数仓加工）、DataWorks(数据治理）、Hologres(数据服务）三种产品能力于一体的一站式大数据处理平台。技术上通过离线实时一体、分析服务一体、湖仓一体和数据综合治理架构实现成本更低，速度更快，性能更好，运维更简单。DataHub数据总线运营看板数据大屏MaxCompute离线数仓服务分析Holo

5、gres实时数仓实时计算Flink版OSS/DLF 数据湖在线应用DataWorks 数据综合治理离线实时一体湖仓一体分析服务一体离线实时一体：数仓架构简化湖仓一体：开放融合分析服务一体：统一数据出口全链路数据治理：保障质量DataHub数据总线埋点数据订单数据MaxCompute的Serverless架构及特点Serverless的数据接入服务 Tunnel批量、流式导入，转换为MC 列存格式、自动伸缩、免费 OSS导入/导出命令:LOAD/UNLOAD、免费Serverless的多计算环境 Servlerss计算资源池：大规模资源池，On-demand按需提供，按作业付费 独占计算资源：支

6、持包年包月付费、Workload管理（负载隔离、优先级、分时伸缩）运行环境(runtime)支持ETL/OLAP/ML等大数据分析使用场景Serverless的存储服务 与计算无关，独立伸缩,GB-EB级 按实际存储大小付费 无需指定，默认面向分析优化(列存、压缩）支持分区/分桶/Zorder等优化手段Serverless的管理 透明升级 丰富监控服务从N到1，融合的、一站式实时数仓Hologres归档实时写入实时写入维表关联FlinkMaxCompute离线分析离线加速联邦查询点查实时分析结果缓存RedisMysqlDrillPrestoHBaseDruid结果缓存归档实时写入维表关联Fli