跨集群、跨区域、跨多云的异构数编排平台-杨勇.pdf

1、跨集群跨集群、跨区域跨区域、跨多跨多云的异构数据编排平台云的异构数据编排平台Yong YangR&D Tech Lead Alluxio23个人信息 3 3Yong Yang(https:/ Tech Leader(Architect)Alluxio Email:企业数字化转型的迫切需求VS碎片化数据世界的挑战 4 4 4 41.1.防止单个云或者厂商锁定防止单个云或者厂商锁定在不用考虑数据位置不用考虑数据位置的情况下，灵活的选择更加合适服务更加合适服务在考虑费用和访问控制费用和访问控制的情况下，使用更加低成本低成本的运行方式2.2.管理高的云基础设施的成本管理高的云基础设施的成本计算计算迁移

2、迁移到云云的时候造成的Cloud-burstingCloud-bursting数据迁移数据迁移到云存储云存储，增加了可以在任何任何地方运行计算计算的灵活性灵活性例如例如:把带有数据预处理数据预处理的ML Pipeline从带有GPUGPU的模型训练中的模型训练中分离开来3.3.组织的合并组织的合并例如:跨数据孤岛中跨数据孤岛中，做历史数据历史数据的商业智能商业智能或者即席分析即席分析4.4.数据合规数据合规例如:GDPR为什么需要多云的环境?5现代企业数字化需求 5 5空前纷繁复杂的数据平台6数据的趋势数据的趋势繁杂的平台繁杂的平台本地集群，单云，多云环境的特性各不相同在不影响现有的工作流的情

3、况下，增加数据消费者是非常的困难每天产生越来越多的数据，存放在数据孤岛中为数据复制和同步付出代价越来越多的人和团队需要访问和利用这些数据为各种API进行集成以及重写应用，成为了必须 6 6跨数据中心跨数据中心、跨地域跨地域、跨云的数据孤岛跨云的数据孤岛不同系统,不同环境下的手工数据同步策略v区域区域 Av区域区域 B区域区域 C区域区域 D私有数据中心私有数据中心Amazon EMRCloud DataprocKubernetes EngineCompute EngineHive数据中心数据中心 2数据中心数据中心 1显性的显性的、易错的易错的以以及网络密集及网络密集数据复数据复制制、数据同步

4、管理数据同步管理 7 7市场对于简化有着强烈的需求市场对于简化有着强烈的需求统一的数据湖在私有云，混合云和多云之间灵活的移动应用应用的可移植性应用的可移植性提供扩展到新应用的隔离多租户的隔离多租户的隔离跨数据孤岛的访问跨数据孤岛的访问高效的对分析和AI提供数据服务 8 8数据编排赋能云原生时代的大数据分析和AI 9 9Open Source Started From UC Berkeley AMPLab in 2014Join the conversation on Slackalluxio.io/slack1,200+contributors&growing10,000+Slack Comm

5、unity MembersTop 10 Most Critical Java Based Open Source ProjectGitHubs Top 100 Most Valuable Repositories Out of 96 Million 1010正在使用正在使用Alluxio的公司的公司INTERNETINTERNETPUBLIC CLOUD PROVIDERSPUBLIC CLOUD PROVIDERSGENERALGENERALE-COMMERCEE-COMMERCEOTHERSOTHERSTECHNOLOGYTECHNOLOGYFINANCIAL SERVICESFINANC

6、IAL SERVICESTELCO&MEDIATELCO&MEDIALEARN MORELEARN MORE 1111Alluxio 核心技术创新数据APIAPI，数据缓存缓存，数据分层分层 1212ALLUXIO 架构Alluxio MasterConsensusStandby MasterWANAlluxio WorkerRAM/SSD/HDDAlluxio WorkerRAM/SSD/HDDUnder Store 1Under Store 2Control PathData PathAlluxio ClientAlluxio Client 1313