亚马逊云上智能湖仓最佳实践-诸葛瑞麟.pdf

1、亚马逊云上智能湖仓最佳实践伊克罗德解决方案架构师 诸葛瑞麟Agenda为什么需要现代数据架构亚马逊云上的现代数据架构如何轻松安全地在数据架构中共享数据客户案例分享传统数据湖、数据仓库的需求痛点和挑战为什么需要现代数据架构希望从数据中获得更多价值希望从数据中获得更多价值指数级增长指数级增长新增数据来源新增数据来源格式多样化格式多样化数据用户增加数据用户增加不同分析工具不同分析工具传统数据仓库没有扩展性传统数据仓库没有扩展性客户可能会使用不同厂商的数仓方案来应对不同的场景，但这些厂商之间没有接口，没法将数据做统一的分析没法将数据做统一的分析高度结构化数据高度结构化数据半半/非结构化数据非结构化数据

2、传统数据仓库没有扩展性传统数据仓库没有扩展性扩展成本高实施周期长技术迭代困难专用数据格式维护成本高数据民主化与数据治理数据民主化与数据治理需要使用数据的人使用数据的人正在日益增加企业会比较关心：数据隐私隐私 数据安全性安全性企业会需要：提供对数据的民主化访问民主化访问权限 实施数据治理数据治理，防止数据管理不当导致数据安全事件将数据湖、数据仓库和专用数据分析/存储服务集成从而支持统一的监管和轻松的数据移动亚马逊云上的现代数据架构亚马逊云上的现代数据架构亚马逊云上的现代数据架构现代数据架构不是简单地将数据湖和数据仓库糅合在一起，而是将数据湖、数据仓库和专用分析、存储工具集成，从而支持统一的监管和

3、轻松的数据移动。弹性数据湖专业分析服务统一数据访问统一监管性能优化成本效益RedshiftRedshiftData warehousingEMREMRHadoop+SparkAthenaAthenaInteractive analyticsKinesis Data Kinesis Data Analytics Analytics Real timeOpenSearchOpenSearch Service ServiceOperational AnalyticsRDSRDSMySQL,PostgreSQL,MariaDB,Oracle,SQL ServerAuroraAuroraMySQL,Po

4、stgreSQLDynamoDBDynamoDBKey value,DocumentElastiCacheElastiCacheRedis,MemcachedNeptuneNeptuneGraphTimestreamTimestreamTime SeriesQLDBQLDBLedger DatabaseS3/GlacierS3/GlacierGlueGlueETL&Data CatalogLake FormationLake FormationData LakesData Data 导入导入Database Migration Service|Snowball|Snowmobile|Kines

5、is Data Firehose|Kinesis Data Streams|Managed Service of KafkaDatabase Migration Service|Snowball|Snowmobile|Kinesis Data Firehose|Kinesis Data Streams|Managed Service of Kafka分析分析数据库数据库商业智能和机器学习商业智能和机器学习QuickSightQuickSightSageMakerSageMaker数据湖数据湖Managed Managed BlockchainBlockchain区块链区块链RDS on RDS

6、 on VMwareVMwareMemoryDBMemoryDBRedis-compatibledurable亚马逊云上的数据产品组合亚马逊云上的数据产品组合使用对象存储使用对象存储 S3S3 作为数据湖的底层存储作为数据湖的底层存储Amazon S399.999999999%99.999999999%持久性99.99%99.99%可用性丰富的存储层级存储层级支持智能分层智能分层任何方式的数据输入数据输入冷存储冷存储与归档存储归档存储能力对象层级对象层级的访问控制广泛的数据分析工具数据分析工具支持安全安全、合规合规性版本控制版本控制与审计审计Glue Data Catalog使用使用 Glue