1戚厚亮-小米云原生湖仓降本增效实践.pdf

《1戚厚亮-小米云原生湖仓降本增效实践.pdf》由会员分享，可在线阅读，更多相关《1戚厚亮-小米云原生湖仓降本增效实践.pdf（33页珍藏版）》请在三个皮匠报告上搜索。

1、演讲嘉宾：戚厚亮、王朝晖小米云原生湖仓小米云原生湖仓降本降本增效实践增效实践0 1存算分离背景与挑战存算分离背景与挑战0 2存储选型与架构演进存储选型与架构演进0 3云原生湖仓架构云原生湖仓架构0 4实践案例实践案例0 5总结总结&未来展望未来展望0 1 存算分离背景与挑战存算分离背景与挑战存算分离背景与挑战 网卡：百兆网卡即100Mbps，千兆网卡(很少)单机：HDD磁盘，吞吐为400Mbps,单机812块磁盘吞吐上限为3Gbps5Gbps 计算：与单机磁盘吞吐相比，100Mbps（12MB/s）的网卡瓶颈是灾难性的Data Locality,存算耦合在一台机器，避免网络传输，成为大数据计算

2、的最大客观需求背景性价比性价比稳定性稳定性复杂度复杂度（一）存算水位不匹配（一）存算水位不匹配（二）可用机型受限（二）可用机型受限计算资源经常超发，会导致节点资源紧计算资源经常超发，会导致节点资源紧张，高负载节点会有抖动张，高负载节点会有抖动(一一)计算资源超发计算资源超发HDFSHDFS慢节点问题经常发生，这就造成慢节点问题经常发生，这就造成计算任务经常出现长尾查询计算任务经常出现长尾查询(二二)长尾效应明显长尾效应明显存储和计算服务混部，集群的日常运维存储和计算服务混部，集群的日常运维复杂度难度更高复杂度难度更高(一一)运维复杂度运维复杂度扩容操作需要具有充足的物理资源，并扩容操作需要具有

3、充足的物理资源，并且不支持弹性扩缩容，对生产使用来说且不支持弹性扩缩容，对生产使用来说具有一定的滞后性具有一定的滞后性(二二)扩容复杂且有滞后性扩容复杂且有滞后性存算混用导致可选择机型受限，这存算混用导致可选择机型受限，这就造成了存储成本高并且性能比较就造成了存储成本高并且性能比较差差当存储计算水位不同时，扩容一种资源当存储计算水位不同时，扩容一种资源就造成另一种资源的浪费就造成另一种资源的浪费痛点痛点:存算分离背景与挑战0 2 存储选型与架构演进存储选型与架构演进三副本EBS|HDD物理机|固定CPU/MemHive on HDFS单价差610倍、无限扩展、无运维按需伸缩、即用即付、单价差3

4、5倍I/O裁剪与计算提速单任务综合性能提升30%对象存储S3/OSS可变可弹CPU/Mem|廉价实例Table format on S3、数据编排、并行计算存储资源存储资源计算资源计算资源架构演进架构演进存算耦合时代存算耦合时代存算分离时代存算分离时代成本差异成本差异存算分离三个关键点：存储资源、计算资源、架构演进存储资源、计算资源、架构演进方案选型与架构演进多云迁徙与调度多云迁徙与调度不强绑定任何一家公有不强绑定任何一家公有云的能力云的能力 基于裸金属构建集群，既要多副本又要做到成本可控，避免存储规模数倍增长 基于对象存储，可靠性和低成本可以保证，但需要具备云间迁移的能力，同时保障质量 多云

5、多云/混合云间专线带宽混合云间专线带宽混云成为常态，云间的专混云成为常态，云间的专线带宽是用户体验和可靠线带宽是用户体验和可靠性的关键性的关键 如何避免重I/O读写作业，大shuffle作业对带宽的压力 如何将云上数据与其对应的计算在云内闭环 如何监控并预警到作业级别的流量突增并进行异常预案 高延迟高延迟/高调用高调用 统一元数据管理统一元数据管理挑战挑战 针对高延时，如何选择最优的解决方案，针对不同的业务进行调优 热数据下游高频读写导致API调用费用远超存储费用对象存储基座，计算高对象存储基座，计算高延迟，延迟，APIAPI调用陷阱调用陷阱计算技术迭代井喷，多框计算技术迭代井喷，多框架、多引

6、擎协同架、多引擎协同 Spark、Flink等ETL框架演进 查询引擎卷出天际 数据层面，parquetORC等列格式，从Hive到TableFormat方案选型与架构演进湖仓上云湖仓上云Tiering V3Tiering V3Tiering V2Tiering V2TieringTiering V1V1使用使用fusefuse挂载挂载s3s3为为DN DN ArchiveArchive盘使用，盘使用，将将温冷数据写到公有云温冷数据写到公有云利用离线计算资源，离线利用离线计算资源，离线分析待上云的温冷数据并分析待上云的温冷数据并将数据写到公有云将数据写到公有云利用利用HDFSHDFS社区的社区