Alluxio Edge 在 Presto&Trino 中的应用.pdf

《Alluxio Edge 在 Presto&Trino 中的应用.pdf》由会员分享，可在线阅读，更多相关《Alluxio Edge 在 Presto&Trino 中的应用.pdf（17页珍藏版）》请在三个皮匠报告上搜索。

1、Alluxio Edge在在 Trino/PrestoDB 中的应用中的应用车赛光车赛光 Alluxio Inc.2023-10-28主要内容Alluxio Edge 产生的背景用户的痛点Alluxio Edge 如何解决用户痛点什么是 Alluxio EdgeAlluxio Edge 是如何工作的成功案例最佳实践场景使用流程现代数据技术栈的演变紧密耦合的紧密耦合的MapReduce&HDFS计算和存储的计算和存储的分离分离/解耦解耦本地部署的本地部署的HDFS云计算云计算+数据湖数据湖YARN容器化容器化+K8s10年前年前当今当今更加弹性、更具扩展性、更易管理丧失数据本地性丧失数据本地性失

2、去数据本地性带来的挑战数据访问性能缓慢且不稳定-查询时间更长查询时间更长-业务洞察更慢业务洞察更慢-集群成本增加集群成本增加云存储费用迅速增长-API调用成本增长调用成本增长-数据出口费用增长数据出口费用增长数据拷贝的高成本-数据拷贝数据拷贝任务任务-多存储系统多存储系统-错误排查错误排查Alluxio:满足不同需求的数据平台Alluxio EdgeAlluxio System作为应用程序进程(Presto,Trino)中的库运行利用本地磁盘 SSD 或内存缓存数据当热数据的大小适合本地磁盘时，效果最佳可跨应用程序共享的独立分布式系统缓存容量可水平扩展具备数据编排系统的其他特性Alluxio

3、SystemCaching,Namespace,Data managementAlluxio EdgeAlluxio EdgeAlluxio Edge6Trino/PrestoDB 的大规模分析场景ALLUXIO的解决方案的解决方案提升提升&增益增益实时响应和分析，同时在S3存储上节省成本端到端查询性能提升I/O加速云存储API调用节省公有云公有云/本地部署本地部署1.5-10 xTrino NodeAlluxio Edge存储系统负载分流50-90%10-50 x10%Alluxio Edge Dashboard集群概览成本节省资源状态Alluxio Edge 的主要功能7数据缓存数据缓存本

4、地 SSD内存连接器支持连接器支持 IcebergHudiDelta LakeHive数据格式数据格式ParquetORCCSV缓存策略缓存策略默认LRU和FIFO策略可定制化的策略TTL数据配额8Alluxio Edge 是如何工作的9Alluxio Edge 相关的技术挑战数据一致性数据一致性数据本地性数据本地性缓存利用率缓存利用率Page Versioning软亲和软亲和&一致性哈希一致性哈希缓存过滤策略缓存过滤策略10TPC-DS Benchmark 测试S3 API的请求数和数据传输量有肉眼可见的减少所有查询时间大于2秒的73个查询中，70个查询有明显的加速效果TPC-DS查询的时间

5、平均提高63%113个集群,1500个节点生产环境的使用效果 50%端到端读性能的提升10%数据读的减少9090分位数查询延迟从分位数查询延迟从228228秒减少至秒减少至5050秒秒对对GCS的读取请求次数减少了超过的读取请求次数减少了超过8080%Alluxio Edge 在 Uber 环境中的使用效果Source:https:/ Edge的Beta（非生产环境）测试 40%Query Latency(Second)10 xIO throughput(MB)Alluxio Edge 在新加坡某电商环境中的使用效果13Alluxio Edge Dashboard用户流程本地部署快速启动多用户

6、支持指标内容集群摘要成本节约资源状态功能价值ROI显示集群监控调优建议大数据分析场景大数据分析场景最佳实践场景用户用户痛点痛点工作负载工作负载平台或者基础设施团队探索优化 Trino 或 PrestoDB需求需求 性能提升 或 成本控制 本地存储可以容纳80%热数据用户用户判断条件判断条件查询时间较长查询时间较长 工作负载/数据集的体量正在增加查询成本较高查询成本较高 云费用增加-API调用、出口、EC2需求一需求一提高Trino的I/O性能（减少延迟）需求二需求二降低云存储