当前位置:首页 > 报告详情

2020Flink峰会报告:5.】FFA_2020-YuTeng-v03-novideo的.pdf

上传人: li 编号:29297 2020-12-01 46页 4.29MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要探讨了流数据(Streaming Data)的处理和存储问题。文章指出,传统的文件系统不适合处理高容量、动态、无界、低延迟的流数据。相比之下,流数据处理系统如Apache Kafka和Apache Flume,以及Pravega等流存储系统,可以更好地满足这些需求。 文章详细介绍了Pravega流存储系统的工作原理和优势。Pravega将流数据抽象为一系列有序的段(Stream Segments),每个段包含一系列字节序列,可以灵活存储不同格式的数据。Pravega支持并行处理,可以根据路由键将数据写入不同的段,实现动态扩展。此外,Pravega提供了事务支持、时间戳、检查点等特性,确保数据的一致性和可靠性。 文章还提到了Pravega在性能方面的优势,以及与其他流数据处理系统的比较。通过实验证明,Pravega在处理速度、存储效率和扩展性方面具有竞争力。 总之,文章强调了流数据处理和存储需要新的抽象和机制,Pravega作为一款流存储系统,提供了高效、可扩展且可靠的数据处理和存储方案。
"流数据存储新趋势" "Pravega如何优化流数据处理" "流数据处理与传统文件系统的区别"
客服
商务合作
小程序
服务号
折叠