3.成本管理-快手大数据存储管理的落地实践-程伟.pdf

《3.成本管理-快手大数据存储管理的落地实践-程伟.pdf》由会员分享，可在线阅读，更多相关《3.成本管理-快手大数据存储管理的落地实践-程伟.pdf（27页珍藏版）》请在三个皮匠报告上搜索。

1、成本管理-快数据存储管理的落地实践 程伟-数据研发专家 我介绍 程伟快数据研发专家 关注数据模型、数据管理治理领域 主要负责快公共数据建设、数据管理治理 录 01 02 03 04 快存储管理实施法 快存储管理策略 未来规划 成本管理介绍 01 02 03 04 快存储管理实施法 快存储管理策略 未来规划 成本管理介绍 数据成本管理架构 什么是成本管理 成本管理介绍：什么是成本管理 成本管理 企业产经营过程中对于 成本进系列科学管理 为的总称 成本预测 成本决策 成本预算 成本分析成本控制 成本核算 成本考核 数据引擎存储引擎计算引擎数据服务引擎 成本组成 存储成本 计算成本数据服务成本 成本

2、分析资产盘点资产归属使分析 成本控制数据命周期管理引擎优化任务优化 成本核算同环增趋势 预算交付成本预警 资源调度优化 成本管理介绍：数据成本管理架构 01 02 03 04 快存储管理实施法 快存储管理策略 未来规划 成本管理介绍 成本分析 现状及问题 成本控制 数EB存储量 存储量 数PB新增存储量 新增存储量 8%新增存储量增速 新增存储量增速 数万Hive表 表数量 快存储管理策略：存储现状 数据量，涉及 成本意识弱 缺少有效的存储管理策略和法 快存储管理策略：存储管理的难点 总存储 成本 商业化数据平台控 A同学C同学 Table_aTable_b 标 p 化整为零 p 提成本意识

3、法 p 资产盘点+资产归属 p Quota B同学 Table_c 快存储管理策略：存储成本拆分 成本分析公式 总成本 = 不可控成本 + 可控成本 总存储成 本 原始数据 存储成本 加数据 存储成本 原始数据 存储量 原始数据 存储单价 加数据 存储量 加数据 存储单价 快存储管理策略：存储成本分析 成本控制 数据命 周期管理 数据重 分布 极限存 储 冷存储 管理 HDFS EC 快存储管理策略：成本控制策略 数据有增减 p存储成本快速增 模型数量众多 p维护困难 p计算效率低下，产出及时性难以保障 p数效率低下，数据质量差 快存储管理策略：为什么进数据命周期管理 p 针对分析问题落地或ETL过程中的临时表、效表 p 针对历史数据价值不，且存储成本较 p 针对数据相似度且需要全量保留的数据 p 针对重要且不可恢复的数据 p 针对使低频但需要永久保留的数据 彻底删除 周期性删除 极限存储