16-3搜狐智能媒体在数据仓库体系建设中的技术实践.pdf

1、搜狐智能媒体在数据仓库 体系建设中的技术实践 搜狐智能媒体研发中心 翟东波 自我介绍 2018年5月加入搜狐智能媒体研发中心 曾先后供职于中兴、百度、优酷、阿里大文娱、偶数等公司，从事 过网络通讯协议、分布式OLAP/OLTP数据库、大数据开发平台等产 品的研发工作，专注于分布式系统和大数据等技术领域 主要内容 数据仓库体系建设主要工作 搜狐智能媒体相关技术实践 总结 数据仓库 Bill Inmon 1991年 Building the Data Warehouse 是一个面向主题的（Subject Oriented）、集成的（Integrated） 、相对稳定的（Non-Volatile）、

2、反映历史变化（Time Variant） 的数据集合，用于支持管理决策 不仅仅是一个数据存储计算软件或产品，而是包含整个数据分 析处理过程体系 数据分析 商业智能BI(Business Intelligence) Data Reporting OLAP Data Mining Data Reporting OLAP Data Mining 并发度 分析维度、延迟 OLAP (Online Analytical Processing) 数据仓库中最经常使用的数据处理和分析技术 Edgar F. Codd 1993 Providing OLAP (On-line Analytical Proces

3、sing) to User-Analysts: An IT Mandate OLTP(Online Transaction Processing) 支持业务处理，操作数据或者业务数据 不适合支持决策分析 OLAP 支持决策分析 多维分析/多维数据库 多维模型 (Multidimensional Model) 主要概念 多维数据集(Cube) 维度(Dimension) 维度层次(Hierarchy) 维度级别(Level) 维度成员(Member) 度量/指标(Measure) OLAP中的数据组织范型 多维分析操作 上卷(Roll-up)/下钻(Drill-down)/切片(Slice)/切块(Dice)/旋转(Pivot) 上卷(Roll-up) SELECT Cube.地区, Cube.季度, Cube.分类, SUM(销售) FROM Cube GROUP BY Cube.地区,