聚水潭云原生OLAP架构的最佳实践.pdf

1、聚水潭云原生OLAP架构最佳实践演讲人：溪竹、星毛目录业务介绍数仓架构OLAP最佳实践未来展望Contents01 业务介绍业务介绍 聚水潭 聚水潭成立于2014年，以电商SaaS ERP切入市场，凭借出色的产品和服务，快速获得市场领先地位。发展至今，聚水潭已对接300+线上平台渠道，累计服务商家超过100W+。2020双11季全网处理订单总量达8.52亿，全国每发出5-6个包裹中就有1个来自聚水潭系统。SaaS ERP业务介绍 数据智能BI工具 +业务融合 +场景串联 =数据产品企业管理商业决策（for 管理层 看数据）发掘商机降低资损（for 团队 做业务）提高效率多方合作（for 团队

2、促协同）一款将“数据”融入业务，服务于“团队”的协同型产品业务介绍 数据智能发现商机：渠道/流量/商品/内容的深度挖掘流量订单售后提升转化减少退款渠道分析自然投放持续优化商品分析直播分析分销分析电商平台店铺/分销商商品商品排行多维圈选引流款/热销款/潜力款/利润款下钻溯源佣金分成发货标签分类品牌平台店铺分销商流量销量发货售后按业务需要自助分析计划管理效果分析账号+主播+商品+时间=一场直播主播*商品*渠道=谁适合在什么渠道带什么货优化执行销售业绩滞销款/问题款商品成本运费成本售后退款谁&哪些品 带来了流量谁&哪些品 带来了转化谁&哪些品 带来了利润供应商分销商铺货/销售/售后采购/定价/发货服

3、务效率/商品质量销售能力/客服能力敬请期待业务介绍 数据智能业务介绍 数据智能降低资损：风险预警、全流程监控仓库物流消费者发货客服退回运输退回联系/申请服务/转化运营营销推广选品测款订单反馈库存预警物流预警售后预警自定义规则平台规则*各个物流环节监控风险订单快速处理盘点修改商品下架采购补货打折清仓实际库存 待发件数 /近期销量 =可售天数&缺货件数按需排除订单按需指定仓库严重缺货可能缺货可能积压严重积压业务处理补货上架审单发货联系物流联系买家货物消费者仓库发货在途 拦截退回在途 同意签收 拒绝未入库 超时提醒退回异常 拒绝补发换货 超时提醒订单预警价格风险利润风险拆合单合理性发货仓物流分配合理

4、性敬请期待最新上线最新上线业务介绍 数据智能02 数仓架构数仓演进 发展历程 01020403成熟期（2018年3月2021年7月）Greenplum升级为阿里云数仓产品AnalyticDB for PostgreSQL，同时满足ETL+数据查询，后期为优化超大商家的查询体验，引入AnalyticDB for MySQL。探索期（2016年4月2016年9月）伴随沉淀，商家开始有数据统计分析的需求，业务数据库压力增加自建期（2016年9月2018年3月）基于开源Greenplum自建数仓，先期探索了大数仓模式，但由于商家众多，且增长速度快，最终选择了多数仓架构，采用同业务库相同的物理分库的方式

5、。原始期（2014年2016年4月）公司初创期间，数据库以服务业务系统为主05升级期（2021年7月至今）1.引入Dataworks+MaxCompute，启动统一数仓建设，简化运维、强调模型规范，同ADB for PostgreSQL形成双数仓架构2.引入Flink+Hologres，构建云原生实时数仓，试点HSAP业务架构，支持商家大屏、业务预警等实时场景3.基于Hologres持续探索实时数仓分层、计算资源统一调度、多租户、智能运维等聚水潭数仓架构演进数仓演进 数仓架构Kafka/SLSSqlServerLogHubODSKafkaDWDRDSMaxComputeASHologres维表

6、关联/外置状态/明细查询PolarDBHologresStarRocks在线服务数据源MaxComputeMaxComputeMaxComputeODSDWDADS自研同步中间件03 OLAP最佳实践OLAP最佳实践预警产品能力同1个Hologres集群，对外提供在线/分析两类服务场景自定义规则平台规则*各个环节时间时效统计分析审单发货联系物流联系买家自定义规则平台规则*各个物流环节监控风险订单补货上架快速处理告警日志分析，是否告警过？商家操作日志分析，是否操作忽略？商家发货时效提升分析订单发货实时预警告警结果操作忽略/导出订单-轨迹实时关联查询订阅Binlog在线分析OLAP最佳实践 物流预