百度爱番番实时CDP实践-李新建.pdf

1、百度爱番番实时CDP架构实践技术负责人/李新建目录业务背景CDP特征整体架构架构/资效均衡实践总结&展望业务-营销历程业务-营销困境业务-营销解决方案业务-私有营销解决方案 多垂类ToB、ToC多渠道营销自动旅程营销活动物料管理多场景方案线上直播裂变涨粉全员推广定义：Packaged software that creates a persistent,unified customer database that is accessible to other systems.CDP-简介CDP-好的特征灵活的数据对接能力同时支持 B2C和B2B两类数据模型统一的用户、企业画像实时的全渠道身份识

2、别、管理强大的用户细分能力（用户分群）用户的实时交互、激活安全的用户数据管理企业数据渠道多，数据形态各异不同生态无法打通，难360度洞察用户人群划分规则复杂如何用一个平台服务好B2B2C、B2C两类企业，行业可借鉴经验少业务特点全渠道实时精准识别要求高需要实时、低延迟处理海量数据需要可扩展的架构需支持多种部署方式技术要求好的特征架构-考量多租户高性能实时低成本架构-全景123架构-逻辑架构 多数据源客户私有数据各个生态上的自有媒体数据 数据采集通用的采集SDK统一的采集服务 实时数仓全渠道客户身份关系图统一画像标签体系评分模型 数据应用服务MA多种数据输出方式Schema自定义模型降成本、提效

3、率万级QPS实时IDM 资源均衡、性能调优实时规则引擎（RTRE）三次演进 极致性能、弹性伸缩架构/资效均衡实践IdentityProfileBehaviorSchema-业务建模行业内置业务抽象机器人Schema旅程Schema直播Schema微信Schema抖音Schema降成本、提效率业务问题数据源多数据结构多样业务需求多变Schema-业务逻辑核心关系处理链路模块拆分Schema-字段复用示例Schema自定义模型降成本、提效率万级QPS实时IDM 资源均衡、性能调优实时规则引擎（RTRE）三次演进 极致性能、弹性伸缩架构/资效均衡实践IDM-模型资源均衡、性能调优实体-属性-值 VS

4、 实体-关系-实体业务IDs模型IDM-存储调优存在问题：点类型有限数据倾斜热点问题严重优点：数据分布均匀对多租户友好易于水平扩展第一版：点切分第二版：边切分IDM-水平扩容算存分离：按需伸缩、水平扩容无状态计算层Shared-nothing 分布式存储层分离架构控制Redis扩容影响范围减少数据查询降低带宽占用一致性hashMatch-Lookup去UnionIDM-逻辑调优公平自旋锁租户锁Session池化多重锁机制nGQL优化图查询优化云原生Nebula-operator部署、扩容、自愈、原地启停PV/PVC方案混合部署StatefulsetStorage、Graph、Meta混布基础设

5、施调优网络实例负载本地SSDIDM-部署优化Schema自定义模型降成本、提效率万级QPS实时IDM 资源均衡、性能调优实时规则引擎（RTRE）三次演进 极致性能、弹性伸缩架构/资效均衡实践RTRE-场景极致性能、弹性伸缩RTRE-实体规则标签Rule Tag规则Rule客群Segment实时规则引擎Real-time Rule EngineRTRE-目标&思路Traditional DatabaseStreaming Database关键点：流数据流计算规则灵活性能强悍流数据流Database方案存在问题：规则能力受限无法满足业务需求窗口风暴问题严重RTRE-演进1：实现机制升级Flink

6、SQL or CEP自研多级解析解析目标：原子规则灵活组合可扩展资源可复用实时判入准实时判出RTRE-规则处理示例：RTRE-演进2：弹性伸缩功能节点拆分MastersCoresTasksClients资源队列隔离核心任务动态任务弹性伸缩Flink On k8s：资源完全隔离、定时/自动伸缩、秒级响应RTRE-演进3：云原生CA Cluster AutoscalerKubernetesPod(JM)JobManagersDeploymentPod(TM)TaskManager