深擎科技-资讯业务数据流编排实践v1_2.pdf

1、DataFunSummit#2023深擎科技资讯业务数据流编排实践秦旸深擎科技 数据架构师Content010203深擎资讯服务体系简介基于Dolphinscheduler数据流编排方案复杂业务场景实践DataFunSummit#202301深擎资讯服务体系简介12345业务数据流采买接入版权资讯，清洗审核后下发给客户资讯接入实时接入各类资讯进行字段映射和清洗数据清洗调用模型接口进行打标等信息增强数据增强进行信息审核人机审核下发给客户数据下发原有架构数据中台-尚书房数据中台-尚书房01数据集成FlinkCDCIceberg02数据处理编排/调度Data Process Platform03数据

2、网关Java元数据管理数据中台-尚书房元数据管理/数据集成数据网关任务编排调度DataFunSummit#202302基于DS的业务编排方案业务挑战？数据处理平台（DPP）-算子开发打标算子AsyncHttpTransform算子数据处理平台（DPP）-算子开发数据处理平台（DPP）-算子开发数据处理平台（DPP）-算子编排 DAG数据处理平台（DPP）-运行时TECH.DEEPQ.DATA.PROCESS.DRIVER.FLINKDRIVERHDFS:/DOLPHINSCHEDULER/HADOOP/RESOURCES/CONF/0_3558_DPP_CONFIG.JSON如何可视化？如何调度？DS 印象Yarn 任务状态监控不完善Flink 特性支持不完善Flink 算子编排不支持010203速写本并列关系图表Yarn任务提交之后没有追踪远端任务状态无法方便地查看Yarn平台日志010203savepoint 支持不完善无法支持Flink内部的算子编排DS 3.1.2 待完善DS 增加算子库和依赖包管理DS 可视化编排DS 完善任务提交/监控DataFunSummit#202303复杂业务场景举例场景：板块热点计算场景：质量分计算场景：质量分计算场景：质量分计算场景：质量分计算数据开发01客户侧部署02业务数据流 编排收益40%50%感谢观看祝愿巴以早日和平