张功贯-大语言模型在大数据研效场景中的智能化探索与实践.pdf

1、张功贯 腾讯平台智能技术架构师多年负责搜、推、广场景数据相关的数据仓库、数据平台及算法系统架构设计与工程实现的数据工作经验；加入腾讯后，主要负责腾讯天穹大数据平台的平台智能自治、数据治理、智能化相关的系统架构设计、工程实现以及业务落地的工作。演讲主题：大语言模型在大数据研效场景中的智能化探索与实践大数据研效场景的智能化探索张功贯腾讯大数据架构师大数据的研效场景概述&痛点大数据研效场景的智能化思考AI4DataSystem智能化能力打造AI4DataWareHouse智能化能力打造未来思考与规划目 录大数据场景中的业务协作关系数据科学家数据分析师数据仓库工程师SQLSDKScripts业务抽象数

2、据组织数仓数据湖湖仓一体数据计算数据存储SparkMapReduceStarrcoksHDFSKV StorageGraph Storage引擎研发&运维工程师效率稳定成本快、准、稳大数据场景中各个角色的工作内容引擎/运维工程师（SE）数据仓库工程师(DE)数据科学家/分析师(DA)存储成本计算性能系统SLA系统兼容性系统计算能力数据仓库数据湖、湖仓一体ADSDWSDWDODS数据模型业务指标计算口径数据报表业务归因业务决策底层技术数据逻辑业务逻辑大数据的研效场景各个角色的关注点效率稳定成本快、准、稳通过业务数据如何快速推理出数据背后的业务问题？业务需求如何快速转化成技术逻辑的表达并计算取得想

3、要的数据？如何依据业务场景，构建出高效的数据仓库？并保存数据仓库中数据的质量、时效性？大量的业务数据计算逻辑，如何快速排查问题？如何以合理的计算/存储资源支撑？研效场景中，所有业务点，离不开成本、效率、稳定性的考量。数据科学家/分析师(DA)数据仓库工程师(DE)引擎/运维工程师（SE）大数据的研效场景中的智能化思路AI4DataSystemAI4DataWarehouse效率 全链路诊断：解决作业运行过程中的黑洞问题，将作业运行过程进行全链路根因定位。成本 作业调优：基于专家经验和黑盒算法进行内存和Core的优化。数据治理：针对表的存储、生命周期、小文件等维度进行优化。稳定性 异常感知：感知

4、到单进程粒度的状态、性能、资源等维度数据信息。异常告警：秒级感知到异常、失败等状态信息，进行实时告知。SQL智能 SQL改写：通过大语言模型来理解SQL包含的业务算法，通过改写SQL业务逻辑来对SQL计算进行深度优化。SQL诊断：通过事前、事中、事后的能力构建，快速帮助用户定位到问题，解决SQL中的逻辑错误。SQL解释&补全：结合业务逻辑，帮助用户快速理解SQL，同时对SQL逻辑进行辅助补全。数据智能 Text2SQL：是将自然语言文本（Text）转换成结构化查询语言SQL，并将SQL结果给与展示。ChatBI：针对BI报表的若干指标，进行数据逇深度归因分析，得出BI报表中的风险与机遇等分析相

5、关的结论。湖仓智能 智能索引/分区 智能视图/分层 执行计划优化 冷热数据等AI4Data的能力模型：围绕成本、效率、稳定性来打造智能化能力大数据的研效场景中的智能化落地AI4DataSystem的能力体系构建思路碰到的问题历史数据模型解决方案训练输入预测Machine Learning碰到的问题经验规律解决方案归纳输入预测专家经验相结合大数据的研效场景中的智能化落地AI4DataSystem的能力体系构建之可观测性JVM粒度数据采集渗透360o指标评估体系已基本覆盖天穹平台所有物理机/容器，每天感知的数据量在万亿的规模支撑到任务、进程粒度的数据上卷和下钻能力，量化那些背后看不见的内容。大数据

6、的研效场景中的智能化落地AI4DataSystem的能力体系构建之诊断能力全链路诊断深入系统的组件内部，探寻异常的真正根因。SQL执行计划的回放与诊断大数据的研效场景中的智能化落地AI4DataSystem的能力体系构建之成本优化白盒+黑盒的机制：白盒，采用历史数据进行趋势预估预测。黑盒，采用算法多轮迭代自动学习，无人工干预。超过 50%的内存成本30%的 CPU成本节省大数据的研效场景中的智能化落地AI4DataWareHouse的构建思路Dashboard逻辑追踪性能分析SQL 诊断SQL 优化数仓优化SQL知识库SQL-Copilot产品能力SQL知识库SparkStarrocksHiv