SteveShao从数据到智能Databricks在行业中的AI落地实践.pdf

1、从数据到智能：Databricks在行业种的AI落地实践Steve Shao|DatabricksSteve ShaoDatabricks解决方案架构师现任Databricks中国大陆区解决方案架构师，2024年加入Databricks日本团队，于2025年起负责中国大陆区的技术方案与AI落地支持。拥有多年的企业级数据平台与智能分析经验，曾任职于标普全球及野村证券，从事数据管理平台架构与资深软件工程工作。目 录CONTENTSI.数据智能的行业趋势II.从实验到生产：企业AI落地路径III.Databricks如何加速AI落地IV.Agent Bricks：简单打造生产级智能体数据智能的行业趋

2、势PART 01General Intelligence通用智能基础模型是在公开数据上训练的，并未涉及您的业务数据Data Intelligence数据智能能够连接您的业务数据，解决特定领域的问题vs什么是数据智能通用人工智能并不能满足企业的需求FactSet 是一个财富500强的金融数据供应商FactSet 想用GenAI来把自然语言的查询问题转化成FQL语句FactSet 的检索语言 FQL 是一个专有的数据检索语言FF_BASIC_DERIVED(FF_PRD_EPS(ANN_R,#ALL#,0CY)AS EPS_Current_Year,FF_PRD_EPS(TTM_R,#ALL#,0

3、CY)AS EPS_TTM)WHERE FF_SECURITY_TYPE(#ALL#)IN(EQ)AND FF_COUNTRY(#ALL#)IN(”美国)FQL“请告诉我所有在美国上市股票的当前年份和过去的每股收益。”自然语言查询将文本转化成FQL客户案例通用智能的表现不尽如人意FactSet 使用了单一的基础模型，但结果并不够准确59%准确率15s延时GPT4通用智能数据智能大幅提高准确率FactSet 改用自己的数据来搭建智能系统之后，准确性显著提高59%准确率15s延时GPT4通用智能vs85%准确率6s延时Agent系统数据智能Factset 怎样建立他们的agent系统？vs85%准

4、确率6s延迟能够基于您的数据进行推理并利用工具的智能体针对您的用例进行定制化评估跨数据和模型的治理Agent 1Retrieve proprietary FQL formulasVector SearchAgent 2Applyspecific query instructionsFine-tuned OSS modelAgent 3Generatenumerical argumentsOSS model with function callingAgent 4GeneratefinalformulaCommercial LLM59%准确率15s延迟GPT4通用智能企业级数据智能的最新趋势RA

5、G 与 ChatBI 正在成为跨行业的核心基础能力从Chatbot到智能体：行业专用AI的落地与企业级融合数据语义融合：智能数据底座是企业AI的永恒主题从 PoC 到生产：AI 实践正从“能做成”走向“做得好、做出价值”从实验到生产：企业AI落地路径PART 02部署与运维监控与持续改善构建AI智能体系统的路径探索理解技术迭代与测试追踪与评估原型/PoC证明价值我们如何让软件应用程序可靠地运行？10年前我们精通如何交付可靠的软件本地编写并运行代码单元测试（Unit tests）质量保证QA测试生产监控为什么我们不能将它直接用于 GenAI？GenAI 带来了软件领域前所未有的新挑战用户输入随时

6、可能发生变化需要领域专业知识来评估输出质量可调节参数太多，每次迭代可能引起新的问题Vibe检查是必要的，但还不够？本地编写并运行代码单元测试质量保证QA测试生产监控Prompt工程师和Vibe检查GenAI软件为 GenAI 时代重新设计集成智能体评估生产级可扩展性3MLflow 助您可靠地交付高质量产品将软件工程最佳实践应用于 GenAIGenAI线下评估本地编写并运行代码单元测试质量保证QA测试生产监控Prompt工程和vibe检查生产监控及评估软件如何记录日志、跟踪并调试问题Challenge#1DevelopmentMilestone 1MLflow TracingDebugging