王志宏_从原型到生产：LazyLLM的三阶段架构演化实践.pdf

《王志宏_从原型到生产：LazyLLM的三阶段架构演化实践.pdf》由会员分享，可在线阅读，更多相关《王志宏_从原型到生产：LazyLLM的三阶段架构演化实践.pdf（47页珍藏版）》请在三个皮匠报告上搜索。

1、从原型到生产：LazyLLM 的三阶段架构演化实践商汤科技 大装置事业群 研发总监 王志宏010203背景：为为什么大模型应应用框架需要重新设计设计功能优先 -以模块化体系构建 Agent 的“构件库”易用为本 -从架构抽象到开发者体验04性能致胜-从Python 到 C+混合编程的架构跃迁05架构演进的原则与经验总结目录目录以大模型为核心的AI技术取得突破，推动从通用生成能力到行业特定能力的全面升级。大模型引领的AI风潮正席卷全球，推动各行业迈入智能化新阶段。目前纯大模型及微调无法满足实际的场景需求，AI Agent俨然成为2025年最中心的产品议题。相关数据显示，整体AI Agent 市场

2、规模在2025年将达到73.8亿美元，到2030年达到470亿美元。在实际案例方面，AI Agent能作用于各种广泛领域，包括电商、财管等多种领域，根据相关调研，九成公司都对 AI Agent 有计划和需求，大约51%的受访访者已在生产产中使用，78%的受访访者积积极计计划尽快将代理投入生产。优优秀的开源工具应应用开发发框架LangChain/AutoGen/AutoGPT/LangGraph/RAG开发发框架LLamaIndex/RagFlow/拖拽编编排平台Dify/Flowise/Coze/褒贬不一的评价快快稳稳准准众众从 Demo 到生产的落地鸿沟系统响应要快问题定位要快更新部署要快召

3、回内容要准回答结果要对权限管理要清用户数量要多数据规模要大应用范围要广系统运行要稳系统升级要平监控日志要全企业对应用的的核心需求核心需求用可演进的方式构建一个框架，而不是“一次性工程”需求驱动从真实业务需求出发，而非预设最终形态，让框架始终服务实际应用场景。分层清晰通过合理分层隔离复杂度，使各层职责明确、可独立演进、可随时替换和优化。架构开放保持模块可插拔、可扩展，让不同业务和未来能力能够自然融入体系。适度设计避免超前抽象与复杂封装，以最小必要方案起步，确保后续可持续演化与优化。010203背景：为什么大模型应用框架需要重新设计功能优优先 -以模块块化体系构建 Agent 的“构件库库”易用为

4、本 -从架构抽象到开发者体验04性能致胜-从Python 到 C+混合编程的架构跃迁05架构演进的原则与经验总结目录大模型开发者的需求是什么？知识库识库（企业业智库库）希望快速、准确地从海量文档中获取答案，用于内部知识库、政策查询、产品说明等智能客服/智能工单单用户希望降低人工客服成本，让 AI 处理咨询、售后、FAQ，并能自动生成/流转工单。ChatBI（自然语语言分析数据）用户不懂 SQL 也能分析业务数据，让 AI 自动读库、生成图表、解释指标变化。智能写作（报告/合同/总结）用户希望 AI 根据模板+背景资料自动生成高质量文本，如周报、标书、企划案、合同草稿。智慧问问答（含互联联网搜索

5、）用户希望比自己去搜索引擎搜索能得到更准确、更直接、更系统的回答智能质检质检与审审核（文本/代码码/文档）用户需要 AI 自动检测错误、补全描述、给修改建议，例如质量审核、代码 review、文档校验。开发者的需求，就是最高效率地满足用户的需求知识库技术拆解文档解析将多格式原始资料结构化抽取，完成分片、清洗、向量化前的预处理，为后续检索奠定高质量基础模型调用统一管理本地与在线大模型的推理接口，支持参数控制、重试和流式输出，确保生成过程稳定高效。检索召回基于向量、关键词或混合检索，从知识库中精准找到相关内容，为生成回答提供可靠且可追溯的证据。流程编排将解析、检索、生成等步骤按任务逻辑组合，实现可

6、配置、可扩展、可监控的端到端 RAG 工作流。其他技术拆解模型调用Prompt数据库工具调用工具集召回检索 训推框架接入知识库数据库接入LazyLLM功能架构工具接入推理框架训练框架关系型数据库本地工具集文档数据库向量数据库关系型数据库接入模型调用管理检索管理工具管理数据库管理部署的中间件数据库调用召回检索模型调用适配层模型平台云服务重排序工具调用文本解析解析服务文档管理基础层资源层功能层数据流 ChatBI生成搜索问答审核RAG用户应用应用层MCP工具框架组件LazyLLM功能架构设计原则模块化：架构可控 模块边界清晰透明，使整体结构更易理解与统一管理，降低系统复杂度。依赖关系明确可控，有助