A8--谢森煜--AI原生应用架构与Benchmark实现.pdf

1、AI原生应用架构与Benchmark实现谢森煜复旦大学 CodeWisdom团队 博士生谢森煜复旦大学 CodeWisdom团队 博士生本科毕业于复旦大学，专业为软件工程。现于复旦大学软件工程实验室（CodeWisdom）攻读博士，导师为彭鑫教授，研究内容为AI原生与云原生系统，包括AIOps、AgentOps等。010203 云原生和AI原生应用AI原生应用的实践现状AI原生基准系统的开发云原生和AI原生应用在云计算环境中构建、部署和管理现代应用程序的方法集合云原生应用微服务/Serverless应用云原生技术生态云原生代表技术架构：微服务划分、容器化部署、反模式检测治理：注册发现、流量管理

2、、网关、服务网格运维：可观测性、故障根因定位、异常检测云原生+AI大量AI基础设施基于云构建，云原生成为AI原生生态发展的关键一环CNCF Cloud Native AI 白皮书字节 Coze华为 OpenFuyao华为 AgentArts云原生AI应用平台云原生AI基础设施百度 百舸AI原生应用AI原生是一种深度融合Agentic AI的新软件范式专家访谈：基于云的AI原生应用企业实践现状？架构形态是什么？面临的关键问题有哪些？2026Harness Engineering关注如何构建可靠的系统工程2025Context Engineering关注如何管理上下文2024Agent Engin

3、eering关注如何构建能使用工具的Agent2023Prompt Engineering关注如何写好提示词关注点深化为系统设计问题阿里云 AI原生应用架构AI原生应用的实践现状实践现状扩展现有云原生技术和实践，支撑AI应用部署和运行遵循云原生架构容器化、容器编排、微服务、Serverless仍广泛使用新的AI原生应用治理组件和平台新的可观测体系实践现状Agent、模型、工具、数据库等的全流程可观测辅助AI原生应用落地业务打点日志模型成本指标模型性能指标Langfuse 调用链Span TypeGenerationAgentToolEmbeddingChain新 Span 类型指标描述Inde

4、x Build Time索引构建耗时Query Latency单次向量搜索耗时RecallK向量召回率指标Index Size索引文件占用空间Vector Drift向量语义漂移Semantic Entropy检索结果的语义分散度向量数据库指标存在的问题不确定性是影响当前AI应用开发、测试、运维、落地的主要问题之一不确定性开发逻辑与体系不同，上手1天，高质量数月传统工程复杂度有限，模型带来的复杂度难以处理整体架构需实现不确定性管理，把不符合预期作为常态调试、测试无统一标准，且占据70%-80%研发时间流程、提示词、交互膨胀，带来的调测难度直线上升评测体系建设成本高，且需专人长期维护开发测试运维

5、AI相关故障修复困难，问题难以改进SLA、SLO、SLI难以定义系统稳定性下降，缺乏容错手段AI原生基准系统的开发动机是什么？现有研究关注点主要集中在Agentic System的共性框架与局部能力目前的工作更多还是从组件和机制的视角展开，探索的重心仍停留在“局部能力”层面。Github 开源仓库https:/ AI不应止于“完成单点任务”Agent需要面对的是复杂业务运行环境TripSphere 面向Agentic AI与复杂业务系统融合场景的开放试验场AI原生基准系统以旅游为背景的Web应用，尝试将Agentic AI融入业务流程TripSphere 包含前端、Agent、后端服务，使用了

6、多样的技术栈。系统整体以微服务方式组织，并采用容器化部署，符合云原生架构。针对Agentic AI引入了一系列新的组件和设计方式。TripSphere 整体架构Agent 辅助用户下单全链路可观测性架构演进01.Plan&Execute02.Single Agent03.Main Agent+SubAgent 为了架构而架构与实际业务脱节，过渡设计 单个Agent处理一切Prompt膨胀、上下文混杂 领域SubAgent让局部任务的上下文窗口更干净统一的Nacos中间件，Agent与服务平等对待。Main Agen