A1--唐辉--多模态模型驱动前端研发变革.pdf

《A1--唐辉--多模态模型驱动前端研发变革.pdf》由会员分享，可在线阅读，更多相关《A1--唐辉--多模态模型驱动前端研发变革.pdf（40页珍藏版）》请在三个皮匠报告上搜索。

1、唐辉百度资深工程师、Comate AI IDE 技术负责人唐辉唐辉百度 资深工程师现在主要负责百度的大模型产品 Comate AI IDE。拥有超 5 年软件工程效能提效经验，过去曾负责百度内部50多个产品的云化改造，落地微前端、PWA、组件库、低代码工具等。长期参与提效工具研发，保持团队技术先进性，清理团队技术债务，提升团队交付效率。目录目录CONTENTS效率和质量的困境0102 使用多模态模型破局推进落地03总结与展望04PART 01PART 01效率和质量的困境效率和质量的困境产品需求设计开发测试发布前期调研需求编写需求评审（多次）交互设计交互评审视觉设计视觉评审手工测试用例功能测试

2、测试问题修复技术方案调研API 定义代码编写单元测试前后端联调代码评审流程中流程中的困境的困境效率效率质量质量一句话需求不会用 AI 工具ShowCase 需求变更联调费时需求做完没人用代码不符合团队规范、质量差测试用例更新不及时边界 Case 没覆盖缺少安全、性能的考量协作人性-抵触新事物成本竞争、内卷个体性跨职能角色间（项目、产品、交互、视觉、研发）因信息传递漏斗、相关知识背景图、专业壁垒，存在沟通损耗，需反复对齐以确保目标与理解的一致性。每个人对于产品目标、产品设计、交互设计、视觉设计有各自的见解。实际全流程落地中，大家会站在各自的视角看问题。企业竞争、公司内卷下，要求业务交付周期短，从

3、而压缩各环节时间。能用就行。更喜欢沿用已经习惯的研发流程。对于新出的东西不愿意尝试。大模型的输出不确定性，研发同学对于模型能完成哪些任务不确定，需要多次使用掌握之后才能慢慢接纳。大模型产品有使用成本。部分管理者没有完全认可大模型的成本收益。AI 是一个能力越来越强的程序员。人与人的沟通图片、视频都有不可替代性。和 AI 程序员的沟通，也是这样。PART 02PART 02使用多模态模型破局使用多模态模型破局沟通成本对于需求评审、交互设计、视觉设计，多轮的沟通对于前端同学来说，沟通时间成本较高。细节考虑不全面一个人设计产品，难免考虑不全面。会带来评审次数的增加，以及开发环节的返工等。页面丑不走设

4、计的页面丑，经过设计的页面周期长。会有返工微调。体验差评审的时候大家看个大概，没有直观感受，评审通过了。实际 ShowCase 环节，大家一试用，反馈较多，需要返工。需求需求大或影响范围大等需求详情描述标准产品文档是否问：每个需求按标准产品文档写?答：做不到。原始需求：Terminal 区域选中一段输出后，出来一个悬浮框，可以将上下文添加到对话。问题：需求描述过于简单，实际开发时很多细节需要确认。需求调研前端视角需求审查需求调研智能体根据产品经理的需求概要说明和图片，需求调研智能体利用网络检索、历史需求文档等出一份需求调研文档。产品经理同学也会进行同步的需求调研。最终产品同学根据智能体的调研结

5、果进行查缺补漏。产品说明智能体（访问网站+理解图片）产品同学自行编写产品说明书。同时，根据合并后的调研结果，智能体自行进行产品设计进行查缺补漏。产品说明智能体考虑的会更全面。前端视角需求审查智能体根据产品说明书，考虑响应式、交互态（空状态、加载态、错误态等）、数据校验、边缘情况、逻辑（登录与否、业务逻辑合理性）等提出建议。010203三大智能体产品说明原始需求：Terminal 区域选中一段输出后，出来一个悬浮框，可以将上下文添加到对话。（产品同学的配图）智能体能提出哪些建议，补充哪些内容：1.快捷键是否需要和打开对话区域的快捷键保持一致？2.快捷键按下或者点按按钮，对话区如果是关闭状态，是否

6、需要打开。3.是否需要更显著的操作反馈。4.一段上下文快捷键多次按下的效果。5.是否会对用户干扰，是否需要支持用户配置关闭。如果可以关闭，建议在右键里也增加一个操作入口。6.是否需要增加埋点7.按钮的显示位置如何定义，如果超过一屏幕的选中内容这类边界情况，这类的显示位置。8.如果用户在快捷键配置里删除了快捷键，是否还展示快捷键9.三大智能体带来的三大智能体带来的变化变化产品同学的成本提升产品说明的质量提升沟通成本（UX、FE）介绍：通过需求描述生成页面，再通过不断的对话改变页面，最终达到想要的效果。其中，融合了需求设计、交互设计、视觉设计的工作，此外，也包含部分代码编写工作。优势点：1.模型考