《黄兆嵩-把 UI 生成接进流水线:基于半监督评测体系的 UI 自动化生产实践.pdf》由会员分享,可在线阅读,更多相关《黄兆嵩-把 UI 生成接进流水线:基于半监督评测体系的 UI 自动化生产实践.pdf(45页珍藏版)》请在三个皮匠报告上搜索。
1、当UI成接进流线:基于半监督评测体系的UI动化产与投放实践兆嵩蚂蚁集团录0102030405序章:新时代体验技术临的变第章:如何成质量UI第章:如何在LUI中应AI成第三章:如何实现有效的监督&迭代优化总结与展望序新时代体验技术临的变时代体验技术临的变新1.GUI供给法满需求,CLI户体验受损序章第1阶段不同需求第2阶段不同数据第3阶段不同户不同阶段的千千需求部分主流Chat APPUI 仍处于以本为主的初级阶段&初级阶段LUI时代体验技术临的变新2.From 传统的预研发模式 To 动成的个典型场景&仍然临的挑战序章产品POC需求To UI前端实现DesignTo UI动产DataTo UI
2、产上-“不会、完不成、不通过”迭代上-“效果怎么优化?效果优化了吗?”01如何成质量UI第章成质量界3.为了构建流线,痛苦的Prompt研发过程第章-每个prompt上千字-版本管理-多合作写个prompt-改动牵发动全身“我服了,每次改prompt像在写短篇说”WORKBENCHPrompt 作台成质量界4.定义/调试 UI成链路的作台第章WORKBENCHPrompt 作台成质量界5.辅助编辑、辅助Mock、辅助调试第章数据绑定变量定义试运调试预览-数据属性绑定-动成Mock-定义数据格式-单次/批量试运-成结果可视化-回顾与对链路编辑Prompt 编排-模块化增删-Prompt copi
3、lot-多模态WORKBENCHPrompt 作台成质量界6.UI产线第章Chat 作台单个UI成/精修产流线批量产WORKBENCHPrompt 作台7.产量流线上通常不会有精编写的产品设计档PROMPT OPTIMIZER需求改写-句话需求、没有产品、交互设计-界布局和交互凌乱-功能不全-只能说刚刚达到户需求(及格分)“这个是快速验证的项,没有产品档”成质量界第章后前成质量界8.需求改写-更缜密的业务逻辑-和合理的布局第章PROMPT OPTIMIZER需求改写“根据数据成个账单”“suggestContentId”:1,“userIntent”:“查询当前及未来账单详情,包括待还额、消费
4、明细、未账交易和退款状态”,“suggestService”:带知识库的Agent成质量界9.需求改写。更多案例第章后前PROMPT OPTIMIZER需求改写后前“帮我做个To-Do List”“帮我做个中年户运动步数统计展示”Gemini 3Claude 4.510.设计稿还原总得修改COMPONENT DETECTOR组件检测-布局不对-位置有偏差-视觉差容易遗漏设计稿还原-“细节上有偏差”成质量界第章成质量界11.基于2w+UI标注数据集训练组件检测模块,还原位置、布局更加精准第章COMPONENT DETECTOR组件检测成链路后前Claude 4.5前12.UI检测+多模态能模型。
5、执设计稿还原效果COMPONENT DETECTOR组件检测后Kimi k2成质量界第章设计稿成质量界13.基于组件检测的 还原度对功能第章COMPONENT DETECTOR组件检测质量查辅助标注异常检测成质量界13.AI成的难以达到业务产品的视觉质量要求第章STYLE RETRIEVER格召回-Mac 表情包-不符合预期的圆、阴影-字体、-蓝紫渐变-五颜六的ICON“你这个上不了线啊”成质量界14.管理业务设计格的仓库与动录第章STYLE RETRIEVER格召回RAG+成链路成质量界15.格应效果第章STYLE RETRIEVER格召回“根据数据成个账单”成质量界16.格狂暴-提供千张优
6、质UI格模版库第章STYLE RETRIEVER格召回需求重写“帮我设计个淘宝球鞋商品的详情”户输“扁平化、移动端、商品、促销”RAG&重排序选取参考01如何在LUI中应AI成第章17.UI成在AI应落地的双重挑战STREAM RENDER流式渲染案“怎么这么慢”成于 LUI 应第章边输出边渲染/减少输出内容增加复率18.等待智能体输出&UI成输出STREAM RENDER流式渲染案成于 LUI 应第章渲染引擎业务智能体户LUI 界UI成HTML代码输出能不能减少输出内容?19.实时成UI-流式输出协议STREAM RENDER流式渲染案渲染引擎Skill业务智能体户LUI 界流式输出协议终端