AI 生图技术在花呗手账的落地实践-棠钰.pdf

1、扫/码/关/注 重庆 两江软件园 海王星数字创园(5楼)RichLab（蚂蚁集团消费融体验技术部）技术专家 棠钰 本次分享将带你深了解 AI 图技术原理，揭示 AI 图技术如何在实际业务场景中实现效落地与应。从技术选型到实践案例，全位讲解AI图技术的商业化应技巧。AI 图技术在花呗账的落地实践 大消费金融技术部-Richlab体验技术部-AI科技创新技术组AI图技术在花呗账的落地实践棠钰01 什么是AI生图技术*仅限内部交流使，如果需要公开，请联系档作者Stable Diffusion是种于本到图像成的潜在扩散模型模型先学习将清晰的图像逐渐转化为纯随机噪声的过程随后在成图像时，模型执相反操作，

2、从随机噪声开始，逐步去除噪声，直到形成清晰的图像计算学习 像素规律根据经验 预测结果模型AI图是什么*仅限内部交流使，如果需要公开，请联系档作者初代模型架构图像素空间潜空间条件核优势：把像素空间的数据压缩到潜空间（降维），再处理，减少计算复杂度 在Unet引注意层（cross-attention），让本，图像，语义等条件可以指导扩散过程 AI图模型架构像素数据本 其他 图像 语义映射 修复数据压缩指导正向扩散反向扩散Unet训练过程推理过程本编码器噪声预测器VAE编码器*仅限内部交流使，如果需要公开，请联系档作者AI图模型发展史模型SD 1.XSDXLSD3FLUX.1分辨率512*51210

3、24*10241024*10241024*1024核架构Unet架构更的 UNet 两个 text encoder 引 refine精调模型DIT架构 三个text encoder：OpenCLIP-ViT/G，CLIP-ViT/L以及T5-xxlDIT架构 两个text encoder：CLIP-ViT/L以及T5-xxl优缺点精度低 态丰富 语义理解弱精度 态丰富 语义理解弱语义理解提升 不开放商业授权 肢体崩坏超强语义理解 开放可商版本 图像质量优秀02 花呗手账业务背景*仅限内部交流使，如果需要公开，请联系档作者产品定位：帮助户记录每个值得纪念的消费时刻，当再次回忆时依然感到快乐价值主

4、张：构成户消费的计量单位不是amount，是moment体验什么是花呗账*仅限内部交流使，如果需要公开，请联系档作者海量图海量案业务规则加体验实现案：基于AIGC的账内容产*仅限内部交流使，如果需要公开，请联系档作者图多样性图需求量级，希望有不同的格，如何保障图的多样性不单图良品率&效率图动化加业务希望能够快速覆盖40+消费类，并且图美观针对视觉稿对AI素材做批量抠图描边等图动化加处理千千产效率批量提效业务挑战03 技术方案01多格化模型图多样性问题02提示词处理*仅限内部交流使，如果需要公开，请联系档作者插画格彩格彩格2.5D品牌IP多格化模型针对业务诉求训练了多种不同画的Lora模型，Lo

5、ra整体的训练速度快，性价很*仅限内部交流使，如果需要公开，请联系档作者提示词处理质量词 +内容提示词+格提示词固定彩/插画/写实AI成准确多维度度控制*仅限内部交流使，如果需要公开，请联系档作者城市，北京，紫禁城，宫殿建筑，天 city,Beijing,Forbidden City,Palatial architecture,DaytimeSDXLFLUX.1红纸杯咖啡上有个的K字，以及两个颜、酥的蛋挞 red paper cup coffee with white K word,and two small Egg Tart with Golden color and Flaky pastr

6、ySDXL提示词处理这幅图是幅充满活和彩的城市景观插图，完全由物元素构成，特别是汉堡。城市繁忙景象，路上有汽驶，道上有。建筑物由各种类型的包建造成，菜、番茄和奶酪则作为窗户和。天空湛蓝，点缀着朵蓬松的云。整个场景充满了奇思妙想和创造，仿佛将观众带了个以物为命基的世界。FLUX.1FLUX.1*仅限内部交流使，如果需要公开，请联系档作者提示词处理01图模型升级良品率&效率问题02提示词动成03审核评分模型*仅限内部交流使，如果需要公开，请联系档作者SDXLFLUX.1图模型升级60%+25%+良品率语义理解弱提示词污