陈权-互联网广告场景下的大模型应用挑战与实践V2.pdf

《陈权-互联网广告场景下的大模型应用挑战与实践V2.pdf》由会员分享，可在线阅读，更多相关《陈权-互联网广告场景下的大模型应用挑战与实践V2.pdf（20页珍藏版）》请在三个皮匠报告上搜索。

1、互联网广告场景下的大模型应用挑战与实践演讲嘉宾：陈权CONTENTS1内容域告预估挑战与模型应机会2全域为利：商品内容统表征框架COPE3外部知识利：LLM知识迁移框架LEARN内容域告预估挑战与模型应机会 问题1：跨场景跨媒介为数据难以全域充分利 户为散落在【场景x媒介】矩阵上，告为稀疏且分散，命周期不，法打通和效累积。问题2：告推荐模型缺乏外部知识和推理迁移能 封闭单的为数据利并推荐的闭环模式，告推荐模型容易陷局部最优，户接受的信息容易陷信息茧房。搜索搜索推荐推荐内容与商品生态内容与商品生态自然作品自然作品广告作品广告作品电商作品电商作品短视频短视频直播直播图文图文商详页商详页落地页落地页

2、广告广告户CONTENTS1内容域告预估挑战与模型应机会2全域为利：商品内容统表征框架COPE3外部知识利：LLM知识迁移框架LEARN全域为利：商品基础表征的三个阶段商品 SPU ID 表征体系商品内容统表征体系解决唯性标识问题-特性：商品（Item ID）向数据库唯标识维度，缺乏语义和同品聚合，变化快，理论可限膨胀，是个开集Embeding学习。-问题：快速变化的开集Embeding学习，难以建模户全域稳定兴趣。打通商品全域为特性：刻画商品本征属性，向品牌，实体，属性等关键信息，描述稳定客观。优势：ID空间更稳定，具有同品聚合能，能打通短视频、直播、商详等不同媒介的同品ID为，利于户全域稳

3、定兴趣建模。劣势：ID空间仍巨，语义性仍然不，特征的学习仍然度依赖户交互。多模态信息刻画商品内容特性：以 SPU 为基础，结合商品在不同场景中的展现形式，全压缩商品内容多模态本征信息。优势：全的商品内容理解，具有语义的压缩表征，增强同品多模态特征鲁棒性，扩展户序列，进步降低对单场景的为数据的依赖，缓解告物料为稀疏导致兴趣建模不充分问题。Item ID 1Item ID 2Item ID 3商详短视频直播商品 Item ID 表征体系全域为利：商品内容统表征构建流程规模数据集构建商品内容统表征模型 1.0商品内容统表征模型1.1告预估模型应筛选质量跨域训练样本跨域商品多模态对框架构建跨域商品检索

4、序列ROPE数据集1同时覆盖商品的商详、短视频、直播三种业务形态，真实场景下千万级多媒体训练样本公开可访问，专为电商搜推业务设计。COPE模型1将不同域的商品描述，分别提取领域特定表征，再对到同特征空间中，实现商品内容统表征学习。引LLM实现表征输提纯1 Bai,Xuehan,et al.Cross-Domain Product Representation Learning for Rich-Content E-Commerce.Proceedings of the IEEE/CVF International Conference on Computer Vision.2023.2 Zha

5、o,Ruixiang,et al.ASR-enhanced Multimodal Representation Learning for Cross-Domain Product Retrieval.arXiv preprint arXiv:2408.02978(2024).AMPere模型2引LLM，对短视频和直播中的量本信息进关键语义总结，同时跨领域模型参数共享，进步提商品统表征鲁棒性。增强兴趣建模基于商品内容统表征模型，实现跨域同品和相似品检索，增强单场景户为序列，实现全域跨场景兴趣增强建模。召回粗排精排统商品内容表征商品内容统表征：规模数据集 ROPE利商品理解能，例如短视频意图商品识

6、别、直播讲解商品识别、SPU ID等，构建了个同时覆盖短视频、直播切、商详三个领域的规模同款商品描述数据库。相现有的公开数据集，ROPE 覆盖商品素材领域全，商品种类丰富，信息完备，训练样本规模。0100002000030000400005000060000CLOTHINGJEWELRYFOODHOME LIVINGHOME TEXTILESCHILDREN CLOTHINGCOSMETICCASES&BAGSCHINESE HANDICRAFTFURNISHINGOUTDOOR CLOTHINGUNKNOWNOUTDOOR GEARPLANTFRESH FOODELECTRIC APPLIA