1赵君豪-大模型在得物搜索落地实践（外部正式版）.pdf

《1赵君豪-大模型在得物搜索落地实践（外部正式版）.pdf》由会员分享，可在线阅读，更多相关《1赵君豪-大模型在得物搜索落地实践（外部正式版）.pdf（44页珍藏版）》请在三个皮匠报告上搜索。

1、赵君豪，社区赵君豪，社区AIAI搜索负责人，搜索负责人，10.210.24 4大模型在得物社区搜索落地实践大模型在得物社区搜索落地实践01.02.03.04.行业进展模型基座&数据飞轮scaling law多模态商品内容表征多模态商品内容表征延展querydoc2Query内容词生成QueryQuery生成生成相关性定义&评价指标大模型相关性大模型数据蒸馏搜索相关性搜索相关性搜索业务介绍搜索评价指标搜索算法链路社区搜索社区搜索目录目录得物社区搜索得物社区搜索业务介绍业务介绍业务介绍业务介绍评价指标评价指标-算法算法相关性相关性 内容质量内容质量 时效性时效性个性化个性化 定义定义一句话：搜索词

2、q跟文档d两者，语义层面的客观标准。社区搜索：目前采用的4档标准，基于图、文、商卡综合判断，几十个细分意图和主次属性。注意：搜索词可能有多个意图，比如苹果（水果or手机）一句话：衡量动态是否清晰全面，是否有用、符合事实。对标题党、引流等低价值内容做到有效区分。社区搜索：采用4分档标准，by垂类（穿搭、鞋靴）从生态、客观质量、信息量&有用性、真实性进行衡量。一句话：识别查询词的时效性意图，返回最新且价值未衰减的信息。社区搜索：社区时效性query举例，亚瑟士新款跑鞋、今年NBA总冠军、iphone16现在价格、得物优惠券。一句话：考虑到不同用户有不同的文档偏好，搜索系统可根据用户特征排序，类似推

3、荐，但需要保证文档跟query的基础相关性。社区搜索：主要满足对于用户年龄、性别、购买力、品牌类目偏好等个性化体验。方案方案召回：文本匹配(bm25)、双塔bert，上亿候选粗排：浅层交互bert，几千候选精排：深度交互bert，几百候选目前构建了多个内容质量分，包括基于VLM、CLIP的多模态质量分，基于bert&deepFM，结合作者特征的整体质量分。时效性query可通过bert等语义模型识别，时效性动态通过发布时间确定。链路上将时效分引入到排序融合公式中。一般采用双塔或三塔建模用户和item特征，以预估点击率、交互率为目标。评价指标评价指标-业务业务搜索日活搜索日活搜索渗透搜索渗透搜索

4、次留搜索次留北极星指标北极星指标每日搜索用户搜索日活/社区日活，用户越喜欢搜索功能，渗透率越高day2搜索留存用户数/day1搜索用户搜索搜索qvctrtop4有点比有点比换词率换词率中间指标中间指标有点击的搜索次数/总搜索次数点击发生在top4首屏，衡量用户需求是否能够即时满足用户主动更换查询词，除去需求变更的情况，说明搜索结果不好算法链路算法链路算法链路算法链路 query理解：query理解的结果在召回和排序阶段提供基础特征支撑，因此query理解很大程度影响召回和排序的质量。主要包括：意图识别、实体识别、类目预测、query纠错/改写；召回：基于词的传统召回：典型算法BM25，通过倒排

5、索引做召回，优势是高准。向量语义召回：一般采用双塔网络将query、doc分别向量化，在同一向量空间作最近邻搜索，优势是长尾效果好；排序：目标是对召回内容做进一步过滤筛选，重点是保准。一般分为粗排、精排两阶段，原理基本相同，区别是打分量不同，模型大小不同。排序会融合相关性、内容质量、时效性等多个目标；doc理解：理解doc在讲什么，包括重要实体的抽取、ocr/asr识别、doc内容的精简等，用到召回、排序模块当作特征；搜索相关性搜索相关性相关性定义相关性定义搜索相关性：判断Doc中的内容是否满足用户Query的需求，即计算Query和返回Doc之间的相关程度。在得物社区场景下，相关性需要计算用

6、户Query和动态（包括下挂商卡）的相关程度。相关性定义相关性定义细分query意图几十几十主次属性几十几十商品三级类目万级万级相关性分档4图、文、商卡3query意图：几十，类目、品牌、系列、穿搭、测评、送礼、娱乐、生活常识、鉴别、上身上脸 etc；商品三级类目：万级，跑步鞋、篮球鞋、Polo衫、咖啡机、防晒衣、沙滩裤、眼罩 etc；属性：几十，品牌、品类、系列、人群、颜色、材质、款式、风格、规格、价格、IP etc；相关性分档：4档，完全匹配、较多匹配、部分匹配、不匹配；线上模型线上模型相关性迭代痛点相关性迭代痛点 传统迭代流程：传统迭代流程：资源消耗大：以往相关性模型，依赖人工标注上千万