王楠-检索增强生成RAG的实践、挑战与发展.pdf

1、王楠 Jina AI联合创始人兼CTO王楠博士，Jina AI的联合创始人兼首席技术官，博士毕业于德国波鸿大学计算神经科学专业。之后曾在欧洲知名电商Zalando和腾讯公司担任高级算法工程师，负责搜索和推荐业务，并在这些领域积累了丰富的模型设计、实现和部署经验。自2020年起创立Jina AI，作为联合创始人兼CTO，王楠博士领导团队开发及开源了神经搜索框架jina。作为Linux Foundation AI&Data基金的TAC成员，他推动DocArray从Linux Foundation AI&DATA毕业。王楠博士组织开发和开源了多个文本和多模态向量模型，全球累计下载量超过1000万。王

2、楠博士热衷于AI技术在搜索领域的实际应用，并且积极推动AI技术的开源发展，他在AI技术领域的杰出贡献使他荣获2023年中国开源先锋33人的称号演讲主题：检索增强生成RAG 的实践、挑战与发展检索增强生成(RAG)的实践、挑战与发展王楠 Jina AI 联合创始人兼CTO2024.11BerlinHQ全球化分布式办公开源软件专注AI开发工具Jina AITop-tierAI Company30+MembersBerlin/Beijing/ShenzhenOffice$38MRaisedShenzhenBeijingRAG是解决LLM精准记忆问题的有效方案幻觉基于检索结果保证可解释性和可回溯性回答

3、可以验证追溯知识更新成本高更新检索知识库支持增删改查知识可以频繁更新私有知识注入难支持本地部署本地存储私有数据不需要微调模型私有数据安全推理成本高推理成本低减少LLM输入，降低LLM推理成本有效降低LLM成本简单的RAG流水线复杂的RAG流水线Query改写路由控制器Query结构化索引优化重排序累计下载量1500万API每日消耗100亿token多次登顶HuggingFace Trending排行榜长文本大模型不会取代RAGjina-embeddingsjina-embeddings-v22023年10月发布，全球第一个支持8k输入长度的开源向量模型融合ALiBi，使用 750Gb 语料，预

4、训练 jina-bert-v2jina-embeddings-v2 双语模型目标语种效果优于多语言模型避免英文语料的偏差避免多语言模型过大的词表针对不同任务使用不同的损失函数jina-embeddings-v31b以下参数规模模型SOTA使用LoRA适配不同任务使用MRL自定义向量维度支持8k输入长度支持89种语言通用向量模型 vs 垂类向量模型微调垂类模型对于RAG整体性能提升有限企业缺少专业人才训练垂类向量模型缺少微调垂类向量模型的数据重排序Docs的顺序影响模型输出LLMs的推理成本高LLMs的推理速度慢LLMs的context length限制重排序-cross encoder准确率高

5、计算量介于向量模型和LLMs之间捕捉query和文本间细颗粒度语义相似jina-reranker-v1预训练：基于Jina BERT v2，支持 8K 上下文输入；分阶段训练：逐步提升模型排序能力；迁移学习：将Embedding模型学习到的知识迁移到Reranker模型；训练数据：使用和Embedding模型相同来源的训练数据；jina-reranker-v1-turbo/tiny使用模型蒸馏技术，平衡准确率和推理速度jina-reranker-v2支持89种语言针对结构化数据和代码数据专门优化使用模型蒸馏和flash-attention优化推理速度重排序-RankGPT准确率高计算量大计算速

6、度慢PE-Rank使用大模型做排序使用embedding作为模型输入显著提升大模型排序效率向量模型在RAG应用中的困境语义溢出文本块过大，细颗粒度语义无法表示2006年冬季奥林匹克运动会.txt:焦点=第六天-2月16日=单板滑雪-美国选手塞思韦斯科特（Seth Wescott）获得男子技巧赛第一名，在首度成为冬季奥运竞赛之一的项目上称王。冬季两项-法国女将弗洛伦斯巴维雷尔-罗贝尔（Baverel-Robert）于7.5公里小项中获得金牌。银牌花落瑞典的安娜卡伦奥洛夫松（Anna CarinOlofsson），铜牌则由乌克兰的莉莉娅叶夫列莫娃捧走。上届世界杯优胜者德国籍奥运卫冕冠军凯蒂威廉表现