Apache Doris 向量检索引擎实现.pdf

1、陈林忠 百度大数据平台部2024.12.14Apache Doris 向量检索引擎实现Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024陈林忠 百度 大数据平台部 资深研发工程师Apache Doris Committer主要从事分布式存储、分布式数据库

2、的研发工作分享嘉宾Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024目录什么是向量检索01Apache Doris 怎么做向量检索02遇到的问题及解法03未来规划04Doris Summit Asia 2024Doris Summit Asia 2024

3、Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 202401什么是向量检索Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris

4、 Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024非结构化数据在迅猛增长非结构化数据结构化数据结结构构化化数数据据 文字日期数字等非非结结构构化化数数据据图片音频视频、文本等面面对对海海量量非非结结构构数数据据，如如何何去去处处理理分分析析挖挖掘掘价价值值？Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Dor

5、is Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024如何表示非结构化数据Embeding Model0,12,0.13,0.14,0.15.0,15,0.13,0.14,0.15.0,19,0.13,0.14,0.15.原原始始数数据据（非非结结构构化化）高高维维向向量量向向量量 E Emmb be ed di in ng g 向量维度比较高，常见的768/1536/4096维 捕捉原来实体特征信息，具有语义信息 相似的实体在向量空间中比较接近单单模模态态 E Emmb be ed di in ng g MMo od d

6、e el l 文本:text-embedding-ada-002 图像:ResNet50 音频:PANNs多多模模态态 E Emmb be ed di in ng g MMo od de el l SigLIP UnumDoris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit A