2023SAM模型发展现状及SAM与其衍生模型赋能场景分析报告.pdf

1、2023 年深度行业分析研究报告 内容目录内容目录SAMSAM 模型模型：CVCV 领域的领域的 C ChatGPThatGPT.5 5SAM：“分割一切”的 AI 新模型.5Prompt：将 ChatGPT 的学习思维应用在 CV 领域.5ZSL：零样本学习降本增效，提高模型泛化能力.9SA-1B：迄今为止最大的分割数据集，助力模型增效.10SAM 核心优势：减少训练需求，提升分割性能.12基于基于 SAMSAM 二次创作，衍生模型提升性能二次创作，衍生模型提升性能.1313SEEM：交互、语义更泛化，分割质量提升.13MedSAM：提升感知力，应用医学图像分割.15SAM-Adapter：

2、阴影检测再升级，伪体分割更精准.16SAM-Track：扩展 SAM 应用领域，增强视频分割性能.18SAMSAM 及衍生模型赋能多场景应用及衍生模型赋能多场景应用.1818基于 3D 重建，赋能 AR、游戏.18跟踪运动物体，赋能安防监控.19解决长尾难题，赋能自动驾驶.20提高分割性能，赋能遥感图像.21算力应用驱动，赋能机器视觉.24图表图表目录目录图1：SAM 模型官方文章.5图2：自然语言处理（NLP）的常用算法和模型.6图3：预训练模型（PLM）的发展阶段和特征.6图4：基于提示的学习（prompt-based learning)各分支.7图5：传统的预训练+微调模型以及 prom

3、pt 范式.7图6：Fine-tune 和 prompt 两种范式的区别.8图7：预训练+下游任务微调（PLM+Fine-tuning）处理情感分类任务（写影评）.8图8：零样本学习（ZSL）示例.9图9：SAM 的零样本学习能力在 CT 影像中的应用.10图10：SAM 使用数据引擎（data engine）渐进式收集数据示意图.10图11：SA-1B 比现有分割数据集多 400 倍.11图12：SA-1B 掩码标注速度更快.11图13：SA-1B 数据集的跨区域代表性较强.12图14：SAM 的可提示分割模型分为三部分.13图15：框选分割（BOX）.13图16：全选分割（Everythi

4、ng）.13图17：SEEM 在交互和语义空间上都比 SAM 更具泛化性.14图18：SEEM 根据用户输入的点和涂鸦进行图像识别.14图19：SEEM 根据用户输入的文本进行图像分割.14图20：SEEM 根据参考图像对其他图像进行分割.15图21：SAM 分割医学影像测试的详细框架.15图22：测试 SAM 对医学影像分割性能的数据集 COSMOS 553K 及分割效果.16图23：MedSAM 示意图.16图24：SAM 模型不能很好地感知自然场景中的伪体.17图25：SAM 在工业场景中缺陷检测能力较差.17图26：SAM-Adapter 示意图.17图27：SAM 可在 AR 眼镜中

5、识别日常物体.19图28：SAM 的 3D 重建功能.19图29：SEEM 在跑酷、运动、游戏视频中可以准确分割参考对象.20图30：城市道路场景中长尾场景较多.21图31：遥感图像处理发展阶段.22图32：大模型应用于遥感图像处理.22图33：基于锚点的 prompter.23图34：基于查询的 prompter.23图36：机器视觉四大功能及难度.24图37：机器视觉发展历程.24图38：基于 AI 的轻量级人脸识别网络，可用于视频实时分析、安防监控等.25图39：OVD 目标检测基本流程.26图40：AI 大模型驱动空天信息产业发展.26图41：天权大模型技术路线.27图42：中科星图“

6、空天灵眸”大模型.27SAMSAM 模型模型：CVCV 领域的领域的 C ChatGPThatGPTSAMSAM：“分割一切分割一切”的的 AIAI 新模型新模型2023 年 4 月，Meta 发布了全新的 AI 模型 Segment Anything Model，即 SAM。官网对该模型的描述为：“只需一次点击，便可在任何图像中分割出任何物体”。Segment Anything 文章指出，SAM 建立了一个基础图像分割模型，并在一个巨大的数据集上进行训练，从而试图解决一系列下游任务，成为一种通用的模型。论文的关键词包含了：prompt（基于提示学习）、task（下游任务）、zero-shot