GOTC：2023全球开源技术峰会多模态大模型推理框架（26页）.pdf

《GOTC：2023全球开源技术峰会多模态大模型推理框架（26页）.pdf》由会员分享，可在线阅读，更多相关《GOTC：2023全球开源技术峰会多模态大模型推理框架（26页）.pdf（26页珍藏版）》请在三个皮匠报告上搜索。

1、AI is Everywhere专场AI is Everywhere专场王峰 王峰 Jina AI 2023年05月28日 2023年05月28日OpenGPT：多模态大模型推理框架：多模态大模型推理框架 Taking LMM app into production with OpengGPTAbout Me2021-now,Engineering manager,Jina AI2020-21,Senior Researcher,Huya AI2018-19,Senior Researcher,Tencent AI2011 -18,Ph.D.,Hong Kong Baptist Univers

2、ity王峰，王峰，开源 MLOPs 框架 Jina 的核心贡献者，专注机器学习与深度学习算法在 NLP，多模态表征学习和信息检索领域的落地与应用。numb3r3 felix.wangjina.aiAI的未来范式AI的未来范式GPT-4 的一大亮点就是不仅能理解文字，还能识别图片内容多模态大模型的兴起多模态大模型的兴起AI的未来范式AI的未来范式MiniGPT-4:简单整合了BLIP-2和Vicuna，通过BLIP-2将图片转为文字描述，再用Vicuna基于这个文字描述进行内容创作。多模态大模型的兴起Zhu,Deyao et al.“MiniGPT-4:Enhancing Vision-Lang

3、uage Understanding with Advanced Large Language Models.”Arixv,2023AI的未来范式AI的未来范式大模型的“能力涌现”ChatGPT/GPT-4的横空出世，已经彻底改变了NLP领域的研究态势,模型能力越来越强-使用提示词 prompt 来完成特定意图；-由于“涌现涌现”能力，借助 Incontext Learning 方法可以处理未见过的任务；-改变了模型使用的范式AI的未来范式AI的未来范式人工智能正在从文本、语音、视觉等单模态智能，向着多种模态融合的通用人工智能方向发展。多模态 AI 的崛起BeforeAfterAI的未来范式：

4、多模态大模型AI的未来范式：多模态大模型简单来说，就是指模型可以处理多种结构/类型的数据，可接收多种类型的数据源，例如 GPT-4，它既可以处理你输入的文本，也可以处理你上传的图片。多模态模型AcousticTextualVisual表征学习表征学习让模型为所有模态创建通用的特征表示迁移学习迁移学习让模型首先学习基础知识，然后在特定领域进行微调。单单模模态态 AI多模多模态态 AI基于多模基于多模态态的大模型将的大模型将实现图实现图文音文音统统一知一知识识表示，表示，成成为为人工智能基人工智能基础设础设施。施。多模态大模型应用挑战多模态大模型应用挑战计算资源需求：大模型由于其参数众多，因此在训

5、练和推理阶段都需要大量的计算资源。这可能需要昂贵的硬件设备，并可能导致能源消耗问题。模型推理效率低：大模型的高效推理是工程应用的关键技术。推理环节在计算精度（FP16/INT8）、算力消耗量等方面的要求较低，但 GPU 显存不足的问题同样会出现在推理环节。此外，模型推理速度受限于通信延迟和硬件内存带宽。如何保持低延迟的前提下，还尽可能节省计算资源和使现有显存满足推理的要求，是我们依然面临的问题。数据处理：多模态数据需要复杂的预处理和后处理步骤。模型优化：大模型的训练通常需要精细的超参数调整和优化策略，以确保模型的性能和稳定性。模型部署：部署相对复杂，在生产环境中部署大模型可能会面临技术和运营挑

6、战。以上就是一些大模型和多模态技术在实际应用中可能会遇到的技术挑战。解决这些挑战可能需要跨领域的合作和持续的技术创新。多模态 AI 的崛起延延迟迟（lateny）+成本（成本（cost）OpenGPT多模态大模型服务框架多模态大模型服务框架多模多模态态大模型大模型推理服务框架An open-source cloud-native of large multi-modal models(LMMs)serving framework.OpenGPTOpenGPTSupport for multi-modal models on top of large language modelsScalabl