郑炜-嵌入式MCP原理与分析：基于智能小车多模态交互开发实录.pptx

1、嵌入式MCP原理与分析：基于智能小车多模态交互开发实录,目录,MCP概述,Part.01,什么是MCP,MCP（Model Context Protocol，模型上下文协议），2024年11月底，由 Anthropic 推出的一种开放标准，旨在统一大模型与外部数据源和工具之间的通信协议。MCP 的主要目的在于解决当前 AI 模型因数据孤岛限制而无法充分发挥潜力的难题，MCP 使得 AI 应用能够安全地访问和操作本地及远程数据，为 AI 应用提供了连接万物的接口。,MCP 整体架构,MCP Hosts：是指 LLM 启动连接的应用程序，像 Cursor,Claude Desktop、Cline

2、这样的应用程序。MCP Clients：在Hosts中与服务器保持 1：1 连接的协议客户端MCP Servers：通过标准化的协议，为 Client 端提供上下文、工具和提示。本地数据源：MCP 服务器可以安全访问的计算机文件、数据库和服务远程服务：MCP 服务器可以连接到的 Internet 上可用的外部系统（例如，通过 API）,嵌入式系统与MCP的结合,Part.02,vmRTThread,vmRT-Thread是一种基于虚拟化技术的嵌入式虚拟化集成开发平台。,vmRTThread+LLM,MCP在嵌入式系统中的应用,Part.03,开发流程,1.收集数据：收集跟小车移动相关的函数调用

3、的数据，可使用大模型生成；2.训练模型：使用开源框架，例如LLaMA-Factory进行训练3.转换并部署模型：使用rknn-llm转换大模型为可在rk3588上运行的rkllm格式4.开发flask服务：使大模型能通过openai库访问和生成回答5.开发MCP：基于autogen，几十行代码快速实现MCP的服务端和客户端,收集数据,参考论文Octopus v2和Optimizing Small Language Models for In-Vehicle Function-Calling的原理,在dify或者使用网页版的deepseek、GPT重复生成小车可执行的指令，这步只生成指令。,上面

4、是生成指令的提示词，可以把右边的函数描述填进去，然后让大模型生成指令,收集数据,上面为生成可执行函数的提示词，将上一步的指令和函数描述填进去，即可利用大模型批量回答,训练模型,LLaMA-Factory是一个开源的微调大模型的框架，他支持几乎所有开源模型的训练和训练算法，并且可视化操作和中文，能零代码训练大模型。,转换并部署模型,参考RKLLM 使用与大语言模型部署|Radxa Docs,RKLLM安装,安装python环境,模型转换,开发flask服务,大模型能在rk3588上运行还不够，我们需要将他部署为flask服务，使得能通过openai库调用，方便后续的开发。这里我们只需要通过fla

5、sk实现/v1/chat/completions功能,参考https:/,开发MCP服务端,FastMCP 是构建 MCP 服务器和客户端的标准框架。能快速开发MCP服务器，入门容易。,服务端运行输出,服务端代码,开发MCP客户端,AutoGen 是一个用于创建多代理 AI 应用程序的框架，这些应用程序可以自主运行或与人类一起工作。,AutoGen提供了mcp工具扩展，可以使用该扩展轻松地将 MCP 服务器工具集成到我们定义的Agent中。AutoGen提供了8个mcp相关函数扩展，但是我们只需要使用其中的两个：SseServerParams和mcp_server_tools,SseServe

6、rParams:通过SSE连接到MCP服务器的参数,mcp_server_tools:创建一个可以与 AutoGen agents一起使用的 MCP 工具适配器列表。,运行代码,语音识别,SenseVoice 是具有音频理解能力的音频基础模型，包括语音识别（ASR）、语种识别（LID）、语音情感识别（SER）和声学事件分类（AEC）或声学事件检测（AED）。本项目提供 SenseVoice 模型的介绍以及在多个任务测试集上的 benchmark，以及体验模型所需的环境安装的与