曲付冠-小智核心技术.pptx

1、,小智核心技术分享,2025,CONTENTS,目录,核心技术概览,核心技术细节,项目背景,附加功能,总结与展望,项目背景,PART,01,小智是一个开源智能设备系统，支持语音交互、物联网控制和图形界面，目标是打造高效、灵活的设备通信与显示框架，适用于智能家居、物联网场景，授权采用 MIT 许可证，开放免费使用。,开源智能设备系统,适用于智能家居、物联网场景，授权采用 MIT 许可证，开放免费使用，旨在帮助更多人入门 AI 硬件开发，了解如何将大语言模型应用到实际硬件设备中。,适用场景与授权,小智简介,核心技术概览,PART,02,OPUS 是一种高效的音频编码技术，能够将 PCM 数据进行压

2、缩，实现低带宽高质量的传输，适合在弱网环境下使用，广泛应用于设备捕获 PCM 数据后编码为 OPUS，再通过 WSS/MQTT 发送。,OPUS,PCM（Pulse Code Modulation），即脉冲编码调制技术。由于我们人耳听到的声音均为模拟信号，PCM技术就是把声音从模拟信号转化为数字信号的技术，即对声音进行采样、量化的过程，经过PCM处理后的数据，是最原始的音频数据，即未对音频数据进行任何的编码和压缩处理。,PCM,音频处理,OPUS编码流程,01,WSS,WSS 是基于 TLS 的 WebSocket Secure 实时通信协议，用于传输音频和状态信息，设备通过 WSS 发送 O

3、PUS 数据，接收端处理后返回状态或音频，具有加密、安全的特点，适合高频交互场景。,02,MQTT,MQTT 是一种轻量级的发布/订阅协议，主要用于控制物联网设备，设备通过 MQTT 发送命令，如“打开灯”，接收端处理后返回状态，具有低功耗、低带宽的特点，适合物联网控制场景。,通信协议,LVGL 是一种轻量级的图形库，用于渲染嵌入式 UI，能够显示设备状态，如电量、连接状态，以及命令反馈，如“灯已打开”，具有资源占用低的特点，适配 OLED/LCD 显示器，支持触摸交互。,LVGL,图形界面,核心技术细节,PART,03,功能与应用,功能是高效音频编码，将 PCM 数据压缩为低带宽的 OPUS

4、 数据进行传输，应用在设备捕获 PCM 数据后编码为OPUS，再通过 WSS/MQTT和UDP 发送，以实现低延迟、高音质的音频传输。,优势与对接,优势在于低延迟、高音质，特别适合弱网环境，对接时设备编码 OPUS 数据，接收端解码处理，确保音频传输的稳定性和质量。,OPUS,功能与应用流程,会话流程,建立链接,1.客户端连接Websocket服务器时需要携带以下headers:,Authorization:Bearer Protocol-Version:1Device-Id:Client-Id:,设备MAC地址和UUID都是设备唯一识别码。,2.连接成功后，客户端发送hello消息:,typ

5、e:hello,version:1,transport:websocket,“audio_params”:format:opus,sample_rate:16000,channels:1,frame_duration:60,type:hello,transport:websocket,audio_params:format:opus,sample_rate:24000,channels:1,frame_duration:60,3.服务端响应hello消息:,语音识别相关消息,开始监听,session_id:,type:listen,state:start,mode:“,停止监听,session

6、_id:,type:listen,state:stop,语音合成相关消息,type:tts,state:,text:/仅在 sentence_start 时携带,服务端发送的TTS状态消息:,状态类型:start:开始播放stop:停止播放 sentence_start:新句子开始,本协议通过在 WebSocket 上层传输 JSON 文本与二进制音频帧，完成功能包括音频流上传、TTS 音频播放、语音识别与状态管理、IoT 指令下发等。其核心特征：握手阶段：发送 type:h