张晶—EdgeX + OpenVINO加速边缘人工智能项目落地.pdf

1、GLOBAL EDGE COMPUTING CONFERENCE全球边缘计算大会深圳站汇报人：Ed g e X：2 0 2 3：7 ：1 5：全球边缘计算大会 ：GECCEdgeX+OpenVINO加速边缘人工智能项目落地EdgeX 中国项目简介01OpenVINOTM简介02基于EdgeX CMI+OpenVINO的多相机Edge AI推理架构03Edge AI商业落地案例0401EdgeX 中国项目简介Global Edge Computing ConferenceGLOBAL EDGE COMPUTING CONFERENCEGECCGECC边缘计算架构发展简史V1.0:外设通过网络直连

2、云端V2.0:引入多协议网关架构V3.0:引入完善的边缘计算架构终 端 侧：不同协议的物联网外设云 端：不同云服务商对应不同的接入协议边缘计算：多协议转换，数据存储、资源编排、系统管理、安全、报表开源先进的边缘计算框架：EdgeX FoundryEdgeX Foundry帮助用户打造连接云、端一体的边缘计算平台，简化物联网部署EdgeX Foundry分层架构用于物联网边缘计算开源，与供应商无关微服务、松耦合软件框架Linux基金会下属，Apache 2项目150+机构、250+名开发者参与2017年开始，每半年发布新版本Barcelona(0.5)2017年10月California(0.6

3、)2018年6月Delhi(0.7)2018年11月Edinburgh(1.0)2019年7月Fuji(1.1)2019年11月Geneva(1.2)2020年5月Hanoi(1.3.1)2020年11月Ireland(2.0)-2021年6月Jakarta(2.1)2021年11月Kamakura(2.2)2022年5月Levski(2.3)2022年11月Minnesota(3.0)2023年5月Napa(3.1)2024年年4月月EdgeX 实现边缘工作负载整合虚拟化/容器化可视化与中心控制开放 API今天的物联网架构垂直数据竖井、平台锁定数据/边缘治理与控制问题硬件定义的、无法管理的边

4、缘未来的物联网架构开放物联网数据架构，无锁定数据与边缘属于企业软件定义的边缘云企业与网络边缘网关物联网资产其他云其他云其他云其他云9EdgeX支持分层部署松耦合的体系结构，方便跨节点部署，实现分层边缘计算10300+生态伙伴,5000+活跃开发者,80+万关注者EdgeX中国项目生态伙伴芯片,设备制造商云服务提供商、通信服务提供商解决方案集成商软件开发商高校、研究机构终端用户投资方、孵化器、政府机构02OpenVINO 简介Global Edge Computing ConferenceOptimized PerformanceVPUFPGAGPUCPUWrite Once,Deploy An

5、ywhere模型优化工具更简单的工作流程MOMOModel OptimizerNNCFNNCFQuantization-Aware Training ToolPost-Training Optimization Tool+NEWmodel=.#OpenVINO/ONNX/PyTorch/TF objectquantized_model=nncf.quantize(model,calibration_dataset)Post-Training Quantization(NNCF)更简单的工作流程import nncfcalibration_loader=torch.utils.data.Data

6、Loader(.)def transform_fn(data_item):images,_=data_itemreturn imagescalibration_dataset=nncf.Dataset(calibration_loader,transform_fn)2)运行获得量化模型1)准备校准数据集from openvino import runtime as ovimg=load_img()core=ov.Core()compiled_model=pile_model(model=model,device_name=CPU)output_layer=compiled_model.outp