基于RISC-V架构的AI实践-戴希铨.pdf

1、软件所在RISC-V AI应用方面的探索实践基于RISC-V架构的AI实践中国科学院软件研究所 工程师戴希铨RISC-V简介RISC-V AI软件栈移植RISC-V与XPURISC-VAI实践RISC-V简介发展势头迅猛的开源指令集架构生态背景：各关键领域正面临 RISC-V 架构软件迁移任务生态场景：x86/arm 软件代码迁移到 RISC-V预计未来将保持40%年复合增长率RISC-V高速发展2015RISC-V诞生RISC-V国际基金会成立V2.0：32/64位基础指令集正式进入中国v2.2：向量指令集爆发期IP核出货量突破130亿颗加速成熟RVA23批准2024201020172025

2、RISC-V的核心特性开源开放无需授权费允许自由修改和扩展模块化设计高效与低功耗生态兼容基础指令集扩展指令集精简设计降低芯片面积和功耗工具链、编译器优化软硬件协同全球与中国行业现状市场截至2024年RISC-V IP核出货量130亿颗，预计2030年年复合增长率40%。RISC-V国际基金会显示全球会员单位已达4000多家，国内以中科院软件所为主的科研机构和以达摩院为代表的企业纷纷参与生态建设.。生态作为众多指令集架构中，唯一开源开放的。为我国突破芯片半导体技术，带来了很大的机遇。政策方面提供了很多支持。政策RISC-V AI软件栈移植基于RISC-V与算力卡运行大语言模型底层硬件 系统层 智

3、能计算层 大模型应用层AI软件栈移植名称说明工具链软件所牵头推动 LLVM RVA23 标准的制定，并联合各国产服务器操作系统厂商，协同升级至高版本的 GCC/LLVM 工具链体系，以提升对 RISC-V 架构的支持能力。内核软件所联合主流操作系统社区和芯片厂商，共同推动 Linux 内核向 6.6 LTS 版本同源对齐，构建统一、可持续演进的 RISC-V 内核支撑体系。OS当前已实现对多款国产操作系统的初步适配，包括OpenAnolis、openEuler、OpenCloudOS 等。软件所正在进一步推动各操作系统社区对 RVA23 标准的深度优化与功能适配。协处理软件栈当前 XPU（如

4、MLU、TPU、GPU）相关工具链、运行时、算子库、通信库大多为厂商闭源实现，缺乏统一生态。（厂商适配）智能计算框架针对主流智能计算框架（如 PyTorch、TensorFlow 等），软件所正在推进其在 RISC-V 平台上的移植适配工作，同时协同各 XPU 厂商贡献其硬件优化补丁，以加速构建具备高性能的软硬协同能力。大模型训推应用软件所主导推动大模型训练与推理类应用在 RISC-V 平台上的移植与性能优化工作，XPU 厂商配合提供针对特定硬件的底层优化支持，进一步提升整体智能计算能力。RISC-V与XPU基于RISC-V与算力卡运行大语言模型RISC-V的开源开放、可扩展特性是生态创新的基

5、础和催化剂领域专用指令集(DSA)DSA)支持为特定的 AI 应用设计并添加自定义指令。标准向量/矩阵扩展RVV、RVP扩展，实现“标准+定制”组合。高效的端侧 AI 执行引擎CPU指令0.5T1T语音唤醒，智能传感、轻量视觉高效协同指令RISC-V CPU+NPU/GPU合作完成处理“长尾”算子自定义指令将这些算子在RISC-V CPU上高效实现。异构系统的最佳“指挥官”SOC集成算力1T40T语音交互，工业实时控制、L1、L2级辅助驾驶、医疗影像分析、边缘视觉硬件管理指令加速卡厂商可以为RISC-V控制器添加用于管理卡上资源。开源编程模型通过自定义指令，将底层复杂硬件操作抽象成上层驱动更友

6、好的接口。加速器的“智能控制核心片外独立加速卡40T300T智能客服，文档生成、数字孪生、工业质检、L级以上辅助驾驶、行业大模型RISC-V智能计算硬件平台软件栈适配NPU 驱动与计算框架移植TH1520 NPU 内核驱动开发玄铁 AI 融合平台模块迁移NPU 用户态驱动移植Th1520-NPU 软件包构建与集成SoC集成NPU如意OS加速适配计划硬件趋势软件现状适配目标RISC-V 服务器/SoC 加速集成 NPU/TPU/MLU 等 AI 模块PyTorch/ONNX Runtime 等主流 AI 栈 RISC-V 适配仍在起步状态围绕如意OS平台构建加速单元驱动及推理框架，支撑大模型推理