智驾芯片的全栈扩展和Pytorch生态的兼容-邱文坡.pdf

1、智驾芯片云边一体化策略和Pytorch生态兼容必要性智驾芯片适配Pytorch生态的方法、步骤和兼容性测试智驾芯片的全栈扩展和Pytorch生态的兼容中兴通讯 系统架构师邱文坡智驾芯片和Pytorch介绍智驾芯片全栈生态以及适配Pytorch的必要性Pytorch技术原理介绍Pytorch的技术原理和关键特性Pytorch接入方式介绍新设备Pytorch兼容扩展的方法和步骤兼容性测试多个层面的兼容性测试智驾芯片全栈生态和Pytorch智驾芯片从单纯的硬件提供向全栈式生态扩展，已成为行业领先玩家的共同选择智驾双系统模型和全栈扩展传感器控制系统1：行为系统2：思考（视觉语言模型）车端/边端云端世界

2、模型MCUNPUGPUDSP智驾SOC智驾芯片不一定要有云端芯片，但最好可以支持Pytorch模型训练中间表示(ONNX)1.数据闭环：智驾芯片的全栈扩展需要云端和车/边端统一；2.模型迁移：云边使用同一套软件栈，模型部署速度会极大提升；3.模型迭代：智驾芯片的模型开发需要紧追AI生态，Pytorch是核心；4.开发门槛：如果可以使用Pytorch开发，可以降低芯片开发的门槛；C+开发 中间表示 C+运行Pytorch开发 中间表示 C+运行Pytorch开发 编译器 C+运行端侧开发演进支持Pytorch自动化部署https:/docs.pytorch.org/TensorRT/Pytorc

3、h-TensorRTAhead Of Time CompilerPyTorch 已从研究工具演变为生产级框架AI生态全景和Pytorch的核心地位图片大模型开源开发生态全景与趋势（https:/antoss-landscape.my.canva.site/）蚂蚁开源联合 Inclusion AI发布数据来源：https:/pypistats.org/1、vllm、tranformers默认依赖torch；2、生产环境往往torch都是预装；69,549,732 26,454,991 11,713,593 891,732 24,938,205 3,452 97,833,424 4,554,673

4、 0200000004000000060000000800000001000000001200000002025年10月pypi下载量PyTorch 不是“更快”，而是“更快写出能跑的代码”Pytorch的优势API设计简洁直观，代码风格符合Python习惯，比如可以直接使用if/else等python原生语法抽象层次清晰，易于学习和上手在Python和C+层面都易于扩展和定制可维可测原生Python调试工具即时报错与直观追踪丰富的模型管理和处理工具支持Profiler便于性能分析和优化编程范式默认使用动态计算图（Define-by-run）模型计算图在代码运行时动态创建便于调试和结构灵活可变

5、高效的图编译技术(pile)，动静图一键转换生态系统丰富且充满活力的社区强大官方支持，Linux基金会和Pytorch基金会提供了从研究到生产全方位工具链开源生态庞大，很多库基于torch或只有torch版本Pytorch技术原理Pytorch的设计哲学极大的提升了代码可读性和可维护性PyTorch是具备自动微分功能的算子分发器，用Tensor中的DispatchKey分发特性处理或设备算子Pytorch技术原理torchTensorautograddistributednn.VariableFunctionDispatcherNodeEdge.CPUROCmxPUCUDA应用层（Python

6、）接口层（C+）硬件接口(runtime/driver,C+)实现层（C+）dispatch/redispatchpybind11at:TensorcudaAllocatorOp KernelsStream/EventStorageCPUAllocatorOp KernelsStream/EventStorageCUDAAllocatorOp KernelsStream/EventStorageROCmAllocatorOp KernelsStream/EventStoragexPUaten:addaten:subaten:mulaten:myop2000+Aten算子用户可添加自定义45个功