Arm基础设施加速智驾云端计算-张先国.pdf

1、Arm基础设施加速智驾云端计算阿里云弹性计算高级架构师张先国（雷祖）智能驾驶典型业务流程数据采集数据标注模型训练仿真验证集成部署车端集成数据规模大视频、图像、点云、数据持续更新，多达数百PB算力消耗高持续进行数据标注、数据分类、用于文本和视频对照学习，消耗算力数十万核模型迭代快每个季度都有新模型、新技术涌现，参数模型越来越大训练成本高模型种类多，更新快训练成本高，消耗GPU数万卡智驾场景业务痛点智能驾驶ECS解决方案高性能、高可靠，弹性伸缩的高效AI Infra 算力弹性 数据预处理需大量弹性算力，支持数据快速解包入库，通过底层算力池化产品组合提供算力方案。云上调度方案支持十几万核资源快速拉起

2、，缩减弹性运维成本 算力性能优化 提供阿里云特有优化方案，如spark场景OS优化10%以上，MRACC算子优化35%以上，9代intel&倚天视频转码等场景优化 容器算力 支持5K节点容器算力调度 围绕AI场景提供加速工具包，如数据缓存加速 Fluid、GPU切分容器化 cGPU、spark on ack等 提供serverless化调度方案 HPDA采集车量产车工作站数据合规处理原数据备份车联网V2X、数据合规处理数据、模型备份卸盘装盘数据模型专线POP点云全量数据包Rosbag解包视频格式化点云格式化切片抽帧数据分类数据去重分类全数据工作台Airflow Argo Arena kubec

3、tl 容器服务 ACK自建 K8s调度HPDA软件优化MRACC-SparkCore、Spark SQL 优化引擎OS优化：Alinux 3+Dragon wellAI套件：Fluid、cGPU等加速8代、9代 硬件加速器倚天硬件&生态加速弹性临时盘吞吐等等算力池包年包月算力池弹性算力池：按量、抢占Yitian x86 5、6代 U1 CPUL20 H20 GPU倚天硬件&生态加速智能驾驶E2E方案和数据处理WorkerECS G/R.8xlMasterECSOSSHDFS协议大数据实现数据VideoCPUJPEGJpeg8-30 Frame/s200PBcpfs视频抽帧StorageCPFS

4、+OSS+i4采集存储FUSE:JuiceFS/JindoFS/Fluid预处理FFMpeg dec激光雷达点云数据挖掘Spark/NumpyPandas/Ray.dataYitian ARMYitian+EED数据标注CLIP/ResNetYolo/SAMA10/V100模型训练BEVFormer/UniADGPU仿真验证3DGSLog/WorldSIMCPU/L20GPU1234567视频抽帧图像标注分析挖掘Rule-VLM-VLA云端协同InternVL-2B/云端对照合规+存取World SIMSpark、Pandas,Numpy,VectorDBFfmpeg、x264、x265智能驾

5、驶数据处理-视频处理高算力VideoECS C8yJPEGJpegX265 Decoder8-30 Frame/s200PBcpfs视频抽帧1C8y.16xl core2X265 boosterOSSFFMpeg Lib物理核重载定频Perf+20%TCO-30%23313031372734364405101520253035404550g6g7ag7g8ig8a kc1m6gg6r g8ySpec Int Rate 2017 on 8vcpu VM2330343939233840570102030405060g6g7ag7g8ig8a kc1m6gg6r g8ySpec float Rate

6、 2017 on 8vcpu VM如何选择CPU：算力对比Spec int 2017 G8y 比G7高50%Spec float point rate G8y比G7高60%x86ARMCloudServerg6g7ag7g8ig8akc1 m6gg6rg8y ProcessorCCLMilanICXSPRGenoaKunpengGraviton2AmpereYitian环境说明Aliyun ECS 采用Alibaba 3.2104 64bit，Gcc 10.1其他云VM采用CentOS8.0*Benchmark：通用场景App算力性能*Benchmark：HPC场景下计算性能*性能数据来源内部