崔慧敏_编译技术在AI软件栈中的实践分享.pdf

《崔慧敏_编译技术在AI软件栈中的实践分享.pdf》由会员分享，可在线阅读，更多相关《崔慧敏_编译技术在AI软件栈中的实践分享.pdf（55页珍藏版）》请在三个皮匠报告上搜索。

1、编译技术在编译技术在AIAI软件栈中的实践分享软件栈中的实践分享主讲人：崔慧敏目 录CONTENTS0 01 1.私有化部署的需求私有化部署的需求02.AI基础设施的挑战和现状03.SigInfer：以编译为核心的高性能AI推理引擎05.AI for Compiler：基于AI的编译器自动生成04.国产卡兼容CUDA生态的探索与实践06.AI软件栈未来若干发展方向AI基础设施投资持续增长，国产化势不可挡AIAI投资保持战略重点投资保持战略重点硬件层大模型&AI应用AI agent自动驾驶RAG生成式推荐具身智能2025年中国人工智能计算力发展评估报告IDCIDC预测，预测，20252025年全

2、球年全球20002000强企业会将超过强企业会将超过40%40%的的ITIT预算投入到人工智能项目中；预算投入到人工智能项目中；2025 2025年全球企业生成式人工智能支出预计将达到年全球企业生成式人工智能支出预计将达到691691亿亿美元，美元，20282028年超过年超过2,0222,022亿美元亿美元全球全球AIAI芯片算力呈现爆发式增长态势，预计到芯片算力呈现爆发式增长态势，预计到2025 2025 年全球计算设备算力总规模将超过年全球计算设备算力总规模将超过3ZFlops3ZFlops，至，至 20302030年将超过年将超过 20 Zflops 20 Zflops中国信通院中国算

3、力发展指数白皮书(2023年)算力需求持续高速增长算力需求持续高速增长国产国产AIAI芯片销售额从去年的芯片销售额从去年的6060亿美元增长至亿美元增长至160160亿美元，市场份额从亿美元，市场份额从29%29%提升至提升至42%42%，增速达到增速达到112%112%，约国外芯片的三倍，约国外芯片的三倍伯恩斯坦2025中国芯片行业大报告国产芯片增速领跑国产芯片增速领跑全球全球 2023 2023 年公有云收入占整体云基础设施支出约年公有云收入占整体云基础设施支出约 73%73%（私有云约占（私有云约占 27%27%）GartnerForecast Analysis:Public Cloud

4、 Services私有化需求稳固私有化需求稳固20252025年至年至20272027年，一体机需求量将从年，一体机需求量将从1515万台增长至万台增长至7272万台，对应市场空间预万台，对应市场空间预计从计从12361236亿元增长至亿元增长至52085208亿元，增速达亿元，增速达321%321%浙商证券研报TensorCoreHBM模型与硬件飞速演进，软件优化释放算力潜力硬件多样性：硬件多样性：AIAI硬件多样，架构差异大，但都高度依赖软件硬件多样，架构差异大，但都高度依赖软件进行优化进行优化编程复杂性：硬件编程复杂性：硬件“偷懒偷懒”，编程难度，编程难度NPU GPU CPUNPU G

5、PU CPU；架；架构迭代快，工具链成熟度相对较低构迭代快，工具链成熟度相对较低系统复杂性：系统复杂性：从多核从多核 多卡多卡 多机，需处理通信、同步、多机，需处理通信、同步、负载均衡等问题，通信负载均衡等问题，通信/计算重叠、显存管理、算子融合、张计算重叠、显存管理、算子融合、张量切分等需深度协同优化量切分等需深度协同优化AIAI基础设施软件：大模型生态的基础设施软件：大模型生态的“软底座软底座”支撑大模型训练与推理支撑大模型训练与推理决定性能天花板决定性能天花板承上启下：连接应用与算力，屏蔽硬件差异承上启下：连接应用与算力，屏蔽硬件差异对上理解丰富的业务需求对上理解丰富的业务需求对下适配多

6、元化的算力对下适配多元化的算力优化挑战优化挑战AI编译器&算子库Runtime编程语言&AI推训框架Driver操作系统&运行时系统BLASDNN模型层应用层AI agent自动驾驶RAG生成式推荐具身智能TensorCoreHBM硬件层私有化部署需求大幅提速推理算力市场规模、私有化需求齐头并进：推理算力市场规模、私有化需求齐头并进：据弗若斯特沙利文中国推理算力市场追踪报告，据弗若斯特沙利文中国推理算力市场追踪报告，20252025年年H1H1预测，中国推理市场算力将于未来预测，中国推理市场算力将于未来3 3年年完成超完成超6 6倍增幅；倍增幅；随着随着AIAI从训练为重走向推理为主，私有化环