基于 NNI 的 Transformer 系列模型压缩实践-张鑫-V2.pdf

1、MLML模型效率与易用性模型效率与易用性基于NNI的Transformer系列模型压缩实践微软亚洲研究院 张鑫目录目录0101NNI:NNI:一站式一站式AutoMLAutoML工具工具模型压缩模块模型压缩模块大模型发展现状模型压缩模块的pipeline及各方法的运行原理0202基于基于TransformerTransformer系列模型的压缩实践系列模型的压缩实践Transformer模型结构Transformer系列模型分析使用算法的基本原理压缩流程实验结果平台对比03030404结论结论NNINNI：一站式一站式 AutoMLAutoML 工具工具NNINNI：一站式一站式AutoMLA

2、utoML工具工具模型压缩模块模型压缩模块基于基于TransformerTransformer系列系列模型的压缩实践模型的压缩实践结论结论0101What Makes a Good Automation ToolkitNNI:NNI:一站式一站式AutoMLAutoML工具工具易用性易用性易于安装，且与现有工具包/环境兼容无需修改现有Python代码命令行和可视化工具支持功能丰富且不功能丰富且不断发展断发展包含多种主流算法快速适应最先进的算法开放性开放性开源工具可扩展性：能够包含自主开发的算法可部署到不同平台上，尤其是云端神经网络架构搜索 （Neural Architecture Search

3、，NAS）超参调优 （Hyperparameter Optimization,HPO）模型压缩模型压缩 （Model Compression）特征工程 （Feature Engineering）命令行工具NNICTL 可视化web界面批量管理实验NNI:NNI:一站式一站式AutoMLAutoML工具工具Quick Update:Releases and Quick Update:Releases and FeaturesFeaturesTodaySept 2018Jun 2022First Official Release V 0.1.0Sept 10 V 0.3.2Nov 2V 1.3.0

4、Sept 2V 2.8Jun 22V 2.9Finished 10+major release and achieved almost 12.4k+stars and 1.7k forks in github.V1.3.0 Dec 31,2019 Support NAS SPOS|Support model compression Knowledge Distillation/L2Filter Pruner/ActivationApoZRankFilter V1.3.0 Support NAS SPOS|Support model compression Knowledge Distillat

5、ion/L2Filter Pruner/ActivationApoZRankFilter Pruner/ActivationMeanRankFilter Pruner/BNN Quantizer|Add NFS support for OpenPAI|Update Kubeflow 0.7 support(external contributor)V1.4.0 Feb 19,2020 Support NAS C-DARTS/ProxylessNAS|Support DataParallel/model-speedup for model compression|Adopt Fabric Fra

6、mework for WebUI|Support cancelling UNKNOWN state trials|Support up to 50mb large search space search(external contributor)|Support deleting remote experiments using sshkey(external contributor)V2.0 Jan 14,2021 Support an improved NAS framework:Retiarii|Support a new NAS algorithm:Cream|Support prun