强化学习产业化探索_赵鉴.pdf

1、 故事的开始故事的开始个人介绍个人介绍心灵的震撼心灵的震撼强化学习毕业生情况强化学习毕业生情况强化学习毕业生现状强化学习毕业生现状游戏AI12%机器人相关15%与RL无关67%其他6%RLer就业方向毕业后找不到RL相关工作59%强化学习没有用36%其他5%RLer弃坑原因强化学习相关热点强化学习相关热点强化学习产业化难的原因强化学习产业化难的原因不可解释？困境一解决方案：离线强化学习困境一解决方案：离线强化学习环境模型可视为用神经网络构建的仿真数字世界困境一解决方案：离线强化学习困境一解决方案：离线强化学习离线强化学习平台离线强化学习平台ReviveRevive数据采集决策流图设计虚拟环境学

2、习虚拟环境检验策略学习联合检验部署上线REVIVEReviveRevive用户使用流程用户使用流程ReviveRevive版本迭代历史版本迭代历史ReviveRevive应用案例应用案例制造仓储化工蒸镀机镀膜控制优化技术方案-稳定控制、快速适应物流组单智能决策方案常压蒸馏智能控制训练系统方案水务泵组优化智能控制方案智能加氯控制方案供水管网调度决策方案污水总磷总氮控制解决方案家电热水器恒温控制-温度控制更精准强化学习产业化困境二：缺乏强绑定的行业强化学习产业化困境二：缺乏强绑定的行业强化学习产业化困境二：缺乏强绑定的行业强化学习产业化困境二：缺乏强绑定的行业RL +困境二解决方案：与成熟行业深度

3、绑定困境二解决方案：与成熟行业深度绑定城市水务生产城市水务生产L3L3级智能化解决方案级智能化解决方案-总体架构总体架构感知层认知层决策层决策指挥层解决方案层泵组仿真模型排水管网仿真模型加药仿真模型原水调度决策泵组控制指令决策取水水平衡控制决策加氯计量泵控制决策加矾计量泵控制决策制水二泵房泵组控制决策调度出厂压力决策送水增压泵站泵组控制决策集水井液位控制决策泵站泵组控制决策排水曝气风机决策内/外回流泵控制决策污水智慧城市水务L3级全流程智能化运行指挥中心（决策大脑）取水原水调度全流程解决方案制水制水一体化解决方案送水供水管网一体化调度方案排水排水管网联动联调解决方案污水处理污水全流程控制方案碳

4、源投加计量泵控制决策除磷药剂投加计量泵控制决策污泥浓度综合控制决策传感器仪表工艺：AAO、MBR、机理：水力模型、专家知识、数据：实时数据、历史数据、现场环境：设备状态、生产流程、全球独创的数据仿真技术（REVIVE）供水管网仿真模型排水泵站仿真模型污水厂全流程仿真模型.泵站调度决策水泵风机PLC+神经矢量控制器加药机.PLC+神经矢量控制器PLC+神经矢量控制器PLC+神经矢量控制器REVIVE专用算力服务器南栖水务案例南栖水务案例上海1个项目四川1个项目江苏21个项目福建11个项目广东3个项目湖北3个项目浙江1个项目江西6个项目河北1个项目陕西4个项目宁夏1个项目安徽4个项目重庆5个项目河

5、南1个项目湖南8个项目南栖无人机案例南栖无人机案例强化学习产业化困境三：行业智能化改造意愿低强化学习产业化困境三：行业智能化改造意愿低RL困境三解决方案：创造新需求推动技术应用困境三解决方案：创造新需求推动技术应用PVDPVD真空镀膜机多变量协同控制优化真空镀膜机多变量协同控制优化轮毂。金属丝坩锅加热蒸发金属蒸气PET膜蒸镀工程机原理核心需求通过对送丝速度、角度等因素的调节，达到膜厚均匀性 5%PVDPVD真空镀膜机多变量协同控制优化真空镀膜机多变量协同控制优化PVDPVD真空镀膜机多变量协同控制优化真空镀膜机多变量协同控制优化智能蒸镀机智能蒸镀机第一台国产智能蒸镀机产品图总结总结安得广厦千万间，聚天下RLer俱欢颜！