具身智能科技行业前瞻探索（第3期）——多任务操作、第一人称世界模型、低光照与模糊感知-260408（25页）.pdf

1、具身智能科技前瞻探索（第3期）报告要点人形机器人已成为中国硬科技的新名片，在国际舞台大放异彩，但受限于大脑能力及量产成本等因素，距大规模应用仍有显著差距。把握产业脉络，需紧跟一线技术动态，国泰海通产业团队推出具身智能科技前瞻探索系列研究，跟踪学术前沿解读最新论文成果，为产业发展和投资决策提供最前瞻视角。本期核心关注多任务操作、第一人称世界模型、低光照与模糊感知、仿真数据生成等六大前沿进展【多任务操作】MoE-ACT：多任务双臂操作规模化学习框架MoE-ACT：多任务双臂操作规模化学习框架多任务操作巷科大（广州）提出了一套融合稀疏混合专家（MoE）模块的轻量化多任务机器人模仿学习框架MoE-AC

2、T，有效缓解了统一策略下多任务双臂操作匀任务干扰与负迁移问题，在保障推理效率的同时，显著提升了双臂机器人在多任务场景下的操作成功率与泛化能力。主要贡献:1:提出轻量化多任务双臂操作框架MoE-ACT：将稀疏MoE模块融入ACT的Transformer编码器，通过自适应专家激活实现多任务动作分布解耦，有效缓解多任务学习中的任务干扰与负迁移问题。2：设计任务条件化FiLM调制机制：基于语言指令嵌入动态调整动作令牌，保障动作生成与任务指令的一致性，强化模型对不同任务的适配能力。4:完成多维度实验验证：在仿真基准与真实世界双臂平台完成系统验证，较主流基线模型实现稳定性能提升，为多任务机器人策略学习提供

3、了实证参考。影响展望：2：对具身智能产业界发展的参考意义：本文提出的轻量化框架可在边缘端GPU完成实时推理，适配工业机器人、人形机器人的现场控制需求；其多任务统一策略的优化方案，可降低工业场景多任务操作的模型训练与部署成本，为3C电子、汽车制造等场景的双臂机器人规模化落地，提供了轻量化、易部署的技术优化方向参考。MoE-ACT：多任务双臂操作规模化学习框架原文摘要:(divcenter)图1:MoE-ACT方法整体框架(/divcenter)【第一人称世界模型】EgoSim：面向具身交互生成的第一人称世界仿真器EgoSim：面向具身交互生成的第一人称世界仿真器第一人称世界模型上海交通大学、上海

4、人工智能实验室、香港大学联合团队提出了一款可持续更新底层3D场景状态、生成空间一致的交互视频的闭环式第一人称世界模拟器EgoSim，针对性优化了现有同类模拟器空间一致性不足、无法跨多阶段交互更新场景状态的缺陷，同时支持向机器人操作任务的跨具身迁移。主要贡献:1：提出闭环式第一人称世界模拟器EgoSim：将3D场景建模为可更新的世界状态，解决了现有模拟器视角变化下结构漂移、多阶段交互无法更新场景状态的核心局限。2：设计可扩展的自动化数据处理管道：可从野生单目第一人称视频中提取对齐的训练数据对，缓解了世界模型训练数据获取难度大的行业瓶颈。3：推出低成本EgoCap数据采集方案：无需预先相机标定，仅

5、用普通智能手机即可获取视角对齐的配对数据，降低了真实世界训练数据的采集门槛。4：实现性能优化与跨具身迁移适配：在视觉质量、空间一致性等指标上优于现有方法，同时支持从人类交互到机器人操作的跨具身迁移，拓展了应用边界。影响展望：1：对具身智能学术研究前沿的影响：本文为第一人称世界模拟器的技术优化提供了新的可行路径，其可更新3D场景状态的设计思路，为长时序连续具身交互仿真研究提供了参考；配套的自动化数据处理管道，也为行业解决世界模型训练数据瓶颈提供了可复用的方案，对具身智能世界模型的后续迭代研究具备一定的借鉴意义。2：对具身智能产业界发展的参考意义：本文提出的无标定低成本数据采集方案，可降低具身智能

6、训练数据的采集成本，对中游机器人算法厂商优化训练数据体系有一定参考价值；跨具身迁移能力的验证，也为通用机器人操作算法的泛化性优化提供了探索方向，可辅助降低不同机器人硬件平台的算法适配成本。EgoSim：面向具身交互生成的第一人称世界仿真器原文摘要:摘要：本文提出EgoSim，一款闭环式第一人称世界模拟器，该模拟器可生成空间一致的交互视频，并对底层3D场景状态进行持续更新，以实现连续仿真。现有第一人称模拟器要么缺乏明确的3D锚定，在视角变化下易出现结构漂移；要么将场景视为静态，无法在多阶段交互中更新世界状态。EgoSim通过将3D场景建模为可更新的世界状态，解决了上述两大局限。我们通过几何动作感