2026年11月4日上午，中国科学院大学人工智能学院邀请中国科学院自动化研究所研究员、中国科学院大学岗位教授赵冬斌，在雁栖湖校区教一楼305教室作题为“强化学习赋能具身智能”的科学前沿讲座，玉泉路校区教学楼阶一1教室同步直播。赵冬斌老师围绕强化学习的基本原理、算法演进及其对具身智能发展的支撑作用，结合团队在机器人操作、运动控制、自动驾驶、游戏博弈与科学智能等领域的研究成果，介绍了相关技术的研究进展与应用探索。
讲座伊始，赵老师从智能体与环境交互的过程出发，介绍了强化学习通过反馈不断调整策略、优化长期累积回报的基本原理，并从学习目标、反馈方式与数据分布等方面，分析了强化学习与监督学习的区别。在此基础上，他梳理了基于价值函数的方法与直接策略优化方法，讲解了同策略与异策略学习在数据采集和使用方式上的差异，帮助同学们理解不同算法的基本思路。
围绕强化学习的前沿演进，赵老师介绍了利用历史数据进行策略优化的离线强化学习，以及通过建立环境模型开展预测与策略更新的研究路径。他结合生成式模型的发展，讲解了扩散模型在数据生成与控制策略学习中的应用，展示了强化学习与模型学习、生成式方法相结合的技术趋势。
在大模型与具身智能部分，赵老师介绍了人类反馈强化学习在大模型后训练中的作用，以及思维链推理、过程奖励和群组相对策略优化（GRPO）等方向的进展，并讨论了智能体框架与模型协同优化的思路。他指出，大模型为具身智能提供了自然语言交互和任务规划能力，上层规划与底层控制相结合的双层架构，有助于协调复杂推理与实时执行的需求。世界模型则通过预测环境的未来状态，为强化学习中的任务推演与决策优化提供支持。
结合团队在具身操作方向的研究，赵老师首先介绍了生成式策略的效率优化。针对扩散模型多步生成带来的推理开销，团队将一致性模型的一步生成思想引入策略控制，根据当前观测快速生成控制策略，提升机器人操作的流畅性与执行效率。在此基础上，团队进一步探索离线数据与在线交互相结合的训练框架：利用已有数据学习初始策略，在机器人执行任务时引入人的干预，并将纠正数据用于后续训练，结合模仿学习与强化学习提升操作成功率。讲座中展示的挂中国结、穿针引线等任务，呈现了相关方法在精细操作与抗干扰方面的效果。
面向不同机器人本体和新任务的适应问题，赵老师介绍了利用扩散模型学习异构灵巧手通用策略的研究，使策略能够适应不同手指组合和抓取方式。同时，针对模型学习新任务时可能遗忘已有技能的问题，团队从动作与目标的一致性、与专家示范的时空偏差等维度设计过程奖励，对动作生成进行评估，引导策略在适应新场景的同时保留已有能力。
在世界模型与强化学习融合方面，赵老师介绍了先开展策略与世界模型预训练、再通过奖励评估进行策略微调的研究思路，使智能体借助对环境变化的预测改进决策。针对长程任务中容易出现的模型幻觉与执行偏差，团队通过提取关键帧、分解任务并设置阶段性奖励，对各阶段的完成情况进行评估与纠错。例如，将拿取、放置等环节分别作为子目标，避免机器人在尚未完成前一步操作时继续执行后续动作，从而提升长程任务执行的可靠性。
赵老师还分享了世界模型服务具身操作的进一步探索。团队在隐空间中联合输出控制策略与未来状态，使动作生成与环境变化预测相互配合，并利用带有弱标签的人类动作数据进行对齐，改善操作性能。在最新研究中，团队进一步融合几何信息与时序一致性学习，将空间结构理解和动态变化预测结合起来，支持更精细的动作生成。现场展示的环境光照变化下操作、双臂协同削黄瓜皮等案例，说明了相关方法在场景适应与协同操作中的应用潜力。
此外，赵老师简要展示了团队在四足机器人跑酷与运动控制方面的研究进展，并分享了自动驾驶轨迹预测、场景记忆与决策优化，以及多智能体协作与博弈、高效推理和科学智能等领域的工作，展示了强化学习在不同应用场景中的研究实践。
本次讲座从基础概念延伸至前沿方法与应用实践，梳理了强化学习赋能具身智能的主要路径，为同学们理解大模型、世界模型与机器人决策控制之间的联系提供了参考，也为进一步关注智能体与真实环境交互中的研究问题拓展了思路。
更多专家信息：
赵冬斌，博士，中国科学院自动化研究所研究员、中国科学院大学岗位教授、博士生导师，IEEE/CAA/AAIA Fellow。主要从事深度强化学习算法与理论，以及在具身智能、智能驾驶、博弈智能和科学智能等领域的应用研究。负责国家自然科学基金重点项目和科技部重点研发项目课题等多项，排名第一获2022年北京自然科学二等奖等。在国际权威期刊和会议发表论文400余篇，连续多年入选斯坦福全球前2%顶尖科学家。担任IEEE TSMCS、TAI等期刊编委，曾任2022年IEEE CoG大会主席，任中国人工智能学会理事等，获中国科学院李佩优秀教师奖和优秀导师奖等。
