12月5日晚上，中国科学院大学人工智能学院有幸邀请到了中国科学院自动化研究所多模态人工智能系统全国重点实验室研究员王硕老师，在雁栖湖校区教一楼109教室为同学们带来科学前沿讲座——《机器人操作技能学习研究》。本报告介绍机器人操作技能学习的研究进展，首先介绍机器人操作技能学习算法的分类，并对常见的学习算法进行介绍。结合机器人典型技能的学习，介绍视触融合、虚实迁移、模仿学习、强化学习、课程学习的具体研究案例。
王老师首先介绍了机器人操作技能学习的研究背景。在国务院发布的《新一代人工智能发展规划》中，智能机器人被列为发展重点，而机器人学习、机器人操作已成为智能机器人研究的前沿热点，触及具身人工智能的核心与本质，其突破将具有重要的里程碑意义，极大地推动机器人技术和产业的发展。
机器人操作技能学习可以分为模仿学习、灵巧操作学习、技能推理与知识共享等，具体应用有精准抓取、机器人开门、KnowRob知识推理、基于云端知识共享的机器人抓取等。
接着，王老师指出，在机器人操作技能学习研究中，主要存在着以下四个关键科学问题：“善解人意”：基于智能人机交互的操作行为提取与意图理解；“学而不厌”：复杂操作技能多层次知识表达模型构建；“举一反三”：不确定环境下的自主智能体操作技能迁移学习；“随机应变”：面向刚性/柔性对象精确装配的自主学习与协调控制。
王老师接下来介绍了机器人学习中的一些常用方法。机器人学习方法可以分为强化学习、模仿学习、迁移学习、小样本学习和其他。
强化学习中常用的有基于模型的或无模型的值函数方法、基于策略搜索的策略梯度方法，以及近年来应用愈发广泛的将深度学习与强化学习相结合的深度强化学习。模仿学习中，传统方法常用隐马尔可夫模型与高斯混合模型，近年来也有实现行为克隆的深度模仿学习，其遵循演示数据——监督学习——优化策略的技术路线，并取得了良好效果；此外，还有基于逆强化学习的模仿学习，其通过数据建立回报函数，并通过回报函数进行强化学习训练。迁移学习也是常用的研究方法，通过让机器人在仿真环境中进行训练学习，并慢慢增加环境噪声以实现域随机化，最后将在仿真环境中训练的机器人模型迁移至真实世界。对于小样本学习，可以称分为one-shot模仿学习与zero-shot模仿学习，指对于已经训练好的机器人，只需要提供少量示例即可使其学习到一项新的任务。
近年来，随着人工智能技术的发展，如多模态机器学习等新兴学习方法也开始崭露头角，并逐渐成为机器人学习方法中十分重要的一环。在多模态机器人学习中，表征（representation）、映射（translation）、对齐（alignment）、融合（fusion）、联合学习（co-learning）等是需要解决的关键问题。
阐述完常用的机器人学习方法后，王老师着重介绍了视触觉传感器的研制与仿真。通过将视触觉融合，传感器可以实现物品识别、材料分类、形状感知、跨模态学习等高性能物品属性感知，并且也可以借此实现抓取稳定性评估、滑动检测、重抓策略等抓取操作技能学习。随后，王老师介绍了GelStereo系列基于双目立体视觉的视触觉传感器，该传感器通过表面硅胶层的形状变化估计受力状态，并实现接触形貌、接触六维力/力矩的感知，通过上述功能，最终机器人可以借助该传感器完成自适应抓取操作。此外，王老师还介绍了TacFlex视触觉传感器仿真框架，该仿真环境能够实现对于触觉感知的高效真实仿真，最终借助该仿真环境，实现了物体掌内姿态估计、轴孔装配操作技能学习等任务从虚拟仿真场景到真实场景的训练学习。
最后，王老师又介绍了机器人操作技能学习的相关研究，讲述了多种前沿的研究进展，包括针对长时序多步骤操作任务的策略学习、异构机器人技能迁移、多步操作自主课程学习方法、零示教操作技能快速模仿学习、多指灵巧手与抓取操作运动等前沿方法。讲座结束后，王老师耐心地解答了现场同学的若干问题，获得了一致的掌声。
更多专家信息：
王硕，中国科学院自动化研究所多模态人工智能系统全国重点实验室研究员，博士生导师。长期从事水下仿生机器人、机器人操作技能学习、多机器人协作、智能机器人控制等方面的科研工作。国家重点研发计划智能机器人重点专项专项总体组专家，ISOTC299 WG1和WG6的工作组专家，中国机电一体化技术应用协会常务理事、人工智能学会智能机器人专业委员会委员、自动化学会机器人专业委员会委员、中国宇航学会机器人专业委员会委员。主持与参加科技创新2030重大项目、国家863计划课题、国家自然科学基金联合基金重点项目等20余项。获得国家和省部级奖励5项，合著图书5部，获得国家发明专利20余项，发表学术论文100余篇。
