2026年10月15日上午，中国科学院大学人工智能学院邀请清华大学长聘副教授、博士生导师黄高，在雁栖湖校区教一楼107教室作题为《强化学习驱动的大模型后训练》的科学前沿讲座，玉泉路校区教学楼阶一2教室同步直播。黄高老师围绕后训练能否催生大模型的“AlphaGo时刻”这一问题，分析了强化学习的能力来源与局限，介绍了扩散语言模型的优化方法及基于代码环境的自我进化框架。
讲座伊始，黄高老师介绍了预训练与后训练在大模型发展中的作用。预训练赋予模型基础的通用能力，后训练则进一步提升复杂推理与任务适应能力。近年来，基于可验证奖励的强化学习（RLVR）取得了显著的推理性能提升，但平均准确率的提高，是否意味着模型能够解决更多此前无法解决的问题，仍需要通过实验加以检验。
围绕这一问题，黄高老师结合团队研究指出，在所考察的模型与任务中，强化学习虽然提高了回答正确的概率，却未必拓展模型能够解答的问题范围，部分基础模型原本能解出的难题，在后训练后反而难以解出。他从搜索空间、过程奖励与输出分布等角度进行分析：当输出熵降低、回答趋于确定时，多样化解题路径也可能减少，进而限制模型对困难问题的探索。
随后，黄高老师比较了知识蒸馏与强化学习的不同作用。知识蒸馏可以通过更强模型的示范引入新的知识与解题策略，而强化学习在相关实验中更多体现为对已有能力的选择和优化。他借助AlphaGo“第37手”的例子，引导同学们思考如何区分性能改善与能力边界拓展，以及大模型实现突破性探索还需要哪些条件。
针对扩散语言模型，黄高老师介绍了任意顺序解码可能面临的“灵活性陷阱”。模型在生成过程中倾向于优先确定低熵、较容易的内容，而关键逻辑与转折等较难部分被留到后面，其可选择的空间可能受到前文约束。生成顺序的灵活性由此未必自然转化为更充分的推理探索。
为应对这一问题，团队提出在后训练阶段限制模型从左到右生成，在推理阶段恢复任意顺序解码的方法。通过调整训练中的生成顺序，使模型更充分地面对困难的推理位置，同时保留扩散模型在推理时并行解码的效率优势。黄高老师介绍了采用PPO算法开展训练的实验结果，说明生成顺序的设计可以成为改进后训练效果的一个切入点。
在自动化自我进化方面，黄高老师强调了训练数据与反馈规模化的重要性。他介绍了利用Python等代码执行环境提供可验证反馈的研究思路：让模型分别承担出题与解题任务，通过构造输入输出对生成训练数据，并借助执行结果进行检验与迭代。这一框架尝试在无需人工标注的条件下，建立持续产生任务、获取反馈和改进模型的训练过程。
据介绍，相关实验不仅观察到模型编程能力的提升，也发现其对数学推理任务具有一定的迁移效果，并在不同参数规模的模型上进行了验证。这些结果为探索可扩展的后训练数据生成方式，以及模型在可验证环境中的持续学习提供了研究依据。
讲座最后，黄高老师结合研究经历，建议同学们立足深入的领域理解，从反直觉现象中发现值得研究的问题。他还提出，强化学习与个人智能体长期记忆的结合，是值得关注的未来方向。本次讲座通过具体实验与方法分析，为同学们理解大模型后训练的能力边界和自我进化路径提供了参考。
更多专家信息：
黄高，清华大学长聘副教授、博士生导师，长期从事人工智能基础模型及算法研究，代表作DenseNet已成为经典神经网络架构之一。获科学探索奖、亚洲青年科学家奖、达摩院青橙奖，以及CVPR最佳论文奖、ICML杰出论文奖和NeurIPS最佳论文奖亚军。入选MIT TR35、AI 2000人工智能最具影响力学者，担任IEEE TPAMI等国际期刊编委。
