南京大学俞扬副教授应邀在计算机系智能技术与系统国家重点实验室CoAI课题组访问交流

2018年11月15日,南京大学的俞扬副教授应邀访问清华大学计算机系智能技术与系统国家重点实验室的CoAI课题组(朱小燕教授领导),以 “面向物理世界的强化学习”为题做了精彩的演讲,并在之后与课题组师生进行了深入的交流。参加讨论会的还有交叉信息学院的张崇洁教授,人民大学张静教授,实验室信息检索组的毛佳昕博士等师生。


俞教授主要研究领域为机器学习、强化学习, 目前研究集中于提升强化学习样本利用效率。曾入选2018年 IEEE Intelligent Systems杂志评选的AI’s 10 to watch,获2018 PAKDD Early Career Award,受邀在IJCAI‘18做关于强化学习的报告。


由于面临未知环境,经典强化学习(RL)需要不断地探索环境、在环境中试错,从而学习高回报策略,因此依赖大量自主环境交互数据。为了解决RL中样本利用率低、需求量高而造成高昂的时间和经济开销的问题,俞教授主要从三个方面入手调查。

  1. Sampling Efficiency: 俞教授指出传统的ε-greedy或softmax的探索策略效率过低,介绍了最新的curiosity-based的探索策略,并以Retro游戏竞赛作为具体例子展示了他们团队在该比赛中取得的成果。
  2. Simulated Environment: 通过建立模拟真实环境的model来和RL的agent进行交互,以避免和真实环境交互时所需的大量开销,并用几篇在搜索推荐场景上的工作举例说明了在离线数据上预训练的RL算法运用到真实线上场景的实用性及其技巧。
  3. Transfer Learning: 将相近的任务上已学习到的策略迁移到类似的任务上,从而充分利用到数据中蕴含的知识及经验提升训练的速度与质量,这里引用了一些机器人环境的问题来进一步阐述了迁移学习在RL上的应用。

演讲之后,同学们针对Multi-agent Adversarial Imitation Learning以及商品推荐场景的具体细节等进行了提问,并和俞教授进行了热烈的讨论。