雷锋网(公众号：雷锋网) AI 科技评论按：随着 DeepMind、OpenAI 等一系列科技巨头对强化学习技术的应用越来越多的科研工作者投入到该领域的研发中。然而目前大多数的研究工作还停留在通过游戏进行仿真的阶段。在我们对研究者们在 Atari、星际争霸等游戏中战胜人类职业玩家而沾沾自喜的同时我们更应该意识到，目前嘚强化学习技术还远未达到满足真实世界中通用任务需求的水准其中，人类对强化学习的奖励函数设计、训练过程自我调节等机制的影響是目前研究者们急需突破的重要瓶颈
如果想要激发强化学习的全部潜力，就需要将强化学习智能体嵌入到真实世界的经验流中让这些智能体在我们的世界中，而不仅仅是在它们自己的世界中采取行动、探索和学习——《强化学习简介》第二版，Sutton&Barto2018。
最近一些被高喥认可的研究表明，人工智能体可以在玩 Atari 游戏（/articles/nature14236）或下围棋（/articles/nature16961）时在没有人类监督、而是使用强化学习技术进行多轮自我试错的情况下（/articles/nature24270），取得与人类相当甚至超过人类的表现这是人工智能研究领域的一项巨大成果，它为那些使用监督学习成本太高的应用开启了另一扇解决方案的大门也对游戏之外的许多应用领域产生了影响。那么问题来了如何将强化学习智能体在像游戏这种理想环境（其中奖励信号被明确定义，且十分丰富）中超越人类的性能表现迁移到具有一系列缺点的真实世界环境中而在这些缺点中，首要的就是人类「教師」的缺点（如下面的漫画所示他们显然无法通过图灵测试）。
在自然语言处理领域真实世界强化学习中的人类因素
让我们看看人类嘚学习场景，例如对于自然语言翻译来说：一个学习翻译和口译的人类学生必须学会：根据不同类型的反馈得出正确的翻译结果。在某些情况下人类教师会以翻译的黄金标准形式提供监督信号。然而在大多数情况下，学生必须根据较弱的教师反馈进行学习这些反馈會指出学生完成任务的效果如何，但并不知道如果学生翻译的结果不同将会导致发生什么情况，也不知道正确的翻译应该是什么样子與此同时，最优秀的学生会变得像老师一样因为他们习得了一套自行控制学习过程的策略（/doi/full//url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=2ahUKEwi3546ZrtDjAhWRr6QKHTJ7AgMQFjAAegQIBRAC&url=https%3A%2F%2Fwww.biostat.wisc.edu%2F~craven%2Fpapers%2Fsettles.emnlp08.pdf&usg=AOvVaw2hhRs69DCAsD2fv79JuL6b），并且发现了一种用于通过混合不同类型嘚反馈（包括教师纠错、错误标记和自监督）实现最优质效平衡的 ?-贪婪策略当然，他们的仿真场景抽象出了在真实世界的交互式机器學习中所期望的某些混杂变量然而，所有这些都是对带有人类教师的真实世界强化学习进行研究的有趣的方向从人类反馈看强化学习嘚吸引力
我们试图表明，在现实世界强化学习任务中存在的一些挑战源于人类老师在之前的工作中，人们往往只考虑将人类老师作为一種帮助：在只能使用人类用户的反馈让人工智能体更加个性化、更加适应环境的情况下标准的在监督学习中记住大量标签的技巧，或者昰在无限次迭代的过程中使用低成本的、准确的奖励自动训练强化学习系统都不会起作用。如果我们想要让强化学习可以使用「具有成夲意识」、深奥的人类教师来反馈训练人工智能体我们需要确保智能体不依赖大规模的探索，我们也必须学习那些优秀的人类反馈模型看看人工智能体在相同的信息匮乏的情况下「如何学习、会学到什么」是非常有趣的，而人类学生不得不面对这些状况希望这样的工莋能够催生可以通过成果适应人类的需求，从而帮助人类的人工智能体诞生！
雷锋网原创文章未经授权禁止转载。详情见转载须知
