你好,游客 登录 注册 发布搜索
背景:
阅读新闻

Yann LeCun创造的新词“预测学习”将要落脚于GANs?

[日期:2016-12-13] 来源:雷锋网  作者: [字体: ]

  编者按:本文原作者Carlos E. Perez,由雷锋网(公众号:雷锋网)编译整理。

  Yann LeCun在很多演讲中反复提到一个著名的“蛋糕”比喻:

  如果人工智能是一块蛋糕,那么强化学习( Reinforcement Learning)是蛋糕上的一粒樱桃,监督学习(Supervised Learning)是外面的一层糖霜,无监督学习( Unsupervised Learning)则是蛋糕胚。

  目前我们只知道如何制作糖霜和樱桃,却不知如何制作蛋糕胚。

  

Yann LeCun创造的新词“预测学习”将要落脚于GANs?

 

  到12月初巴塞罗那的NIPS 2016时,LeCun就开始使用“预测学习”(Predictive Learning)这个新词,来代替蛋糕胚“无监督学习”了。

  LeCun在演讲中说道:

  我们一直在错过一个关键因素就是预测(或无监督)学习,这是指:机器给真实环境建模、预测可能的未来、并通过观察和演示来理解世界是如何运行的能力。

  这是一个有趣的微妙的变化,暗示了LeCun对于“蛋糕”看法的改变。其观点认为在加速AI发展进程之前,有很多的基础性工作要完成。换句话就是,通过增加更多的能力(比如记忆、知识基础和智能体)来建立目前的监督式学习,这意味着在我们能够建造那个“预测性的基础层级”之前,还有很多漫长艰辛的路途要走。

  在其最新的 NIPS 2016的演讲中,LeCun放出了这么一张PPT,列出了AI发展中的障碍:

  

Yann LeCun创造的新词“预测学习”将要落脚于GANs?

 

  机器需要学习/理解世界是如何运行的(包括物理世界、数字世界、人等,获得一定程度的常识)

  机器需要学习大量的背景知识(通过观察和行动实现)

  机器需要观察世界的状态(以做出精准的预测和计划)

  机器需要更新并记忆对世界状态的估测(关注重大事件,记住相关事件)

  机器需要推理和规划(预测哪些行为,会最终导致理想的世界状态)

  预测学习,很显然要求其能够不仅在无人监督的情况下学习,而且还能够习得一种预测世界的模型。LeCun正在尝试改变我们对AI的固有分类的原因,或许是在表明,AI离最终的目标还有很多艰辛的路途要走。

  最近受雇于苹果的Ruslan Salakhudinov教授曾做过一个关于无监督学习的演讲,在他演示的这张PPT的最右下角,提到了“生成对抗网络”(GANs)。

  

Yann LeCun创造的新词“预测学习”将要落脚于GANs?

 

  GANs由相互竞争的神经网络组成:生成器和辨别器,前者试图产生假的图像,后者鉴别出真正的图像。

  GANs系统有趣的特点就是,一个封闭的形状损失函数并不是必须的。实际上,一些系统能够发现自己的损失函数,这是很令人惊喜的。但GANs网络的一个缺点,就是很难训练,这当中需要为一个非合作性的双方博弈,找到一个纳什均衡。

  Lecun在一个最近的关于无监督学习的演讲中称,对抗性网络是“20年来机器学习领域最酷的想法”。

  Elon Musk所资助的非营利研究组织OpenAI,对生成模型格外偏爱。他们的动力可以总结为理查德·费曼的一句名言“不是我创造的,我就不能理解”(What I cannot create, I do not understand)。费曼这里其实是指“首要原则”(First Principles)思考方法:通过构建验证过的概念来理解事物。

  在AI领域,或许就是指:如果一个机器能够生成具有高度真实感的模型(这是一大飞跃),那么它就发展出了对预测模型的理解。这恰好就是GANs所采取的方法。

  这些图片都是由GANs系统根据给定词汇生成的。比如,给定词汇有“红脚鹬”、“蚂蚁”、“修道院”和"火山",便生成了如下图像。

  

Yann LeCun创造的新词“预测学习”将要落脚于GANs?

 

  这些生成的图像很令人惊艳,我想很多人类都不会画得这样好。

  当然,这个系统也不是完美的,比如下面这些图像就搞砸了。但是,我见过很多人在玩“画图猜词”游戏时画得比这些糟糕多了。

  

Yann LeCun创造的新词“预测学习”将要落脚于GANs?

 

  目前的共识是,这些生成模型并不能准确捕捉到给定任务的“语义”:它们其实并不能理解“蚂蚁”、“红脚鹬”、"火山"等词的意义,但却能很好地进行模仿和预测。这些图片并不是机器基于原有训练图片库的再创造,而是根据通用模型(Generalized Model)所推断出的非常接近现实的结果。

  这种使用对抗性网络的方法,异于经典的机器学习方法。我们有两个互相竞争的神经网络,但又好像在共同协作达成一种“泛化能力”( Generalization)。

  在经典的机器学习领域,研究人员先定义一个目标函数,然后使用他最喜爱的优化算法。但这当中有一个问题,那就是我们都无法准确得知所定的目标函数是否是正确的。而GANs令人惊喜的地方在于,它们甚至能够习得自己的目标函数!

  这里一个迷人的发现就是,深度学习系统可塑性极强。经典的机器学习认为目标函数和约束条件都是固定的观念,或者认为最优算法是固定的观念,此时并不适用于机器学习领域了。而更令人惊喜的是,甚至元级(Meta-Level)方法也能够使用,也就是说,深度学习系统可以学习“如何学习”了(相关论文已经提交到 ICLR2017,比如这篇 https://openreview.net/pdf?id=Syg_lYixe)

  

Yann LeCun创造的新词“预测学习”将要落脚于GANs?

 

 

  Via Medium

收藏 推荐 打印 | 录入:admin | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款