你好,游客 登录
背景:
阅读新闻

人工智能老友记:三巨头论剑深度学习新方向

[日期:2017-10-17] 来源:机器之心  作者: [字体: ]

2017 年 10 月 10-11 号,REWORK 深度学习峰会在蒙特利尔举办,出席本次会议有不少加拿大和美东地区的业界大咖,其中包括 Uber ATG 负责人 Raquel Urtasun,Google Brain 的 Jasper Snoek 和 Hugo Larochelle,百度的 Greg Diamos,以及超过 600 名地区从业者。机器之心作为唯一来自亚洲的合作媒体对本次会议进行了现场报道。

不过真正撑起大会阵势的是深度学习界三位元老级人物——Geoffrey Hinton、Yann Lecun 和 Yoshua Bengio。

麦吉尔大学教授 Joelle Pineau 在 REWORK 蒙特利尔峰会台上采访 Hinton、 Lecun、和 Bengio。

Yann LeCun 在 1985 年慕名结识 Geoffrey Hinton,而 Yoshua Bengio 在读硕士时认识 LeCun。这三位科学家在相识的 32 年期间先后声名鹊起。Hinton 就此在讲台上调侃到:「我的工作最先得到注意,随后是 Yann。如今 Yoshua 真正发力了,我每隔几个星期就能在 arXiv 上看到他的佳作,都有点追不上他的思路了。」

自 2012 年 AlexNet 在 ImageNet 比赛上获得突破以来,学界、业界都在深度学习的高速发展中受益。然而台上的先驱们却认为今天的人工智能与人类智力的还相差甚远。目前的机器学习系统建立在监督式学习的基础上,不断地犯一些人类根本不会犯的错。系统依赖于肤浅的统计规律,并不能真正的理解世界。

面对这个困境,Hinton 和 Bengio 分别在大会上宣讲了自己的新理论:Capsules 和意识先验(The Conscious Prior)。

针对目前人工智能基础研究的瓶颈,Bengio 举了两个例子说明:第一个是婴儿理解世界。婴儿通过不断的互动和玩耍理解周围的世界,这是个无监督、自发式学习过程。他(她)通过自己的观察,明白环境中潜在的因果关系。

第二个是人类自带的应急机制。Bengio 在 18 岁时曾遭遇车祸,并在危险时刻成功自救。这是他人生第一次发生事故,然而大脑却在「零数据」的基础上,正确地教导身体做出了一系列应急反应。

根据以上两个案例总结,Bengio 认为现在的智能系统对物理架构理解的很深,却忽略了与环境互动、和人的意识在学习中所发挥的作用。目前的无监督学习训练目标也集中在以图像为主的像素空间,而不是包涵语义、更高级别的抽象空间。

机器应该模拟人类,建立智能体在感知、表征和意识之间的关系。

这其中表征(representation)是一个非常重要的概念。从深度学习浪潮兴起的最开始,科学家的目标就是不断学习更高层次、更为抽象的表征。目前的系统已经可以支持多维度的表征学习,随着抽象水平的上升,表征的层级也将递增。Bengio 举例说比如在语音素材里,从样本、到频谱带、声音、因素、词就跨越了很多层。

这一切都可以和以自然语言为代表、更为高层次的抽象概念挂钩,将以深度学习为代表的联结主义和符号主义结合。Bengio 提议使用无监督强化学习的方法,在虚拟环境中进行试验。

Bengio 着重提及了今年 9 月份在 arXiv 上发表了一篇标题为:意识先验(Conscious Prior)的论文。这个理论认为在实际行动的抽象空间里,应该有一个低维度的向量来表现意识。跟潜意识的大脑相比,显意识的维度很低,是脑海里最高级别的表征,通常可以用一到两个短语表示。意识为多维度的表征世界提供了约束,并且在陈述现实的时候比较准确,也因此在进行预测时意外的好用。

Hinton 也在会议上解释了自己最新的 Capsule 理论,意图代替传统的卷积神经网络。Capsule 把每一层神经元组合起来,装进「胶囊」(capsule)里面,在完成内部计算后输出每一层的压缩结果。这种结构的灵感来自于人脑的微柱体。一个「胶囊」有两个输出值:第一个对象的分类,第二个是对象的位置、朝向、大小、形状、体积和颜色等特征。

坐在台下的 Bengio 向 Hinton 提问

读者可以阅读机器之心之前发表的——浅析 Geoffrey Hinton 最近提出的 Capsule 计划。介于 Hinton 使用的幻灯片、演讲内容和举例与文中无差别,我们不展开复述。

就二者理论目前的应用方向来看,Hinton 的着重点是帮助机器处理静态和动态的视觉感知,能更好模拟人的视觉系统。而 Bengio 着重在机器对世界从表征延伸到语义层面的通俗理解,这个可以追溯到他早期使用神经网络做自然语言处理。从大方向上来看,Bengio 在推动通用人工智能的野心更大。

值得一提的是,二者在对智能的探索上都持续借鉴了人脑结构和认知神经科学。这种契合也奠定了主流人工智能基础研究的发展。

随后三人在台上重聚,再度聊起了彼此长达 30 多年的的学术友谊。在谈起三人之间最大的分歧时,LeCun 表示:「我们在研究方向上一样,解决的方法则大同小异。不过我记得有一段时间 Geoff 很喜欢用概率。」Bengio 立即披露了一个事实:「Yann 对使用概率解决问题很不感冒,他管 Geoff 叫概率警察。」

在对于未来人工智能研究的方向,LeCun 认为现在的研究将逐步被完善并且参数化,它的成果不会消失,但并不够用。我们需要新的架构,很多人看好动态架构(Dynamic Architecture)。自然语言处理研究也有很多有趣的进展。我们还需要训练超大学习系统,还需要将深度学习与更加离散,诸如推理的方法结合起来。

而 Hinton 的关注点更为具体:「我认为 Yann 和 Yoshua 也同意我的这个观点——目前最大障碍是无监督学习没有目标函数。我在 92 年发表的一篇论文将空间一致性作为目标函数,通过这样做我们可以学习更多层网络和更多的东西。」

最后当主持人 Joelle Pineau 询问是否有那种一解决就可以退休的课题时,现年 69 岁的 Hinton 表示需要解决机器翻译、并且让其真正理解所翻译的事物,这个课题需要花 10 年左右。现年 57 岁的 LeCun 希望帮助机器理解常识,认为这个课题需要花 10 年到 20 年。

「当然也有可能在一个星期内搞定。」Hinton 侧头望着台上的 LeCun 和 Bengio 抿嘴笑了笑。

收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款