你好,游客 登录
背景:
阅读新闻

存在比深度学习更好的技术吗?有人说脉冲神经网络和哥德尔机器

[日期:2017-10-19] 来源:新智元  作者: [字体: ]

【AI WORLD 2017世界人工智能大会倒计时20 天】

大会早鸟票已经售罄,现正式进入全额票阶段。还记得去年一票难求的AI WORLD 2016盛况吗?今年,即将于2017年11月8日在北京国家会议中心举办的AI World 2017世界人工智能大会上,我们请到CMU教授、冷扑大师发明人Tuomas Sandholm、 百度副总裁王海峰 、微软全球资深副总裁王永东、亚马逊AWS机器学习总监Alex Smola 、科大讯飞执行总裁胡郁,华为消费者事业群总裁邵洋、腾讯优图实验室杰出科学家贾佳亚 等国内外人工智能领袖参会并演讲,一起探讨中国与世界AI的最新趋势。点击文末阅读原文,马上参会!

来源:Quora

编译:常佩琦

【新智元导读】 什么比深度学习更好?由此引出深度学习的三大局限性:缺乏解释性、缺乏迁移能力以及巨大的计算资源消耗。什么比深度学习更好?脉冲神经网络和哥德尔机器算吗?

本文选自Quora上的提问,“什么比深度学习更好?”(What is better than deep learning?)

以下是来自用户Sridhar Mahadevan的回答。

(Sridhar Mahadevan 1990年毕业于罗格斯大学,获得计算机科学博士学位;是AAAI Fellow;是SRI International的执行主任)

在回答这个问题之前,必须先搞清楚“更好”是什么意思。有以下几种解读“更好”的方式。

  1. “更好”=标签数据集的精确度。在这种情况下,目前来看没有优于机器学习的。例如,深度学习在Imagenet或者言语/语言翻译等领域的大型标签数据集上表现最好。但是,根据我在机器学习30多年的研究经验,世事无常。正如一切奥运纪录都将被打破,总会有更新更好的事物出现。但目前为止,深度学习仍然拔得头筹。

  2. “更好”=结果解读能力。在这种情况下,深度学习表现不佳。Imagenet上令人印象深刻的30多层网络主要是黑盒子。除了尝试逐层解码每个隐藏单元的计算,黑盒子能够提供的洞察不多。这很乏味,是广泛使用深度学习的最大障碍。如果你有一辆使用深度学习的无人驾驶汽车,或有一个使用深度学习的自动化医疗程序,那就需要依照法律对其决策进行解释。为什么这辆车在撞到其它车前不停下?为什么这个程序断定患者是否患乳腺癌?如果这个问题不解决,深度学习无法得到更广泛应用。

  3. “更好”=跨任务转移。在这种情况下,深度学习表现依旧不佳。大部分深度学习奏效的原因是适应于任务。如果测试集分布和训练分布差别太大,除非经过专门训练,通常情况下深度学习表现不好。有些深度学习的变体专门产生通用特征,但仍在初级阶段。在适应和转移学习问题方面,还有更好的解决措施。

  4. “更好”=“计算成本更低”。深度学习表现不佳。这是因为深度学习需要重复多次,并需要高性能GPU电脑。

简而言之,如果你只在乎准确性(而不关注结果解读),如果你的测试数据与培训数据高度匹配,如果你有数百万的标签数据,以及有很多高性能GPU电脑,那么深度学习是最好的选择。反之,则有很多比深度学习更好的选择。

以下是来自用户Chansa Kabwe的回答:

(Chansa Kabwe是神经网络研究人员)

回答这个问题时,我将假设以下两点:“深度学习”是指第二代深层神经网络(dnn);“更好”是泛指机器学习和人工智能的表现。

除了理论太复杂或难以实现等因素,可能有很多系统比深度神经网络表现好,例如脉冲神经网络和哥德尔机器(spiking neural networks and the gödel machine)

脉冲神经网络 (snn)已被归为第三代神经网络,并利用Hodgkin-Huxley,izhikevich,Fitzhugh-Nagumo等神经元生物模型。在1996年的论文里,Wolfgang Maas表明 SNNs表现优于第二代神经网络。神经元芯片试图通过在IC上直接实施snn来利用这一理论。IBM的truenorth芯片是一个很好的例子。

哥德尔机器最初由Jürgen Schmidhuber设计,是一个在数学上完全自我参照、自我完善的问题解决者。理论上要比深度学习更好。深度学习是哥德尔机器的一个变体,缺少自我反思等重要部分。哥德尔机器并未完全实施,但Steunebrink和Schmidhuber的工作已取得了实际进展。

总而言之,我们还不完全了解智能,而深度学习只能利用其中一小部分。深度学习的确是一个很好的解决方案,但有一些缺点。如果解决这些缺点,将会有更好的系统。例如,DeepMind的可微分神经计算机(dnc)试图解决神经网络中的遗忘性问题。

收藏 推荐 打印 | 录入:Cstor | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款