你好,游客 登录
背景:
阅读新闻

什么是机器学习做不到的呢?

[日期:2017-07-20] 来源:网络  作者: [字体: ]

 

1当输入有小幅扰动时,深度学习方法会失效。例如当颜色改变之后,图像识别就可能会崩溃。

2基于梯度优化的学习是非常慢的(除了慢,对于非凸的问题,梯度下降算法还可能陷入局部极值) 。需要许多许多步梯度下降才能捕获模式。高维预测十分困难。

3深度学习方法难以处理约束条件。和线性规划不同,它不能找到满足约束条件的解。

4复杂模型的训练是十分不稳定的。神经网络图灵机(Neural turing machines)和 生成式对抗网络常常训练失败,它们非常依赖初始的随机值。

5和图模型不同,深度神经网络和现实世界难以对应。不能提取因果结构。例如,对于影响因素检测问题。给出议员投票数据集,要检测关键影响因素。在深度神经网络中很难清晰表达。

6
强化学习方法很难伺候。模型表现十分依赖调参技巧。但是这个问题只在特定条件下出现。

7深度学习进行未知实体的推理是十分困难的。比如有一段击球手的视频,投手在画面外。

8在深度神经网络技术的世界里,我们尚不清楚怎样推断投手的存在。

9在线训练深度神经网络是很难的(参阅上文训练很慢的部分)。所以很难动态响应。

10一般情况下,智能行为都是离线训练的。

11人们常常提到深度网络的可解释性。我不认为这个问题像人们说的那样严重。但是,人类难以察觉深度网络学到的内容。我们凭什么保证偏见和种族主义的东西没有被学习到呢?看看那些讲 word2vec模型中的种族主义的文章吧。

12深度神经网络在解决逻辑问题上遇到困难。3SAT 求解器功能十分强大,但是很难嵌入到深度网络中。

13在处理尺度范围较大的特征时,深度神经网络的表现很差。和稳定的随机森林不同, 深度神经网络需要进行大量的特征调整。

14超参数搜索也很可怕。工程师不但要进行繁重的计算,还需要大量的手工调整结构。

这绝不是一份详尽的清单。所有这些都是值得思考(和进一步研究)的问题。

还有一个重要的问题:这些问题是深度网络固有的,还是工程上需要克服的挑战?

讲真,这很难说。有一些问题似乎可以解决。更多的硬件设备可以使自动超参数搜索变得可行。

一些前期结构可以进行自动归一化(auto-normalize),处理大尺度范围数据,所以特征处理也可以提升。

但是,逻辑、约束、隐含层和审查方面的问题可能更为严重。

不过,我很希望被打脸。深度学习工程师们都才华横溢,富有想象力。

此外,摩尔定律目前对GPU的表现依然有效。(但是能持续多久呢?TPUs 和定制硬件能拯救我们吗?)

所以,我对于这些挑战还是相对乐观的。尽管如此,我怀疑深度网络对广义的智能来说是不够的。

不过这可能是我个人的偏见。专业的工程师在预测方面往往很糟糕。埋头苦干太长时间了,以至于只见树木,不见森林。

收藏 推荐 打印 | 录入:admin | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款