你好,游客 登录
背景:
阅读新闻

深度学习Memory & Attention技术最新进展 (75PPT下载)

[日期:2016-10-28] 来源:新智元  作者: [字体: ]

【新智元导读】Memory 和 Attention 技术目前在深度学习中得到了较为广泛的采用,本文总结了这两项技术的最前沿进展。其中包括在分类、问答、神经网络翻译等方面的应用。作者在最后分析了Pointer Networks 在深度学习中的优势和原理。

深度学习中 Memory 和 Attention 的前沿进展

作者:Stephen Merity

  分类任务

  

  

  拥有好的数据,深度学习能在图像和文本分类中做到极高的准确率。而分类器的训练其实是非常容易的:6年级和7年级的中学生创建了一个定制的视觉分类器,准确率达到90%。

  

  在医疗诊断方面的应用:颅内出血检查

  

  

  ImageNet 中分类错误率逐年降低

  

  GPU 提升表现

  

  但是,深度学习并不是万能的。

  问答任务

  

  

  

  

  

  

  信息瓶颈

  

  在什么地方,你的模型被迫使用一个压缩表示?最重要的是,这是一件好事吗?

  

  

  神经网络与压缩,是不是似曾相似?

  

  

  现实世界中,没有人会进行CNN压缩

  

  

  除非是Magic Pony

  

  推特与Magic Pony已经达成合作。

  词向量

  

  

  

  

  

  

  “dog”这个单词可以转化成100个维度的向量

  

  

  

  

  

  

  

  

  

  

  通过Word2vec 的词向量

  (少量)Memory,(无)Attention

  

  从输入层到隐藏层再到输出层

  

  

  

  递归神经网络(RNN)的例子

  

  

  神经机器翻译

  

  

  Attention 与 Memory

  

  神经机器翻译中的应用

  动态记忆网络中的问答

  

  

  

  

  

  结果,聚焦三个实验:文本、视觉和Attention 可视化

  

  

  

  

  

  问答任务中的Attention 和 Memory

  

  

  

  

  

  

  Pointer Networks

  

  

  

  

  

  

  

  

  

  

  

  

  

收藏 推荐 打印 | 录入:admin | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款