你好,游客 登录 注册 发布搜索
背景:
阅读新闻

厉害了我的AI,唇语都会读了

[日期:2016-11-11] 来源:爱范儿  作者: [字体: ]

  由于唇语解读技术的出现,我们在体育比赛中越来越多地看到这样的画面:

  

fc-barcelona-v-manchester-city-uefa-champions-league-group-stage-group-c

 

  图片来自:Mirror

  或是这样的:

  

zidane-cropped_1apz3l5ewhq2l157fpn4fgytab

 

  图片来自:Goal.com

  事实上,即使是专业的唇语解读者,其准确率也只有 20%-60%。所以很多时候,一知半解的“专家”们基本也是依靠脑洞强行解读的。被专家们坑害多次后,球员们只好采取这种令人尴尬的方式交流了……

  不过,牛津大学最新研发的人工智能系统,有望大幅提高唇语解读的准确性。

  

lipnet

 

  图片来自:视频截图

  根据牛津大学新发表的论文,这个叫 LipNet 的人工智能系统,能够将视频中人物的嘴巴活动与其台词进行匹配,准确率高达 93.4%。而在此之前,即使是最先进的逐字对照系统,其准确率也只有 79.6%。

  研究人员表示,他们换了一种思维方式,不是通过可视音素(语音中最小的不可再分解的单位)系统来训练 AI 识别每一种唇部活动,而是让它能够一次性处理整个句子。这就使得 AI 能够自己学习字母与唇部细微变化之间的对应关系。

  在训练过程中,研究人员向 AI 展示了近 29000 个标有正确文本的视频,每个视频长度为 3 秒。为了了解人类唇语解读者在面对同样的任务时的表现,该团队还招募了三名实验人员,让他们随机观看了其中的 300 个视频。

  

lipnet

 

  结果显示,参与实验的人员平均错误率为 47.7%,而 AI 只有 6.6%。

  不过,这不并代表 AI 就能准确读懂唇语了。因为在训练时,研究人员使用的视频都是经过精心策划的,视频画面光线充足,每个人都正对镜头,且吐字清晰、发音标准,台词也是类似于“立即将蓝色放入 m1”这种包含命令、颜色、介词、字母、数字等格式的句子。

  如果让 AI 去解读 YouTube 上随机挑选的视频,效果可能不见得比人类好多少。

  值得一的是,这个项目得到了来自 Alphabet 旗下的 DeepMind 实验室的资助。

  OpenAI 的杰克·克拉克(Jack Clark)认为,LipNet 还需要进行以下三个方面的改进,即通过大量真实环境中人物的讲话视频,让 AI 能够从多个角度阅读嘴唇,并增加短语的类型。

  当然,开发这样一个 AI 可不是为了解满足球迷和媒体的八卦之魂的,听力受损人群才是这一工具的目标。

  如果唇语解读 AI 能够得到完善,它将帮助数百万听力障碍者“听懂”其他人的对话。此外,通过听取视频快速生成准确的字幕也是其可能的应用领域之一。

  题图来自:Taringa

收藏 推荐 打印 | 录入:admin | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款