你好,游客 登录
背景:
阅读新闻

【变狗为猫】伯克利图像迁移cycleGAN,猫狗互换效果感人

[日期:2017-08-01] 来源:新智元  作者: [字体: ]

【新智元导读】日本 NTT Data 的研究者用 cycleGAN 网络,做了一个“将狗和猫的图像互换”的模型,并且生成的猫或者狗的姿势和毛色与输入的图像保持一致。作为图像研究的重要课题,这个项目取得了不错的进步。

GAN(生成对抗网络)为图像变换任务带来了很多的惊喜,受到很多研究者的关注。例如前阵子很火的“画猫”项目(edges2cats):勾勒出物体的边缘,神经网络能够自动补全图像信息,生成对应的图片(图1)。也有人脑洞大开,用DCGAN、WGAN等4种GAN来生成“猫图”(图2)。最近,日本NTT Data的itok_msi小哥用其中比较新的cycleGAN网络,做了一个“将狗的图像变成猫”的模型,并且生成的猫的姿势和毛色与作为输入的狗的图像保持一致。

图1:edges2cats 画猫

图2:WGAN 生成的猫咪图像

cycleGAN

cycleGAN是加州大学伯克利分校 Jun-Yan Zhu等人提出的一种图像风格转换技术。它的想法是在没有成对的训练数据的情况下,实现图像风格转换。cycleGAN效果令人印象深刻,它可以让不同画家风格的画作还原成照片,将夏天变成冬天,将马变成斑马,橘子变成苹果,等等(图3)。

图3:cycleGAN 的图像转换效果

cycleGAN 的具体方法和实现细节请参看论文,论文地址:https://arxiv.org/abs/1703.10593

cycleGAN猫狗转换的难点

实际上,cycleGAN的原论文(Zhu, Jun-Yan, et al., 2017)中也提出了将狗的图像变成猫的想法,但论文中的实验结果是失败的(图4)。

图4:cycleGAN将狗转变成猫的是失败例子

这是由于猫和狗的毛色、质感不同,尤其是脸型差异非常大。原论文中也指出这是往后需要研究的一个课题。

尤其是,Gdog→cat(将狗转变成猫)出来的图像几乎与原图一模一样。原因是什么呢?作者提出了2个可能的原因:

1. cycle consistency loss的效果太强

要将猫和狗进行变换,就不得不牺牲输入图像的一部分信息。这就需要使cycle consistency loss增大。一方面,假如输入图像和输出的图像完全一样,也就是cycle consistency loss需要最小。我们想要将狗变成猫,那么完全一样是不行的,也就是cycleGAN的损失需要大一点。但是,这里的问题出在狗和猫有一些局部特征是非常相似的。

2. 狗和猫的局部特征非常相似

cycleGAN的判别器(DA,DB)采用patchGAN(参考文献[1][2])的机制学习。在鉴别输入的图像是生成器生成的图像,还是源图像时,不使用整个图像,而是使用图像的局部(patch)进行判别。

判别器网络变小虽然有好处,但是猫和狗有些局部特征非常相似,使得学习相当困难(图5)。换句话说,就算Gdog→cat(将狗变换成猫)生成的结果与源图像完全一致,也可能欺骗判别器说变换的效果非常好。

图5:狗和猫有一些局部特征非常相似

修改版的cycleGAN

针对上面的2个问题,对cycleGAN进行2个简单的修改。

1. 让判别器观察全局特征进行判断

简单地说,在patchGAN的判别器增加一层,LGAN同时考虑全局的信息和局部的信息。

2. 在误差函数上将cycle consistency loss的比例变小

误差函数上cycle consistency loss的系数减小到原来的1/10。

实验

在cycleGAN论文作者开源的pytorch实现基础上稍作修改,实验环境是aws的p2.2xlarge实例。

使用数据

使用The Oxford-IIIT Pet Dataset,其中狗的图像1922幅,猫的图像3922幅作为训练数据,其余作为验证数据。

实验结果

比较好的结果(猫→狗)

似乎长得蠢蠢的猫输出的结果也是蠢蠢的狗

比较好的结果(狗→猫)

失败的结果(猫→狗)

失败的结果(狗→猫)

思考

虽然作了一些修改,但有时候不能得到期待的结果,尤其是:

  • 动物的毛色信息没有保留

  • 背景和动物融为一体

  • 生成的图像非常模糊

  • 变换前后的猫狗图像看起来没什么区别

失败的例子有点多。

原因可能是:

  • 修改后的网络误差比例太小

  • 鉴别器的网络太大导致学习效果不好

追加实验结果

在上面的实验的基础上,针对实验失败的可能原因继续进行修改后,得到了比较好的一些结果:

比较好的结果(猫→狗)

比较好的结果(狗→猫)

失败的结果(猫→狗)

失败的结果(狗→猫)

总的来说,如果狗和猫的图像是朝向正面,结果会比较好。这是由于从正面看,猫和狗的五官有相似之处。但是在上面两个例子中,如果图像中猫或狗的脸朝向侧面,狗有大耳朵而猫没有,需要进行大胆的变换,依然是相当难的。

参考文献

[1]Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros, Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks, arXiv preprint arxiv:1703.10593, 2017.

[2]Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros, Image-to-Image Translation with Conditional Adversarial Networks, Image-to-Image Translation with Conditional Adversarial Networks, arXiv preprint arxiv:1611.07004 , 2016.

收藏 推荐 打印 | 录入:admin | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款