0
雷锋网:雷锋字幕组编译系列短视频《 2 分钟论文 》,带大家用碎片时间阅览前沿技术,了解 AI 领域的最新研究成果。
翻译/ 邓玉恺
整理/ 孙云 凡江
本期论文:Unsupervised Image-to-Image Translation Networks
论文译名:无监督以图生图(图到图迁移网络)
英伟达推出的新技术无监督图到图迁移网络,可以根据已有的图像,创造出不同场景下的新图像。比如,把冬天变成夏天,把城市照片换成城市地图,将白天公路换成夜间公路。
这种技术的一种典型实现方式是使用生成对抗网络(Generative Adversarial Networks,简称GANS)。GANS是一对神经网络,其中的生成网络负责生成合成图像以欺骗判别网络,而判别网络尝试区分生成器生成的合成图像和真实图像。
这两个神经网络共同学习,其中生成网络尝试生成更真实的图像以欺骗判别网络,而判别网络则尝试着能更好的区分真实图像和合成图像。这个对抗过程将使得这两个网络变得越来越好,最终的结果也表明了该技术生成的转化图相当真实。
▷ 观看雷锋网论文解读大概需要 4 分钟
在雷锋网介绍的这篇论文中,作者使用了6个网络而不是2个网络。在一项早期的图像转化工作中,研究者依靠的是循环一致性约束。这意味着我们可以假设源图像可以被转换成目标图像,而目标图像可以再反过来转换成和源图像十分相似的图像。该假设的成立意味着,图像转化并非任意随机,而是隐含了深层次的算法转换。
这项新技术构建在一个假设上,假定存在一个隐空间,在这个隐空间中输入和输出图像可以共存。这个隐空间便是复杂数据的一种直观、简洁的描述。但该技术仍然存在的局限是,训练过程过度依赖对抗网络,没有显在的训练指标,训练过程收敛的临界点自然无从得知。
冬天变成夏天
哈士奇变成柯基
现实世界视频转变成游戏视频
还可以给人换个发型或是戴上墨镜,甚至加个笑容
论文:https://arxiv.org/pdf/1703.00848.pdf
代码:https://github.com/mingyuliutw/UNIT
雷峰网原创文章,未经授权禁止转载。详情见转载须知。