【趣科研】AI界小仙女助你打造盛世美颜
2018/9/21 17:54:16 中国科学院自动化研究所

    

    CASIA点击蓝字关注我们↑↑↑↑

    

    

     横看是貂蝉

     侧看成黛玉

     一个你

     如何变出千个不同的你

     自动化所AI界小仙女

     手把手教你72变

     请注意……

     文末有彩蛋!

    

     没错

     这些图片表示的就是图像风格化的过程!

     划

     重

     点

    

     图像风格化又可以称为风格迁移，即将一张具有艺术特色的图像的风格迁移到一张普通的图像上，使原有的图像保留原始内容的同时，具有独特的艺术风格，如卡通、漫画、油画、水彩、水墨等。(吁~~~终于说完了!)

     这个功能是不是你期盼已久的呢，毕竟咱作为一个不是美术专业的普通人，也想让自己拍的风景照散发艺术清香，或者把自拍照(=?臭=?美=?照=?)变成素描画、卡通画。

     So easy，美图软件来一打!但找了半天还是没有自己喜欢的样式怎么办？这个时候让DIY图像风格化技术帮帮你!

     图像风格化方法提供"一键式生成工具"，不需要掌握专业的图片处理技术就能快速创作自己想要的图片效果，300年好品质，你值得拥有!(好了，知道了，下一条)

    

     当然，图像风格化的发展过程是漫长和艰辛的。在非真实感图形学中，图像艺术分为三种方法

     ①基于笔触渲染的方法(Stroke-based Rendering)：也就是学习风格图片中的笔触信息，但是这种方法不能简单地扩展到其他风格的迁移，所以其使用大大受限。

     ②基于图像类比的方法(Image Analogy)：需要很多成对儿的原图和风格结果图。(吐槽一下，我都有风格结果图了，还这么麻烦干啥)

     ③基于图像滤波的方法(Image Filtering)：速度快，可满足工业界落地的需求，但是这个方法太简单了，不容易做风格复杂的迁移。

     Part2：画风突变入正题

     近些年来，人工智能发展迅猛，深度学习也成为研究热点之一。随着深度学习在图像处理领域的发展，一种基于深度学习的快速图片风格化应运而生。这种图像风格化的方法大大提高了图片生成的速度，并且使生成的图片具有更好的视觉效果。

     °

     基于CNN的图像风格化

     图像风格化迁移这一领域的开山鼻祖Gatys首先在NIPS上发表了一篇新的基于CNN的纹理建模方法Texture Synthesis Using Convolutional Neural Networks，利用得到的Gram矩阵来表示图片的纹理信息，然后在2015年提出了用CNN做风格化处理的方法。这篇论文的关键发现在于风格和内容在卷积神经网络中的表达是可以分开的，不同层次所表达的信息不同(高层表示内容信息，低层表示风格信息)。

    

     Gatys提出用CNN进行图像风格化的模型结构

     论文思路：将原始图片，风格图片和初始化图片输入到卷积神经网络中，在卷积层计算初始化图片与原始图片之间内容的差异，与风格图片之间风格的差异，用损失函数表示。通过误差反传，采用梯度下降的方法不断更新初始化图片，直到产生令人满意的结果。但是这个方法耗时太长了，怎么满足众多小可爱的需求呢(毕竟还要等着发朋友圈)。

     2016年，我们的女神李飞飞提出了一种快速风格化的方法。这篇论文的重大突破在于大大缩短了生成图片的时间。在GPU上生成一张图片仅需零点几秒，是不是觉得女神做什么都很厉害啊!反正我是这么觉得的。文章中提出的网络结构包括图像转换网络和损失网络。图像转换网络是一个深度残差卷积网络，损失网络采用预训练VGG16网络结构。

    

     系统包括两个阶段：

     1. 训练模型阶段。网络中待训练模型参数是图像转换网络中的参数。输入训练集图片，通过一个转换函数将输入图像x转化成风格图像。将生成图片、风格图片、内容图片输入到损失网络中，计算图像转换网络输出的风格化结果图与内容图片(待转换图片)以及风格图片(目标风格图片)之间的差异，将这种差异用损失函数的形式表示，传递给图像转换网络，通过最小化总损失，更新图像转换网络参数，直到最终得到理想的模型。

     2. 图像生成阶段。这个时候只要输入一张原图，就可以得到风格化结果了，是不是觉得很方便呀，效果也是很好滴。

     °

     基于GAN的图像风格化

     风格化最近这么火热，GAN怎么能不来凑个热闹呢。看看2017年朱俊彦团队的工作Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks。是不是被效果惊艳到了!果然GAN在做图像生成任务，除了训练困难一点，别的没话说!

    

     论文思路：这篇论文提出了CycleGAN的结构，本质上是两个镜像对称的 GAN，构成了一个环形网络包含两个生成器，一个生成器把X域的图片转化为Y域的图片，另一个把Y域的图片转化为X域的图片，两个判别器分别判断图片是真实图片域内的图片还是生成图片。此外网络引入cycle-consistency loss，将X的图片转换到Y空间后，理论上还可以转换回来。CycleGAN不仅可以完成图像风格之间的转换，比如照片变艺术画，还可以进行图片季节迁移(夏天变冬天)和物种迁移(斑马变马)等任务。

    

     图解CycleGAN结构

     °

     图像风格化的应用场景

     当然现在图像风格化工作已经不局限于图像艺术化了，看下面的拓展应用，有没有觉得amazing!

    

     给爱车换个型

     搏一搏，单车变摩托

     赌一赌，汽车是陆虎

     语义风格迁移

    

    

     谁还不是个艺术家

     涂鸦变油画

    

    

     不修边幅的

     叫艺术

     肖像风格迁移

    

    

     懒人福音，告别手动上色

     样稿上色

    

    

     工业界的美颜杠把子

     没错，本仙女就是TFBOYS的阿姨粉儿

    

     °

     自动化所的研究成果

     这么有趣又实用的领域，怎么能少得了自动化所的研究人员参与呢。还记得(那年......)世界杯期间你狂热换的头像吗？

     Pick Pick Me!

    

    

     Yong Zhang, Weiming Dong et al. class="" />

    

     Zhang, Y., et al., Data-Driven Synthesis of Cartoon Faces Using Different Styles. IEEE Transactions on Image Processing, 2016. 26(1): p. 464-478.

     当然，还有很多风格化的方法啦，每年计算机视觉领域顶会针对这种场景应用都有层出不穷的优化方法。如果自己能动手做一做，也是很有成就感的呦~!

     °图像风格化知识图谱

     点击图片查看大图

    

    

     砸彩蛋啦!

     基于Tensorflow 的一个Tutorial Demo链接：

     https://zhuanlan.zhihu.com/p/24383274

     成功实现图像风格化任务的学霸们，后台私信小编，并附上结果图，就能获得自动化所惊喜小礼物喔!

     更多精彩内容，欢迎关注

     中科院自动化所官方网站：

     http://www.ia.ac.cn

     欢迎后台留言、推荐您感兴趣的话题、内容或资讯，小编恭候您的意见和建议!如需转载或投稿，请后台私信。

     作者：菲露露小仙女

     审稿：董未名

     排版：松栩栩、欧梨成

     编辑：鲁宁

     中科院自动化研究所

     微信：casia1956

     欢迎搭乘自动化所AI旗舰号!

     点击"阅读原文"进入Demo

    源网页  http://weixin.100md.com
返回 中国科学院自动化研究所 返回首页 返回百拇医药