基于感知损失网络的图像风格迁移研究文献综述

基于感知损失网络的图像风格迁移研究

（一）总览

图像风格迁移是指通过算法学习带有强烈艺术风格的图像，并利用计算机完成将艺术风格迁移到有一定内容的原图像上，使生成的图片既带有原图像的内容语义又带有风格图像的风格语义的技术。图像风格迁移的研究历史发展已久。近几年由于深度学习的巨大发展与市场强有力的推动下，图像风格迁移发展迅速，引起了众多深度学习学者以及有关图像处理领域爱好者的广泛关注。本文介绍了传统的风格迁移方法，梳理基于神经网络的风格迁移的发展脉络以及代表性成果，总结风格迁移发展现状并展望图像风格迁移的未来，为图像风格化的发展提供参考建议。

1. 研究的主要方法

根据风格迁移的发展，可以将风格迁移的方法分为：传统的风格迁移方法以及基于深度学习实现风格迁移的方法。传统的风格方法依赖于图像的浅层特征（比如颜色，纹理，形状等），实现图像风格化。基于深度学习的风格迁移方法利用卷积神经网络的特性，提取图像中复杂的抽象特征（比如字体的特征，艺术画作的风格等），进阶实现图像的风格迁移。

传统风格迁移方法的主要研究方法分为以下三个部分[1]：基于笔触渲染实现风格迁移、基于纹理合成实现风格迁移以及基于建模实现风格迁移。李大锦等人[2]为水墨画笔触的浓淡进行分区，通过训练手绘笔触统计颜色的误差实现将笔触渲染到内容中。基于纹理合成的风格迁移是将小面积的纹理样式映射到于物体曲面上，使生成的纹理在视觉上保持与原纹理结构的相似与连续。Efros等人[3]利用纹理块匹配用来约束纹理合成过程， 澎湃等人[4]改进Efros等人的方法，利用灰度控制图像完成对纹理合成的监督训练。基于建模实现风格迁移也很常见，韩守东[5]利用基于纹理建模实现场景结构特征的提取，Chen等人[6]研发的实时绘制系统可以做到交互式绘制逼真的数字绘画。

近年来深度学习的发展迅猛，智能语言的处理、语音识别、图像识别，遥感技术等[7]的发展都离不开深度学习的支持。有研究人员将深度学习中的神经网络应用在风格迁移上，不仅使得风格迁移有了巨大突破，还为深度学习的发展提供了可借鉴的经验。

文献[8]指出基于神经网络的风格迁移的分类（见表1），大致可以分为两类：基于在线图像优化的慢速图像风格化迁移算法以及基于离线模型优化的快速图像风格化迁移算法。前者可以分为基于统计分布的参数化慢速风格化迁移算法和基于马可夫算法的非参数化慢速风格化迁移算法，后者可以分为单模型单风格的快速风格化迁移算法、单模型多风格的快速风格化迁移算法和单模型任意风格的快速风格化。

表1： 基于神经网络实现风格迁移的研究归纳