太阳城集团

  • / 21
  • 下载费用:30 金币  

图像处理方法及装置.pdf

摘要
申请专利号:

太阳城集团CN201611191904.2

申请日:

2016.12.21

公开号:

CN106778928A

公开日:

2017.05.31

当前法律状态:

实审

有效性:

审中

法律详情: 实质审查的生效IPC(主分类):G06K 9/74申请日:20161221|||公开
IPC分类号: G06K9/74; G06K9/46 主分类号: G06K9/74
申请人: 广州华多网络科技有限公司
发明人: 许鹏
地址: 511442 广东省广州市番禺区南村镇万博二路79号万博商务区万达商业广场北区B-1栋24层
优先权:
专利代理机构: 北京博思佳知识产权代理有限公司 11415 代理人: 王茹
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

太阳城集团CN201611191904.2

授权太阳城集团号:

|||

法律状态太阳城集团日:

太阳城集团2017.06.23|||2017.05.31

法律状态类型:

实质审查的生效|||公开

摘要

本申请公开了一种图像处理方法及装置,所述方法包括:获取需要转换风格的目标图像以及作为风格转换参照的参照图像;获取与所述目标图像对应的掩膜图像,所述目标图像内的目标区域以及其他区域,在所述掩膜图像内相应区域的灰度参数之和为单位1,且两个相应区域的灰度参数不同;获取与所述掩膜图像对应的风格转换网络,所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像分,别与所述掩膜图像进行点乘处理所得;将所述目标图像和所述参照图像分别输入所述风格转换网络,获得风格转换后的目标图像。实施本申请,能够对目标图像的目标区域和其他区域进行不同程度的风格转换,降低对部分区域的结构破坏程度,提高图像转换质量。

权利要求书

1.一种图像处理方法,其特征在于,包括以下步骤:
获取需要转换风格的目标图像以及作为风格转换参照的参照图像;
获取与所述目标图像对应的掩膜图像,其中,所述目标图像内的目标区域以及其他区
域,在所述掩膜图像内相应区域的灰度参数之和为单位1,且两个相应区域的灰度参数不
同;
获取与所述掩膜图像对应的风格转换网络,其中,所述风格转换网络的各特征图像由
训练后的风格转换模型的各特征图像,分别与所述掩膜图像进行点乘处理所得;
将所述目标图像和所述参照图像分别输入所述风格转换网络,获得风格转换后的目标
图像。
2.根据权利要求1所述的方法,其特征在于,所述获取与所述目标图像对应的掩膜图
像,包括:
识别所述目标图像的目标区域;
通过掩膜生成所述目标区域的第一掩膜,所述第一掩膜对应的灰度参数为α,α大于0且
小于1;
通过掩膜生成所述其他区域的第二掩膜,所述第二掩膜对应的灰度参数为1-α;
对应两个区域在所述目标图像内的位置关系,对所述第一掩膜与所述第二掩膜进行图
像合成,生成与所述目标图像对应的掩膜图像。
3.根据权利要求2所述的方法,其特征在于,所述对应两个区域在所述目标图像内的位
置关系,对所述第一掩膜与所述第二掩膜进行图像合成,生成与所述目标图像对应的掩膜
图像,包括:
对应两个区域在所述目标图像内的位置关系,对所述第一掩膜与所述第二掩膜进行图
像合成;
对合成后的图像进行高斯模糊,生成与所述目标图像对应的掩膜图像。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括所述训练后的风格转换模
型的训练步骤:
从训练样本集中选取预设组数的训练图像,每组训练图像包括需要转换风格的第一图
像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像;
设置各组训练图像的训练次序,并选取出第一次序的一组训练图像;
对选取出的每组训练图像执行如下迭代过程:
将所述第一图像输入全卷积网络,获得所述第一图像的特征数据;
将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络,获取所
述卷积神经网络的各特征图像;
将获取的各特征图像分别与所述第三图像进行点乘,生成优化后的特征图像;
基于各优化后的特征图像,计算所述卷积神经网络的两个损失函数,生成对应该组训
练图像的损失函数;
调整所述全卷积网络和所述卷积神经网络的网络参数;
根据设置的训练次序选取下一次序的一组训练图像,并返回执行上述迭代过程;
当次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时,终止上述迭代
过程,并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模
型。
5.根据权利要求4所述的方法,其特征在于,所述获取与所述掩膜图像对应的风格转换
网络,包括:
将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘,生成优化
后的特征图像;
基于优化后的特征图像,计算所述卷积神经网络的两个损失函数;
将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数;
将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述目标图像为人物图像,所
述目标区域为人脸区域,所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且
小于1。
7.一种图像处理装置,其特征在于,包括:
输入图像获取模块,用于获取需要转换风格的目标图像以及作为风格转换参照的参照
图像;
掩膜图像获取模块,用于获取与所述目标图像对应的掩膜图像,其中,所述目标图像内
的目标区域以及其他区域,在所述掩膜图像内相应区域的灰度参数之和为单位1,且两个相
应区域的灰度参数不同;
转换网络获取模块,用于获取与所述掩膜图像对应的风格转换网络,其中,所述风格转
换网络的各特征图像由训练后的风格转换模型的各特征图像,分别与所述掩膜图像进行点
乘处理所得;
图像风格转换模块,用于将所述目标图像和所述参照图像分别输入所述风格转换网
络,获得风格转换后的目标图像。
8.根据权利要求7所述的装置,其特征在于,所述掩膜图像获取模块包括:
目标区域识别模块,用于识别所述目标图像的目标区域;
第一掩膜模块,用于通过掩膜生成所述目标区域的第一掩膜,所述第一掩膜对应的灰
度参数为α,α大于0且小于1;
第二掩膜模块,用于通过掩膜生成所述其他区域的第二掩膜,所述第二掩膜对应的灰
度参数为1-α;
掩膜图像生成模块,用于对应两个区域在所述目标图像内的位置关系,对所述第一掩
膜与所述第二掩膜进行图像合成,生成与所述目标图像对应的掩膜图像。
9.根据权利要求8所述的装置,其特征在于,所述掩膜图像生成模块包括:
图像合成模块,用于对应两个区域在所述目标图像内的位置关系,对所述第一掩膜与
所述第二掩膜进行图像合成;
高斯模糊模块,用于对合成后的图像进行高斯模糊,生成与所述目标图像对应的掩膜
图像。
10.根据权利要求7所述的装置,其特征在于,所述装置还包括模型训练模块,所述模型
训练模块包括:
训练样本选取模块,用于从训练样本集中选取预设组数的训练图像,每组训练图像包
括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应
的掩膜图像的第三图像;
训练次序设置模块,用于设置各组训练图像的训练次序,并选取出第一次序的一组训
练图像;
迭代模块,用于对选取出的每组训练图像执行迭代过程;
所述迭代模块还包括:
特征数据获取模块,用于将所述第一图像输入全卷积网络,获得所述第一图像的特征
数据;
特征图像获取模块,用于将所述第一图像、所述第二图像以及获取的特征数据分别输
入卷积神经网络,获取所述卷积神经网络的各特征图像;
点乘处理模块,用于获取的各特征图像分别与所述第三图像进行点乘,生成优化后的
特征图像;
损失函数生成模块,用于基于各优化后的特征图像,计算所述卷积神经网络的两个损
失函数,生成对应该组训练图像的损失函数;
网络参数调整模块,用于调整所述全卷积网络和所述卷积神经网络的网络参数;
迭代返回模块,用于根据设置的训练次序选取下一次序的一组训练图像,并返回执行
上述迭代过程;
风格转换模型确定模块,用于在次序相邻的两组训练图像的损失函数的差值满足预设
的损失条件时,终止上述迭代过程,并确定所述迭代过程调整后的全卷积网络和卷积神经
网络为训练后的风格转换模型。
11.根据权利要求10所述的装置,其特征在于,所述转换网络获取模块包括:
优化特征生成模块,用于将所述训练后的风格转换模型的各特征图像分别与所述掩膜
图像进行点乘,生成优化后的特征图像;
损失函数计算模块,用于基于优化后的特征图像,计算所述卷积神经网络的两个损失
函数;
损失函数更新模块,用于将计算所得的两个损失函数更新为所述训练后的风格转换模
型的损失函数;
转换网络确定模块,用于将更新损失函数后的风格转换模型确定为与所述掩膜图像对
应的风格转换网络。
12.根据权利要求7至11中任一项所述的装置,其特征在于,所述目标图像为人物图像,
所述目标区域为人脸区域,所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5
且小于1。

说明书

图像处理方法及装置

技术领域

本申请涉及计算机技术领域,尤其涉及图像处理方法及装置。

背景技术

随着相机、手机等具备照相功能的设备增多,人们日常生活中拍摄照片也更加频
繁和方便。同时,随着社交平台的发展,越来越多的人喜欢通过照片在社交平台展示他们的
日常生活。而拍照的人们可能并非专业的摄影人员,缺乏专业摄影技能,拍出的照片会存在
曝光不足、色彩饱和度低等缺陷。

对于人们日常生活中拍摄的照片,通过某些图像处理软件的风格转换处理功能,
对同一照片进行整体统一的风格转换处理,可以克服照片本身存在的曝光不足、色彩饱和
度低等缺陷,使得照片具有艺术照的效果。

发明内容

本申请提供图像处理方法及装置,能够对图像的不同区域进行不同程度的风格转
换处理,降低对图像中部分区域的原有结构的破坏程度,提高图像处理质量。

根据本申请实施例的第一方面,提供一种图像处理方法,包括以下步骤:

获取需要转换风格的目标图像以及作为风格转换参照的参照图像;

获取与所述目标图像对应的掩膜图像,其中,所述目标图像内的目标区域以及其
他区域,在所述掩膜图像内相应区域的灰度参数之和为单位1,且两个相应区域的灰度参数
不同;

获取与所述掩膜图像对应的风格转换网络,其中,所述风格转换网络的各特征图
像由训练后的风格转换模型的各特征图像,分别与所述掩膜图像进行点乘处理所得;

将所述目标图像和所述参照图像分别输入所述风格转换网络,获得风格转换后的
目标图像。

在一个实施例中,所述获取与所述目标图像对应的掩膜图像,包括:

识别所述目标图像的目标区域;

通过掩膜生成所述目标区域的第一掩膜,所述第一掩膜对应的灰度参数为α,α大
于0且小于1;

通过掩膜生成所述其他区域的第二掩膜,所述第二掩膜对应的灰度参数为1-α;

对应两个区域在所述目标图像内的位置关系,对所述第一掩膜与所述第二掩膜进
行图像合成,生成与所述目标图像对应的掩膜图像。

在一个实施例中,所述对应两个区域在所述目标图像内的位置关系,对所述第一
掩膜与所述第二掩膜进行图像合成,生成与所述目标图像对应的掩膜图像,包括:

对应两个区域在所述目标图像内的位置关系,对所述第一掩膜与所述第二掩膜进
行图像合成;

对合成后的图像进行高斯模糊,生成与所述目标图像对应的掩膜图像。

在一个实施例中,所述方法还包括所述训练后的风格转换模型的训练步骤:

从训练样本集中选取预设组数的训练图像,每组训练图像包括需要转换风格的第
一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图
像;

设置各组训练图像的训练次序,并选取出第一次序的一组训练图像;

对选取出的每组训练图像执行如下迭代过程:

将所述第一图像输入全卷积网络,获得所述第一图像的特征数据;

将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络,获
取所述卷积神经网络的各特征图像;

将获取的各特征图像分别与所述第三图像进行点乘,生成优化后的特征图像;

基于各优化后的特征图像,计算所述卷积神经网络的两个损失函数,生成对应该
组训练图像的损失函数;

调整所述全卷积网络和所述卷积神经网络的网络参数;

根据设置的训练次序选取下一次序的一组训练图像,并返回执行上述迭代过程;

当次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时,终止上述
迭代过程,并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换
模型。

在一个实施例中,所述获取与所述掩膜图像对应的风格转换网络,包括:

将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘,生成
优化后的特征图像;

基于优化后的特征图像,计算所述卷积神经网络的两个损失函数;

将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数;

将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。

在一个实施例中,所述目标图像为人物图像,所述目标区域为人脸区域,所述目标
区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。

根据本申请实施例的第二方面,提供一种图像处理装置,包括:

输入图像获取模块,用于获取需要转换风格的目标图像以及作为风格转换参照的
参照图像;

掩膜图像获取模块,用于获取与所述目标图像对应的掩膜图像,其中,所述目标图
像内的目标区域以及其他区域,在所述掩膜图像内相应区域的灰度参数之和为单位1,且两
个相应区域的灰度参数不同;

转换网络获取模块,用于获取与所述掩膜图像对应的风格转换网络,其中,所述风
格转换网络的各特征图像由训练后的风格转换模型的各特征图像,分别与所述掩膜图像进
行点乘处理所得;

图像风格转换模块,用于将所述目标图像和所述参照图像分别输入所述风格转换
网络,获得风格转换后的目标图像。

在一个实施例中,所述掩膜图像获取模块包括:

目标区域识别模块,用于识别所述目标图像的目标区域;

第一掩膜模块,用于通过掩膜生成所述目标区域的第一掩膜,所述第一掩膜对应
的灰度参数为α,α大于0且小于1;

第二掩膜模块,用于通过掩膜生成所述其他区域的第二掩膜,所述第二掩膜对应
的灰度参数为1-α;

掩膜图像生成模块,用于对应两个区域在所述目标图像内的位置关系,对所述第
一掩膜与所述第二掩膜进行图像合成,生成与所述目标图像对应的掩膜图像。

在一个实施例中,所述掩膜图像生成模块包括:

图像合成模块,用于对应两个区域在所述目标图像内的位置关系,对所述第一掩
膜与所述第二掩膜进行图像合成;

高斯模糊模块,用于对合成后的图像进行高斯模糊,生成与所述目标图像对应的
掩膜图像。

在一个实施例中,所述装置还包括模型训练模块,所述模型训练模块包括:

训练样本选取模块,用于从训练样本集中选取预设组数的训练图像,每组训练图
像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像
对应的掩膜图像的第三图像;

训练次序设置模块,用于设置各组训练图像的训练次序,并选取出第一次序的一
组训练图像;

迭代模块,用于对选取出的每组训练图像执行迭代过程;

所述迭代模块还包括:

特征数据获取模块,用于将所述第一图像输入全卷积网络,获得所述第一图像的
特征数据;

特征图像获取模块,用于将所述第一图像、所述第二图像以及获取的特征数据分
别输入卷积神经网络,获取所述卷积神经网络的各特征图像;

点乘处理模块,用于获取的各特征图像分别与所述第三图像进行点乘,生成优化
后的特征图像;

损失函数生成模块,用于基于各优化后的特征图像,计算所述卷积神经网络的两
个损失函数,生成对应该组训练图像的损失函数;

网络参数调整模块,用于调整所述全卷积网络和所述卷积神经网络的网络参数;

迭代返回模块,用于根据设置的训练次序选取下一次序的一组训练图像,并返回
执行上述迭代过程;

风格转换模型确定模块,用于在次序相邻的两组训练图像的损失函数的差值满足
预设的损失条件时,终止上述迭代过程,并确定所述迭代过程调整后的全卷积网络和卷积
神经网络为训练后的风格转换模型。

在一个实施例中,所述转换网络获取模块包括:

优化特征生成模块,用于将所述训练后的风格转换模型的各特征图像分别与所述
掩膜图像进行点乘,生成优化后的特征图像;

损失函数计算模块,用于基于优化后的特征图像,计算所述卷积神经网络的两个
损失函数;

损失函数更新模块,用于将计算所得的两个损失函数更新为所述训练后的风格转
换模型的损失函数;

转换网络确定模块,用于将更新损失函数后的风格转换模型确定为与所述掩膜图
像对应的风格转换网络。

在一个实施例中,所述目标图像为人物图像,所述目标区域为人脸区域,所述目标
区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。

应用本申请实施例,通过获取与所述目标图像对应的掩膜图像、以及与所述掩膜
图像对应的风格转换网络,再将所述目标图像和所述参照图像分别输入所述风格转换网
络,获得风格转换后的目标图像。由于所述目标图像内的目标区域以及其他区域,在所述掩
膜图像内相应区域的灰度参数之和为单位1,且两个相应区域的灰度参数不同,所述风格转
换网络的各特征图像由训练后的风格转换模型的各特征图像,分别与所述掩膜图像进行点
乘处理所得,能够获得的风格转换后的图像,对应目标图像的目标区域和其他区域进行了
不同程度的风格转换,可以降低对部分区域的结构破坏程度,从而提高图像转换质量。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不
能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施
例,并与说明书一起用于解释本申请的原理。

图1是本申请根据一示例性实施例示出的两种风格转换处理后的输出图像的示意
图;

图2a是本申请图像处理方法的一个实施例流程图;

图2b是本申请根据一示例性实施例示出的对目标图像进行掩膜的示意图;

图2c是本申请根据一示例性实施例示出的风格转换模型的示意图;

图2d是本申请根据一示例性实施例示出的对输入图像进行风格转换的示意图;

图3a是本申请图像处理方法的另一个实施例流程图;

图3b是本申请根据另一示例性实施例示出的对目标图像进行掩膜的示意图;

图3c是本申请根据另一示例性实施例示出的对掩膜图像进行高斯处理的示意图;

图4是本申请图像处理装置所在终端的一种硬件结构图;

图5是本申请图像处理装置的一个实施例框图;

图6是本申请图像处理装置的一个实施例框图。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及
附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例
中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附
权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。
在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数
形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包
含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种太阳城集团,但这
些太阳城集团不应限于这些术语。这些术语仅用来将同一类型的太阳城集团彼此区分开。例如,在不脱离
本申请范围的情况下,第一太阳城集团也可以被称为第二太阳城集团,类似地,第二太阳城集团也可以被称为第
一太阳城集团。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……
时”或“响应于确定”。

本申请的图像处理方法涉及图像风格转换,而图像风格转换就是将一副图片(本
申请的参照图像)的“风格”转移到另一副图片(本申请的目标图像)上去,而保持另一幅图
片(目标图像)的内容不变。而从技术角度说,转移风格的实质是,使得从目标图像中抽取出
来的风格表达要接近于从参照图像中抽取出来的风格表达,且在这个过程中还要尽量保持
目标图像的内容不要有太大变化。

相关的图像风格转换处理,均是将参照图像的“风格”转移到目标图像的所有图像
区域,对目标图像进行整体统一的风格转换处理,能最大程度的保持目标图像的内容不变。
但是,对于目标图像中的部分区域进行风格转换后,会破坏该区域的原有图像特征,例如图
像中某些对象的原有结构,进而影响风格转换后的目标图像的图像质量和用户观看体验。
这里所说的目标图像中的部分区域,如:人物图像中的人脸区域,景物图像中的建筑、车辆
区域等。

而本申请的图像处理方法相对于上述相关的图像风格转换处理,可以根据用户需
求分别对目标图像的不同区域进行不同程度的风格转换,如图1所示,输出图像A为上述相
关的图像风格转换处理对目标图像进行风格后的图像,其人脸区域进行风格转换后,具有
了参照图像的风格(阴影),破坏了原有的人脸结构。输出图像B为本申请的图像处理方法进
行风格转换时,进行人脸区域的原有结构保护后输出的图像。

比较图1所示的两幅输出图像可知:本申请的图像处理方法,能够尽可能避免部分
区域(如输出图像B中的人脸区域)的原有图像特征(如原有结构)被破坏,进而提高图像质
量和用户观看体验。以下结合附图对本申请进行详细阐述。

参见图2a,图2a是本申请图像处理方法的一个实施例流程图,该实施例可以用于
终端中,包括以下步骤201-204:

步骤201:获取需要转换风格的目标图像以及作为风格转换参照的参照图像。

本申请实施例涉及的终端可以是各种集成了图像处理功能的智能终端,例如,智
能手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)等。终端用户可以通
过智能终端直接拍摄图像,也可以接收其他终端发送的图像,在获得图像后存入图像库,以
便进行图像处理时调用。

本申请实施例中,所述目标图像和所述参照图像可以由终端用户根据实际需要预
先设定,所述目标图像可以包括终端用户日常生活中通过终端拍摄的图像、接收的其他终
端所拍摄的图像、或者从网络上收集的图像等。

太阳城集团作为风格转换参照的参照图像,直观的看只要求其风格与所述目标图像的风
格不同,可以是与所述目标图像的图像特征太阳城集团不同的图像,这里提到的图像特征太阳城集团如
颜色太阳城集团、纹理太阳城集团等。在某些场景中参照图像可以是具有艺术风格的图像,例如:古典风
格的图画、后现代风格的图画等。

在一个例子中,获取需要转换风格的目标图像以及作为风格转换参照的参照图
像,可以直接从目标图像库和参照图像库调取,也可以实时拍摄或收集。

步骤202:获取与所述目标图像对应的掩膜图像,其中,所述目标图像内的目标区
域以及其他区域,在所述掩膜图像内相应区域的灰度参数之和为单位1,且两个相应区域的
灰度参数不同。

本申请实施例中,所述目标区域可以是预先选定的图像区域、或预设的图像内容
所处的图像区域,所述目标区域为预先选定的图像区域、或者预设的图像对象在所述目标
图像内所处的区域,所述其他区域为所述目标图像内除所述目标区域之外的区域。将所述
目标图像区分为目标区域和其他区域这两个不同区域,原因在于需要对这两个区域进行不
同程度的风格转换。

为了对所述目标图像的不同区域进行不同程度风格转换,需要通过所述目标图像
的掩膜图像对进行风格转换的风格转换模型进行优化,而所述掩膜图像为分别对所述目标
对象的两个不同区域,进行Mask处理(掩膜处理)后所得的图像。所述目标区域和所述其他
区域在所述掩膜图像中分别对应不同的区域,所对应的两个区域的灰度参数不同,如果其
中一个区域相较于另一个区域需要进行低程度的风格转换,则该需要进行低程度的风格转
换的区域,在所述掩膜图像中对应的区域的灰度参数小于0.5。

在一个例子中,所述目标图像为人物图像,所述目标区域为人脸区域,所述目标区
域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。如果希望人脸区域尽量保持原
有结构,则其在掩膜图像中对应的区域的灰度参数取值在0~0.5之间,如果希望人脸区域
的风格转换更强烈,则其在掩膜图像中对应的区域的灰度参数取值在0.5~1之间。

参阅图2b,所述目标图像为左边方框内所示的人物图像,对所述目标图像进行掩
膜处理后所得的掩膜图像如右边方框内所示的灰度图像。目标区域为目标图像中的黑框所
框选的区域,所述其他区域为所述目标图像中黑框之外的区域。所述目标图像在所述掩膜
图像的对应区域是灰度参数为α的区域,所述其他区域在所述掩膜图像中的对应区域是灰
度参数为1-α的区域。

在其他例子中,所述目标区域可以包括至少两个不同区域,该至少两个不同区域
可以为目标区域内需要进行不同程度风格转换的区域,各自在掩膜图像中对应的区域的灰
度参数之和,等于所述目标区域在掩膜图像中对应的区域的灰度参数。

步骤203:获取与所述掩膜图像对应的风格转换网络,其中,所述风格转换网络的
各特征图像由训练后的风格转换模型的各特征图像,分别与所述掩膜图像进行点乘处理所
得。

本申请实施例中,与所述掩膜图像对应的风格转换网络,是可以对所述目标图像
的不同区域进行不同程度的风格转换的网络。该风格转换网络与所述训练后的风格转换模
型的不同之处在于:所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图
像,分别与所述掩膜图像进行点乘处理所得。这里提到的点乘处理可以是特征图像的矩阵
与掩膜图像的矩阵之间的乘积。

对于所述训练后的风格转换模型,可以预先采集大量的需要转换风格的图像以及
作为风格转换参照的图像,构成训练集,然后提前用训练集中的图像训练能对图像的不同
区域进行不同程度的风格转换的风格转换模型。

在一个可选实现方式中,本申请实施例的图像处理方法可以预先通过以下操作生
成所述训练后的风格转换模型:

从训练样本集中选取预设组数的训练图像,每组训练图像包括需要转换风格的第
一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图
像。

设置各组训练图像的训练次序,并选取出第一次序的一组训练图像。

对选取出的每组训练图像执行如下迭代过程:

将所述第一图像输入全卷积网络,获得所述第一图像的特征数据。

将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络,获
取所述卷积神经网络的各特征图像。

将获取的各特征图像分别与所述第三图像进行点乘,生成优化后的特征图像。

基于各优化后的特征图像,计算所述卷积神经网络的两个损失函数,生成对应该
组训练图像的损失函数。

调整所述全卷积网络和所述卷积神经网络的网络参数。

根据设置的训练次序选取下一次序的一组训练图像,并返回执行上述迭代过程。

当次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时,终止上述
迭代过程,并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换
模型。

其中,差值在预设的差值范围内,表示差值满足预设的损失条件。差值范围可根据
实际需要设定,例如:差值小于在先的损失函数的3%。

参阅图2c,全卷积网络为图2c所示的标号为fw的网络,卷积神经网络为图2c所示
的标号为的网络。在某些场景,所述卷积神经网络可以是16层的VGG网络。

在训练过程中,将第一图像作为x图2c中的输入全卷积网络,提取出特征输入卷
积神经网络,第一图像作为yc和第二图像作为ys分别输入卷积神经网络,卷积神经网络各卷
积层对应的损失函数为

如果不考虑对不同区域进行不同程度的风格转换,在训练时同时优化两个损失函
数,两个损失函数分别为Style Reconstruction loss和Feature Reconstruction Loss。

而Style Reconstruction loss的意义是和第二图像通过卷积神经网络之后得
到的feature map之间的二阶Frobenius范数:


其中,G表示原矩阵的Gram矩阵,这个值越小,得到的输出图像的风格转换越强烈,
也越容易破坏原有图像特征。

而Feature Reconstruction Loss是和第二图像通过卷积神经网络之后得到的
Feature Map的归一化欧氏距离:


其中,C,W,H分别是图像的通道数,宽度,高度。作为归一化因子,这里的作用是避
免损失函数的数值被图像大小影响。这个值越低,越能够保持第一图像的图像特征,即风格
转换不够强烈。

为了对不同区域进行不同程度的风格转换,在算范数之前,根据得到的掩膜第三
图像,修改原来的两个Reconstruction Loss,即:将每个全神经网络的各特征图像
(Feature Map)的矩阵都分别与第三图像的矩阵M进行点乘处理,得到新的特征图像,然后
获得如下所示的两个损失函数:



其中,I为与掩膜图像对应的矩阵M相同大小的全1矩阵。如果M为全0矩阵,则与对
第一图像的所有区域进行相同程度的风格转换相同,如果M在不同区域有所不同,则对第一
图像的不同区域进行不同程度的风格转换。

综上可知,Gram矩阵差的二范数表征第一图像的风格损失,Feature Map的归一化
欧氏距离表征第一图像的内容损失,全神经网络的每一层的特征计算得到的Gram matrix,
又可以很好的捕捉图像的风格太阳城集团(笔触以及纹理等)。结合这两种太阳城集团定义损失函数,指
导第一图像从某个起始点(第一图像本身)开始,不断迭代优化,逐渐转变为风格变换后的
图像。

在生成所述训练后的风格转换模型后,在另一个可选实现方式中,可以通过以下
操作获取与所述掩膜图像对应的风格转换网络:

将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘,生成
优化后的特征图像。

基于优化后的特征图像,计算所述卷积神经网络的两个损失函数。

将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数。

将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。

本可选实现方式,将所述训练后的风格转换模型应用到即将进行风格转换的目标
图像上,生成能对目标图像的不同区域进行不同程度的风格转换的风格转换网络。

步骤204:将所述目标图像和所述参照图像分别输入所述风格转换网络,获得风格
转换后的目标图像。

本申请实施例中,实现图像风格转换,需要参照图2c,将目标图像作为x图2c中的
输入所述风格转换网络的全卷积网络,提取出特征输入所述风格转换网络的卷积神经网
络,目标图像作为yc和参照图像作为ys分别输入卷积神经网络,通过所述风格转换网络的作
用,输出图像为风格转换后的目标图像。

在一个例子中,参阅图2d,目标图像为图中左侧方框内上层所示的人物图像、参照
图像为左侧框内下层所示的图画,风格转换后的目标图像为右侧方框内所示的输出图像。

在某些情景,获取掩膜图像时,可以通过分别生成用于掩盖所述目标图像的所述
目标区域和所述其他区域的灰度图像,构成所述目标图像的掩膜图像,实现过程可参见图
3a,图3a是本申请图像处理方法的另一个实施例流程图,该实施例可以包括以下步骤301-
307:

步骤301:获取需要转换风格的目标图像以及作为风格转换参照的参照图像。

步骤302:识别所述目标图像的目标区域。

本申请实施例中,可以基于用户的触发操作框选所述目标区域,也可以通过图像
识别技术,识别含有目标对象的图像区域。例如:通过人脸识别技术识别人脸。

步骤303:通过掩膜生成所述目标区域的第一掩膜,所述第一掩膜对应的灰度参数
为α,α大于0且小于1。

步骤304:通过掩膜生成其他区域的第二掩膜,所述第二掩膜对应的灰度参数为1-
α。

本申请实施例中,其他区域为目标图像中除目标区域外的区域,在通过掩膜生成
第一掩膜和第二掩膜时,可以预设形状的灰度图像掩盖所述目标区域或所述其他区域,调
整灰度图像的形状和尺寸,当调整后的灰度图像恰好与对应区域的至少部分边界重合时,
确定该调整后的灰度图像为第一或第二掩膜。

如果希望目标区域尽量保持原有图像特征(结构),则其在掩膜图像中对应的区域
的灰度参数α取值在0~0.5之间,如果希望目标区域的风格转换更强烈,则其在掩膜图像中
对应的区域的灰度参数α取值在0.5~1之间。

步骤305:对应两个区域在所述目标图像内的位置关系,对所述第一掩膜与所述第
二掩膜进行图像合成,生成与所述目标图像对应的掩膜图像。

本申请实施例中,可以根据所述目标区域和所述其他区域在所述目标图像内的位
置坐标,将所述第一掩膜填充到所述第二掩膜的空白区域,构成所述掩膜图像。

参阅图3b,目标图像为图中左侧方框内所示的图像,对目标图像不同区域掩膜处
理后,目标区域的掩膜如图内中间方框上层所示的第一掩膜,其他区域的掩膜如图内中间
方框下层所示的第二掩膜,合成后的图像为图中右侧方框所示的掩膜图像A。

步骤306:获取与所述掩膜图像对应的风格转换网络,其中,所述风格转换网络的
各特征图像由训练后的风格转换模型的各特征图像,分别与所述掩膜图像进行点乘处理所
得。

步骤307:将所述目标图像和所述参照图像分别输入所述风格转换网络,获得风格
转换后的目标图像。

为了使掩膜图像中不同区域之间的边缘过度更自然,在一个可选实现方式中,通
过以下操作对应两个区域在所述目标图像内的位置关系,对所述第一掩膜与所述第二掩膜
进行图像合成,生成与所述目标图像对应的掩膜图像,包括:

对应两个区域在所述目标图像内的位置关系,对所述第一掩膜与所述第二掩膜进
行图像合成。

对合成后的图像进行高斯模糊,生成与所述目标图像对应的掩膜图像。

参阅图3c,合成后的图像为图中左侧方框内所示的掩膜图像A,对掩膜图像A高斯
模糊后生成右侧框内所示的掩膜图B,对比图3c中的掩膜图像A和掩膜图像B可知:高斯处理
后,掩膜图像中不同区域之间的边缘过度更自然,可以使风格转换后的目标图像内不同区
域之间更和谐,能有效提高图像质量和用户观看体验。

由上述实施例可知:通过获取与所述目标图像对应的掩膜图像、以及与所述掩膜
图像对应的风格转换网络,再将所述目标图像和所述参照图像分别输入所述风格转换网
络,获得风格转换后的目标图像。由于所述目标图像内的目标区域以及其他区域,在所述掩
膜图像内相应区域的灰度参数之和为单位1,且两个相应区域的灰度参数不同,所述风格转
换网络的各特征图像由训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点
乘处理所得,能够获得的风格转换后的图像,对应目标图像的目标区域和其他区域进行了
不同程度的风格转换,可以降低对部分区域的结构破坏程度,从而提高图像转换质量。

此外,获得风格转换后的目标图像后,可以将作为某些社交APP内的用户头像、或
共享到社交平台。

与前述图像处理方法的实施例相对应,本申请还提供了图像处理装置的实施例。

本申请图像处理装置的实施例可以应用在终端上。装置实施例可以通过软件实
现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的
装置,是通过其所在终端的处理器将非易失性存储器中对应的计算机程序指令读取到内存
中运行形成的。从硬件层面而言,如图4所示,为本申请图像处理装置所在终端的一种硬件
结构图,除了图4所示的处理器410、网络接口420、内存430、以及非易失性存储器440之外,
实施例中装置所在的终端通常根据该终端的实际功能,还可以包括其他硬件,对此不再赘
述。

上述处理器可以被配置为:获取需要转换风格的目标图像以及作为风格转换参照
的参照图像;获取与所述目标图像对应的掩膜图像,其中,所述目标图像内的目标区域以及
其他区域,在所述掩膜图像内相应区域的灰度参数之和为单位1,且两个相应区域的灰度参
数不同;获取与所述掩膜图像对应的风格转换网络,其中,所述风格转换网络的各特征图像
由训练后的风格转换模型的各特征图像,分别与所述掩膜图像进行点乘处理所得;将所述
目标图像和所述参照图像分别输入所述风格转换网络,获得风格转换后的目标图像。

参见图5,图5是本申请图像处理装置的一个实施例框图,该装置可包括:输入图像
获取模块510、掩膜图像获取模块520、转换网络获取模块530和图像风格转换模块540。

其中,输入图像获取模块510,用于获取需要转换风格的目标图像以及作为风格转
换参照的参照图像。

掩膜图像获取模块520,用于获取与所述目标图像对应的掩膜图像,其中,所述目
标图像内的目标区域以及其他区域,在所述掩膜图像内相应区域的灰度参数之和为单位1,
且两个相应区域的灰度参数不同。

转换网络获取模块530,用于获取与所述掩膜图像对应的风格转换网络,其中,所
述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像,分别与所述掩膜图
像进行点乘处理所得。

图像风格转换模块540,用于将所述目标图像和所述参照图像分别输入所述风格
转换网络,获得风格转换后的目标图像。

在一个可选的实现方式中,本申请实施例的图像处理装置还可以包括模型训练模
块,所述模型训练模块包括(图5中未示出):

训练样本选取模块,用于从训练样本集中选取预设组数的训练图像,每组训练图
像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像
对应的掩膜图像的第三图像。

训练次序设置模块,用于设置各组训练图像的训练次序,并选取出第一次序的一
组训练图像。

迭代模块,用于对选取出的每组训练图像执行迭代过程;

所述迭代模块还包括:

特征数据获取模块,用于将所述第一图像输入全卷积网络,获得所述第一图像的
特征数据。

特征图像获取模块,用于将所述第一图像、所述第二图像以及获取的特征数据分
别输入卷积神经网络,获取所述卷积神经网络的各特征图像。

点乘处理模块,用于获取的各特征图像分别与所述第三图像进行点乘,生成优化
后的特征图像。

损失函数生成模块,用于基于各优化后的特征图像,计算所述卷积神经网络的两
个损失函数,生成对应该组训练图像的损失函数。

网络参数调整模块,用于调整所述全卷积网络和所述卷积神经网络的网络参数。

迭代返回模块,用于根据设置的训练次序选取下一次序的一组训练图像,并返回
执行上述迭代过程。

风格转换模型确定模块,用于在次序相邻的两组训练图像的损失函数的差值满足
预设的损失条件时,终止上述迭代过程,并确定所述迭代过程调整后的全卷积网络和卷积
神经网络为训练后的风格转换模型。

在另一个可选的实现方式中,本申请实施例的转换网络获取模块530还可以包括
(图5中未示出):

优化特征生成模块,用于将所述训练后的风格转换模型的各特征图像分别与所述
掩膜图像进行点乘,生成优化后的特征图像。

损失函数计算模块,用于基于优化后的特征图像,计算所述卷积神经网络的两个
损失函数。

损失函数更新模块,用于将计算所得的两个损失函数更新为所述训练后的风格转
换模型的损失函数。

转换网络确定模块,用于将更新损失函数后的风格转换模型确定为与所述掩膜图
像对应的风格转换网络。

在另一个可选的实现方式中,所述目标图像为人物图像,所述目标区域为人脸区
域,所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。

参见图6,图6是本申请图像处理装置的另一个实施例框图,该装置可包括:输入图
像获取模块610、掩膜图像获取模块620、转换网络获取模块630和图像风格转换模块640,掩
膜图像获取模块620可以包括目标区域识别模块621、第一掩膜模块622、第二掩膜模块623
和掩膜图像生成模块624。

其中,输入图像获取模块610,用于获取需要转换风格的目标图像以及作为风格转
换参照的参照图像。

目标区域识别模块621,用于识别所述目标图像的目标区域。

第一掩膜模块622,用于通过掩膜生成所述目标图像内的目标区域的第一掩膜,所
述第一掩膜对应的灰度参数为α,α大于0且小于1。

第二掩膜模块623,用于通过掩膜生成所述目标图像内的其他区域的第二掩膜,所
述第二掩膜对应的灰度参数为1-α。

掩膜图像生成模块624,用于对应两个区域在所述目标图像内的位置关系,对所述
第一掩膜与所述第二掩膜进行图像合成,生成与所述目标图像对应的掩膜图像。

转换网络获取模块630,用于获取与所述掩膜图像对应的风格转换网络,其中,所
述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像,分别与所述掩膜图
像进行点乘处理所得。

图像风格转换模块640,用于将所述目标图像和所述参照图像分别输入所述风格
转换网络,获得风格转换后的目标图像。

在一个可选的实现方式中,本申请实施例的掩膜图像生成模块624还可以包(图6
中未示出):

图像合成模块,用于对应两个区域在所述目标图像内的位置关系,对所述第一掩
膜与所述第二掩膜进行图像合成。

高斯模糊模块,用于对合成后的图像进行高斯模糊,生成与所述目标图像对应的
掩膜图像。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的
实现过程,在此不再赘述。

对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实
施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件
说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以
不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的
需要选择其中的部分或者全部模块来实现本申请方案的目的。

本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。本领域
技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本
申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵
循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。

应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并
且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

关 键 词:
图像 处理 方法 装置
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:图像处理方法及装置.pdf
链接地址:http://zh228.com/p-6019576.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');