太阳城集团

  • / 15
  • 下载费用:30 金币  

一种基于张量的主动外观模型的表情变化识别方法.pdf

摘要
申请专利号:

CN201710077233.5

申请日:

2017.02.14

公开号:

CN106778708A

公开日:

2017.05.31

当前法律状态:

实审

有效性:

审中

法律详情: 实质审查的生效IPC(主分类):G06K 9/00申请日:20170214|||公开
IPC分类号: G06K9/00; G06K9/48 主分类号: G06K9/00
申请人: 深圳市唯特视科技有限公司
发明人: 夏春秋
地址: 518057 广东省深圳市高新技术产业园区高新南一道009号中科研发园新产业孵化中心楼610室
优先权:
专利代理机构: 代理人:
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201710077233.5

授权太阳城集团号:

|||

法律状态太阳城集团日:

太阳城集团2017.06.23|||2017.05.31

法律状态类型:

太阳城集团实质审查的生效|||公开

摘要

本发明中提出的一种基于张量的主动外观模型的表情变化识别方法,其主要内容包括:基于张量的主动外观模型(T??AAM),统一基于张量的主动外观模型(UT??AAM),其过程为,给定新的面部图像,主动外观模型(AAM)可以使用拟合算法重建和根据面部的形状和纹理太阳城集团建模;基于张量的AAM(T??AAM)使用多线性子空间分析来构造基于张量的形状和纹理模型;为了实现统一,又提出了统一的基于张量的主动外观模型(UT??AAM)。本发明提出了一种更有效和准确的基于级联回归的模型拟合算法用于UT??AAM拟合,提高了检测性能;减少了姿势,表情,照明和遮挡等的影响,提高了识别的准确性。

权利要求书

1.一种基于张量的主动外观模型的表情变化识别方法,其特征在于,主要包括基于张
量的主动外观模型(T-AAM)(一);统一基于张量的主动外观模型(UT-AAM)(二)。
2.基于权利要求书1所述的基于张量的主动外观模型(T-AAM)(一),其特征在于,包括
主动外观模型(AAM)和基于张量的AAM(T-AAM)。
3.基于权利要求书2所述的主动外观模型(AAM),其特征在于,AAM具有两个基于主成分
分析(PCA)的参数模型,即形状和纹理模型;给定新的面部图像I,AAM可以使用拟合算法重
建和根据面部的形状和纹理太阳城集团建模;AAM拟合的目标是调整模型参数,以最小化生成面部
实例和输入图像之间的像素强度差:
<mrow> <mo>|</mo> <mo>|</mo> <mover> <mi>t</mi> <mo>&OverBar;</mo> </mover> <mo>+</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>s</mi> </msub> </munderover> <msub> <mi>&beta;</mi> <mi>k</mi> </msub> <msub> <mi>t</mi> <mi>k</mi> </msub> <mo>-</mo> <mi>W</mi> <mrow> <mo>(</mo> <mi>I</mi> <mo>,</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中,W(I,α)是将由具有参数α的形状模型生成的形状内的面部纹理翘曲到参考形状
的函数。
4.基于权利要求书2所述的基于张量的AAM(T-AAM),其特征在于,包括高阶奇异值分解
(HOSVD)和构建T-AAM。
5.基于权利要求书4所述的高阶奇异值分解(HOSVD),其特征在于,张量是矢量和矩阵
的高阶扩展;N阶张量是具有多个索引的N维数组;给定具有Ii同一性,Ip姿
势,Ie表情和Il光照变化的面部数据集,数据集的形状或纹理太阳城集团可表示为张量;在形状张
量中,元素s(ii,ip,il,ie,is)表示面部形状向量的第ii与第ip个姿态,第il
个照明和第ie个表情状态,其中Is=2L是面部形状矢量的维度;类似地,纹理张量
以张量方式重组训练数据集的纹理矢量;
T-AAM使用多线性子空间分析来构造基于张量的形状和纹理模型,使用Tucker张量分
解来获得形状和纹理模型;给定N阶张量Tucker张量分解导致:

其中,是具有输入张量的相同维数的核心张量,对其正交模式矩阵之间
的相互作用进行建模张量和矩阵之间的模n的乘积‘×n’
导致新的张量其中计算每个元素:
<mrow> <mi>z</mi> <mrow> <mo>(</mo> <msub> <mi>i</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>i</mi> <mrow> <mi>n</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <mi>j</mi> <mo>,</mo> <msub> <mi>i</mi> <mrow> <mi>n</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>i</mi> <mi>N</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <msub> <mi>i</mi> <mi>n</mi> </msub> <msub> <mi>I</mi> <mi>N</mi> </msub> </munderover> <mi>x</mi> <mrow> <mo>(</mo> <msub> <mi>i</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>i</mi> <mi>N</mi> </msub> <mo>)</mo> </mrow> <mi>y</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>,</mo> <msub> <mi>i</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
为了进行Tucker张量分解,通常使用高阶奇异值分解(HOSVD),其也被称为Tucker-1张
量分解方法;HOSVD使用SVD分解的左奇异矩阵到的模式n展开矩阵
来计算模式n矩阵Un;沿着第n个模式展开张量,通过沿着第n个模
式,将向量作为列向量堆叠,在矩阵中对张量中的所有条目进行重新排序;

最后,通过上式获得核心张量
6.基于权利要求书4所述的构建T-AAM,其特征在于,给定形状张量使用HOSVD得到:

其中,是形状核心张量,和
是表示分解的同一性,姿态,照明,表情和形状子空间的模式矩阵;以相同的方式,
纹理张量被分解为:

其中,元素具有与形状张量分解相似的含义;
由于2D面部形状主要受姿势和表情变化的影响,T-AAM构造形状基础的子传感器:

其中,和是指示不同姿态或表情变化状态的线性组合和表情混合系数向
量,满足0≤cp(k)≤1和0≤ce(k)≤1;
在形状基础子张量中考虑姿态和表情变化,通过以下式子获得纹理基础子张量:

其中,是指示不同照明变化状态的线性组合的照明混合系数向量,满足
和0≤cl(k)≤1;
最后,T-AAM构建变体特定的形状模型:
<mrow> <mi>s</mi> <mo>=</mo> <mover> <mi>s</mi> <mo>&OverBar;</mo> </mover> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mi>p</mi> </msub> <mo>,</mo> <msub> <mi>c</mi> <mi>e</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>s</mi> </msub> </munderover> <msub> <mi>&alpha;</mi> <mi>k</mi> </msub> <msub> <mi>s</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mi>p</mi> </msub> <mo>,</mo> <msub> <mi>c</mi> <mi>e</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
其中,是在所有训练形状上使用姿态和表情混合系数向量计算的加权平均形
状,sk(cp,ce)是沿着第5个模式的形状基本张量的展开矩阵的第k列向量,αk是对应的模型
参数;类似地,通过T-AAM构建变体特有的纹理模型:
<mrow> <mi>t</mi> <mo>=</mo> <mover> <mi>t</mi> <mo>&OverBar;</mo> </mover> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mi>l</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>s</mi> </msub> </munderover> <msub> <mi>&beta;</mi> <mi>k</mi> </msub> <msub> <mi>t</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mi>l</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
其中,是在所有训练纹理向量上使用照明混合系数向量计算的加权平均纹理,tk
(cl)是沿着第5个纹理基础张量的展开矩阵的第k列向量模式,βk是相应的模型
参数。
7.基于权利要求书1所述的统一基于张量的主动外观模型(UT-AAM)(二),其特征在于,
为了实现统一,提出的UT-AAM框架引入了四种技术:
(1)UT-AAM在不同的变化模式之间创建一个统一的张量模型;
(2)为了解决大规模姿态变化的自遮蔽问题,提出了一种统一的表示策略;
(3)通过引入张量完成具有缺失训练样本的不完全训练数据集所提出的UTAAM方法;
(4)提出了一种新的基于级联回归的模型拟合算法,不需要估计拟合新面孔的变化状
态。
8.基于权利要求书7所述的统一的形状和纹理模型,其特征在于,给定一组注释的面部
图像,相应的形状张量和纹理张量将HOSVD应用于形状和
纹理张量用于Tucker张量分解,由于受试者的形状与照明变化无关,所以可将形状模型压
缩为:

其中,此外,必须对形状应用全局仿射变换G(s,pg),其中pg=[s,
θ,tx,ty]T是控制尺度,旋转和平移的全局仿射变换参数;在这种统一的基于张量的形状模
型中,新形状可以由长参数向量表示;也可以获得统一的纹理模型:

其中,面部的纹理可以由纹理模型参数矢量表示;最
后,新的面部实例可以由连接形状和纹理模型参数[pT,qT]T的统一参数向量表示;对于新的
面部图像,UTAAM拟合的目标是找到最好地表示输入面的模型参数向量。
9.基于权利要求书7所述的应对缺失的训练样本,其特征在于,给定具有缺失条目的不
完全张量张量完成算法的目标是找到完全张量以最小化其中
是没有缺失条目的地面实况张量;然而,这个完整的地面实况张量在实践中是未知的,
因此损失修改为:

其中,‘*’为分素乘积;是与大小相同的索引张量,其中当条目的值可用
(或缺失)时,将条目的值设置为1(或0);
给定一个具有缺失条目的不完整形状张量首先使用具有相同姿态,照
明和表情变化的所有可用条目的平均值初始化缺失条目:

其中,上标‘m’和‘a’分别代表缺失条目和可用条目;下标表示中对应条目的位置;Na
是具有与缺失相同变量的所有可用条目的。
10.基于权利要求书7所述的UT-AAM拟合的级联回归,其特征在于,给定面部图像I和初
始模型参数向量p,回归方法的目的是构建映射函数:

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <mo>|</mo> <mo>|</mo> <mi>p</mi> <mo>+</mo> <msub> <mi>&delta;</mi> <mi>p</mi> </msub> <mo>-</mo> <msup> <mi>p</mi> <mo>*</mo> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中,是与当前模型参数向量相关的特征提取函数,Nf是所提取的特征向量
的维度,δp是对当前模型参数向量的更新,p*是面部的地面实况参数向量;
给定一组训练示例,通过任何回归方法学习映射函数,级联回归构建一个强回归,通过
级联M弱回归,Φ={φ1,…,φM};为了构建这些级联的弱回归,首先使用原始训练样本训练
第一个弱回归;然后应用第一个训练的弱回归来更新第二个弱回归训练的所有初始模型参
数p←p+δp;可以通过迭代地重复该过程来训练所需数量的弱回归;每个弱回归是线性回
归,即φm:δp=Amf(I,p)+bm,其中是投影矩阵,是偏移,Np是参数向量p的
维数;对于第m个弱回归的训练,损失函数为:
<mrow> <munder> <mrow> <mi>arg</mi> <mi> </mi> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <msub> <mi>A</mi> <mi>m</mi> </msub> <mo>,</mo> <msub> <mi>b</mi> <mi>m</mi> </msub> </mrow> </munder> <munderover> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mi>A</mi> <mi>m</mi> </msub> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>n</mi> </msub> <mo>,</mo> <msub> <mi>p</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>b</mi> <mi>m</mi> </msub> <mo>-</mo> <msub> <mi>&delta;</mi> <msub> <mi>p</mi> <mi>n</mi> </msub> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&lambda;</mi> <mo>|</mo> <mo>|</mo> <msub> <mi>A</mi> <mi>m</mi> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>16</mn> <mo>)</mo> </mrow> </mrow>
其中,f(In,pn)是第n个训练样例提取的特征向量,是当前模型参数和地
面实况模型参数之间的差,λ是正则化项的权重,‖*‖F是矩阵的Frobenius范数,应当在每个
弱回归训练之后更新pn和
给定一个新的人脸图像,初始参数估计p和训练的级联回归Φ,使用Φ中的弱回归来迭
代更新模型参数;提取围绕每个面部关键点的HOG特征,连接到长矢量,作为提取特征,即f
(I,p);一旦获得形状模型参数p的最终估计,使用基于张量的形状模型计算面部的形状;然
后通过将估计的面部形状中的像素包裹到参考形状,获得面部图像的全局纹理,并且估计
纹理模型参数q。

说明书

一种基于张量的主动外观模型的表情变化识别方法

技术领域

本发明涉及表情识别领域,尤其是涉及了一种基于张量的主动外观模型的表情变
化识别方法。

背景技术

面部表情识别是人工智能领域的一个重要研究方向,其可以通过自动识别出人的
表情,进而分析人的感情。表情识别可以应用于安全领域,在公共场合,如机场、地铁站等
处,通过安装的摄像头等监控设备来自动地分析人的表情和动作,通过这些分析进一步判
断人物心理,从而判断可疑人物,进而阻止其犯罪行为。表情变化识别也可以应用于客户满
意度、儿童兴趣点分析,通过记录人物的表情变化,进一步分析而获得客户反馈等。

在表情识别中,能够获得和表示面部的形状和纹理太阳城集团的常用方法是主动外观模
型(AAM),其广泛用于医学图像分析等其他领域。然而,由于姿势,表情,照明和遮挡的广泛
范围的外观变化,构建这样的面部模型并不容易。在已知的获取2D面的几何和纹理太阳城集团的
算法中,只有AAM能够联合地对面部图像的形状和纹理太阳城集团进行建模。主动形状模型(ASM),
约束局部模型(CLM)和基于级联回归(CR)的方法主要用于获得由面部界标传达的面部形状
太阳城集团。然而,将AAM拟合到2D面部图像很困难,特别是表现出宽度范围的外观变化的面部。

本发明提出了一种基于张量的主动外观模型的表情变化识别方法,给定新的面部
图像,主动外观模型(AAM)可以使用拟合算法重建和根据面部的形状和纹理太阳城集团建模;基于
张量的AAM(T-AAM)使用多线性子空间分析来构造基于张量的形状和纹理模型;为了实现统
一,又提出了统一的基于张量的主动外观模型(UT-AAM)。本发明提出了一种更有效和准确
的基于级联回归的模型拟合算法用于UT-AAM拟合,提高了检测性能;减少了姿势,表情,照
明和遮挡等的影响,提高了识别的准确性。

发明内容

针对姿势,表情,照明和遮挡等会产生影响的问题,本发明的目的在于提供一种基
于张量的主动外观模型的表情变化识别方法,给定新的面部图像,主动外观模型(AAM)可以
使用拟合算法重建和根据面部的形状和纹理太阳城集团建模;基于张量的AAM(T-AAM)使用多线性
子空间分析来构造基于张量的形状和纹理模型;为了实现统一,又提出了统一的基于张量
的主动外观模型(UT-AAM)。

为解决上述问题,本发明提供一种基于张量的主动外观模型的表情变化识别方
法,其主要内容包括:

(一)基于张量的主动外观模型(T-AAM);

(二)统一基于张量的主动外观模型(UT-AAM)。

其中,所述的基于张量的主动外观模型(T-AAM),包括主动外观模型(AAM)和基于
张量的AAM(T-AAM)。

进一步地,所述的主动外观模型(AAM),具有两个基于主成分分析(PCA)的参数模
型,即形状和纹理模型;给定新的面部图像I,AAM可以使用拟合算法重建和根据面部的形状
和纹理太阳城集团建模;AAM拟合的目标是调整模型参数,以最小化生成面部实例和输入图像之间
的像素强度差:


其中,W(I,α)是将由具有参数α的形状模型生成的形状内的面部纹理翘曲到参考
形状的函数。

进一步地,所述的基于张量的AAM(T-AAM),包括高阶奇异值分解(HOSVD)和构建T-
AAM。

进一步地,所述的高阶奇异值分解(HOSVD),张量是矢量和矩阵的高阶扩展;N阶张
量是具有多个索引的N维数组;给定具有Ii同一性,Ip姿势,Ie表情和Il光照变
化的面部数据集,数据集的形状或纹理太阳城集团可表示为张量;在形状张量中,
元素s(ii,ip,il,ie,is)表示面部形状向量的第ii与第ip个姿态,第il个照明和第ie个表情状
态,其中Is=2L是面部形状矢量的维度;类似地,纹理张量以张量方式重组
训练数据集的纹理矢量;

T-AAM使用多线性子空间分析来构造基于张量的形状和纹理模型,使用Tucker张
量分解来获得形状和纹理模型;给定N阶张量Tucker张量分解导致:


其中,是具有输入张量的相同维数的核心张量,对其正交模式矩
阵之间的相互作用进行建模张量和矩阵之间的模n的乘
积‘×n’导致新的张量其中计算每个元素:


为了进行Tucker张量分解,通常使用高阶奇异值分解(HOSVD),其也被称为
Tucker-1张量分解方法;HOSVD使用SVD分解的左奇异矩阵到的模式n展开矩阵
来计算模式n矩阵Un;沿着第n个模式展开张量,通过沿着第n个模
式,将向量作为列向量堆叠,在矩阵中对张量中的所有条目进行重新排序;


最后,通过上式获得核心张量

进一步地,所述的构建T-AAM,给定形状张量使用HOSVD得到:


其中,是形状核心张量,
和是表示分解的同一性,姿态,照明,表情和形状子空间的模式矩阵;以相同的方
式,纹理张量被分解为:


其中,元素具有与形状张量分解相似的含义;

由于2D面部形状主要受姿势和表情变化的影响,T-AAM构造形状基础的子传感器:


其中,和是指示不同姿态或表情变化状态的线性组合和表情混合系
数向量,满足0≤cp(k)≤1和0≤ce(k)≤1;

在形状基础子张量中考虑姿态和表情变化,通过以下式子获得纹理基础子张量:


其中,是指示不同照明变化状态的线性组合的照明混合系数向量,满足
和0≤cl(k)≤1;

最后,T-AAM构建变体特定的形状模型:


其中,是在所有训练形状上使用姿态和表情混合系数向量计算的加权平
均形状,sk(cp,ce)是沿着第5个模式的形状基本张量的展开矩阵的第k列向量,αk是对应的
模型参数;类似地,通过T-AAM构建变体特有的纹理模型:


其中,是在所有训练纹理向量上使用照明混合系数向量计算的加权平均纹
理,tk(cl)是沿着第5个纹理基础张量的展开矩阵的第k列向量模式,βk是相应的
模型参数。

其中,所述的统一基于张量的主动外观模型(UT-AAM),为了实现统一,提出的UT-
AAM框架引入了四种技术:

(1)UT-AAM在不同的变化模式之间创建一个统一的张量模型;

(2)为了解决大规模姿态变化的自遮蔽问题,提出了一种统一的表示策略;

(3)通过引入张量完成具有缺失训练样本的不完全训练数据集所提出的UTAAM方
法;

(4)提出了一种新的基于级联回归的模型拟合算法,不需要估计拟合新面孔的变
化状态。

进一步地,所述的统一的形状和纹理模型,给定一组注释的面部图像,相应的形状
张量和纹理张量将HOSVD应用于形状和纹理张量用于
Tucker张量分解,由于受试者的形状与照明变化无关,所以可将形状模型压缩为:


其中,此外,必须对形状应用全局仿射变换G(s,pg),其中pg=
[s,θ,tx,ty]T是控制尺度,旋转和平移的全局仿射变换参数;在这种统一的基于张量的形状
模型中,新形状可以由长参数向量表示;也可以获得统一的纹理模型:


其中,面部的纹理可以由纹理模型参数矢量表
示;最后,新的面部实例可以由连接形状和纹理模型参数[pT,qT]T的统一参数向量表示;对
于新的面部图像,UTAAM拟合的目标是找到最好地表示输入面的模型参数向量。

进一步地,所述的应对缺失的训练样本,给定具有缺失条目的不完全张量
张量完成算法的目标是找到完全张量以最小化其中是没
有缺失条目的地面实况张量;然而,这个完整的地面实况张量在实践中是未知的,因此损失
修改为:


其中,‘*’为分素乘积;是与大小相同的索引张量,其中当条目的值可
用(或缺失)时,将条目的值设置为1(或0);

给定一个具有缺失条目的不完整形状张量首先使用具有相同姿
态,照明和表情变化的所有可用条目的平均值初始化缺失条目:


其中,上标‘m’和‘a’分别代表缺失条目和可用条目;下标表示中对应条目的位
置;Na是具有与缺失相同变量的所有可用条目的。

进一步地,所述的UT-AAM拟合的级联回归,给定面部图像I和初始模型参数向量p,
回归方法的目的是构建映射函数:



其中,是与当前模型参数向量相关的特征提取函数,Nf是所提取的特征
向量的维度,δp是对当前模型参数向量的更新,p*是面部的地面实况参数向量;

给定一组训练示例,通过任何回归方法学习映射函数,级联回归构建一个强回归,
通过级联M弱回归,Φ={φ1,…,φM};为了构建这些级联的弱回归,首先使用原始训练样本
训练第一个弱回归;然后应用第一个训练的弱回归来更新第二个弱回归训练的所有初始模
型参数p←p+δp;可以通过迭代地重复该过程来训练所需数量的弱回归;每个弱回归是线性
回归,即φm:δp=Amf(I,p)+bm,其中是投影矩阵,是偏移,Np是参数向量p
的维数;对于第m个弱回归的训练,损失函数为:


其中,f(In,pn)是第n个训练样例提取的特征向量,是当前模型参数
和地面实况模型参数之间的差,λ是正则化项的权重,‖*‖F是矩阵的Frobenius范数,应当在
每个弱回归训练之后更新pn和

给定一个新的人脸图像,初始参数估计p和训练的级联回归Φ,使用Φ中的弱回归
来迭代更新模型参数;提取围绕每个面部关键点的HOG特征,连接到长矢量,作为提取特征,
即f(I,p);一旦获得形状模型参数p的最终估计,使用基于张量的形状模型计算面部的形
状;然后通过将估计的面部形状中的像素包裹到参考形状,获得面部图像的全局纹理,并且
估计纹理模型参数q。

附图说明

图1是本发明一种基于张量的主动外观模型的表情变化识别方法的系统框架图。

图2是本发明一种基于张量的主动外观模型的表情变化识别方法的姿态,表情和
照明变化的不完全训练数据集中对象的示例图。

图3是本发明一种基于张量的主动外观模型的表情变化识别方法的从多PIE选择
的子集的变化图。

图4是本发明一种基于张量的主动外观模型的表情变化识别方法的自遮挡面部关
键点的不同定义。

具体实施方式

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相
互结合,下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于张量的主动外观模型的表情变化识别方法的系统框架图。
主要包括基于张量的主动外观模型(T-AAM)和统一基于张量的主动外观模型(UT-AAM)。

基于张量的主动外观模型(T-AAM)包括主动外观模型(AAM)和基于张量的AAM(T-
AAM)。

主动外观模型(AAM)具有两个基于主成分分析(PCA)的参数模型,即形状和纹理模
型;给定新的面部图像I,AAM可以使用拟合算法重建和根据面部的形状和纹理太阳城集团建模;
AAM拟合的目标是调整模型参数,以最小化生成面部实例和输入图像之间的像素强度差:


其中,W(I,α)是将由具有参数α的形状模型生成的形状内的面部纹理翘曲到参考
形状的函数。

基于张量的AAM(T-AAM)包括高阶奇异值分解(HOSVD)和构建T-AAM。

统一基于张量的主动外观模型(UT-AAM),为了实现统一,提出的UT-AAM框架引入
了四种技术:

(1)UT-AAM在不同的变化模式之间创建一个统一的张量模型;

(2)为了解决大规模姿态变化的自遮蔽问题,提出了一种统一的表示策略;

(3)通过引入张量完成具有缺失训练样本的不完全训练数据集所提出的UTAAM方
法;

(4)提出了一种新的基于级联回归的模型拟合算法,不需要估计拟合新面孔的变
化状态。

图2是本发明一种基于张量的主动外观模型的表情变化识别方法的姿态,表情和
照明变化的不完全训练数据集中对象的示例图。太阳城集团高阶奇异值分解(HOSVD),张量是矢量
和矩阵的高阶扩展;N阶张量是具有多个索引的N维数组;给定具有Ii同一性,
Ip姿势,Ie表情和Il光照变化的面部数据集,数据集的形状或纹理太阳城集团可表示为张量;在形
状张量中,元素s(ii,ip,il,ie,is)表示面部形状向量的第ii与第ip个姿态,
第il个照明和第ie个表情状态,其中Is=2L是面部形状矢量的维度;类似地,纹理张量
以张量方式重组训练数据集的纹理矢量;

T-AAM使用多线性子空间分析来构造基于张量的形状和纹理模型,使用Tucker张
量分解来获得形状和纹理模型;给定N阶张量Tucker张量分解导致:


其中,是具有输入张量的相同维数的核心张量,对其正交模式矩
阵之间的相互作用进行建模张量和矩阵之间的模n的乘
积‘×n’导致新的张量其中计算每个元素:


为了进行Tucker张量分解,通常使用高阶奇异值分解(HOSVD),其也被称为
Tucker-1张量分解方法;HOSVD使用SVD分解的左奇异矩阵到的模式n展开矩阵
来计算模式n矩阵Un;沿着第n个模式展开张量,通过沿着第n个模
式,将向量作为列向量堆叠,在矩阵中对张量中的所有条目进行重新排序;


最后,通过上式获得核心张量

构建T-AAM,给定形状张量使用HOSVD得到:


其中,是形状核心张量,和
是表示分解的同一性,姿态,照明,表情和形状子空间的模式矩阵;以相同的方式,
纹理张量被分解为:


其中,元素具有与形状张量分解相似的含义;

由于2D面部形状主要受姿势和表情变化的影响,T-AAM构造形状基础的子传感器:


其中,和是指示不同姿态或表情变化状态的线性组合和表情混合系
数向量,满足0≤cp(k)≤1和0≤ce(k)≤1;

在形状基础子张量中考虑姿态和表情变化,通过以下式子获得纹理基础子张量:


其中,是指示不同照明变化状态的线性组合的照明混合系数向量,满足
和0≤cl(k)≤1;

最后,T-AAM构建变体特定的形状模型:


其中,是在所有训练形状上使用姿态和表情混合系数向量计算的加权平
均形状,sk(cp,ce)是沿着第5个模式的形状基本张量的展开矩阵的第k列向量,αk是对应的
模型参数;类似地,通过T-AAM构建变体特有的纹理模型:


其中,是在所有训练纹理向量上使用照明混合系数向量计算的加权平均纹
理,tk(cl)是沿着第5个纹理基础张量的展开矩阵的第k列向量模式,βk是相应的
模型参数。

图3是本发明一种基于张量的主动外观模型的表情变化识别方法的从多PIE选择
的子集的变化图。太阳城集团统一的形状和纹理模型,给定一组注释的面部图像,相应的形状张量
和纹理张量将HOSVD应用于形状和纹理张量用于Tucker张
量分解,由于受试者的形状与照明变化无关,所以可将形状模型压缩为:


其中,此外,必须对形状应用全局仿射变换G(s,pg),其中pg=
[s,θ,tx,ty]T是控制尺度,旋转和平移的全局仿射变换参数;在这种统一的基于张量的形状
模型中,新形状可以由长参数向量表示;也可以获得统一的纹理模型:


其中,面部的纹理可以由纹理模型参数矢量表
示;最后,新的面部实例可以由连接形状和纹理模型参数[pT,qT]T的统一参数向量表示;对
于新的面部图像,UTAAM拟合的目标是找到最好地表示输入面的模型参数向量。

应对缺失的训练样本,给定具有缺失条目的不完全张量张量完成算
法的目标是找到完全张量以最小化其中是没有缺失条目的地面实况张
量;然而,这个完整的地面实况张量在实践中是未知的,因此损失修改为:


其中,‘*’为分素乘积;是与大小相同的索引张量,其中当条目的值
可用(或缺失)时,将条目的值设置为1(或0);

给定一个具有缺失条目的不完整形状张量首先使用具有相同姿
态,照明和表情变化的所有可用条目的平均值初始化缺失条目:


其中,上标‘m’和‘a’分别代表缺失条目和可用条目;下标表示中对应条目的位
置;Na是具有与缺失相同变量的所有可用条目的。

图4是本发明一种基于张量的主动外观模型的表情变化识别方法的自遮挡面部关
键点的不同定义。太阳城集团UT-AAM拟合的级联回归,给定面部图像I和初始模型参数向量p,回归
方法的目的是构建映射函数:



其中,是与当前模型参数向量相关的特征提取函数,Nf是所提取的特征
向量的维度,δp是对当前模型参数向量的更新,p*是面部的地面实况参数向量;

给定一组训练示例,通过任何回归方法学习映射函数,级联回归构建一个强回归,
通过级联M弱回归,Φ={φ1,…,φM};为了构建这些级联的弱回归,首先使用原始训练样本
训练第一个弱回归;然后应用第一个训练的弱回归来更新第二个弱回归训练的所有初始模
型参数p←p+δp;可以通过迭代地重复该过程来训练所需数量的弱回归;每个弱回归是线性
回归,即φm:δp=Amf(I,p)+bm,其中是投影矩阵,是偏移,Np是参数向量p
的维数;对于第m个弱回归的训练,损失函数为:


其中,f(In,pn)是第n个训练样例提取的特征向量,是当前模型参数
和地面实况模型参数之间的差,λ是正则化项的权重,‖*‖F是矩阵的Frobenius范数,应当在
每个弱回归训练之后更新pn和

给定一个新的人脸图像,初始参数估计p和训练的级联回归Φ,使用Φ中的弱回归
来迭代更新模型参数;提取围绕每个面部关键点的HOG特征,连接到长矢量,作为提取特征,
即f(I,p);一旦获得形状模型参数p的最终估计,使用基于张量的形状模型计算面部的形
状;然后通过将估计的面部形状中的像素包裹到参考形状,获得面部图像的全局纹理,并且
估计纹理模型参数q。

对于本领域技术人员,本发明不限制于上述实施例的细节,在不背离本发明的精
神和范围的情况下,能够以其他具体形式实现本发明。此外,本领域的技术人员可以对本发
明进行各种改动和变型而不脱离本发明的精神和范围,这些改进和变型也应视为本发明的
保护范围。因此,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变
更和修改。

关 键 词:
一种 基于 张量 主动 外观 模型 表情 变化 识别 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:一种基于张量的主动外观模型的表情变化识别方法.pdf
链接地址:http://zh228.com/p-6019559.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');