太阳城集团

  • / 14
  • 下载费用:30 金币  

表情识别方法及系统.pdf

摘要
申请专利号:

CN201610547743.X

申请日:

2016.07.12

公开号:

CN106257489A

公开日:

2016.12.28

当前法律状态:

撤回

有效性:

无权

法律详情: 发明专利申请公布后的视为撤回IPC(主分类):G06K 9/00申请公布日:20161228|||实质审查的生效IPC(主分类):G06K 9/00申请日:20160712|||公开
IPC分类号: G06K9/00; G06N3/04 主分类号: G06K9/00
申请人: 乐视控股(北京)有限公司; 乐视云计算有限公司
发明人: 公绪超
地址: 100025 北京市朝阳区姚家园路105号3号楼10层1102
优先权:
专利代理机构: 北京商专永信知识产权代理事务所(普通合伙) 11400 代理人: 方挺;黄谦
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201610547743.X

授权太阳城集团号:

||||||

法律状态太阳城集团日:

太阳城集团2018.10.26|||2017.01.25|||2016.12.28

法律状态类型:

发明专利申请公布后的视为撤回|||实质审查的生效|||公开

摘要

本发明的实施例公开一种表情识别方法,包括:将待识别人脸图像输入至全局深度卷积神经网络以确定人脸图像的第一表情和第一分值,全局深度卷积神经网络基于具有不同表情的参考人脸图像进行深度学习得到;将人脸图像划分为多个子图像;将多个子图像的特征太阳城集团与参考特征太阳城集团进行比较以确定人脸图像的第二表情和第二分值,参考特征太阳城集团由具有不同表情的参考人脸图像的多个参考子图像确定;根据第一表情和第一分值以及第二表情和第二分值确定人脸图像的表情;相应的还提供一种表情识别系统;本发明实施例的方法及系统可以更加准确快速地识别出人脸表情。

权利要求书

1.一种表情识别方法,包括:
将待识别的人脸图像输入至全局深度卷积神经网络以确定所述人脸图像的第一表情
和第一分值,所述全局深度卷积神经网络基于具有不同表情的参考人脸图像进行深度学习
得到;
将所述人脸图像划分为多个子图像;
将所述多个子图像的特征太阳城集团与参考特征太阳城集团进行比较以确定所述人脸图像的第二
表情和第二分值,所述参考特征太阳城集团由具有不同表情的参考人脸图像的多个参考子图像确
定;
至少根据所述第一表情和第一分值以及所述第二表情和第二分值确定所述人脸图像
的表情。
2.根据权利要求1所述的方法,其中,所述将所述人脸图像划分为多个子图像包括:
对所述人脸图像进行关键点定位;
根据定位的所述人脸图像的关键点将所述人脸图像划分为多个子图像。
3.根据权利要求2所述的方法,其中,所述将所述多个子图像的特征太阳城集团与所述参考特
征太阳城集团进行比较以确定所述人脸图像的第二表情和第二分值包括:
分别将所述多个子图像输入至局部深度卷积神经网络;
从所述局部深度卷积神经网络的全连接层获取相应于所述多个子图像的特征太阳城集团;
计算所述多个子图像的特征太阳城集团与所述参考特征太阳城集团的相似度值;
确定相似度值最大的参考特征太阳城集团所对应的表情为所述第二表情;
确定所述第二表情的相似度值为所述第二分值。
4.根据权利要求2或3所述的方法,其中,还包括:
根据所述多个子图像的相对位置关系确定所述人脸图像的人脸姿态。
5.根据权利要求4所述的方法,其中,在所述将人脸图像输入至全局深度卷积神经网络
之前还包括:
对所述人脸图像进行校正处理。
6.一种表情识别系统,包括:
全局表情识别模块,用于将待识别人脸图像输入至全局深度卷积神经网络以确定所述
人脸图像的第一表情和第一分值,所述全局深度卷积神经网络基于具有不同表情的参考人
脸图像进行深度学习得到;
人脸图像划分模块,用于将所述人脸图像划分为多个子图像;
局部表情识别模块,用于将所述多个子图像的特征太阳城集团与参考特征太阳城集团进行比较以确
定所述人脸图像的第二表情和第二分值,所述参考特征太阳城集团由具有不同表情的参考人脸图
像的多个参考子图像确定;
目标表情确定模块,用于至少根据所述第一表情和第一分值以及所述第二表情和第二
分值确定所述人脸图像的表情。
7.根据权利要求6所述的系统,其中,所述人脸图像划分模块包括:
关键点定位单元,用于对所述人脸图像进行关键点定位;
子图像划分单元,用于根据定位的所述人脸图像的关键点将所述人脸图像划分为多个
子图像。
8.根据权利要求7所述的系统,其中,所述局部表情识别模块包括:
子图像处理单元,用于分别将所述多个子图像输入至局部深度卷积神经网络;
特征太阳城集团获取单元,用于从所述局部深度卷积神经网络的全连接层获取相应于所述多
个子图像的特征太阳城集团;
相似度计算单元,用于计算所述多个子图像的特征太阳城集团与所述参考特征太阳城集团的相似度
值;
第二表情确定单元,用于确定相似度值最大的参考特征太阳城集团所对应的表情为所述第二
表情;
第二分值确定单元,用于确定所述第二表情的相似度值为所述第二分值。
9.根据权利要求7或8所述的系统,其中,还包括:
人脸姿态确定模块,用于根据所述多个子图像的相对位置关系确定所述人脸图像的人
脸姿态。
10.根据权利要求9所述的系统,其中,还包括:
图像校正模块,用于在所述将人脸图像输入至全局深度卷积神经网络之前对所述人脸
图像进行校正处理。

说明书

表情识别方法及系统

技术领域

本发明涉及图像识别技术领域,特别涉及一种表情识别方法及系统。

背景技术

基于图像的面部表情识别在人机交互,人体情绪判断等智能领域有重要的价值。

现有技术中用于识别面部表情的方法仅限于对清晰的静止的图片进行表情识别,
而且为了准确的完成表情识别还需要被识别的图片为人脸的正脸图像,如果待识别的图片
是在人活动过程中抓拍则极有可能得到的图片是虚的,不清楚的,或者由于环境光线等因
素,得到的图片质量是难以辨别的,而且抓拍到的图片很有可能只是人的侧脸而非正脸图
像,这时就不能准确的识别人的面部表情了,因而严重影响了面部表情识别在实际生活中
的应用。

因此,急需一种能够适应任何人脸姿态场景(人脸姿态场景至少包括正脸、左侧
脸、右侧脸、左斜侧、右斜侧、低头、仰头)与外部成像场景(模糊、强光、黑暗)识别人的面部
表情的方法。

发明内容

本发明实施例提供一种表情识别方法及系统,以用于至少解决上述技术问题之
一。

一方面,本发明实施例提供一种表情识别方法,其包括:

将待识别人脸图像输入至全局深度卷积神经网络以确定所述人脸图像的第一表
情和第一分值,所述全局深度卷积神经网络基于具有不同表情的参考人脸图像进行深度学
习得到;

将所述人脸图像划分为多个子图像;

将所述多个子图像的特征太阳城集团与参考特征太阳城集团进行比较以确定所述人脸图像的
第二表情和第二分值,所述参考特征太阳城集团由具有不同表情的参考人脸图像的多个参考子图
像确定;

至少根据所述第一表情和第一分值以及所述第二表情和第二分值确定所述人脸
图像的表情。

另一方面,本发明实施例还提供一种表情识别系统,其包括:

全局表情识别模块,用于将待识别人脸图像输入至全局深度卷积神经网络以确定
所述人脸图像的第一表情和第一分值,所述全局深度卷积神经网络基于具有不同表情的参
考人脸图像进行深度学习得到;

人脸图像划分模块,用于将所述人脸图像划分为多个子图像;

局部表情识别模块,用于将所述多个子图像的特征太阳城集团与参考特征太阳城集团进行比较
以确定所述人脸图像的第二表情和第二分值,所述参考特征太阳城集团由具有不同表情的参考人
脸图像的多个参考子图像确定;

目标表情确定模块,用于至少根据所述第一表情和第一分值以及所述第二表情和
第二分值确定所述人脸图像的表情。

本发明实施例的表情识别方法及系统中,一方面整体考虑人脸图像来确定人脸图
像可能的第一表情以及人脸图像为第一表情的第一分值,弥补了在模糊、强光、黑暗等场景
下局部识别效果也不好的缺点;另一方面通过将人脸图像划分为多个子图像的方法,进行
局部特征的判断以确定人脸图像可能的第二表情以及人脸图像为第二表情的第二分值,弥
补了在侧脸、斜侧等人脸姿态下整体识别效果不好的缺陷;之后综合考虑确定的第一表情
和第一分值以及第二表情和第二分值来确定人脸图像的当前表情,本发明实施例的人脸识
别方法及系统充分利用了人脸全局与局部的特性,判别准确率高,而且能够适应多种人脸
姿态与模糊、强光、黑暗等多种成像场景。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用
的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领
域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附
图。

图1为本发明的表情识别方法一实施例的流程图;

图2为本发明的表情识别方法另一实施例的流程图;

图3为本发明的表情识别方法又一实施例的流程图;

图4为本发明的表情识别系统一实施例的原理框图;

图5为本发明的表情识别中的人脸图像划分模块一实施例的原理框图;

图6为本发明的表情识别中的局部表情识别模块一实施例的原理框图;

图7为本发明的用户设备的一实施例的结构示意图。

具体实施例

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例
中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是
本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员
在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相
互组合。

本发明可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务
器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶
盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的
分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序
模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组
件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由
通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以
位于包括存储设备在内的本地和远程计算机存储介质中。

在本发明中,“组件”、“装置”、“系统”等等指应用于计算机的相关实体,如硬件、硬
件和软件的组合、软件或执行中的软件等。详细地说,例如,组件可以、但不限于是运行于处
理器的过程、处理器、对象、可执行组件、执行线程、程序和/或计算机。还有,运行于服务器
上的应用程序或脚本程序、服务器都可以是组件。一个或多个组件可在执行的过程和/或线
程中,并且组件可以在一台计算机上本地化和/或分布在两台或多台计算机之间,并可以由
各种计算机可读介质运行。组件还可以根据具有一个或多个数据包的信号,例如,来自一个
与本地系统、分布式系统中另一组件交互的,和/或在因特网的网络通过信号与其它系统交
互的数据的信号通过本地和/或远程过程来进行通信。

最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将
一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作
之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”,不仅包括那些要素,而
且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有
的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要
素的过程、方法、物品或者设备中还存在另外的相同要素。

基于图像的面部表情识别在人机交互,人体情绪判断等智能领域有重要的价值。
目前有很多基于图像的表情识别研究,但是没有综合考虑整体与局部的结合特性,因此适
应场景有限,例如,在侧脸、斜侧等人脸姿态下整体识别往往不好,在模糊、强光、黑暗等场
景下局部识别效果也不好。

为尽可能的适应多种人脸姿态场景与外部成像场景我们将人脸全局图像与眼睛、
嘴巴、眉毛等局部图像分别进行判别,用深度卷积神经网络进行全局表情判别与局部特征
提取,最后用支持向量机分类方法进行结果融合,最后得到带有人脸姿态的表情判断结果。
该方法能够适应充分利用了人脸全局与局部的特性,判别准确率高,而且能够适应多种人
脸姿态与模糊、强光、黑暗等多种成像场景。

如图1所示,本发明的一实施例的表情识别方法,其包括:

S11、将待识别人脸图像输入至全局深度卷积神经网络以确定所述人脸图像的第
一表情和第一分值,所述全局深度卷积神经网络基于具有不同表情的参考人脸图像进行深
度学习得到;

S12、将所述人脸图像划分为多个子图像;

S13、将所述多个子图像的特征太阳城集团与参考特征太阳城集团进行比较以确定所述人脸图
像的第二表情和第二分值,所述参考特征太阳城集团由具有不同表情的参考人脸图像的多个参考
子图像确定;

S14、至少根据所述第一表情和第一分值以及所述第二表情和第二分值确定所述
人脸图像的表情。

本发明实施例的表情识别方法中,一方面整体考虑人脸图像来确定人脸图像可能
的第一表情以及人脸图像为第一表情的第一分值,弥补了在模糊、强光、黑暗等场景下局部
识别效果也不好的缺点;另一方面通过将人脸图像划分为多个子图像的方法,进行局部特
征的判断以确定人脸图像可能的第二表情以及人脸图像为第二表情的第二分值,弥补了在
侧脸、斜侧等人脸姿态下整体识别效果不好的缺陷;之后综合考虑确定的第一表情和第一
分值以及第二表情和第二分值来确定人脸图像的当前表情,本发明实施例的人脸识别方法
及系统适应充分利用了人脸全局与局部的特性,判别准确率高,而且能够适应多种人脸姿
态与模糊、强光、黑暗等多种成像场景。

在本实施例中,步骤S11中待识别人脸图像可以是直接输入的人脸图像的照片(例
如,通过摄像头直接获取的),或者是从输入的混杂有其它背景的图片中采用HAAR人脸检测
方法获取的;全局深度卷积神经网络是预先基于深度学习形成的,其输入为海量的具有不
同表情的人脸图像,输出为人脸图像所具有的表情以及为人脸图像具有该表情的可能性所
打的分值,因此,在获取人脸图像后直接将获取的人脸图像输入全局深度卷积神经网络即
可得到该人脸图像可能具有的表情以及为具有该表情所打的分值,人脸图像的表情至少包
括:喜悦、愤怒、恐惧、悲伤、惊讶、悲伤、平和中的一种或者多种。

在本实施例中,步骤S14可以是直接比较第一分值与第二分值的大小,并确定数值
较大的所对应的表情为人脸图像的表情;或者采用SVM(Support Vector Machine支持向量
机)方法对第一分值和第二分值进行融合以确定人脸图像的当前表情。

SVM属于数据分类的范畴,数据分类是数据挖掘中的一个重要题目。数据分类是指
在已有分类的训练数据的基础上,根据某种原理,经过训练形成一个分类器;然后使用分类
器判断没有分类的数据的类别。

支持向量机是一种基于分类边界的分类方法,本实施例中通过大量的具有不同表
情的人脸图像的第一分值和第二分值以及相应的表情进行训练,来最终确定了SVM分类器,
其基本原理是:训练数据第一分值和第二分值是分布在二维平面上的点,它们按照其分类
(表情类别)聚集在不同的区域,通过大量的具有不同表情的人脸图像确定分类边界,从而
确定下SVM分类器;当有待识别人脸图像的第一分值和第二分值输入SVM分类器时,根据第
一分值和第二分值所落在的分类边界的区域所对应的类别确定待识别人脸图像所具有的
表情。

采用SVM方法的优点在于,当第一分值与第二分值相互接近,但又分别对应不同的
表情时,直接确定数值较大的分值所对应的表情为人脸图像的表情可能会存在误判的情
况,例如,第一分值所对应的表情为微笑,而第二分值所对应的表情为悲伤,并且第一分值
取值为0.89,第二分值取值为0.9,从第一、第二分值的取值来看,人脸表情为微笑和悲哀的
分值都很高,如果直接将第二分值所对应的表情悲哀确定为人脸图像的表情的话,极有可
能是错误的判断,因此采用SVM方法对第一、第二分值进行融合的方法确定,SVM方法进行融
合的SVM分类器是根据大量的具有不同表情的人脸图像的深度学习确定的,从而保证了最
终判定结果的准确性。

在一些实施例中,在将人脸图像输入至全局深度卷积神经网络之前还包括对获取
的人脸图像进行校正,以便于更加准确的识别人脸图像所具有的表情,例如,通过检测人脸
图像中左右眼是否在同一个水平线上来判断当前人脸图像是否需要进行校正,当左右眼不
在同一水平线上时,驱动整个人脸图像进行旋转以实现对人脸图像的校正。

如图2所示,在一些实施例中,步骤S12将所述人脸图像划分为多个子图像包括:

S21、对所述人脸图像进行关键点定位;

S22、根据定位的所述人脸图像的关键点将所述人脸图像划分为多个子图像。

本实施例中采用SDM方法进行人脸图像关键点定位,并根据关键点分割出局部区
域;例如,根据得到的关键点位置,划分出左眼睛、右眼睛、左眉毛、右眉毛、嘴巴等五个区
域,并获取这五个区域的图像作为子图像。

如图3所示,在一些实施例中,将所述多个子图像的特征太阳城集团与表情特征库中存储
的参考特征太阳城集团进行比较以确定所述人脸图像的第二表情和第二分值包括:

S31、分别将所述多个子图像输入至局部深度卷积神经网络;

S32、从所述局部深度卷积神经网络的全连接层获取相应于所述多个子图像的特
征太阳城集团;

S33、计算所述多个子图像的特征太阳城集团与所述表情特征库中存储的参考特征太阳城集团
的相似度值;

S34、确定相似度值最大的参考特征太阳城集团所对应的表情为所述第二表情;

S35、确定所述第二表情的相似度值为所述第二分值。

本实施例中,局部深度卷积神经网络是基于海量具有不同表情的人脸图像的子图
像进行深度学习确定的,并且参考特征太阳城集团是通过将参考人脸图像输入至局部深度卷积神
经网络后,从局部深度卷积神经网络的全连接层获取的特征值确定的,例如,一副具有微笑
表情的参考人脸图像的左眼睛、右眼睛、左眉毛、右眉毛、嘴巴等五个区域的子图像分别输
入局部深度卷积神经网络,相应的可以从局部深度卷积神经网络的全连接层依次得到分别
相应于左眼睛、右眼睛、左眉毛、右眉毛、嘴巴五个子图像的五个特征值,并且由这五个特征
值按照预设顺序生成特征值组作为参考特征太阳城集团,该参考特征太阳城集团所对应的表情就是微
笑;表情特征库中存储的参考特征太阳城集团包括了针对具有不同表情的人脸图像的参考特征信
息,并且包括具有相同表情的不同人脸图像的参考特征太阳城集团。

当有需要进行识别表情的人脸图像时,同样获取待识别人脸图像的五个区域的五
个子图像,并将得到的五个子图像输入至局部深度卷积神经网络以得到五个特征值,将五
个特征值按照预设顺序生成待识别人脸图像的特征太阳城集团,然后采用联合贝叶斯算法依次计
算待识别人脸图像的特征太阳城集团与表情特征库中存储的参考特征太阳城集团之间的相似度,以确定
待识别人脸图像的表情。

例如,对于具有微笑表情的待识别人脸图像。首先获取左眼睛、右眼睛、左眉毛、右
眉毛、嘴巴五个子图像。然后分别将五个子图像输入至局部深度卷积神经网络得到对应的
五个特征值,以预设顺序(例如,就按照左眼睛、右眼睛、左眉毛、右眉毛和嘴巴的顺序)将五
个特征值存储为一个数组作为待识别人脸图像的特征太阳城集团。采用联合贝叶斯算法计算待识
别人脸图像的特征太阳城集团与表情特征库中存储的参考特征太阳城集团之间的相似度值。

表情特征库中存储的参考特征太阳城集团可能是基于一万张参考人脸图像得到的一万
个参考特征太阳城集团,计算出所有的相似度后对相似度值进行从大到小的排列,取前20个相似
度值(或者是取相似度值大于某一阈值的所有的相似度值)。然后再进一步统计这20个相似
度值所对应的表情,并确定这20个相似度值中所对应的最多的表情为待识别人脸图像的表
情。

例如从大到小的20个相似度值分别为:0.95(对应于表情微笑)、0.94(对应于表情
微笑)、0.92(对应于表情微笑)、0.92(对应于表情微笑)、0.91(对应于表情微笑)、0.91(对
应于表情微笑)、0.91(对应于表情微笑)、0.90(对应于表情微笑)、0.90(对应于表情严肃)、
0.88(对应于表情微笑)、0.88(对应于表情大笑)、0.86(对应于表情微笑)、0.85(对应于表
情微笑)、0.85(对应于表情微笑)、0.84(对应于表情大笑)、0.84(对应于表情微笑)、0.84
(对应于表情微笑)、0.82(对应于表情大笑)、0.81(对应于表情严肃笑)、0.80(对应于表情
微笑)。

统计可知,上述20个相似度值中有15个对应于表情微笑,3个对应于大笑,两个对
应于严肃,这时即可确定微笑为待识别人脸图像的表情。统计15个对应于表情微笑的相似
度值的算术平均值为0.89853,即待识别人脸图像的表情为微笑的概率为89.853。或者通过
排除一个最高概率值0.95和一个概率最低值0.80,统计剩下的13个概率值的算术平均值为
0.88692,即待识别人脸图像的表情为微笑的概率为89.853。

在本发明表情识别方法的一些实施例中,还包括:

根据所述多个子图像的相对位置关系确定所述人脸图像的人脸姿态,所述人脸姿
态至少包括正脸、左侧脸、右侧脸、左斜侧、右斜侧、低头、仰头中的一种或者多种;例如,当
检测到人脸图像中只有左眼时,则可以判定为当前人脸图像的姿态为左侧脸,当检测到双
眼所在水平线与嘴巴所在水平线之间的距离小于一般阈值时,则判定当前人脸图像的姿态
为低头。

在一些实施例中,至少根据所述第一表情和第一分值以及所述第二表情和第二分
值确定所述人脸图像的表情为:结合确定的人脸图像的当前姿态根据第一分值和第二分值
通过SVM方法进行融合。本实施例中人脸图像的当前姿态可用于确定第一分值和第二分值
的权重,例如,当人脸图像的当前姿态为正脸或者抬头或者低头时,为第一分值分配的权重
大于为第二分值分配的权重(因为,当人脸图像处于正脸或者抬头或者低头的姿态时,根据
整体人脸图像确定的表情相对于根据人脸图像的局部特征确定的表情更加准确);当人脸
图像的当前姿态为侧脸时,则为第一分值分配的权重小于为第二分值分配的权重(因为,当
人脸图像处于侧脸的姿态时,根据人脸图像的局部特征确定的表情相对于根据整体人脸图
像确定的表情更加准确)。

本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模
块。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列
的动作合并,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为
依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知
悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明
所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部
分,可以参见其他实施例的相关描述。

如图4所示,本发明实施例还提供一种表情识别系统,其包括:

全局表情识别模块,用于将待识别人脸图像输入至全局深度卷积神经网络以确定
所述人脸图像的第一表情和第一分值,所述全局深度卷积神经网络基于具有不同表情的参
考人脸图像进行深度学习得到;

人脸图像划分模块,用于将所述人脸图像划分为多个子图像;

局部表情识别模块,用于将所述多个子图像的特征太阳城集团与表情特征库中存储的参
考特征太阳城集团进行比较以确定所述人脸图像的第二表情和第二分值,所述参考特征太阳城集团由具
有不同表情的参考人脸图像的多个参考子图像确定;

目标表情确定模块,用于至少根据所述第一表情和第一分值以及所述第二表情和
第二分值确定所述人脸图像的表情。

本发明实施例的表情识别系统中,一方面整体考虑人脸图像来确定人脸图像可能
的第一表情以及人脸图像为第一表情的第一分值,弥补了在模糊、强光、黑暗等场景下局部
识别效果也不好的缺点;另一方面通过将人脸图像划分为多个子图像的方法,进行局部特
征的判断以确定人脸图像可能的第二表情以及人脸图像为第二表情的第二分值,弥补了在
侧脸、斜侧等人脸姿态下整体识别效果不好的缺陷;之后综合考虑确定的第一表情和第一
分值以及第二表情和第二分值来确定人脸图像的当前表情,本发明实施例的人脸识别方法
及系统适应充分利用了人脸全局与局部的特性,判别准确率高,而且能够适应多种人脸姿
态与模糊、强光、黑暗等多种成像场景。

在本发明实施例的表情识别系统中,还包括:

图像校正模块,用于在所述将人脸图像输入至全局深度卷积神经网络之前对所述
人脸图像进行校正处理。

如图5所示,在一些实施例中,人脸图像划分模块包括:

关键点定位单元,用于对所述人脸图像进行关键点定位;

子图像划分单元,用于根据定位的所述人脸图像的关键点将所述人脸图像划分为
多个子图像。

如图6所示,在一些实施例中,局部表情识别模块包括:

子图像处理单元,用于分别将所述多个子图像输入至局部深度卷积神经网络;

特征太阳城集团获取单元,用于从所述局部深度卷积神经网络的全连接层获取相应于所
述多个子图像的特征太阳城集团;

相似度计算单元,用于计算所述多个子图像的特征太阳城集团与所述表情特征库中存储
的参考特征太阳城集团的相似度值;

第二表情确定单元,用于确定相似度值最大的参考特征太阳城集团所对应的表情为所述
第二表情;

第二分值确定单元,用于确定所述第二表情的相似度值为所述第二分值。

在本发明实施例的人脸表情识别系统中,还包括:

人脸姿态确定模块,用于根据所述多个子图像的相对位置关系确定所述人脸图像
的人脸姿态;所述人脸姿态至少包括正脸、左侧脸、右侧脸、左斜侧、右斜侧、低头、仰头中的
一种或者多种。

上述本发明实施例的表情识别系统可用于执行本发明实施例的人脸表情识别方
法,并相应的达到上述本发明实施例的人脸表情识别方法所达到的技术效果,这里不再赘
述。

另一方面,本发明实施例还公开一种用户设备,该用户设备包括:

存储器,用于存放计算机操作指令;

处理器,用于执行所述存储器存储的计算机操作指令,以执行:

将待识别人脸图像输入至全局深度卷积神经网络以确定所述人脸图像的第一表
情和第一分值,所述全局深度卷积神经网络基于具有不同表情的参考人脸图像进行深度学
习得到;

将所述人脸图像划分为多个子图像;

将所述多个子图像的特征太阳城集团与表情特征库中存储的参考特征太阳城集团进行比较以
确定所述人脸图像的第二表情和第二分值,所述参考特征太阳城集团由具有不同表情的参考人脸
图像的多个参考子图像确定;

至少根据所述第一表情和第一分值以及所述第二表情和第二分值确定所述人脸
图像的表情。

如图7所示,为本发明上述实施例中用户设备一实施例的结构示意图,本申请具体
实施例并不对用户设备700的具体实现做限定,其包括:

处理器(processor)710、通信接口(Communications Interface)720、存储器
(memory)730、以及通信总线740。其中:

处理器710、通信接口720、以及存储器730通过通信总线740完成相互间的通信。

通信接口720,用于与比如第三方访问端等的网元通信。

处理器710,用于执行程序732,具体可以执行上述方法实施例中的相关步骤。

具体地,程序732可以包括程序代码,所述程序代码包括计算机操作指令。

处理器710可能是一个中央处理器CPU,或者是特定集成电路ASIC(Application
Specific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电
路。

以上所描述的方法实施例仅仅是示意性的,其中所述作为分离部件说明的单元可
以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单
元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其
中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性
的劳动的情况下,即可以理解并实施。

通过以上的实施例的描述,本领域的技术人员可以清楚地了解到各实施例可借助
软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技
术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算
机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用
以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或
者实施例的某些部分所述的方法。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序
产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实
施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形
式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特
定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设
备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,
从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流
程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管
参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可
以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;
而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和
范围。

关 键 词:
表情 识别 方法 系统
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:表情识别方法及系统.pdf
链接地址:http://zh228.com/p-6100793.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');