太阳城集团

  • / 22
  • 下载费用:20 金币  

一种监控视频人物前景分割与分类的方法.pdf

摘要

本发明公开了一种监控视频人物前景分割与分类方法,包括了以下步骤:1)提取监控视频的人物前景,采用了混合高斯模型的方法分割前景和背景,并将前景人物用包围盒表示,形成前景人物小视频。2)前景特征提取,对小视频提取关键帧,将前景占有面积比率适中,前景外形和颜色完整的帧,选择作为关键帧,对关键帧提取多个特征。3)特征融合并分类,根据特征将汽车等非人物前景分类出来,对于人物特征采用典型相关系数特征融合方法学习出子空间,将特征投影到具有更好的类特征的子空间,对投影后的特征采用不同的聚类方法,进而将外形颜色类似的前景人物分成同一类。

权利要求书

权利要求书
1.  一种监控视频人物前景分割与分类的方法,其特征在于,包括以下步骤: 
步骤1,分离监控视频的前景和背景:采用混合高斯模型分离监控视频的前景和背景,并将每个前景用能完全包围前景的最小包围盒包围起来,形成独立的前景小视频; 
步骤2,提取前景小视频的特征:将前景小视频提取一组关键帧,对每个前景记录面积和移动速度两个特征,进行人物分类之前先将汽车前景分类,对人物前景的关键帧进行膨胀和腐蚀操作后,对每个关键帧提取颜色直方图、局部二值特征和词袋特征; 
步骤3,特征融合与分类:对得到的每个前景的面积和速度设置阈值,分类出汽车得到人物前景;对人物前景提取颜色直方图特征、局部二值特征和词袋特征,采用典型相关系数的方法对所述三个特征进行无监督的特征融合,得到一个区分不同类的空间T,将三个特征投影到空间T,对投影后的颜色直方图特征做最低秩子空间聚类,对投影后的LBP和BOW特征做K-means聚类,并根据聚类的结果对前景人物小视频进行分类。 

2.  如权利要求1所述的一种监控视频人物前景分割与分类的方法,其特征在于,步骤1包括以下步骤: 
步骤1-1,初始化高斯模型:读取监控视频的第一帧图像,为图像中每个像素点构建一个含有K个高斯模型的混合高斯模型,K取值范围3~5,用K个高斯模型表示监控视频中每帧图像中每个像素j在时刻t的值xj,像素j在时刻t取值xj的概率P(xj)可以由下式确定: 

其中代表t时刻像素j的混合高斯模型中第i个高斯分量的权重,满足:和分别代表t时刻像素j的第i个高斯分量的均值和协方差,表示高斯概率密度函数,表示如下: 

其中d为xj的维数,对于RGB颜色空间,每个像素有3个通道,xj为三维向量,其中协方差矩阵其中表示在t时刻像素j的第i个高斯模型方差,初 始化时值为代表单位矩阵,初始化阶段,每个高斯分布的权重ωinit=1/K, 
步骤1-2,更新高斯模型:继续读取监控视频,每读取监控视频的一帧图像就对混合高斯模型做更新;将混合高斯模型中的每个高斯成分按照由大到小排序,当前读取的新帧的像素值xj,t+1若与混合高斯模型中第i个高斯模型满足下列式子: 

则更新第i个高斯成分,其余高斯成分保持不变,且像素点xj,t+1在当前帧中被认为是背景部分像素,参数δ为匹配阈值,δ取值范围1~2,更新第i个高斯成分的计算方法如下: 




其中α是混合高斯模型的学习率,取值范围0~1,ρ为参数α的学习率;如果像素xj,t+1与K个高斯成分都不匹配的,则判定这一像素点是当前帧的前景像素,构造新的高斯成分取代排序靠后的高斯成分,新的高斯成分的均值设为像素xj,t+1的值,标准差和权重分别设置为σinit和ωinit,保留的高斯成分的均值和方差保持不变,权重值则按照下式更新: 

步骤1-3,完成视频前景和背景分割工作:像素xj,t+1的K个高斯成分更新后,对K个高斯成分的权重进行归一化,重复前面的步骤1-1和1-2保留每帧图像中的前景像素,直至监控视频读取结束,得到同原始监控视频同样分辨率的显示前景而不显示背景的视频; 
步骤1-4,提取包围前景人物视频的最小包围盒:读取步骤1-3中得到的监控视频, 对每帧图像先进行膨胀和腐蚀操作,再逐行扫描图像,记录图像中像素值不为0的像素构成的矩形的长l和宽w,对于同一个人物前景,每一帧的包围盒都有长l和宽w,选择所有帧中最长的l和w,作为该人物前景的包围盒,由此得到包围人物前景视频的小视频。 

3.  如权利要求2所述的一种监控视频人物前景分割与分类的方法,其特征在于,步骤2包含下列步骤: 
步骤2-1,提取人物前景的关键帧:固定选取人物视频中间F帧f1,f2,...,fF图像作为关键帧,F取20~40; 
步骤2-2,提取颜色直方图太阳城集团:对F帧f1,f2,...,fF图像人物区域提取颜色特征直方图,设颜色直方图的柱状分区共有mc个,计算图像fi中像素点p三个颜色通道RGB值对应的柱状分区id,i取1~F,R代表红色通道值,G代表绿色通道值,B代表蓝色通道值,公式如下: 

统计每个柱状分区id中像素点的个数,得到图像fi的颜色直方图,颜色直方图最终表示为长度为mc的向量υc,对所有关键帧重复本步骤,直到得到mc×F的矩阵M1; 
步骤2-3,提取局部二值特征:计算F帧f1,f2,...,fF图像的局部二值特征,先将图像fi灰度化,设局部二值特征LBP算子的半径为r,r取3或4或5,用r*r的窗口在图像中移动,每移动一个像素位置就计算一次窗口中心像素pcenter的LBP值,计算方法如下:将与中心像素pcenter相邻的r*r个像素分别与中心像素pcenter的值进行比较,相邻像素值大于中心像素pcenter,则该像素的位置被标记为1,否则被标记为0,由此得到r*r-1位二进制数,最终窗口移动到最后一个中心像素位置时得到了整个图像的LBP特征,再将图像的LBP特征用柱状图表示,设LBP柱状图分区有ml个,将柱状图每个分量的高度值串联起来,得到最终的局部二值特征,即长度为ml的向量υ1,对所有的关键帧重复本步骤,直到得到ml×F的矩阵M2; 
步骤2-4,提取词袋特征:首先计算F帧f1,f2,...,fF图像的尺度旋转不变特性sift特征点,设词袋模型中单词表长度为mb,采用K-means聚类方法将词义相近的sift特征点合并得到mb个类,类中心构成词袋的单词表,再重新用单词表中的词汇代替每一帧图像中的每个尺度不变特性转换sift特征点,统计单词表中每个词汇对应sift特征点 个数,则最终得到图像fi的每个词汇的频度,即长度为mb的向量υb,对所有关键帧重复本步骤,直到得到mb×F矩阵M3; 
步骤2-5,提取面积特征与速度特征:计算F帧f1,f2,...,fF图像中每一帧图像的前景的面积s1,s2,...,sF与速度υ1,υ2,...,υF-1,前景的面积也即前景中非0的像素个数,取F个图像前景面积的平均值作为该前景的面积值s,前景速度由前景的矩形包围框的中心位置在原始监控视频中的位移决定,每两帧图像的包围框中心位置确定一个位移,F帧图像计算得到F-1个速度,取速度的中值作为该前景的速度v。 

4.  如权利要求3所述的一种监控视频人物前景分割与分类的方法,其特征在于,步骤3包含下列步骤: 
步骤3-1,设置前景面积和速度的阈值,面积阈值areathersh=800pixel,速度阈值speedthersh=25pixel/image,pixel表示像素,image表示图像,面积特征超过面积阈值的前景划分为汽车类别,面积特征没有超过面积阈值时,若前景速度特征超过速度阈值,前景划分为汽车类别,否则前景划分为人物类别; 
步骤3-2,统一数据维度:将步骤2得到的对于F个图像的颜色直方图矩阵mc×F,局部二值特征矩阵ml×F和词袋特征矩阵mb×F,调用主成分分析PCA方法,降低到统一维度m,所有的特征向量矩阵变为m×F; 
步骤3-3,特征融合:设存在矩阵T维度为m×n,三个特征向量矩阵M1、M2、M3投影到矩阵T所在空间中,同类的空间向量在矩阵T所在空间的投影距离近,不同类的空间向量在矩阵T所在空间中的投影距离很远的特性,初始化T为单位向量矩阵,迭代的更新矩阵T的内容,具体迭代过程如下: 
3-3-1,对矩阵M1,M2,M3进行矩阵正三角分解并更新矩阵Mi:
3-3-2,对每一对矩阵M′i,M′j进行矩阵奇异值分解:
3-3-3,求解矩阵T:计算矩阵计算矩阵A的特征向量λ为矩阵A中特征向量ti的特征值,将ti按照从大到小的顺序排序构成矩阵T,即TT{t1,t2,...,tn},这里矩阵A的不 同特征向量个数确定了n的大小; 
重复步骤3-3-1~3-3-3直至T收敛为止,其中i取值范围1~3,TT表示矩阵T的转置矩阵,M′i表示Mi的逆矩阵,表示Mi的逆转置矩阵,φ表示矩阵正三角分解后的正交矩阵,Δi则是矩阵正三角分解后的上三角矩阵,表示Δi的逆矩阵,Qij表示矩阵奇异值分解的酉矩阵,T的列维度n由矩阵A确定; 
步骤3-4,前景视频分类:将特征向量矩阵M1,M2,M3投影到T所在的空间中,即Mi=TTMi,i取1~3,得到新的特征向量矩阵M1,M2,M3; 
步骤3-5,颜色直方图特征聚类:颜色矩阵M1采用最低秩子空间聚类方法计算出每帧图像之间的相似度w,构造图image,将所有的前景图像作为结点,图像之间的相似度w作为权重,然后采用谱聚类Ncut方法对图image进行分割,从而完成对图像的分类,相似度w的计算方法如下: 
3-5-1,初始化参数λ0,相关性矩阵Z,相关性矩阵Z的等价矩阵J=0,Z=J,噪声纠正矩阵E=0,拉格朗日矩阵Y1=0,Y2=0,拉格朗日惩罚参数μ=10-6,最大拉格朗日惩罚参数maxμ=1010,拉格朗日惩罚参数倍数ρ0=1.1,常数ε=10-8; 
3-5-2,计算M1每列数据的相关性矩阵等价矩阵J:固定其他矩阵更新矩阵J, 
3-5-3,计算M1每列数据的相关性矩阵Z:固定其他矩阵更新矩阵Z,Z=(I+M1tM1)-1(M1tM1-M1tE+J+(M1tY1-Y2)/μ); 
3-5-4,计算噪声纠正矩阵E:固定其他矩阵更新矩阵E,
3-5-5,计算拉格朗日矩阵Y1,Y2:更新矩阵Y1,Y2,Y1=Y1+μ(M1-M1Z-E),Y2=Y2+μ(Z-J); 
3-5-6,更新拉格朗日惩罚参数μ,μ=min(ρ0μ,maxμ); 
3-5-7,判断迭代是否结束:检查||M1-M1Z-E||∞<ε,||Z-J||∞<ε是否成立, 若成立则迭代结束,否则继续迭代; 
其中||||*代表核范数,||||F代表弗罗贝尼乌斯范数,||||∞代表最大范数,min(A,B)代表返回A和B中较小值,上述的迭代过程得到矩阵Z,则矩阵Z中的元素Zi,j、Zj,i之和代表图像i、j之间的相似值,构建无向图image,图像i代表图image的结点,图像i、j之间的相似性值代表结点i与结点j之间的权重,采用谱聚类Ncut方法来对图image进行分割从而实现对多个前景关键帧之间的分类; 
步骤3-6,局部二值特征以及词袋特征聚类:对矩阵M2,M3采用K-means方法进行聚类; 
步骤3-7,对结果进行集成学习:由步骤3-5,3-6,3-7得到三个特征下每一帧图像所属的类别Ci,利用三个类别太阳城集团投票确定每一帧图像的类别,从而所有的关键帧Fi都可以确定其类别太阳城集团,计算前景视频υi与υj之间的相似度
对于前景视频υi,若其同υj之间的相似度比同其他的视频的相似度高,则υi同υj划分为同一类。 

关 键 词:
一种 监控 视频 人物 前景 分割 分类 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

太阳城集团本文
本文标题:一种监控视频人物前景分割与分类的方法.pdf
链接地址:http://zh228.com/p-6140867.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');