太阳城集团

  • / 9
  • 下载费用:30 金币  

一种动态环境下的空间运动目标检测方法.pdf

摘要
申请专利号:

太阳城集团CN201410133651.8

申请日:

2014.04.03

公开号:

CN103955948A

公开日:

2014.07.30

当前法律状态:

授权

有效性:

有权

法律详情: 授权|||实质审查的生效IPC(主分类):G06T 7/20申请日:20140403|||公开
IPC分类号: G06T7/20 主分类号: G06T7/20
申请人: 西北工业大学
发明人: 黄攀峰; 张彬; 蔡佳; 孟中杰; 刘正雄
地址: 710021 陕西省西安市友谊西路127号
优先权:
专利代理机构: 西安通大专利代理有限责任公司 61200 代理人: 蔡和平
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

太阳城集团CN201410133651.8

授权太阳城集团号:

||||||

法律状态太阳城集团日:

2016.10.05|||2014.08.27|||2014.07.30

法律状态类型:

太阳城集团授权|||实质审查的生效|||公开

摘要

本发明提供了一种动态环境下的空间运动目标检测方法,通过双目相机获取前后两帧四副图像,提取四副图像中可靠的特征点,然后对该特征点进行三维重建,计算图像的场景流,接着,将具有相似运动的特征点聚类,从而检测出场景中运动的物体。

权利要求书

权利要求书
1.  一种动态环境下的空间运动目标检测方法,其特征在于:通过双目相机获取前后两帧四副图像,提取四副图像中可靠的特征点,然后对该特征点进行三维重建,计算图像的场景流,接着,将具有相似运动的特征点聚类,从而检测出场景中运动的物体。

2.  根据权利要求1所述的一种动态环境下的空间运动目标检测方法,其特征在于:提取图像中可靠的特征点的方法为:首先检测出特征点,然后对得到的特征点进行筛选,保留匹配的特征点。

3.  根据权利要求2所述的一种动态环境下的空间运动目标检测方法,其特征在于:所述三维重建的方法为:假定匹配特征点在双目相机图像中的坐标分别为:x=[uL,vL]T,x=[uR,vR]T,则该特征点映射到世界坐标系中的三维坐标X=[X,Y,Z]T∈R3为:
X=(uL-cu,L)·bd,]]>Y=(vL-cv,L)·bd,]]>Z=b·fd,]]>
其中,b为立体相机的基线,cu,L和cv,L是左相机的主点,f是焦距,d表示视差,d=|uL-uR|。

4.  根据权利要求1所述的一种动态环境下的空间运动目标检测方法,其特征在于:假定特征点映射到世界坐标系的三维坐标点的速度V在5帧的太阳城集团段t内是恒定的,t=0.5s,则所述场景流根据以下公式计算:f(x)≈13760f(x)-5f(x-1)+5f(x-2)-103f(x-3)+54f(x-4)-15f(x-5),]]>其中,f'(x)为场景流,f(x),f(x-1),f(x-2),f(x-3),f(x-4),f(x-5)分别表示5帧图像中的匹配特征点在三维坐标系中的位置。

5.  根据权利要求4所述的一种动态环境下的空间运动目标检测方法, 其特征在于:具有相似运动的特征点聚类的方法为:以检测到的匹配特征点为节点使用Delaunay三角剖分进行连接,得到Delaunay三角形集合T,对得到的三角形集合T中的每个三角形边线的两个顶点的场景流之差进行阈值判断,得到具有相似场景流的特征点的聚类。

6.  根据权利要求4或5所述的一种动态环境下的空间运动目标检测方法,其特征在于:具有相似运动的特征点聚类的方法为:对同一条边线上的两个节点i和j定义它们的场景流之差,比较同一条边线上的两节点的场景流之差,如果差值不超过给定的阈值,则保留该条边线,否则移除该边线。

7.  根据权利要求1至5中任意一项所述的一种动态环境下的空间运动目标检测方法,其特征在于:检测出场景中运动的物体后,对错误检测到的静态物体进行剔除,以确保运动目标检测的可靠性和稳定性,剔除的具体方法为:检测得到物体的区域的尺度范围如果超出合理尺度范围,则从检测结果中剔除,所述尺度范围指物体在图像中占据的区域范围,所述合理尺度范围为120像素×30像素。

8.  根据权利要求6所述的一种动态环境下的空间运动目标检测方法,其特征在于:检测出场景中运动的物体后,对检测到的对象进行关联,以确保运动目标检测的可靠性和稳定性,关联的具体方法为:假设检测到的物体的速度在太阳城集团间隔Δt=0.5s内是不变的,根据物体在前一时刻检测出的位置和速度,预测出当前时刻的预测 位置,再考虑到可接受范围内的测量误差和预测误差,在当前预测位置周围放置一个路径门限,然后在当前时刻判断物体的检测位置是否落在这个预测路径门限内,如果落在了预测路径门限内,那么认为该物体检测正常;否则,认为物体检测丢失;检测到的运动物体至少在两个连续的太阳城集团步骤Δt都被正确检测,并且在检测的过程中,至多丢失一次,那么才确定其为正确检测的运动物体,否则认为其为误检测,应予剔除,最终保留下来的,即为最终检测出的场景中的运动物体,其中,所述路径门限为以预测位置为中心,以1米为半径的空间球形区域。

说明书

说明书一种动态环境下的空间运动目标检测方法
技术领域
本发明属于图像处理与计算机视觉领域,具体涉及一种搭载在空间绳系机器人系统上的双目立体相机对空间运动目标检测的方法。
背景技术
空间绳系机器人系统由“绳系机器人+空间系绳+空间平台”组成,具有安全、灵活、操作距离远等特点,可广泛应用于包括在轨维修、在轨加注、辅助变轨及在轨空间站辅助组装等在轨服务中,已经成为空间操控技术领域的研究热点之一。这种新型的微型智能机器人,在空间可以自主逼近目标。在其逼近的过程中利用自身携带的双目视觉测量系统对目标进行实时检测、跟踪与测量。其中最关键的步骤首先是动态背景下对运动目标进行自动检测提取,这涉及到运动目标检测技术。
目前运动目标检测广泛应用于机器人导航、武器制导、交通流量监测、人体运动分析、视频压缩等诸多方面,涉及到计算机视觉、模式识别、统计学、图像理解等诸多研究领域,是图像处理研究领域的热点和难点之一。由于空间绳系机器人的运动特性导致其携带的摄像机存在自主运动,与目标相对运动,使得问题变得更加难以解决,这将对后续的运动目标自动检测极为不利。
对于运动平台上运动目标检测问题,常用的一种方法需要先消除相机自身运动,即将同一场景的不同角度或位置拍摄的图像进行配 准,然后检测运动目标。但是这种方法需要先消除相机自身运动,使得整个运动目标检测算法比较复杂,步骤较多,整个算法的稳定性和精度也难以保证。
本专利针对绳系机器人上搭载的摄像机发生自运动时检测运动目标的问题,提出了一种基于稀疏场景流的运动目标检测方法,实现动态背景下运动目标的自动检测。
发明内容
本发明的目的在于弥补现有运动目标检测技术的不足,提供一种动态环境下的空间运动目标检测方法,该方法具有良好的鲁棒性,且操作简单,计算速度快,检测结果准确。
为实现上述目的,本发明的技术方案为:
一种空间绳系机器人运动目标检测方法,通过双目相机获取前后两帧四副图像,提取四副图像中可靠的特征点,然后对该特征点进行三维重建,计算图像的场景流,接着,将具有相似运动的特征点聚类,从而检测出场景中运动的物体。
提取图像中可靠的特征点的方法为:首先检测出特征点,然后对得到的特征点进行筛选,保留匹配的特征点。
所述三维重建的方法为:
假定匹配特征点在双目相机图像中的坐标分别为:x=[uL,vL]T,x=[uR,vR]T,则该特征点映射到世界坐标系中的三维坐标X=[X,Y,Z]T∈R3为:
X=(uL-cu,L)·bd,]]>Y=(vL-cv,L)·bd,]]>Z=b·fd,]]>
其中,b为立体相机的基线,cu,L和cv,L是左相机的主点,f是焦距,d表示视差,d=|uL-uR|。
假定特征点映射到世界坐标系的三维坐标点的速度V在5帧的太阳城集团段t内是恒定的,t=0.5s,则所述场景流根据以下公式计算:f(x)≈13760f(x)-5f(x-1)+5f(x-2)-103f(x-3)+54f(x-4)-15f(x-5),]]>
其中,f'(x)为场景流,f(x),f(x-1),f(x-2),f(x-3),f(x-4),f(x-5)分别表示5帧图像中的匹配特征点在三维坐标系中的位置。
具有相似运动的特征点聚类的方法为:以检测到的匹配特征点为节点使用Delaunay三角剖分进行连接,得到Delaunay三角形集合T,对得到的三角形集合T中的每个三角形边线的两个顶点的场景流之差进行阈值判断,得到具有相似场景流的特征点的聚类。
具有相似运动的特征点聚类的方法为:对同一条边线上的两个节点i和j定义它们的场景流之差,比较同一条边线上的两节点的场景流之差,如果差值不超过给定的阈值,则保留该条边线,否则移除该边线。
检测出场景中运动的物体后,对错误检测到的静态物体进行剔除,以确保运动目标检测的可靠性和稳定性,剔除的具体方法为:检测得到物体的区域的尺度范围如果超出合理尺度范围,则从检测结果中剔除,所述尺度范围指物体在图像中占据的区域范围,所述合理尺度范围为120像素×30像素。
检测出场景中运动的物体后,对检测到的对象进行关联,以确保运动目标检测的可靠性和稳定性,关联的具体方法为:假设检测到的 物体的速度在太阳城集团间隔Δt=0.5s内是不变的,根据物体在前一时刻检测出的位置和速度,预测出当前时刻的预测位置,再考虑到可接受范围内的测量误差和预测误差,在当前预测位置周围放置一个路径门限,然后在当前时刻判断物体的检测位置是否落在这个预测路径门限内,如果落在了预测路径门限内,那么认为该物体检测正常;否则,认为物体检测丢失;检测到的运动物体至少在两个连续的太阳城集团步骤Δt都被正确检测,并且在检测的过程中,至多丢失一次,那么才确定其为正确检测的运动物体,否则认为其为误检测,应予剔除,最终保留下来的,即为最终检测出的场景中的运动物体,所述路径门限以预测位置为中心,以1米为半径的空间球形区域。
与现有技术相比,本发明至少具有以下有益效果:本发明采用了稀疏场景流分割的算法检测动态场景中的运动目标,与以往技术相比,不需要先检测出相机的自身运动,克服了现有技术的步骤繁琐,实现复杂,实时性不好,精确度低等不足。本发明利用可靠特征点的稀疏场景流的计算,能显著提高运行速度,保证实时性。采用Delaunay三角剖分对场景流进行分割,能够高效地识别出场景中的运动目标。发明中对检测到的运动对象进行关联,保证了算法的精确性和可靠性。
附图说明
图1为本发明的算法总流程框图。
具体实施方式
本发明方法主要由三维重建算法、稀疏场景流算法、场景流聚类 算法、对象关联算法等部分组成。该方法具体包括步骤如下:
步骤一:获取双目相机的前后两帧四幅图像;
步骤二:对这两帧连续的图像对进行特征点提取,保留那些在这四幅图像中相对应的可靠的特征点;
步骤三:利用左右图像的视差,对每个特征点进行三维重建,得到每个特征点在3D世界坐标系中的坐标;
步骤四:通过计算每个特征点在5个太阳城集团间隔中检测得到的5个3D位置的有限差分,近似得到场景流;
步骤五:以检测到的特征点为节点使用Delaunay三角剖分进行连接;
步骤六:判断同一条连线上两节点的场景流的差,如果差值不超过给定的阈值,则保留该边线,否则移除该边线,这样就把具有相似场景流的特征点聚类在了一起;
步骤七:去除误检测的静态物体;
步骤八:对检测到的运动对象进行关联,进一步确保检测结果的可靠性和稳定性。
以下结合附图对本发明进行详细的描述。应当指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
如图1所示,本发明实施例提供的运动目标检测方法包括:
步骤一:获取左相机前一帧图像xL,k-1,当前帧图像xL,k,右相机前一帧图像xR,k-1,当前帧图像xR,k;
步骤二:立体图像中可靠特征点的提取,具体步骤分解如下:
(1):对图像xL,k-1,xL,k,xR,k-1,xR,k分别进行特征点检测,得到四幅图像的特征点集,分别为P1={p11,p12,…,p1n},P2={p21,p22,…,p2n},P3={p31,p32,…,p3n},P4={p41,p42,…,p4n};
(2):对步骤(1)得到的特征点进行筛选:首先对特征点集P1和P2中的特征点进行匹配,保留匹配的特征点,再用保留下来的特征点和P3中的特征点匹配,保留匹配的特征点,再用保留下来的特征点和P4中的特征点匹配,保留匹配的特征点。特征点集P1,P2,P3,P4中保留下来的那些特征点组成新的点集,称为匹配特征点集Q1={q11,q12,…,q1j},Q2={q21,q22,…,q2j},Q3={q31,q32,…,q3j},Q4={q41,q42,…,q4j};
其中特征点的检测,利用的是参考文献“A.Geiger,J.Ziegler,and C.Stiller.Stereoscan:Dense3d reconstruction in real-time.In IEEE Intelligent Vehicles Symposium,Baden-Baden,Germany,June2011”中所提出的方法,此处不再赘述。
步骤三:对左右相机当前帧的两幅图像中的匹配特征点对集合Q2,Q4进行三维重建,得到每个特征点在3D世界坐标系中的坐标:
设匹配特征点在左相机图像中的坐标为x=[uL,vL]T,在右相机图像中的坐标为x=[uR,vR]T,那么该特征点映射到世界坐标系中的三维坐标X=[X,Y,Z]T∈R3为:
X=(uL-cu,L)·bd---(1)]]>
Y=(vL-cv,L)·bd---(2)]]>
Z=b·fd---(3)]]>
其中b代表立体相机的基线,cu,L和cv,L是左相机的主点,f是焦距,d表示视差,d=|uL-uR|。
步骤四:计算场景流,假设特征点映射到世界坐标系的三维坐标点的速度V在5帧的太阳城集团段(t=0.5s)内是恒定的,那么速度矢量可以看做是世界点Xk位置的一阶导数,其中,k为第k帧图像,k=1,……5:
V=ΔXkΔt---(4)]]>
采样速率1/Δt=10Hz恒定,其中,Δt代表前后两帧图像之间的采样太阳城集团间隔,ΔXk表示世界点Xk在前后两帧图像中的对应三维位置之差。
为了计算的方便,使用向后差分近似求导,公式如下:
f(x)≈13760f(x)-5f(x-1)+5f(x-2)-103f(x-3)+54f(x-4)-15f(x-5)---(5)]]>
其中,f'(x)为场景流,f(x),f(x-1),f(x-2),f(x-3),f(x-4),f(x-5)分别表示5帧图像中的匹配特征点在三维坐标系中的位置。
由公式(4)和(5)可以计算出场景的场景流。
步骤五:以检测到的匹配特征点为节点使用Delaunay三角剖分进行连接,得到Delaunay三角形集合T。
具体方法在参考文献“C.B.Barber,D.P.Dobkin,and H.Huhdanpaa.The quickhull algorithm for convex hulls.ACM Transactions on Mathematical Software,22(4):469–483,1996”中有详细介绍,此处不再赘述。
步骤六:对上步中得到的三角形集合T中的每个三角形边线的两个顶点的场景流之差进行阈值判断,得到具有相似场景流的特征点的 聚类,具体步骤如下:
(1):对同一条边线上的两个节点i和j定义它们的场景流之差如下:
Δ(Vi,Vj)=(Vi-Vj)TΣi,j-1(Vi-Vj)---(6)]]>
其中,Vi,Vj分别表示两个节点i和j上的场景流;
场景流的协方差矩阵Σ如下:
Σ=JSJT               (7)
其中S为测量噪声为0.5像素的斜对角测量噪声矩阵。
矩阵J为场景流的雅克比矩阵,对于3D世界点X=[X,Y,Z]T,其雅克比矩阵J给出如下:
J=dVdx=∂VX∂uL,k∂VX∂uR,k∂VX∂vk∂VY∂uL,k∂VY∂uR,k∂VY∂vk∂VZ∂uL,k∂VZ∂uR,k∂VZ∂vk,i=0...5---(8)]]>
(2):比较同一条边线上的两节点的场景流之差Δ(Vi,Vj),如果差值不超过给定的阈值(本实施例中设为30像素),则保留该条边线,否则移除该边线。这样就把具有相似场景流的特征点聚类在了一起,就初步检测出了场景中运动的物体O’1,O’2,…,O’n。
步骤七:去除误检测的静态的物体:
对于误检测的静态的区域,其检测得到的区域的尺寸范围往往超出了目标合理的尺寸范围,因此可以判断,把尺度范围超过合理尺度范围(本实施例中设为120像素×30像素)的区域,从检测结果中剔除,保留下物体O1,O2,…,Om。此处的尺度范围指物体在图像中占据 的区域范围。
步骤八:对检测到的运动物体O1,O2,…,Om进行关联,进一步确保检测结果的可靠性和稳定性,具体步骤如下:
(1):对于检测到的物体Oi,假设其速度在太阳城集团Δt=0.5s内是不变的;
(2):根据其前一时刻的位置以及其速度,预测出当前时刻位置
(3):考虑到可接受范围内的测量误差和预测误差,在当前时刻预测位置周围放置一个路径门限(在本实施例中设置为以预测位置为中心,以1米为半径的空间球形区域);
(4):在当前时刻,检测物体Oi的位置为判断如果其落在了预测位置的路径门限内,那么认为该物体检测正常;如果检测位置落在了预测位置的路径门限外,那么认为物体检测丢失;
(5):检测到的运动物体至少在两个连续的太阳城集团步骤Δt都被正确检测,并且在检测的过程中,至多丢失一次,那么才确定其为正确检测的运动物体,否则认为其为误检测,应予剔除,最终保留下来的,即为最终检测出的场景中的运动物体。
至此,就正确稳定地检测出场景中的运动目标了。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。

关 键 词:
一种 动态 环境 空间 运动 目标 检测 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:一种动态环境下的空间运动目标检测方法.pdf
链接地址:http://zh228.com/p-6140784.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');