太阳城集团

  • / 13
  • 下载费用:30 金币  

立体图像获取方法及装置.pdf

摘要
申请专利号:

太阳城集团CN201310611799.3

申请日:

2013.11.26

公开号:

太阳城集团CN103634586A

公开日:

2014.03.12

当前法律状态:

驳回

有效性:

无权

法律详情: 发明专利申请公布后的驳回IPC(主分类):H04N 13/00申请公布日:20140312|||实质审查的生效IPC(主分类):H04N 13/00申请日:20131126|||公开
IPC分类号: H04N13/00; G02B27/22 主分类号: H04N13/00
申请人: 深圳市唯特视科技有限公司
发明人: 夏春秋
地址: 518000 广东省深圳市高新技术产业园区高新南一道009号中国科技开发院配套服务楼410室
优先权:
专利代理机构: 深圳市弘拓知识产权代理事务所(普通合伙) 44320 代理人: 彭年才
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201310611799.3

授权太阳城集团号:

||||||

法律状态太阳城集团日:

2016.07.06|||2014.04.09|||2014.03.12

法律状态类型:

发明专利申请公布后的驳回|||实质审查的生效|||公开

摘要

本发明提供了一种立体图像获取装置,用于以第一视差设置获取至少两幅图像,并发送至控制装置;控制装置,用于获取至少两幅图像的视差,并判断至少两幅图像的视差是否在预设的视差范围之内;以及当不在预设的视差范围之内时,控制装置将立体图像获取装置的第一视差设置转换为第二视差设置,并将第二视差设置发送至立体图像获取装置。本发明还提供一种立体图像获取方法。本发明可自动获取至少两幅图像的视差及转换立体图像获取装置的视差设置,以获取合理的视差效果,使得拍摄者在拍摄前期就比较容易得到很好的立体图像,提高拍摄的效果及效率。

权利要求书

权利要求书
1.  一种立体图像获取方法,其特征在于,包括:
立体图像获取装置以第一视差设置,获取至少两幅图像,并发送至控制装置;
控制装置获取所述至少两幅图像的视差,并判断所述至少两幅图像的视差是否在预设的视差范围之内;
当不在预设的视差范围之内时,控制装置将所述立体图像获取装置的第一视差设置转换为第二视差设置,并将第二视差设置发送至立体图像获取装置。

2.  根据权利要求1所述的立体图像获取方法,其特征在于,还包括:
立体图像获取装置根据所述第二视差设置获取至少两幅图像,并发送至控制装置。

3.  根据权利要求1所述的立体图像获取方法,其特征在于,所述控制装置将所述立体图像获取装置的第一视差设置转换为第二视差设置,并将第二视差设置发送至立体图像获取装置的步骤具体包括:
控制装置将所述立体图像获取装置的第一视差设置转换为第二视差设置;
将第二视差设置以控制信号的方式发送至立体图像获取装置。

4.  根据权利要求1所述的立体图像获取方法,其特征在于,所述立体图像获取装置以第一视差设置,获取至少两幅图像,并发送至控制装置的步骤之前,包括:所述控制装置预设至少两幅图像的视差范围。

5.  根据权利要求1至4任一项所述的立体图像获取方法,其特征在于,所述控制装置通过双目立体匹配或者多目立体匹配获取至少两幅图像的视差。

6.  根据权利要求1所述的立体图像获取方法,其特征在于,当所述至少两幅图像的视差在预设的视差范围之内时,控制装置将所述至少两幅图像发送至立体监视器。

7.  一种立体图像获取装置,包括用于获取至少两幅图像的立体成像模块,其特征在于,包括:
视差获取模块,用于获取立体成像模块以第一视差设置获取的所述至少两幅图像的视差;
视差转换模块,用于判断所述至少两幅图像的视差是否在预设的视差范围之内;当不在预设的视差范围之内时,将所述立体成像模块的第一视差设置转换为第二视差设置,并将所述第二视差设置发送至立体成像模块。

8.  如权利要求7所述的立体图像获取装置,其特征在于,还包括立体显示模块,用于显示立体成像模块获取的至少两幅图像。

9.  如权利要求7或8所述的立体图像获取装置,其特征在于,还包括:
立体成像伺服电路,用于接收第二视差设置,并根据第二视差设置控制立体成像模块获取至少两幅图像。

10.  如权利要求7或8所述的立体图像获取装置,其特征在于,所述第二视差设置是以控制信号的方式发送至立体成像伺服电路。

说明书

说明书立体图像获取方法及装置
技术领域
本发明涉及一种图像获取方法及装置,尤其涉及一种立体图像获取方法及装置。
背景技术
人类是通过右眼和左眼所看到的物体的细微差异来感知物体的深度,从而识别出立体图像的,这种差异被称为视差。立体显示技术就是通过人为的手段来制造人的左右眼的视差,给左、右眼分别送去具有视差的两幅图像(也称为立体图像),使大脑在获取了左右眼看到不同的两幅图像之后,产生观看真实三维物体的感觉。
随着立体显示技术的快速发展,越来越多的人开始关注并研究立体图像获取系统,例如在立体视频拍摄系统中,由于好莱坞立体电影的巨大票房号召力,引起了拍摄制作立体电影的新一轮热潮。
由于立体图像获取系统的硬件本身的局限,在立体图像获取过程中,现有的立体图像获取系统需要很多的手动校正工作,并且需要反复的尝试才能够达到合理的状态。所以在很多情况下,所获取的立体图像的视差并不合理,一旦立体图像的视差不合理就容易引起观看者感到不适。当视差不合理时,在后期就需要校正,或者需要获取。在现有的立体图像获取方法中,一般是通过立体监视器实时监控立体拍摄效果,当立体监视器中拍摄的立体图像与大银幕效果之间有差别,或者是发现了镜头机位不合理还要手动的根据经验来调整。对导演和摄影师造成较多的限制。
因此,现有的立体图像获取系统的问题在于,需要人工控制立体图像获取装置,才可能获得合理的视差设置,由此降低了获取的效果及效率。
发明内容
本发明的目的在于提供一种立体图像获取方法及装置,提高拍摄的效果及效率。
一种立体图像获取方法,包括:立体图像获取装置以第一视差设置,获取至少两幅图像,并发送至控制装置;控制装置获取至少两幅图像的视差,并判断至少两幅图像的视差是否在预设的视差范围之内;当不在预设的视差范围之内时,控制装置将立体图像获取装置的第一视差设置转换为第二视差设置,并将第二视差设置发送至立体图像获取装置。
进一步的,上述立体图像获取方法,还包括:立体图像获取装置根据第二视差设置获取至少两幅图像,并发送至控制装置。
进一步的,上述控制装置将所述立体图像获取装置的第一视差设置转换为第二视差设置,并将第二视差设置发送至立体图像获取装置的步骤具体包括:控制装置将立体图像获取装置的第一视差设置转换为第二视差设置;将第二视差设置以控制信号的方式发送至立体图像获取装置。
进一步的,上述立体图像获取装置以第一视差设置,获取至少两幅图像,并发送至控制装置的步骤之前,包括:控制装置预设至少两幅图像的视差范围。
进一步的,上述控制装置通过双目立体匹配或者多目立体匹配获取至少两幅图像的视差。
进一步的,上述至少两幅图像的视差在预设的视差范围之内时,控制装置将至少两幅图像发送至立体监视器。
 一种立体图像获取装置,包括用于获取至少两幅图像的立体成像模块;视差获取模块,用于获取立体成像模块以第一视差设置获取的至少两幅图像的视差;视差转换模块,用于判断至少两幅图像的视差是否在预设的视差范围之内;当不在预设的视差范围之内时,将立体成像模块的第一视差设置转换为第二视差设置,并将第二视差设置发送至立体成像模块。
进一步的,上述立体图像获取装置,还包括立体显示模块,用于显示立体成像模块获取的至少两幅图像。
进一步的,上述立体图像获取装置,还包括:立体成像伺服电路,用于接收第二视差设置,并根据第二视差设置控制立体成像模块获取至少两幅图像。
进一步的,上述第二视差设置是以控制信号的方式发送至立体成像伺服电路。
本发明可自动获取及校正至少两幅图像的视差,以获取合理的视差效果,使得拍摄者在拍摄前期就比较容易得到很好的立体图像,提高拍摄的效果及效率。
附图说明
图1所示为双目立体视频拍摄的原理图;
图2所示为本发明立体图像获取系统的一实施例的结构示意图;
图3所示为本发明将立体图像获取装置的第一视差设置转换为第二视差设置的示意图;
图4所示为本发明控制装置一实施例的结构示意图;
图5所示为本发明控制装置另一实施例的结构示意图;
图6所示为本发明立体图像获取装置一实施例的结构示意图;
图7所示为立体图像获取方法一实施例的流程图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
本发明的立体图像获取系统及方法,既适用于双目立体视频拍摄模式,也适用于多目立体视频拍摄模式。利用双目立体视频拍摄模式可拍摄具有视差的两幅图像,多目立体视频拍摄模式则可拍摄到具有视差的多幅图像。本发明将主要以双目立体视频拍摄模式进行说明,本领域技术人员可根据双目立体视频拍摄模式,应用于多目立体视频拍摄模式。立体图像获取装置可采用水平设置方式,也可会聚设置方式进行拍摄。本发明首先预设立体图像获取装置获取的至少两幅图像的视差范围;后续的拍摄过程,根据该预设的视差范围判断立体图像获取装置所获取的至少两幅图像的视差是否合理。该视差范围可根据实际情况进行设定。当立体图像获取装置所获取的图像的视差不在预设的视差范围之内时,即表示不合理,此时需要校正立体图像获取装置的视差设置。该视差设置可以是视差设置参数,也可以是视差设置信号。
图1所示为双目立体视频拍摄的原理图。在双目立体视频拍摄中,夹角a和水平间距d均为立体图像获取装置获取图像时的视差设置。如图1的右图所示,当立体图像获取装置为水平设置时,只涉及水平间距d,此时夹角a为0。如图1的左图所示,当立体图像获取装置为会聚设置时,则同时涉及夹角a和水平间距d。本发明实施例将以会聚设置方式进行说明。
 图2所示为本发明立体图像获取系统的一实施例的结构示意图。
本发明立体图像获取系统包括立体监视器20、立体图像获取装置22,以及与立体监视器20及立体图像获取装置22连接的控制装置21。在本实施例中,立体图像获取装置22与控制装置21之间可通过视频采集线和控制连线连接,控制装置21与立体监视器20之间可通过视频显示线连接。视频采集线和视频显示线可用于传输至少两幅具有视差的图像,控制连线可用于以控制信号的方式发送的视差设置。立体图像获取装置22可以是立体照相机或者立体摄影机或者立体摄像机。视频采集线可以是USB,控制连线可以是USB连线或者IEEE 1394总线,视频显示线可以是HDMI连线或者是DVI连线,只要可以同时传输视频及音频信号即可。
立体监视器20可以是裸眼立体监视器或者眼镜式立体监视器,用于显示立体图像获取装置22获取的图像。
立体图像获取装置22,用于以第一视差设置获取至少两幅图像,并发送至控制装置21。从镜头的数目而言,立体图像获取装置22可以是多镜头立体图像获取装置、双镜头立体图像获取装置,相应的立体图像获取装置22所获取的图像可以是具有视差至少两幅图像或者具有视差的多幅图像。立体图像获取装置22可以是立体摄像机、立体摄影机,或者是立体照相机等具有立体图像获取功能的装置。
控制装置21,用于获取至少两幅图像的视差,并判断该至少两幅图像的视差是否在预设的视差范围之内;当在预设的视差范围之内时,将至少两幅图像发送至立体监视器20;以及当不在预设的视差范围之内时,将立体图像获取装置22的第一视差设置转换为第二视差设置,并将第二视差设置发送至立体图像获取装置22。立体图像获取装置22,还用于根据第二视差设置获取至少两幅图像,并发送至控制装置21。在本发明中,该预设的视差范围预先存储于控制装置21,视差范围可以包括水平间距的范围和/或夹角的范围。第一视差设置的参数可能比第二视差设置的参数大,也可能比第二视差设置的参数小。该预设的视差范围可以是连续的数值范围,也可以是离散的数值范围。比如水平间距d的预设范围可以设置为51mm至65mm的任意数值,或者是d等于51mm至65mm的整数值。相应的,夹角a的预设范围可以是连续的数值范围,也可以是离散的数值范围。
图3所示为本发明将立体图像获取装置22的第一视差设置转换为第二视差设置的示意图。在图3中,左图为控制装置21所获取的图像的视差,分别为d和a,则相应的立体图像获取装置22的第一视差设置也对应为d和a;经过与预设的视差范围比较,如果第一视差设置d和a均大于预设的视差范围的最大值,则可将立体图像获取装置22的视差设置d和a分别转换为第二视差设置d1和a1(如图3的中图所示),这样所获取的图像就相应变为d1和a1;相反的,如果第一视差设置d和a均小于预设的视差范围的最小值,则可将立体图像获取装置22的第一视差设置d和a分别调整为第二视差设置d2和a2(如图3的右图所示),这样所获取的图像的视差就相应变为d2和a2。
 图4所示为本发明控制装置21一实施例的结构示意图。
在本实施例中,控制装置21为具有计算能力的数据处理装置,如个人电脑等。控制装置可包括处理器302、随机存储器304、只读存储器306、通信接口308、输入输出接口310,以及驱动单元312。本实施例中的控制装置21还可视实际情况增加其它元件或者删减上述元件,只要能够解决本发明所提出技术问题,并能达到预期的技术效果即可。
处理器302可以是中央处理单元(Central Processing Unit,CPU),图形处理单元(Graphic Processing Unit,GPU),一般的微处理器,数字信号处理器(Digital Signal Processor,DSP),微控制器,或者专用集成电路(Application Specific Integrated Circuit ASIC)。处理器302可执行一序列的计算机程序指令。计算机程序指令可从只读存储器306装载进入随机存储器304,并由处理器302执行。通过通信接口308所提供的通信连接,可远程访问控制装置21。控制装置21还可通过通信接口308连接至计算机网络或者通信网络与其它系统连接。输入输出接口310可接收用户输入的太阳城集团或者提供相关太阳城集团给用户。比如,输出输出接口310可以是各种显示设备,例如远程控制器,键盘,鼠标,手写板,语音通信装置或者其它的光学或者无线输入设备。驱动单元312可是各种驱动电路以驱动不同的装置。
进一步的,如图5所示,为本发明控制装置21另一实施例的结构示意图。控制装置21用于调整立体图像获取装置22的视差设置。控制装置21包括存储模块210、视差获取模块211以及视差转换模块212。
存储模块210,用于存储预设的视差范围。预设的视差范围可以包括水平间距的范围和/或夹角的范围。第一视差设置的参数可能比第二视差设置的参数大,也可能比第二视差设置的参数小。该预设的视差范围可以是连续的数值范围,也可以是离散的数值范围。比如水平间距d的预设范围可以设置为51mm至65mm的任意数值,或者是d等于51mm至65mm的整数值。相应的,夹角a的预设范围可以是连续的数值范围,也可以是离散的数值范围。
视差获取模块211,用于获取立体图像获取装置22以第一视差设置获取的至少两幅图像的视差。视差转换模块212,用于判断至少两幅图像的视差是否在预设的视差范围之内;当在预设的视差范围之内时,将上述至少两幅图像发送至立体监视器20进行显示。当不在预设的视差范围之内时,将立体图像获取装置22的第一视差设置转换为第二视差设置,并将第二视差设置发送至立体图像获取装置22。第二视差设置是以控制信号的方式发送至立体图像获取装置22。本发明的视差设置可以是视差设置参数或者视差设置信号。
视差获取模块211,可通过双目立体匹配或者多目立体匹配获取至少两幅图像的视差。本发明实施例中的双目立体匹配包括基于区域的双目立体匹配和基于特征的双目立体匹配;多目立体匹配包括水平多目立体匹配、正交三目立体匹配、任意排列三目立体匹配和正交多目立体匹配。视差可以是相对视差,也可以是绝对视差。当视差获取模块211获取到相对视差之后,可将相对视差转换为绝对视差。
视差获取模块211以基于区域的双目立体匹配获取视差时,首先在立体图像获取装置22所获取的其中一幅图像中(如左图)选择与实际物理结构对应的图像特征;然后在另一幅图像中(如右图)确定出对应同一物理结构的图像特征;最后确定两幅图像同一图像特征之间的相对位置,获取相对视差。
视差获取模块211以基于区域的多目立体匹配获取视差时,可采用局部窗口匹配方法,根据图像的颜色太阳城集团(灰度太阳城集团),利用窗口区域的相似度进行匹配,并使用自适应的像素异性测量(self-adapting dissimilarity measure)作为相似度测量函数。自适应像素异性测量结合了绝对误差和(SAD)与绝对梯度差2个因素,从而具有很高的鲁棒性。自适应的像素异性测量函数的定义如下:

其中:

其中,N(x, y)是以匹配点(x, y)为中心像素的5×5 窗口;表示图像梯度的水平分量;表示图像梯度的垂直分量;ω表示权重。
然后,采用双向匹配去除误匹配点,具体如下:
在匹配过程中为了提高匹配的精度,本发明采用双向匹配策略。例如先以左图像作为参考图像,右图像作为目标图像,从左到右进行匹配得到从左到右的视差场。然后以右图像作为参考图像,左图像作为目标图像,从右到左进行匹配得到从右到左的视差场。由于从左到右匹配和从右到左匹配都是针对同一场景物体进行匹配,因此非遮挡区域的对应像素的视差只存在正负差异,视差值相等。两幅视差图中不一致的地方则是由于遮挡等引起的误匹配。为了消除误匹配,可设从左到右的视差图为dLR,从右到左的视差图为dRL,左图上的像素(xL,y)与右图上的像素(xR,y)是一对匹配点,该像素点在左右视差图中的视差值分别为dLR (xL,y) ,dRL (xR,y)。本实施例中进行立体匹配的图像只存在水平视差,可通过如下公式来去除误匹配点:

其中,xR = xL + dLR (xL,y)。当两幅视差图中对应点的视差误差满足:∣dLR (xL , y)-dRL (xR , y)∣≤λ(λ为允许的视差误差阈值),则表明对应点视差匹配正确。当视差误差不满足∣dLR (xL , y)-dRL (xR , y)∣≤λ时,表明该点为误匹配点,将该点视差值赋值为0。
接着,对视差图进行融合,具体如下:
通过上面2步得到了两幅相互独立的视差图,但其中误匹配点都被赋值为0,无视差太阳城集团。接着通过对视差图像进行融合的方法填充赋值为0的像素点的视差太阳城集团,融合方式如下:

其中,I(x,y)是最终合成的参考图像视差图;ILI (x,y),IRI (x,y)分别表示参考图像与其邻近的左右两幅图像匹配得到的视差图;δ表示一个阈值;t是相机的外参矩阵中的平移向量。
最后,对视差图进行优化,具体如下:
经过上述局部窗口匹配得到的初始视差图中仍然存在很多空白值(outlier),因此,需要对其进行优化。本发明通过假设参考图像每个颜色分割区域内视差值是相等的,然后对于每个分割区域,给定相应的视差。换而言之,取分割区域内的所有像素的中间视差值作为整个分割区域的视差,其数学表示形式如下式:
,ISEG (x, y)表示分割区域;
通过上述步骤之后即获得每个像素的视差值,进一步的可由该每个像素的视差值得到高质量且稠密的视差图。
 图6所示为本发明立体图像获取装置22一实施例的结构示意图。
立体图像获取装置22包括视频接口220、立体成像模块221、立体成像伺服电路223。立体成像模块221与视频接口220连接,用于获取至少两幅图像,并将该至少两幅图像通过视频接口220发送至控制装置21。立体成像伺服电路223,与控制装置21及立体成像模块221连接,用于接收第二视差设置,并根据第二视差设置控制立体成像模块221。本实施例中,视频接口220通过视频采集线连接到控制装置21。第二视差设置是以控制信号的方式发送至立体成像伺服电路223。
立体成像伺服电路223包括控制接口2230、译码电路2231和成像控制模块2232。
控制接口2230可以是USB接口或者IEEE 1394接口。
控制接口2230与控制装置21连接,用于接收控制装置21发送的控制信号;
译码电路2231,与控制接口2230连接,用于对控制信号进行译码,将译码之后的控制信号发送至成像控制模块2232;
成像控制模块2232,与译码电路2231连接,用于根据译码之后的控制信号控制立体成像模块221获取至少两幅图像。本发明中,成像控制模块2232与译码电路之间可通过I2C总线,UART总线,或者是RS232总线连接。译码电路2231则负责将USB信号或者IEEE 1394信号,转换为I2C信号,UART信号,或者是RS232信号再发送至成像控制模块2232,该I2C信号,UART信号,或者是RS232信号包含视差设置的具体参数值。
图7所示为立体图像获取方法一实施例的流程图。
步骤601,控制装置21预设至少两幅图像的视差范围。
在本实施例中,首先控制装置21预设至少两幅图像的视差范围,所预设的视差包括水平间距和/或夹角;后续的过程,控制装置21可根据该预设的视差范围判断立体图像获取装置22所获取的至少两幅图像的视差是否合理。该视差范围可根据实际情况进行设定,比如所预设的水平间距大于人眼瞳孔之间的间距。当立体图像获取装置22所获取的至少两幅图像的视差小于人眼瞳孔之间的间距时,即表示不合理,此时需要转换立体图像获取装置22的视差设置。
步骤602,立体图像获取装置22以第一视差设置,获取至少两幅图像,并发送至控制装置21。
立体图像获取装置22所获取的至少两幅图像,可以是具有视差的两幅图像或者具有视差的多幅图像。
步骤603,控制装置21获取至少两幅图像的视差。
在本实施例中,控制装置21可通过双目立体匹配或者多目立体匹配获取至少两幅图像的视差。本发明实施例中的双目立体匹配包括基于区域的双目立体匹配和基于特征的双目立体匹配;多目立体匹配包括水平多目立体匹配、正交三目立体匹配、任意排列三目立体匹配和正交多目立体匹配。图像的视差可以是相对视差,也可以是绝对视差。当视差获取模块211获取到相对视差之后,可将相对视差转换为绝对视差。
例如,视差获取模块211以基于区域的双目立体匹配获取视差时,首先在立体图像获取装置22所获取的其中一幅图像中(如左图)选择与实际物理结构对应的图像特征;然后在另一幅图像中(如右图)确定出对应同一物理结构的图像特征;最后确定两幅图像特征之间的相对位置,获取相对视差。
步骤604,控制装置21判断至少两幅图像的视差是否在预设的视差范围之内;如果在预设的视差范围之内,进入步骤607,如果不在预设的视差范围之内,进入步骤605。
步骤605,控制装置21将立体图像获取装置22的第一视差设置转换为第二视差设置,并将第二视差设置发送至立体图像获取装置22。
具体而言,控制装置21首先将立体图像获取装置22的第一视差设置转换为第二视差设置,将第二视差设置以控制信号的方式发送至立体图像获取装置22。
步骤606,立体图像获取装置22根据第二视差设置获取至少两幅图像,并发送至控制装置21。
步骤607,控制装置21将至少两幅图像发送至立体监视器20。
本发明提供的立体图像获取方法,可自动获取及转换立体图像获取装置22所获取的至少两幅图像的视差,以获取合理的视差效果,使得拍摄者在拍摄前期就比较容易得到很好的立体图像,提高拍摄的效果及效率。
 
在上述实施例中,仅对本发明进行了示范性描述,但是本领域技术人员在阅读本专利申请后可以在不脱离本发明的精神和范围的情况下对本发明进行各种修改。

关 键 词:
立体 图像 获取 方法 装置
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:立体图像获取方法及装置.pdf
链接地址:http://zh228.com/p-6220739.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');