太阳城集团

  • / 19
  • 下载费用:30 金币  

一种图像拼接方法及装置.pdf

摘要
申请专利号:

CN201610890008.9

申请日:

2016.10.12

公开号:

CN106331527A

公开日:

2017.01.11

当前法律状态:

实审

有效性:

审中

法律详情: 实质审查的生效IPC(主分类):H04N 5/265申请日:20161012|||公开
IPC分类号: H04N5/265; H04N5/262; H04N5/232; G06T5/00 主分类号: H04N5/265
申请人: 腾讯科技(北京)有限公司
发明人: 袁梓瑾; 简伟华
地址: 100080 北京市海淀区海淀大街38号银科大厦16层1601-1608室
优先权:
专利代理机构: 北京德琦知识产权代理有限公司 11018 代理人: 郭曼;王琦
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201610890008.9

授权太阳城集团号:

|||

法律状态太阳城集团日:

2017.03.08|||2017.01.11

法律状态类型:

太阳城集团实质审查的生效|||公开

摘要

太阳城集团本申请公开了一种图像拼接方法及装置。该方法包括:获取至少两个摄像装置各自拍摄到的图像;针对每个摄像装置,以预设的至少两个摄像装置的公共光心为原点构建该摄像装置的三维坐标系;针对每个摄像装置拍摄到的一图像中的每个像素,执行以下处理:将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标;根据该摄像装置的光心和该图像中指定的目标物点,对第二坐标进行修正,得到第三坐标;及,根据所有图像中每个像素的第三坐标对所有图像进行拼接。利用这些技术方案,能够提供无视差的拼接图像,提高图像拼接装置的资源利用率。

权利要求书

1.一种图像拼接方法,其特征在于,包括:
获取至少两个摄像装置各自拍摄到的图像;
针对每个摄像装置,以预设的所述至少两个摄像装置的公共光心为原点构建该摄像装
置的三维坐标系;
针对每个摄像装置拍摄到的一图像中的每个像素,执行以下处理:
将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标;
根据该摄像装置的光心和该图像中指定的目标物点,对所述第二坐标进行修正,得到
第三坐标;及,
根据所有图像中每个像素的所述第三坐标对所有图像进行拼接。
2.根据权利要求1所述的方法,其中,若所述三维坐标系表示为(X,Y,Z),所述以预设的
所述至少两个摄像装置的公共光心为原点构建该摄像装置的三维坐标系包括:
以所述公共光心为原点,在该摄像装置的成像面的平行面上建立二维坐标系(X,Y);
根据所述二维坐标系(X,Y)和右手定则确定Z轴。
3.根据权利要求1所述的方法,其中,所述将该像素在该图像中二维坐标系的第一坐标
转换为该三维坐标系下的第二坐标包括:
根据所述第一坐标确定该像素的角坐标;
根据该摄像装置的透镜成像几何函数和所述第一坐标确定入射光与该三维坐标系(X,
Y,Z)中Z轴之间的夹角;
根据所述角坐标和所述夹角计算出所述第二坐标。
4.根据权利要求3所述的方法,其中,若第一坐标表示为(x1,y1),角坐标表示为所述
根据第一坐标确定该像素的角坐标包括:
确定的三角函数值分别为:

该三维坐标系为笛卡尔坐标系,若第二坐标表示为(x2,y2,z2),夹角表示为θ,所述根据
所述夹角和所述角坐标计算出所述第二坐标包括:
按照如下公式计算得到x2、y2和z2:


z2=cos(θ) 。
5.根据权利要求3或4所述的方法,其中,所述根据该摄像装置的透镜成像几何函数r
(θ)和所述第一坐标(x1,y1)确定入射光与该三维坐标系(X,Y,Z)中Z轴之间的夹角θ包括:
当该摄像装置的透镜为直线型时,有r(θ)=f·tan(θ),则

当该摄像装置的透镜为等距型时,有r(θ)=f·θ,则

其中,atan(·)表示取反正切值函数,pw,ph分别表示该像素的宽度与高度,f为透镜的
焦距。
6.根据权利要求1所述的方法,其中,所述根据该摄像装置的光心和该图像中指定的目
标物点,对所述第二坐标进行修正,得到第三坐标包括:
获取所述公共光心和所述目标物点之间的距离;
获取该摄像装置的光心相对于所述公共光心的偏移量;
根据所述距离、所述偏移量和所述第二坐标计算出所述第三坐标。
7.根据权利要求6所述的方法,其中,所述根据所述距离R0、所述偏移量(Tx,Ty,Tz)和所
述第二坐标(x2,y2,z2)计算出所述第三坐标(x3,y3,z3)包括:
按照如下公式计算得到x3、y3和z3:



其中,
8.根据权利要求1至7中任一项所述的方法,其中,所述根据所有图像中每个像素的所
述第三坐标对所有图像进行拼接包括:
根据每个摄像装置在全景系统中所处的位置,按照预设的投影类型将所述第三坐标投
影到单位全景球面中;
在所述单位全景球面中将所有的图像进行拼接,得到全景图像。
9.一种图像拼接装置,其特征在于,包括:
获取模块,用于获取至少两个摄像装置各自拍摄到的图像;
坐标系构建模块,用于针对每个摄像装置,以预设的所述至少两个摄像装置的公共光
心为原点构建该摄像装置的三维坐标系;
坐标处理模块,用于针对每个摄像装置拍摄到的一图像中的每个像素,执行以下处理:
将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标;根据该摄
像装置的光心和该图像中指定的目标物点,对所述第二坐标进行修正,得到第三坐标;及,
拼接模块,用于根据所有图像中每个像素的所述第三坐标对所有图像进行拼接。
10.根据权利要求9所述的装置,其中,所述坐标处理模块包括转换单元,用于根据所述
第一坐标确定该像素的角坐标;根据该摄像装置的透镜成像几何函数和所述第一坐标确定
入射光与该三维坐标系(X,Y,Z)中Z轴之间的夹角;根据所述角坐标和所述夹角计算出所述
第二坐标。
11.根据权利要求10所述的装置,其中,若第一坐标表示为(x1,y1),角坐标表示为所
述转换单元用于,确定:

该三维坐标系为笛卡尔坐标系,若第二坐标表示为(x2,y2,z2),夹角表示为θ,所述转换
单元用于,按照如下公式计算得到x2、y2和z2:


z2=cos(θ) 。
12.根据权利要求9所述的装置,其中,所述坐标处理模块包括修正单元,用于获取所述
公共光心和所述目标物点之间的距离;获取该摄像装置的光心相对于所述公共光心的偏移
量;根据所述距离、所述偏移量和所述第二坐标计算出所述第三坐标。
13.根据权利要求12所述的装置,其中,若所述距离表示为R0,所述偏移量表示为(Tx,
Ty,Tz),所述第二坐标表示为(x2,y2,z2),所述第三坐标表示为(x3,y3,z3),所述修正单元用
于,按照如下公式计算得到x3、y3和z3:



其中,
14.根据权利要求9至14中任一项所述的方法,其中,所述拼接模块用于,根据每个摄像
装置在全景系统中所处的位置,按照预设的投影类型将所述第三坐标投影到单位全景球面
中;在所述单位全景球面中将所有的图像进行拼接,得到全景图像。

说明书

一种图像拼接方法及装置

技术领域

本申请涉及图像处理技术领域,尤其涉及一种图像拼接方法及装置。

背景技术

目前,360度全景视频逐渐成为虚拟现实领域主要的内容之一。相比于传统有限视
野的视频,这种全景视频能够提供给用户更为逼真的沉浸观看体验。由于目前采集全景视
频的单镜头系统还很少,一般是由多个摄像装置或多个镜头系统采集的视频拼接而成。

根据镜头的光学透视几何原理,两个不共光心的镜头系统捕获的二维成像,在它
们的公共视野部分总会存在一定的视差(parallax)。并且,在不同的深度面上,视差程度不
一样,最终导致所拼接的图像在视觉上出现难以接受的瑕疵,例如重影、鬼影、连续线条错
位断裂等。因此,拼接出的图像效果很差,影响了用户的观看体验,并且降低了成像装置的
资源利用率。

发明内容

有鉴于此,本发明提供了一种图像拼接方法及装置,能够提供无视差的拼接图像,
提高图像拼接装置的资源利用率。

本发明的技术方案是这样实现的:

本发明提供了一种图像拼接方法,包括:

获取至少两个摄像装置各自拍摄到的图像;

针对每个摄像装置,以预设的所述至少两个摄像装置的公共光心为原点构建该摄
像装置的三维坐标系;

针对每个摄像装置拍摄到的一图像中的每个像素,执行以下处理:

将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标;

根据该摄像装置的光心和该图像中指定的目标物点,对所述第二坐标进行修正,
得到第三坐标;及,

根据所有图像中每个像素的所述第三坐标对所有图像进行拼接。

本发明还提供了一种图像拼接装置,包括:

获取模块,用于获取至少两个摄像装置各自拍摄到的图像;

坐标系构建模块,用于针对每个摄像装置,以预设的所述至少两个摄像装置的公
共光心为原点构建该摄像装置的三维坐标系;

坐标处理模块,用于针对每个摄像装置拍摄到的一图像中的每个像素,执行以下
处理:将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标;根
据该摄像装置的光心和该图像中指定的目标物点,对所述第二坐标进行修正,得到第三坐
标;及,

拼接模块,用于根据所有图像中每个像素的所述第三坐标对所有图像进行拼接。

与现有技术相比,本发明提供的方法,与所拍摄的物体的几何特性、摄像装置的具
体成像几何公式、最终拼接的投影类型都无关,提供了一种无视差拼接深度面的通用技术,
可以自适应的选择场景中的主要内容所在深度位置作为无视差拼接深度面,提供无视差的
拼接图像,无需额外的去视差处理,提高了图像拼接装置的资源利用率。

附图说明

为了更清楚的说明本发明实施例中的技术方案,下面将对实施例描述中所需要使
用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于
本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其它
的附图。其中,

图1为依据本发明一实施例的图像拼接方法的示例性流程图;

图2为依据本发明一实施例的构建笛卡尔坐标系的示意图;

图3为依据本发明一实施例的光心偏移补偿方法的示例性流程图;

图4a为依据本发明一实施例的对第二坐标进行修正的坐标示意图;

图4b为依据本发明一实施例的确定偏移量的坐标示意图;

图5为依据本发明另一实施例的图像拼接方法的示例性流程图;

图6a为依据本发明一实施例的拼接前的二维图像示意图;

图6b为依据本发明一实施例的拼接后的二维图像示意图;

图7依据本发明一实施例的图像拼接装置的结构示意图;

图8为依据本发明另一实施例的图像拼接装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完
整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发
明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施
例,都属于本发明保护的范围。

本发明实施例中的图像拼接方法和装置适用于任何具有至少两个摄像装置的摄
像系统,其中,两个相邻的摄像装置的视角具有公共部分,即公共视野部分,二者所拍摄的
图像具有重叠部分。根据本发明实施例中的方法,分别针对每个摄像装置拍摄到的图像进
行处理,然后在整个摄像系统中进行图像的拼接,在指定的目标物点(或者深度面)上能够
得到完整的无视差的全景图像。

图1为依据本发明一实施例的图像拼接方法的示例性流程图。如图1所示,该方法
可包括如下步骤:

步骤101,获取至少两个摄像装置各自拍摄到的图像。

本步骤,首先获取一摄像系统中所有摄像装置拍摄到的图像。

步骤102,针对每个摄像装置,以预设的至少两个摄像装置的公共光心为原点构建
该摄像装置的三维坐标系。

由于每个摄像装置都具备一个自身镜头的光心,本步骤中,首先预设一个公共光
心,即假设所有的摄像装置都具备这样一个理想的光心,以此为原点构建三维坐标系。

若三维坐标系表示为(X,Y,Z),以预设的公共光心为原点构建该摄像装置的三维
坐标系时,具体包括:以公共光心为原点,在该摄像装置的成像面的平行面上建立二维坐标
系(X,Y),然后根据二维坐标系(X,Y)和右手定则确定Z轴。

在一实施例中,该三维坐标系为笛卡尔坐标系。相对于摄像装置的坐标系而言,这
种笛卡尔坐标系又被称为笛卡尔世界坐标系。图2为依据本发明一实施例的构建笛卡尔坐
标系的示意图。如图2所示,X轴、Y轴和Z轴共同组成了一摄像装置A的笛卡尔坐标系,公共光
心O为坐标系的原点。入射光以θ角进入摄像装置A的透镜系统,经过透镜折射后,在摄像
装置A的成像面x'o'y'上成像。其中,XOY面和x'o'y'面平行。

步骤103,针对每个摄像装置拍摄到的一图像中的每个像素,执行以下处理:

步骤1031,将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的
第二坐标;

步骤1032,根据该摄像装置的光心和该图像中指定的目标物点,对第二坐标进行
修正,得到第三坐标。

其中,对于步骤1031,将第一坐标转换为第二坐标,具体包括:根据第一坐标确定
该像素的角坐标,根据该摄像装置的透镜成像几何函数和第一坐标确定入射光与该三维坐
标系(X,Y,Z)中Z轴之间的夹角,然后根据夹角和角坐标计算出第二坐标。

若一像素的第一坐标表示为(x1,y1),角坐标表示为根据第一坐标确定该像素
的角坐标包括确定的如下三角函数值:


若第二坐标表示为(x2,y2,z2),夹角表示为θ,则按照如下公式计算出第二坐标中
的x2、y2和z2:


若摄像装置的透镜成像几何函数为r(θ),当该摄像装置的透镜为直线型
(rectilinear)时,有r(θ)=f·tan(θ),则夹角

<mrow> <mi>&theta;</mi> <mo>=</mo> <mi>a</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>p</mi> <mi>w</mi> <mo>&CenterDot;</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>p</mi> <mi>h</mi> <mo>&CenterDot;</mo> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mi>f</mi> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

当该摄像装置的透镜为等距型(equidistant)时,有r(θ)=f·θ,则夹角

<mrow> <mi>&theta;</mi> <mo>=</mo> <mfrac> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>p</mi> <mi>w</mi> <mo>&CenterDot;</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>p</mi> <mi>h</mi> <mo>&CenterDot;</mo> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mi>f</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

其中,atan(·)表示取反正切值函数,pw,ph分别表示该像素的宽度与高度,f为透
镜的焦距(如图2所示)。

对应到图2中,成像面x'o'y'的一个像素p1′,其第一坐标为(x1,y1),p1′和原点o′
之间的连线与x′o′轴之间的夹角为转换到笛卡尔坐标系(X,Y,Z)下,对应物点P1,其三维
坐标如公式(2)所示。其中,P1在XOY二维面上的投影为p1,p1和原点O之间的连线与XO轴之间
的夹角也为

上述公共光心O对所有的摄像装置而言是唯一的,但是考虑到实际中每个摄像装
置都具备自己的一个光心O′,因此,需要根据光心之间的偏离对成像的图像进行补偿,使得
其与O为原点下的成像一致。

对此,图3为依据本发明一实施例的光心偏移补偿方法的示例性流程图。针对步骤
1032,根据该摄像装置的光心和该图像中指定的目标物点,对第二坐标进行修正,得到第三
坐标,如图3所示,具体包括如下步骤:

步骤301,获取公共光心和目标物点之间的距离,即获取目标物点的深度。

本步骤中,目标物点可以由用户根据所拍摄到的图像中自己感兴趣的物点进行指
定,或者,可以根据场景中的主要目标物或内容物进行指定。在指定了目标物点之后,估计
出在XOZ面上公共光心和目标物点之间的距离。例如,根据第三方软件估计出在一具体的场
景中该目标物点的深度为10m,或者20m等。

图4a为依据本发明一实施例的对第二坐标进行修正的坐标示意图。如图4a所示,
目标物点为入射光上的物点P1,上述距离即为P1在XOZ面上投影的长度,即O到P′之
间的长度,记为R0,该距离也称之为物点P1的深度。

步骤302,获取该摄像装置的光心相对于公共光心的偏移量。

本步骤中,考虑到在一个全景摄像系统中相邻两个摄像装置所拍摄的图像之间具
备重叠部分,根据重叠图像的样本数据以及和摄像装置的对应/匹配关系进行回归或者仿
真估计,可以确定出上述偏移量。例如,一个全景(即360°)视频系统,在三维空间中安置有
多个照相机,每个照相机拍摄到一定视角范围内的图像。

图4b为依据本发明一实施例的确定偏移量的坐标示意图。如图4b所示,在三维球
面400所构建的ABC坐标系中,在不同位置上布置有照相机401和402,二者所拍摄的图像具
有重叠部分。根据重叠图像的样本数据可以确定出每个照相机的光心O′与原点O之间的偏
移量。回到图4a中,光心O′相对于原点O在X轴、Y轴和Z轴上的偏移量分别为Tx,Ty,Tz。

步骤303,根据距离、偏移量和第二坐标计算出第三坐标。

对第二坐标进行修正,可以按照如下公式计算得到第三坐标(x3,y3,z3)中的每个
坐标值x3、y3和z3:

<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>3</mn> </msub> <mo>=</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>+</mo> <mfrac> <msub> <mi>T</mi> <mi>x</mi> </msub> <msup> <mi>R</mi> <mo>,</mo> </msup> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>3</mn> </msub> <mo>=</mo> <msub> <mi>y</mi> <mn>2</mn> </msub> <mo>+</mo> <mfrac> <msub> <mi>T</mi> <mi>y</mi> </msub> <msup> <mi>R</mi> <mo>,</mo> </msup> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>z</mi> <mn>3</mn> </msub> <mo>=</mo> <msub> <mi>z</mi> <mn>2</mn> </msub> <mo>+</mo> <mfrac> <msub> <mi>T</mi> <mi>z</mi> </msub> <msup> <mi>R</mi> <mo>,</mo> </msup> </mfrac> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

其中,b=2·(Tz·z2+Tx·x2)。

步骤104,根据所有图像中每个像素的第三坐标对所有图像进行拼接。

针对每个图像中的每个像素进行上述处理后,根据每个摄像装置在摄像系统中所
处的位置,按照某种投影类型对所有处理后的图像进行拼接,从而获得在目标物点所处的
深度面上无任何视差的全景图像。

在本实施例中,通过获取至少两个摄像装置各自拍摄到的图像,针对每个摄像装
置,以预设的至少两个摄像装置的公共光心为原点构建该摄像装置的三维坐标系,针对每
个摄像装置拍摄到的一图像中的每个像素,执行以下处理:将该像素在该图像中二维坐标
系的第一坐标转换为该三维坐标系下的第二坐标;根据该摄像装置的光心和该图像中指定
的目标物点,对第二坐标进行修正,得到第三坐标,根据所有图像中每个像素的第三坐标对
所有图像进行拼接,提供了一种无视差拼接深度面的技术,可以自适应的选择场景中的主
要内容所在深度位置作为无视差拼接深度面,使得场景中的主要内容呈现无视差瑕疵的拼
接效果。

此外,上述方法中坐标的转换和光心偏移的补偿,与目标物点的几何特性无关,不
依赖于具体的目标物点的形状,更适用于在太阳城集团维度上内容不断变化的视频应用。和现有
技术相比,上述方法无需对场景内容进行特征检测与特征匹配,从而可以快速灵活的根据
用户指定的目标物点(或者指定的无视差拼接深度面),对期望位置处的物点或场景内容进
行完整对齐,提供无视差的拼接图像。并且,上述方法和摄像装置的具体成像几何公式、最
终拼接的投影类型也无关,因此,具有通用性,提高了图像拼接装置的资源利用率。

图5为依据本发明另一实施例的图像拼接方法的示例性流程图。如图5所示,包括
如下步骤:

步骤501,获取至少两个摄像装置各自拍摄到的图像。

步骤502,针对每个摄像装置,以预设的至少两个摄像装置的公共光心为原点构建
该摄像装置的笛卡尔坐标系。

步骤503,针对每个摄像装置拍摄到的一图像中的每个像素,执行以下处理:

步骤5031,进行坐标转换:

将该像素在该图像中二维坐标系的第一坐标转换为该笛卡尔坐标系下的第二坐
标;

步骤5032,进行光心偏移补偿:

根据该摄像装置的光心和该图像中指定的目标物点,对第二坐标进行修正,得到
第三坐标。

由上述公式(2)可以看出,第二坐标的模为1,即即所建立的
笛卡尔坐标系是归一化的笛卡尔坐标系。由于归一化笛卡尔坐标系是不含深度太阳城集团的,所
以在同一入射光线上两个深度不同的物点拥有相同的归一化笛卡尔坐标值。如图2所
示,将p1′转换到归一化笛卡尔坐标系(X,Y,Z)下对应的物点不仅仅是P1,除了P1,还可以是
沿着入射光上的其他物点,如图2中的P2。物点P1和P2的深度不同,即在XOZ面上相对于光
心O之间的距离不同,但是二者拥有相同的归一化笛卡尔坐标值(x2,y2,z2),都对应于成像
面x'o'y'上的p1′。

步骤504,根据每个摄像装置在全景系统中所处的位置,按照预设的投影类型将第
三坐标投影到单位全景球面中。

当所有的摄像装置组成了一个全景的摄像系统时,将第三坐标投影到一单位全景
球面中。预设的投影类型包括但不限于:直线型(rectilinear)、鱼眼型(fisheye)、等矩柱
状投影(equirectangular)、正射投影(orthographic)、球面投影(stereographic)等。

步骤505,在单位全景球面中将所有的图像进行拼接,得到全景图像。

通过上述步骤,在拼接后的全景图像中,能够在指定的目标物点位置上达到无视
差的拼接深度面,相邻图像完全对齐,得到无拼接瑕疵的效果。在向用户展示图像时,可以
将三维的全景头像再转换为二维的图像。

图6a为依据本发明一实施例的拼接前的二维图像示意图。其中,在左图600中,目
标物点为第一旗杆(如箭头601所示),对应于图4a中所示的P1-P′。在光心偏移补偿之前,在
该旗杆处出现由于视差导致的上下、左右图像不对齐现象。在右图610中可以清楚的看到,
旗杆的顶端611的左下方还出现多余的点611′,旗帜原本为612所示的图像,但是由于视差,
导致最终成像的为612′。

图6b为依据本发明一实施例的拼接后的二维图像示意图。相应地,左图620为经过
坐标变换、光心偏移补偿后的成像,在旗杆处上下图像完美对齐。在右图630中可以清楚的
看到,在顶端611和旗帜612之外没有对齐的图像都消失,展现出了清晰的旗杆。可见,实现
了对场景中主要内容物(即旗杆)的完美对齐,在旗杆位置处,成为无视差拼接深度面。

在具体应用时,还可以采用逆向处理的方式,即在一张空白的全景画布(canvas)
上,逐像素执行逆处理过程(即依次执行步骤5032所述的光心偏移补偿、步骤5031所述的坐
标转换操作),找到它对应到的摄像装置所捕获图像的像素位置,然后插值得到当前全景画
布上该像素的实际值。

图7依据本发明一实施例的图像拼接装置的结构示意图。如图7所示,图像拼接装
置700包括获取模块710、坐标系构建模块720、坐标处理模块730和拼接模块740,其中,

获取模块710,用于获取至少两个摄像装置各自拍摄到的图像;

坐标系构建模块720,用于针对每个摄像装置,以预设的至少两个摄像装置的公共
光心为原点构建该摄像装置的三维坐标系;

坐标处理模块730,用于针对每个摄像装置拍摄到的一图像中的每个像素,执行以
下处理:将该像素在该图像中二维坐标系的第一坐标转换为该三维坐标系下的第二坐标;
根据该摄像装置的光心和该图像中指定的目标物点,对第二坐标进行修正,得到第三坐标;
及,

拼接模块740,用于根据所有图像中每个像素的第三坐标对所有图像进行拼接。

在一实施例中,坐标处理模块730包括转换单元731,用于根据第一坐标确定该像
素的角坐标;根据该摄像装置的透镜成像几何函数和第一坐标确定入射光与该三维坐标系
(X,Y,Z)中Z轴之间的夹角;根据角坐标和夹角计算出第二坐标。

在一实施例中,若第一坐标表示为(x1,y1),角坐标表示为转换单元731用于,确
定:


该三维坐标系为笛卡尔坐标系,若第二坐标表示为(x2,y2,z2),夹角表示为θ,转换
单元731用于,按照如下公式计算得到x2、y2和z2:



z2=cos(θ)

在一实施例中,坐标处理模块730包括修正单元732,用于获取公共光心和目标物
点之间的距离;获取该摄像装置的光心相对于公共光心的偏移量;根据距离、偏移量和第二
坐标计算出第三坐标。

在一实施例中,若距离表示为R0,偏移量表示为(Tx,Ty,Tz),第二坐标表示为(x2,
y2,z2),第三坐标表示为(x3,y3,z3),修正单元732用于,按照如下公式计算得到x3、y3和z3:

<mrow> <msub> <mi>x</mi> <mn>3</mn> </msub> <mo>=</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>+</mo> <mfrac> <msub> <mi>T</mi> <mi>x</mi> </msub> <msup> <mi>R</mi> <mo>,</mo> </msup> </mfrac> </mrow>

<mrow> <msub> <mi>y</mi> <mn>3</mn> </msub> <mo>=</mo> <msub> <mi>y</mi> <mn>2</mn> </msub> <mo>+</mo> <mfrac> <msub> <mi>T</mi> <mi>y</mi> </msub> <msup> <mi>R</mi> <mo>,</mo> </msup> </mfrac> </mrow>

<mrow> <msub> <mi>z</mi> <mn>3</mn> </msub> <mo>=</mo> <msub> <mi>z</mi> <mn>2</mn> </msub> <mo>+</mo> <mfrac> <msub> <mi>T</mi> <mi>z</mi> </msub> <msup> <mi>R</mi> <mo>,</mo> </msup> </mfrac> </mrow>

其中,b=2·(Tz·z2+Tx·x2)。

在一实施例中,拼接模块740用于,根据每个摄像装置在全景系统中所处的位置,
按照预设的投影类型将第三坐标投影到单位全景球面中;在单位全景球面中将所有的图像
进行拼接,得到全景图像。

图8为依据本发明另一实施例的图像拼接装置的结构示意图。该图像拼接装置800
可包括:处理器810、存储器820、端口830以及总线840。处理器810和存储器820通过总线840
互联。处理器810可通过端口830接收和发送数据。其中,

处理器810用于执行存储器820存储的机器可读指令模块。

存储器820存储有处理器810可执行的机器可读指令模块。处理器810可执行的指
令模块包括:获取模块821、坐标系构建模块822、坐标处理模块823和拼接模块824。其中,

获取模块821被处理器810执行时可以为:获取至少两个摄像装置各自拍摄到的图
像;

坐标系构建模块822被处理器810执行时可以为:针对每个摄像装置,以预设的至
少两个摄像装置的公共光心为原点构建该摄像装置的三维坐标系;

坐标处理模块823被处理器810执行时可以为:针对每个摄像装置拍摄到的一图像
中的每个像素,执行以下处理:将该像素在该图像中二维坐标系的第一坐标转换为该三维
坐标系下的第二坐标;根据该摄像装置的光心和该图像中指定的目标物点,对第二坐标进
行修正,得到第三坐标;及,

拼接模块824被处理器810执行时可以为:根据所有图像中每个像素的第三坐标对
所有图像进行拼接。

由此可以看出,当存储在存储器820中的指令模块被处理器810执行时,可实现前
述各个实施例中获取模块、坐标系构建模块、坐标处理模块和拼接模块的各种功能。

上述装置和系统实施例中,各个模块及单元实现自身功能的具体方法在方法实施
例中均有描述,这里不再赘述。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以
是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述集成的单
元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

另外,本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理
程序来实现。显然,数据处理程序构成了本发明。此外,通常存储在一个存储介质中的数据
处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的
存储设备(如硬盘和或内存)中执行。因此,这样的存储介质也构成了本发明。存储介质可以
使用任何类型的记录方式,例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存
等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。

因此,本发明还公开了一种存储介质,其中存储有数据处理程序,该数据处理程序
用于执行本发明上述方法的任何一种实施例。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精
神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

关 键 词:
一种 图像 拼接 方法 装置
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:一种图像拼接方法及装置.pdf
链接地址:http://zh228.com/p-6100876.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');