太阳城集团

  • / 12
  • 下载费用:30 金币  

用于无人平台的增强全景监控方法.pdf

摘要
申请专利号:

CN201610659453.4

申请日:

2016.08.12

公开号:

太阳城集团CN106303417A

公开日:

2017.01.04

当前法律状态:

实审

有效性:

审中

法律详情: 实质审查的生效IPC(主分类):H04N 7/18申请日:20160812|||公开
IPC分类号: H04N7/18; G06T5/00 主分类号: H04N7/18
申请人: 长沙冰眼电子科技有限公司
发明人: 渠军; 曾志豪; 张剑
地址: 410000 湖南省长沙市长沙高新开发区尖山路39号长沙中电软件园一期9号栋410室
优先权:
专利代理机构: 湖南兆弘专利事务所(普通合伙) 43008 代理人: 周长清
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

太阳城集团CN201610659453.4

授权太阳城集团号:

|||

法律状态太阳城集团日:

太阳城集团2017.02.01|||2017.01.04

法律状态类型:

实质审查的生效|||公开

摘要

本发明公开了一种用于无人平台的增强全景监控方法,其步骤为:S1:初始化模型参数;包括目标全景图像的参数,坐标系转换的矩阵参数以及相机的参数;S2:基于目标全景图的逆向投影设计;通过坐标系的转换,将全景图像与相机进行关联,最终通过像素映射或融合生成目标全景图;S3:建立基于目标全景图的增强显示模型;通过坐标系的转换,完成无人平台坐标系到全景图像坐标系的转换,构成增强显示模型;S4:基于步骤S3得到的增强显示模型,将无人平台的运动轨迹在全景图中进行显示。本发明具有原理简单、易实现、能够提高无人平台监控效果等优点。

权利要求书

1.一种用于无人平台的增强全景监控方法,其特征在于,步骤为:
S1:初始化模型参数;包括目标全景图像的参数,坐标系转换的矩阵参数以及相机的参
数;
S2:基于目标全景图的逆向投影设计;通过坐标系的转换,将全景图像与相机进行关
联,最终通过像素映射或融合生成目标全景图;
S3:建立基于目标全景图的增强显示模型;通过坐标系的转换,完成无人平台坐标系到
全景图像坐标系的转换,构成增强显示模型;
S4:基于步骤S3得到的增强显示模型,将无人平台的运动轨迹在全景图中进行显示。
2.根据权利要求1所述的用于无人平台的增强全景监控方法,其特征在于,所述步骤S1
中的参数包括:(1)目标全景图像的高H,宽W,参考球面的半径r;(2)世界坐标系到各相机坐
标系的旋转矩阵Rn、平移矩阵Tn,各相机内参矩阵Kn,其中下标n表示相机单元序号;(3)无人
平台坐标系到世界坐标系的旋转矩阵R、平移矩阵T;其中矩阵Rn、Tn、Kn、R和T由相机标定获
得。
3.根据权利要求1或2所述的用于无人平台的增强全景监控方法,其特征在于,所述步
骤S2的具体流程为:
S201:导入相关参数;
S202:全景图像坐标系反投影到参考球面坐标系;
S203:参考球面坐标系转换到世界坐标系;
S204:世界坐标系转换到相机坐标系;
S205:相机坐标系转换到图像坐标系;
S206:像素映射或融合生成全景图。
4.根据权利要求1或2所述的用于无人平台的增强全景监控方法,其特征在于,所述步
骤S3的具体流程为:
S301:导入相关参数;
S302:无人平台坐标系转换到世界坐标系;
S303:世界坐标系转换到球面坐标系;
S304:球面坐标系投影到全景图像坐标系;
S305:整合计算得到增强显示模型。
5.根据权利要求1或2所述的用于无人平台的增强全景监控方法,其特征在于,所述步
骤S4的具体流程为:
S401:输入为步骤S3得到的基于目标全景图的增强显示模型、无人平台的参数、无人平
台的期望运动参数、无人平台传感器的实测结果;
S402:已知车体的参数和期望运动,通过任务规划和动力学模型计算得到全局规划路
径和期望行驶轨迹;已知无人平台的参数和无人平台传感器实测数据,通过动力学模型计
算得到实际行驶轨迹;全局规划路径、期望行驶轨迹和实际行驶轨迹作为运动太阳城集团数据为
一组车体轨迹;同时,对基于目标全景图的增强显示模型,可选遍历无人平台坐标系中一定
范围内的空间点,从而生成从无人平台坐标系到全景图像坐标系的唯一映射表;
S403:已知增强显示模型,通过代入无人平台的规划路径或行驶轨迹坐标,或者已知从
无人平台坐标系到全景图像坐标系的唯一映射表,通过查表及线性插值计算,得到行驶轨
迹在全景图像中的显示位置,完成全景图像的增强显示。

说明书

用于无人平台的增强全景监控方法

技术领域

本发明主要涉及到无人平台的设计领域,特指一种适用于无人平台的增强全景监
控方法。

背景技术

在无人车运行过程中以及在辅助驾驶应用中,需要对周围环境进行实时监控和检
测。现有的视觉监控系统一般由单路摄像机或多路独立的摄像机组成,其有如下缺陷:

(1)视觉图像太阳城集团不完整。单路摄像机所能提供的视觉太阳城集团的视场范围有限,盲区
较大;而多路独立的摄像机虽然提供了视场范围足够大的视觉太阳城集团,但是各自图像独立而
不具有整体性,严重影响了视觉体验。

(2)车体运动太阳城集团表达不充分。对于无人平台监控系统,通常需要将车体的规划路
径和行驶轨迹等运动太阳城集团叠加显示在视频图像上。目前叠加操作都在单路摄像机视频中完
成,受限于视场范围,车体的运动太阳城集团难以表达充分,即单路摄像机的视场范围十分有限,
难以充分表达车体的行驶轨迹,只能表现较短太阳城集团内、较低行驶速度下的行驶轨迹变化,在
转弯等运动过程中尤其明显。而无人车自主控制系统本身存在动态响应延迟,对于半自主
无人平台的远程遥现操作,还存在较大的无线通信链路的数据传输延迟,因而通过视场较
小的增强显示图像难以发现并及时规避可能发生的危险行驶,难以在复杂的环境下稳定地
操控半自主无人平台。

发明内容

本发明要解决的技术问题就在于:针对现有技术存在的技术问题,本发明提供一
种原理简单、易实现、能够提高无人平台监控效果的用于无人平台的增强全景监控方法。

为解决上述技术问题,本发明采用以下技术方案:

一种用于无人平台的增强全景监控方法,其步骤为:

S1:初始化模型参数;包括目标全景图像的参数,坐标系转换的矩阵参数以及相机
的参数;

S2:基于目标全景图的逆向投影设计;通过坐标系的转换,将全景图像与相机进行
关联,最终通过像素映射或融合生成目标全景图;

S3:建立基于目标全景图的增强显示模型;通过坐标系的转换,完成无人平台坐标
系到全景图像坐标系的转换,构成增强显示模型;

S4:基于步骤S3得到的增强显示模型,将无人平台的运动轨迹在全景图中进行显
示。

作为本发明的进一步改进:所述步骤S1中的参数包括:(1)目标全景图像的高H,宽
W,参考球面的半径r;(2)世界坐标系到各相机坐标系的旋转矩阵Rn、平移矩阵Tn,各相机内
参矩阵Kn,其中下标n表示相机单元序号;(3)无人平台坐标系到世界坐标系的旋转矩阵R、
平移矩阵T;其中矩阵Rn、Tn、Kn、R和T由相机标定获得。

作为本发明的进一步改进:所述步骤S2的具体流程为:

S201:导入相关参数;

S202:全景图像坐标系反投影到参考球面坐标系;

S203:参考球面坐标系转换到世界坐标系;

S204:世界坐标系转换到相机坐标系;

S205:相机坐标系转换到图像坐标系;

S206:像素映射或融合生成全景图。

作为本发明的进一步改进:所述步骤S3的具体流程为:

S301:导入相关参数;

S302:无人平台坐标系转换到世界坐标系;

S303:世界坐标系转换到球面坐标系;

S304:球面坐标系投影到全景图像坐标系;

S305:整合计算得到增强显示模型。

作为本发明的进一步改进:所述步骤S4的具体流程为:

S401:输入为步骤S3得到的基于目标全景图的增强显示模型、无人平台的参数、无
人平台的期望运动参数、无人平台传感器的实测结果;

S402:已知车体参数和期望运动,通过任务规划和动力学模型计算得到全局规划
路径和期望行驶轨迹;已知无人平台的参数和无人平台传感器实测数据,通过动力学模型
计算得到实际行驶轨迹;全局规划路径、期望行驶轨迹和实际行驶轨迹作为运动太阳城集团数据
为一组车体轨迹;同时,对基于目标全景图的增强显示模型,遍历无人平台坐标系中一定范
围内的空间点,从而生成从无人平台坐标系到全景图像坐标系的唯一映射表;

S403:已知增强显示模型,通过代入车体的规划路径或行驶轨迹坐标,或者已知从
无人平台坐标系到全景图像坐标系的唯一映射表,通过查表及线性插值计算,得到行驶轨
迹在全景图像中的显示位置,完成全景图像的增强显示。

与现有技术相比,本发明的优点在于:

1、本发明的用于无人平台的增强全景监控方法,能够在无人平台全景监控视频中
叠加车体的全局规划路径、期望行驶轨迹和实际行驶轨迹等运动太阳城集团,形成增强显示全景
视图,简称增强全景,用于向操作员提供监视画面。

2、本发明的用于无人平台的增强全景监控方法,通过在全景图像中叠加显示车体
的全局规划路径、期望行驶轨迹和实际行驶轨迹等运动太阳城集团,可以直观地预测和描述无人
车未来的行驶行为,提高系统监控能力和人机交互能力,增强视觉体验并降低因延迟带来
的系统动荡风险。

附图说明

图1是本发明方法的流程示意图。

图2是本发明在具体应用实例中基于目标全景图的逆向投影设计的流程示意图。

图3是本发明在具体应用实例中参考球面的示意图。

图4是本发明在具体应用实例中建立基于目标全景图的增强显示模型的流程示意
图。

图5是本发明在具体应用实例中将行驶轨迹在全景图中进行增强显示的流程示意
图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图1所示,本发明的用于无人平台的增强全景监控方法,主要面向各类无人平台
(自主或半自主平台),以无人车为例,其步骤为:

S1:初始化模型参数;包括目标全景图像的参数,坐标系转换的矩阵参数以及相机
的参数;

S2:基于目标全景图的逆向投影设计;通过坐标系的转换,将全景图像与相机进行
关联,最终通过像素映射或融合生成目标全景图;

S3:建立基于目标全景图的增强显示模型;通过坐标系的转换,完成无人平台坐标
系到全景图像坐标系的转换,构成增强显示模型;

S4:基于步骤S3得到的增强显示模型,将行驶轨迹在全景图中进行显示。

在具体应用实例中,步骤S1中的参数包括目标全景图像的高H,宽W,参考球面的半
径r;世界坐标系到各相机坐标系的旋转矩阵Rn、平移矩阵Tn,各相机内参矩阵Kn,其中下标n
表示相机单元序号;无人平台坐标系到世界坐标系的旋转矩阵R、平移矩阵T;其中矩阵Rn、
Tn、Kn、R和T由相机标定获得。

参见图2,在具体应用实例中,以球面全景模型为例(但不局限于任何全景模型),
具体步骤为:

步骤201:导入相关参数。包括目标全景图像的高H,宽W,参考球面的半径r;世界坐
标系到各相机坐标系的旋转矩阵Rn、平移矩阵Tn,各相机内参矩阵Kn,其中下标n表示相机单
元序号。

步骤202:全景图像坐标系反投影到参考球面坐标系。

参考球面如图3所示。全景图像中任一像素点表示为P(i,j),i表示图像列索引,j
表示图像行索引。以参考球面的球心O为原点建立空间直角世界坐标系,假定将点P(i,j)反
投影到参考球面上对应的点为其中r表示参考球面半径,θ表示OQ连线与世界坐
标系X轴的夹角,表示OQ连线与世界坐标系Z轴的夹角,其中θ的范围是[0,2π],的范围是
[0,π],π表示圆周率,可得公式1;


步骤203:参考球面坐标系转换到世界坐标系。

假定球面上任一点在世界坐标系上对应的空间点为W(Xw,Yw,Zw),下标w
表示世界坐标,令sin(x)表示三角正弦函数,cos(x)表示三角余弦函数,x表示变量,可得公
式2;


步骤204:世界坐标系转换到相机坐标系。

世界坐标系上任一点W(Xw,Yw,Zw)在相机单元的相机坐标系上对应的点为C(Xn,Yn,
Zn),n表示相机单元序号,可得公式3;


步骤205:相机坐标系转换到图像坐标系。

相机坐标系上任一点C(Xn,Yn,Zn)在图像平面上对应的像素点为I(un,vn),变换矩
阵Kn由该相机内参确定,n表示相机单元序号,可得公式4;


步骤206:像素映射或融合生成全景图。

由公式1、2、3、4可导出公式5,得到全景图中任一像素点P(i,j)在图像平面上对应
的像素点为I(un,vn),n表示相机单元序号,从而生成唯一映射表,通过查表和线性插值运算
即可生成全景图像;若I(un,vn)超出图像索引范围,表示该相机单元没有捕获到P(i,j);若I
(un,vn)未超出图像索引范围,表示相机单元捕获到了P(i,j);若有唯一相机单元捕获到了P
(i,j),则相应的像素点I(un,vn)映射为P(i,j);若有多个相机单元同时捕获到了P(i,j),则
通过像素融合表示P(i,j);


在具体应用实例中,上述步骤S3的详细流程为:

步骤301:导入相关参数。包括目标全景图像的高H,宽W,参考球面的半径r;无人平
台坐标系到世界坐标系的旋转矩阵R、平移矩阵T。

步骤302:无人平台坐标系转换到世界坐标系。无人平台坐标系上任一点V(Xv,Yv,
Zv),下标v表示无人平台坐标,其对应的世界坐标系上的点为W(Xw,Yw,Zw),可得公式6;


步骤303:世界坐标系转换到球面坐标系。将世界坐标系中的点W(Xw,Yw,Zw)投影到
参考球面,其投影点为令arc tan(x)表示反正切函数,arc cos(x)表示反余弦函
数,x表示变量,可得公式7;


步骤304:球面坐标系投影到全景图像坐标系。将球面上任一点投影到全
景图像上,其对应的像素点为P(i,j),可得公式8;


步骤305:整合计算得到增强显示模型。对公式6、7、8进行整合即可得到增强显示
模型,公式9。无人平台坐标系上任一点V(Xv,Yv,Zv)通过增强显示模型即可映射为全景图像
坐标系上一点P(i,j)。


在具体应用实例中,上述步骤S4的详细流程为:

步骤401:输入为步骤3得到的基于目标全景图的增强显示模型,无人车的车体参
数如质量、轴距和车宽等,车体的期望运动如期望加速度等,车载传感器的实测结果如实测
速度等。期望运动包括但不限于由人机交互设备或自主控制系统发出的指令,人机交互设
备例如模拟方向盘、模拟脚踏板和操纵杆等。

步骤402:已知车体参数和期望运动,通过任务规划和动力学模型等计算可以得到
全局规划路径和期望行驶轨迹;已知车体参数和车载传感器实测数据,通过动力学模型等
计算可以得到实际行驶轨迹;全局规划路径、期望行驶轨迹和实际行驶轨迹等运动太阳城集团数
据为一组车体轨迹;同时,对基于目标全景图的增强显示模型,可选遍历无人平台坐标系中
一定范围内的空间点,从而生成从无人平台坐标系到全景图像坐标系的唯一映射表;

步骤403:已知增强显示模型,通过代入车体的规划路径或行驶轨迹坐标,或者已
知从无人平台坐标系到全景图像坐标系的唯一映射表,通过查表及线性插值计算,即可得
到行驶轨迹在全景图像中的显示位置,完成全景图像的增强显示。

在以上的实例中,本发明仅是以普通球面投影为例,公式(1)和(8)建立相应的反
投影与投影模型,但不局限于任何全景模型,柱面投影与墨卡托投影等投影方法皆可适用,
同样能完成发明目的。

以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,
凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的
普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护
范围。

关 键 词:
用于 无人 平台 增强 全景 监控 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:用于无人平台的增强全景监控方法.pdf
链接地址:http://zh228.com/p-6100540.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');