太阳城集团

  • / 11
  • 下载费用:30 金币  

基于SURF算子的电气设备红外与可见光图像配准方法.pdf

摘要
申请专利号:

CN201610653585.6

申请日:

2016.08.11

公开号:

CN106257535A

公开日:

2016.12.28

当前法律状态:

实审

有效性:

审中

法律详情: 实质审查的生效IPC(主分类):G06T 3/00申请日:20160811|||公开
IPC分类号: G06T3/00; G06T7/00; G06K9/46; G06K9/62; G06T3/40 主分类号: G06T3/00
申请人: 河海大学常州校区
发明人: 李庆武; 许金鑫; 马云鹏; 刘艳; 霍冠英; 周妍
地址: 213022 江苏省常州市晋陵北路200号河海大学物联网工程学院
优先权:
专利代理机构: 南京纵横知识产权代理有限公司 32224 代理人: 许婉静;董建林
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

太阳城集团CN201610653585.6

授权太阳城集团号:

|||

法律状态太阳城集团日:

2017.01.25|||2016.12.28

法律状态类型:

实质审查的生效|||公开

摘要

本发明公开了一种基于SURF算子的电气设备红外与可见光图像的配准方法,采用了一种基于多方向、不同权值的形态学边缘检测方法分别得到电气设备红外与可见光图像的边缘图像,通过SURF算子分别提取边缘图像的特征点,然后根据最后的正确匹配点对之间的斜率方向一致性的先验知识,提出了一种新的匹配策略来寻找正确的匹配点对,求出仿射变换模型参数,最后通过双线性插值的方法对待配准图像进行空间坐标变换,得到最终的配准图像。本发明采用的方法能够实现图像快速、高精度的匹配,可广泛应用于电气设备健康状态检测和故障诊断领域。

权利要求书

1.一种基于SURF算子的电气设备红外与可见光图像的配准方法,其特征在于,包括以
下步骤:
1)获取同一场景下电气设备的红外图像与可见光图像,并且红外图像与可见光图像尺
寸相同;
2)采用基于多方向、不同权值的形态学边缘检测方法分别提取电气设备红外图像与可
见光图像的边缘;
3)通过SURF算子得到红外边缘图像和可见光边缘图像的特征点;
4)采用特征点匹配算法对特征点进行匹配,筛选出正确的匹配点对,计算出仿射变换
模型的各系数值;
5)根据仿射变换模型通过插值运算对待配准图像进行空间坐标变换,得到最终的配准
图像。
2.根据权利要求1所述的基于SURF算子的电气设备红外与可见光图像的配准方法,其
特征在于:在步骤(2)中,具体步骤包括:
21)采用如下滤波器对图像进行去噪处理,滤波器公式如下:

22)确定边缘检测算子Ek如下式:
Ek=(f·Sk)оSk-(f·Sk)ΘSk,k=1,2,3,4
其中,f代表含有噪声的图像,Sk表示方向结构元素,C为用于滤波的结构元素,D表示去
噪后的平滑图像,·表示形态学的闭运算,о表示形态学的闭运算,Θ表示腐蚀运算;
23)用于滤波的结构元素C值为[0 1 0;1 1 1;0 1 0],方向结构元素Sk包括4个方向,分
别为:S1=[0 1 0;0 1 0;0 1 0];S2=[1 0 0;0 1 0;0 0 1];S3=[0 0 0;1 1 1;0 0 0];
S4=[0 0 1;0 1 0;1 0 0];同时在尺寸为3×3的图像子块中,a1,a2,…,a9分
别代表子块中各像素点的灰度值,其中a1为中间像素点的灰度值,a2,…,a9为其邻域像素点
的灰度值;
令坐标点(x,y)表示红外图像和可见光图像中任意一像素点,红外图像和可见光图像
中每个子块内的邻域间差值的绝对值和各方向结构元素的对应匹配关系为:
方向结构元素S1、S2、S3、S4分别对应的邻域间差值的绝对值分别为:
<mrow> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>3</mn> </mrow> <mn>5</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>7</mn> </mrow> <mn>9</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>|</mo> <mo>,</mo> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>2</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>4</mn> </mrow> <mn>6</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>8</mn> </mrow> <mn>9</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <msub> <mi>a</mi> <mn>2</mn> </msub> <mo>|</mo> <mo>,</mo> </mrow>
<mrow> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>3</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>h</mi> <mo>=</mo> <mn>5</mn> </mrow> <mn>7</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>h</mi> <mo>=</mo> <mn>2</mn> </mrow> <mn>3</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <msub> <mi>a</mi> <mn>9</mn> </msub> <mo>|</mo> <mo>,</mo> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>4</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>6</mn> </mrow> <mn>8</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>2</mn> </mrow> <mn>4</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>|</mo> <mo>;</mo> </mrow>
方向结构元素S1、S2、S3、S4分别对应的计数值Count为:Count1、Count2、Count3、Count4;
在3×3图像子块遍历整幅图像的过程中,每次计算四个邻域间差值的绝对值参数值:
Fe1(x,y)、Fe2(x,y)、Fe3(x,y)、Fe4(x,y),然后比较四个邻域间差值的绝对值的大小,对最大
邻域间差值的绝对值所对应的方向结构元素所对应的计数值Count加1,最后由计数值
Count来确定方向结构元素在四个方向上的权值,公式如下所示:
<mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>=</mo> <msub> <mi>Count</mi> <mi>k</mi> </msub> <mo>/</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>4</mn> </munderover> <msub> <mi>Count</mi> <mi>k</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>,</mo> <mn>4</mn> </mrow>
其中w1,w2,w3,w4分别为4个方向结构元素S1、S2、S3、S4所占的比例系数;
把4个方向结构元素依次代入边缘检测算子Ek,再根据所计算的4个比例系数w1,w2,w3,
w4对边缘检测算子Ek进行叠加,公式如下所示,获得边缘图像E,
<mrow> <mi>E</mi> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>4</mn> </munderover> <msub> <mi>w</mi> <mi>k</mi> </msub> <msub> <mi>E</mi> <mi>k</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>,</mo> <mn>4</mn> <mo>;</mo> </mrow>
24)设置阈值系数α,将步骤23)得到的边缘图像E中灰度值大于α的点的灰度值置为
255,灰度值小于或等于α的点的灰度值置0,得到最终边缘图像。
3.根据权利要求2所述的基于SURF算子的电气设备红外与可见光图像的配准方法,其
特征在于:在步骤(4)中,特征点匹配方法包括以下步骤:
假设参考图像用I1表示,待配准图像用I2表示,尺寸均为M×N,并将参考图像和待配准
图像水平依次放置于同一坐标轴下,形成尺寸为M×2N的图像,M代表图像的行数,N代表图
像的列数;
参考图像I1、待配准图像I2通过SURF方法检测到的特征点集合分别表示成:
Pos1={(x′1,y′1),(x'2,y'2),…,(x′i,y′i),…,(x'm,y'm)},1≤i≤m,
Pos2={(x1,y1),(x2,y2),…,(xj,yj),…,(xn,yn)},1≤j≤n,其中m,n分别表示参考图
像I1和待配准图像I2特征点的数量;根据最后正确匹配点对之间的斜率方向一致性的先验
知识,匹配方法的步骤为:
41)对参考图像I1的特征点集合Pos1中的每个点i,计算其与待配准图像I2的特征点集
合Pos2中所有的点之间的欧氏距离,选择最小欧氏距离对应的点作为点i的粗匹配点;
42)计算所有粗匹配点对之间的欧氏距离,并按照欧式距离由小到大的顺序对匹配点
对排序,然后遍历所有的点对,删除其中多点对一点的点对,此时修正后参考图像I1的特征
点集合和修正后待配准图像I2中的特征点集合分别用Pos1'和Pos2'表示;
43)选择修正后参考图像的特征点集合Pos1'和修正后待配准图像的特征点集合Pos2'
中前K1对匹配点,记作
称为集合1;选择
修正后参考图像的特征点集合Pos1'和修正后待配准图像的特征点集合Pos2'中前K2对匹
配点,用Pos_K2表示,其中
称为集合2,其
中K1<K2;
44)对于集合2中所有的点对,计算两点间的斜率,公式如下所示,形成斜率集合一k,并
对斜率集合一k四舍五入取整,形成斜率集合二:k'={k1,k2,…,kp};
<mrow> <msub> <mi>k</mi> <mi>p</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mi>p</mi> </msub> <mo>+</mo> <mi>N</mi> <mo>-</mo> <msubsup> <mi>y</mi> <mi>p</mi> <mo>&prime;</mo> </msubsup> </mrow> <mrow> <msub> <mi>x</mi> <mi>p</mi> </msub> <mo>-</mo> <msubsup> <mi>x</mi> <mi>p</mi> <mo>&prime;</mo> </msubsup> </mrow> </mfrac> <mo>,</mo> <mn>1</mn> <mo>&le;</mo> <mi>p</mi> <mo>&le;</mo> <msub> <mi>K</mi> <mn>2</mn> </msub> </mrow>
45)计算斜率集合二中每个斜率出现的频数,筛选频数大于等于2的斜率,形成新的斜
率集合三k_new={k′1,k'2,…,k'q};其中q是得到的特征点的总数量,如果斜率集合二中的
每个斜率出现的频数都为1,则选择前2K2/3对的斜率构成新的斜率集合三k_new;
46)遍历计算考图像的特征点集合二Pos1'和待配准图像的特征点集合二Pos2'中所有
的点对的斜率,筛选出斜率在区间[k'p-0.5,k'p+0.5]内的所有的点对,形成点对集合Pos_
K3,其中k'p∈k_new;
47)从集合1中按照排列组合的方法依次选出3组不同的点对代入仿射变换模型计算出
模型参数G,共有种情况;然后将点对集合Pos_K3中的点逐个对代入仿射变换模型,并设
定阈值delta,当满足下式时,确认该点对集合符合仿射变换模型,称为内点对,
|G×(xi;yi;1)-(x′i;y′i;1)|<delta
其中,(xi,yi),(x′i,y′i)是一对粗匹配点,且满足{(xi,yi),(x′i,y′i)}∈Pos_K3;仿射
变换模型的数学模型表示为:
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msup> <mi>x</mi> <mo>&prime;</mo> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>y</mi> <mo>&prime;</mo> </msup> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>a</mi> <mn>11</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>12</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>a</mi> <mn>21</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>22</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> </mtable> </mfenced> <mo>+</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>&Delta;</mi> <mi>x</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>&Delta;</mi> <mi>y</mi> </msub> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中,(x,y)和(x',y')分别是变换前的坐标和变换后的坐标点,Δx和Δy分别是水平和
竖直方向上的平移量;a11、a12、a21、a22均为仿射变换模型里的参数,G为仿射变换模型里各参
数用矩阵表示的形式,最后可以用表示,delta值为[1;1;0];
48)根据不同的仿射变换模型参数计算符合仿射变换模型的点对的数量,选出数量最
大时的情况得到最佳模型参数。
4.根据权利要求3所述的基于SURF算子的电气设备红外与可见光图像的配准方法,其
特征在于:K1的值为10,K2的值为20,delta值为[1;1;0]。
5.根据权利要求3所述的基于SURF算子的电气设备红外与可见光图像的配准方法,其
特征在于:在步骤(5)中,具体步骤为:首先为待配准图像建立一个和原图像大小相同的空
矩阵,然后根据仿射变换模型对于空矩阵中的每个点进行坐标逆变换,得到空矩阵中的每
个点在待配准图像上的对应点,再通过双线性插值法得到该点的像素值,作为待配准图像
上对应点的像素值。

说明书

基于SURF算子的电气设备红外与可见光图像配准方法

技术领域

本发明属于图像处理技术领域,涉及一种电气设备红外与可见光图像的配准方
法。

背景技术

随着社会的发展,为了满足各行各业对电力大量的需求,必须要保证电网供电的
稳定性以及安全性。而电力设备是电力电网系统的重要组成部分,电力设备安全稳定的运
行可以保证电网可靠地供电。但是因为电力设备长期处于运行状态同时非常容易受到环境
变化的影响,经常会造成各种各样故障的发生,一般的表现形式有设备整体或者局部的异
常发热,如设备绝缘性能劣化或绝缘故障导致介质损耗增大而引起的发热、接头接触不良
引起的局部过热等。所以对电力设备的热状态进行定期的检测,并通过设备的热状态进行
分析和诊断,是保障电力设备和电网可靠运行的重要手段之一。由于电力设备的分布比较
广、数目种类繁多而且运行时具有高温、高电压等特殊性,难以采用常规的检测方式确定电
力设备的热状态。

多传感器的协作运行可以互相弥补各自的局限性,如为了更加可靠的保证电气设
备的正常运行,可以采用红外与可见光传感器结合的方法对电气设备进行异常发热区域的
检测和精准定位。由于采用红外成像的电力设备检测技术是对设备的表面进行非接触、远
距离成像检测,不会受到崎岖地形、设备运行状态的制约,具有直观安全、应用范围广等特
点,已经成为电力设备健康状态检测和故障诊断的重要手段。

所谓图像配准(Image Registration)就是寻找图像之间一种空间变换关系,将图
像变换到统一的坐标系下,使得两幅图像中同一目标具有相同坐标位置的过程,其中两幅
图像在不同的视角、传感器、太阳城集团下获得。它也是解决图像融合、目标检测和识别的前提,在
遥感、军事、计算机视觉等众多场合得到了比较广泛的应用和发展。

由于来源于不同的传感器拍摄,多源图像之间的融合可以获得比单模态图像更多
的细节太阳城集团,而此时多源图像之间的配准则显得尤为重要。本发明所研究的红外与可见光
图像的配准则属于比较常见的多源图像配准问题,红外图像是基于温差的,其反映的被测
物体的辐射太阳城集团,无法分辨出相同温度区域目标的特征,而可见光图像反映了被测目标的
反射太阳城集团。对这两种模态的电气设备图像进行融合,既可以通过红外图像得到电气设备的
热状态太阳城集团,及时发现设备异常发热问题,又可以通过可见光图像对设备温度异常区域进
行精确定位,当设备出现故障时,这两种模态的优势互补可以快速对故障进行精确定位,确
保设备可靠运行。红外与可见光两种图像拍摄设备在对同一目标取景时难免会出现一定程
度的旋转、平移、缩放,导致两幅图像在同一坐标下存在空间位置的差异,使得多源图像的
配准成为图像融合的必要步骤。而快速、精准度高、算法鲁棒性好成为红外和可见光图像的
配准方法所追求的一个目标。

目前图像的配准方法可以分为:基于区域灰度的配准方法和基于特征的配准方
法。其中基于区域灰度的配准方法大都是先定义一种基于灰度太阳城集团的相似性准则函数,然
后选取图像某一区域去搜索最优的变换参数值,如果相似性准则函数的值最大,那么所对
应的求解参数值即为最优值。其中以互太阳城集团为测度的图像配准具有鲁棒性强、精度高等特
点,得到了广泛的应用,但是其计算量比较大,从而导致配准过程花费较长太阳城集团。而基于特
征的配准方法由于具有计算速度快、鲁棒性好、对几何形变不敏感等特点逐渐被广泛运用,
其核心是:对于多源图像数据,选择共有的特征和适用于该特征的匹配策略。典型的检测子
包括:Harris角点检测子、Hessan_Laplace、SIFT算法、SURF算法等,其中Bay于2006年5月提
出的SURF算法在性能上优于SIFT算法,且在运算速度上也有很大的优势。基于现有技术,本
发明研究了一种基于数学形态学的边缘检测算法以及一种新的SURF特征点匹配方法用于
电气设备红外与可见光图像的配准,保证了配准的精度,同时也提高了特征点的匹配速度。

发明内容

本发明所要解决的技术问题是,提供一种电气设备红外与可见光图像的配准方
法,可以实现电气设备红外图像与可见光图像的高精度配准。

为解决上述技术问题,本发明提供一种基于SURF算子的电气设备红外与可见光图
像的配准方法,其特征在于:包括以下步骤:

1)获取同一场景下电气设备的红外图像与可见光图像,并且红外图像与可见光图
像尺寸相同;

2)采用基于多方向、不同权值的形态学边缘检测方法分别提取电气设备红外图像
与可见光图像的边缘;

3)通过SURF(SpeededUp Robust Features)算子得到红外边缘图像和可见光边缘
图像的特征点;

4)采用特征点匹配算法对特征点进行匹配,筛选出正确的匹配点对,计算出仿射
变换模型的各系数值;

5)根据仿射变换模型通过插值运算对待配准图像进行空间坐标变换,得到最终的
配准图像。

本发明所达到的有益效果:本发明解决了电气设备同一场景的红外与可见光图像
间一致特征难以提取和匹配的问题,有效提高了匹配点对的正确率,能够对电气设备红外
和可见光图像实现高精度的配准。

附图说明

图1是本发明基于SURF算子的电气设备红外与可见光图像的配准方法的流

程图。

图2是本发明结构元素S的四个方向上的不同结构。

图3是本发明采用的双线性插值法的示意图。

具体实施方式

本发明的实施示意图如图1所示,本发明的基于SURF算子的电气设备红外与可见
光图像的配准方法,具体步骤包括:

1)获取同一场景下电气设备的红外图像与可见光图像,并且红外图像与可见光图
像具有相同的尺寸;

2)对电气设备红外图像与可见光图像进行灰度化处理,采用基于多方向、不同权
值的形态学边缘检测方法分别提取灰度图像的边缘,具体步骤包括:

21)采用如下滤波器对图像进行去噪处理,滤波器公式如下:


22)确定边缘检测算子Ek如下式:


其中,f代表含有噪声的图像,Sk表示方向结构元素,C为用于滤波的结构元素,D表
示去噪后的平滑图像,·表示形态学的闭运算,表示形态学的闭运算,Θ表示腐蚀运算;

23)用于滤波的结构元素C值为[0 1 0;1 1 1;0 1 0],方向结构元素Sk包括4个方
向,分别为:S1=[0 1 0;0 1 0;0 1 0];S2=[1 0 0;0 1 0;0 0 1];S3=[0 0 0;1 1 1;0 0
0];S4=[0 0 1;0 1 0;1 0 0];同时在尺寸为3×3的图像子块中,a1,
a2,···,a9分别代表子块中各像素点的灰度值,其中a1为中间像素点的灰度值,
a2,···,a9为其邻域像素点的灰度值;

通过比较结构元素和图像边缘方向之间的关系,可以发现,如果所选结构元素的
方向和边缘梯度方向一致,那么此时能够正确地检测到细节太阳城集团,降低错检、漏检等现象发
生的概率。

本发明通过计算图像子块中4个方向上像素的变化值来判断边缘梯度走向,并对
应到四种结构元素的一种。

令坐标点(x,y)表示红外图像和可见光图像中任意一像素点,红外图像和可见光
图像中每个子块内的邻域间差值的绝对值和各方向结构元素的对应匹配关系为:

方向结构元素S1、S2、S3、S4分别对应的邻域间差值的绝对值分别为:

<mrow> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>3</mn> </mrow> <mn>5</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>7</mn> </mrow> <mn>9</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> </mrow> <mo>|</mo> <mo>,</mo> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>2</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>4</mn> </mrow> <mn>6</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>8</mn> </mrow> <mn>9</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <msub> <mi>a</mi> <mn>2</mn> </msub> </mrow> <mo>|</mo> <mo>,</mo> </mrow>

<mrow> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>3</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>5</mn> </mrow> <mn>7</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>2</mn> </mrow> <mn>3</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <msub> <mi>a</mi> <mn>9</mn> </msub> </mrow> <mo>|</mo> <mo>,</mo> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>4</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>6</mn> </mrow> <mn>8</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>2</mn> </mrow> <mn>4</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> </mrow> <mo>|</mo> <mo>;</mo> </mrow>

方向结构元素S1、S2、S3、S4分别对应的计数值Count为:Count1、Count2、Count3、
Count4;

在3×3图像子块遍历整幅图像的过程中,每次计算四个邻域间差值的绝对值参数
值:Fe1(x,y)、Fe2(x,y)、Fe3(x,y)、Fe4(x,y),然后比较四个邻域间差值的绝对值的大小,对最
大邻域间差值的绝对值所对应的方向结构元素所对应的计数值Count加1,最后由计数值
Count来确定方向结构元素在四个方向上的权值,公式如下所示:

<mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>=</mo> <msub> <mi>Count</mi> <mi>k</mi> </msub> <mo>/</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>4</mn> </munderover> <msub> <mi>Count</mi> <mi>k</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>,</mo> <mn>4</mn> </mrow>

其中w1,w2,w3,w4分别为4个方向结构元素S1、S2、S3、S4所占的比例系数;

把4个方向结构元素依次代入边缘检测算子Ek,再根据所计算的4个比例系数w1,
w2,w3,w4对边缘检测算子Ek进行叠加,公式如下所示,获得边缘图像E,

<mrow> <mi>E</mi> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>4</mn> </munderover> <msub> <mi>w</mi> <mi>k</mi> </msub> <msub> <mi>E</mi> <mi>k</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>,</mo> <mn>4</mn> <mo>;</mo> </mrow>

24)设置阈值系数α,将步骤23)得到的边缘图像E中灰度值大于α的点的灰度值置
为255,灰度值小于或等于α的点的灰度值置0,得到最终边缘图像。

3)通过SURF算子得到红外图像与可见光图像的边缘图像的特征点。下面将从特征
点的检测、描述两个方面来详细介绍SURF理论。

31)检测特征点:

在SURF算法中,通过计算近似的Hessian矩阵行列式的值来定位特征点。当某点处
Hessian行列式的值局部最大时,所检测出来的就是特征点。特征点一般比周围邻域点更亮
或更暗一些。SURF方法提取特征点过程仅使用原始图像。将不同尺寸的方形滤波器作用在
原始图像上,由于使用了积分图像,尽管方形滤波器的尺寸有所不同,但处理速度可保持不
变。SURF尺度空间包括若干组(Octave),每一组内包含了若干层。每一层为不同尺度的图
像。不同尺度的图像为原始图像与不同尺寸的方形滤波器高斯卷积后得到的结果图像。各
组之间的区别为最底层方形滤波器的窗口尺寸及组内各层的方形滤波器的窗口大小步进。
第一组最底层使用边长为9的方形滤波器,之后每一组最底层将使用前一组第二层方形滤
波器的尺寸。比如第一组各层方形滤波器的尺寸分别为9,15,21,27;第二组各层方形滤波
器的尺寸分别为15,27,39,51;第三组各层方形滤波器的尺寸分别为27,51,75,99。

为了保证SURF特征点的尺度不变性,SURF算法中特征点的选取是基于Hessian矩
阵,具体方法为:计算某点处Hessian矩阵行列式的值,当该点处Hessian矩阵行列式的值为
局部区域最大值时,认为该点为特征点的候选点。同时为了除去非区域内Hessian矩阵行列
式最大值的点,引入非最大值抑制的方法。若某点通过了非最大值抑制,并且其Hessian矩
阵行列式的值大于阈值,则对其进行三维邻域最大值验证,将与该点同尺度下的8个3×3邻
域内的点及上下两层相邻尺度的18个3×3邻域的点进行比较,以保证该点确为尺度空间的
极值点。

32)特征点的描述

为了实现SURF特征的旋转不变性,需要为每个SURF特征点分配唯一的主方向。
SURF特征点主方向是由特征点圆形邻域内其它点的太阳城集团所确定。其主方向通过计算Haar小
波响应来确定。

使用以特征点为顶点、圆心角为60°的扇形扫描特征点圆形邻域。在扫描过程中,
每扫描1°,计算扇形覆盖的图像区域内的Haar小波响应在x、y方向上的累加和,x、y方向就
是水平和竖直方向,扇形区域内的Haar小波响应累加和应为一个矢量。当扇形旋转一周后,
将得到360个矢量,其中,长度最长的矢量所对应的方向即为该特征点的主方向。

SURF描述子的生成过程中,参与运算的区域为以特征点为中心的,边长为20倍特
征点尺度值得正方形区域。该正方形区域的y轴方向与特征点主方向重合。将参与运算的正
方形区域分割成4×4的子区域,每个区域大小为5×5像素点。对每一个子区域,使用尺寸为
2倍特征点尺度的Haar小波模板进行运算。设dx为x方向子区域的Haar小波响应值,dy为y方
向子区域的Haar小波响应值。对所有得到的dx和dy,以特征点为中心,使用标准差为3.3倍
特征点尺度的高斯函数进行加权运算。最后,将4×4个子区域的4维向量组合v=(∑dx,∑|
dx|,∑dy,∑|dy|),即得到了一个64维的向量。为了使SURF描述子具备光照不变性,对得到
的64维向量进行归一化处理,即得到了包含64维太阳城集团的SURF特征点描述子。

4)采用特征点匹配算法对特征点进行匹配,筛选出正确的匹配点对,计算出仿射
变换模型的各系数值。

本发明的特征点匹配方法,步骤如下:

假设参考图像用I1表示,待配准图像用I2表示,尺寸均为M×N,并将参考图像和待
配准图像水平依次放置于同一坐标轴下,形成尺寸为M×2N的图像,M代表图像的行数,N代
表图像的列数;

参考图像I1、待配准图像I2通过SURF方法检测到的特征点集合分别表示成:

Pos1={(x1',y1'),(x'2,y'2),···,(x′i,y′i),···,(x'm,y'm)},1≤i≤m,

Pos2={(x1,y1),(x2,y2),···,(xj,yj),···,(xn,yn)},1≤j≤n,其中m,n分
别表示参考图像I1和待配准图像I2特征点的数量;根据最后正确匹配点对之间的斜率方向
一致性的先验知识,匹配方法的步骤为:

41)对参考图像I1的特征点集合Pos1中的每个点i,计算其与待配准图像I2的特征
点集合Pos2中所有的点之间的欧氏距离,选择最小欧氏距离对应的点作为点i的粗匹配点;

42)计算所有粗匹配点对之间的欧氏距离,并按照欧式距离由小到大的顺序对匹
配点对排序,然后遍历所有的点对,删除其中多点对一点的点对,此时修正后参考图像I1的
特征点集合和修正后待配准图像I2中的特征点集合分别用Pos1'和Pos2'表示;

43)选择修正后参考图像的特征点集合Pos1'和修正后待配准图像的特征点集合Pos2'
中前K1对匹配点,记作称为集
合1;选择修正后参考图像的特征点集合Pos1'和修正后待配准图像的特征点集合Pos2'中前K2对
匹配点,用Pos_K2表示,其中
称为集合2,其中K1<K2;

44)对于集合2中所有的点对,计算两点间的斜率,公式如下所示,形成斜率集合一
k,并对斜率集合一k四舍五入取整,形成斜率集合二:k'={k1,k2,···,kp};

<mrow> <msub> <mi>k</mi> <mi>p</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mi>p</mi> </msub> <mo>+</mo> <mi>N</mi> <mo>-</mo> <msubsup> <mi>y</mi> <mi>p</mi> <mo>&prime;</mo> </msubsup> </mrow> <mrow> <msub> <mi>x</mi> <mi>p</mi> </msub> <mo>-</mo> <msubsup> <mi>x</mi> <mi>p</mi> <mo>&prime;</mo> </msubsup> </mrow> </mfrac> <mo>,</mo> <mn>1</mn> <mo>&le;</mo> <mi>p</mi> <mo>&le;</mo> <msub> <mi>K</mi> <mn>2</mn> </msub> </mrow>

45)计算斜率集合二中每个斜率出现的频数,筛选频数大于等于2的斜率,形成新
的斜率集合三k_new={k1',k'2,···,k'q},其中q是得到的特征点的总数量,理论上斜率
集合三k_new1中元素个数小于等于斜率集合二k'中元素个数;如果斜率集合二中的每个斜
率出现的频数都为1,则选择前2K2/3对的斜率构成新的斜率集合三k_new;

46)遍历计算考图像的特征点集合二Pos1'和待配准图像的特征点集合二Pos2'中
所有的点对的斜率,筛选出斜率在区间[k'p-0.5,k'p+0.5]内的所有的点对,形成点对集合
Pos_K3,其中k'p∈k_new;

47)从集合1中按照排列组合的方法依次选出3组不同的点对代入仿射变换模型计
算出模型参数G,共有种情况;然后将点对集合Pos_K3中的点逐个对代入仿射变换模型,
并设定阈值delta,当满足下式时,确认该点对集合符合仿射变换模型,称为内点对,

|G×(xi;yi;1)-(x′i;y′i;1)|<delta

其中,(xi,yi),(x′i,y′i)是一对粗匹配点,且满足{(xi,yi),(x′i,y′i)}∈Pos_K3;
仿射变换模型的数学模型表示为:

<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msup> <mi>x</mi> <mo>&prime;</mo> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>y</mi> <mo>&prime;</mo> </msup> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>a</mi> <mn>11</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>12</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>a</mi> <mn>21</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>22</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> </mtable> </mfenced> <mo>+</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>&Delta;</mi> <mi>x</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>&Delta;</mi> <mi>y</mi> </msub> </mtd> </mtr> </mtable> </mfenced> </mrow>

其中,(x,y)和(x',y')分别是变换前的坐标和变换后的坐标点,Δx和Δy分别是水
平和竖直方向上的平移量;a11、a12、a21、a22均为仿射变换模型里的参数,G为仿射变换模型里
各参数用矩阵表示的形式,最后可以用表示,delta值为[1;1;0];

48)根据不同的仿射变换模型参数计算符合仿射变换模型的点对的数量,选出数
量最大时的情况得到最佳模型参数,其中K1的值一般设为10,K2的值一般设为20,delta值设
为[1;1;0]。

5)根据仿射变换模型通过插值运算对待配准图像进行空间坐标变换,得到最终的
配准图像。

具体步骤为:首先为待配准图像建立一个和原图像大小相同的空矩阵,然后根据
仿射变换模型对于空矩阵中的每个点进行坐标逆变换,得到空矩阵中的每个点在待配准图
像上的对应点,再通过双线性插值法得到该点的像素值,作为待配准图像上对应点的像素
值,其中,插值运算采用双线性插值法,如图3所示,原理如下:

假设f(x,y)是所要求的灰度值,f(u,v),f(u+1,v),f(u,v+1),f(u+1,v+1)分别代
表采样点f(x,y)周围四个像素点的灰度值大小,其中(u,v)是整数的坐标点,(x,y)是小数
的坐标点。则点(x,y)的像素灰度值的计算如式所示:

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>Q</mi> <mn>1</mn> </msub> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>&lsqb;</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>v</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>Q</mi> <mn>2</mn> </msub> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>&lsqb;</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>v</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>Q</mi> <mn>1</mn> </msub> <mo>+</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <mi>u</mi> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>Q</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>Q</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>

其中,Q1,Q2均为中间变量。

以上对本发明提出的一种基于SURF算子的电气设备红外与可见光图像的配准方
法进行了详细介绍,可广泛应用于电力设备健康状态检测和故障诊断领域。

关 键 词:
基于 SURF 算子 电气设备 红外 可见光 图像 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:基于SURF算子的电气设备红外与可见光图像配准方法.pdf
链接地址:http://zh228.com/p-6100824.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');