• / 11
  • 下載費用:30 金幣  

基于SURF算子的電氣設備紅外與可見光圖像配準方法.pdf

摘要
申請專利號:

CN201610653585.6

申請日:

2016.08.11

公開號:

CN106257535A

公開日:

2016.12.28

當前法律狀態:

實審

有效性:

審中

法律詳情: 實質審查的生效IPC(主分類):G06T 3/00申請日:20160811|||公開
IPC分類號: G06T3/00; G06T7/00; G06K9/46; G06K9/62; G06T3/40 主分類號: G06T3/00
申請人: 河海大學常州校區
發明人: 李慶武; 許金鑫; 馬云鵬; 劉艷; 霍冠英; 周妍
地址: 213022 江蘇省常州市晉陵北路200號河海大學物聯網工程學院
優先權:
專利代理機構: 南京縱橫知識產權代理有限公司 32224 代理人: 許婉靜;董建林
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201610653585.6

授權公告號:

|||

法律狀態公告日:

2017.01.25|||2016.12.28

法律狀態類型:

實質審查的生效|||公開

摘要

本發明公開了一種基于SURF算子的電氣設備紅外與可見光圖像的配準方法,采用了一種基于多方向、不同權值的形態學邊緣檢測方法分別得到電氣設備紅外與可見光圖像的邊緣圖像,通過SURF算子分別提取邊緣圖像的特征點,然后根據最后的正確匹配點對之間的斜率方向一致性的先驗知識,提出了一種新的匹配策略來尋找正確的匹配點對,求出仿射變換模型參數,最后通過雙線性插值的方法對待配準圖像進行空間坐標變換,得到最終的配準圖像。本發明采用的方法能夠實現圖像快速、高精度的匹配,可廣泛應用于電氣設備健康狀態檢測和故障診斷領域。

權利要求書

1.一種基于SURF算子的電氣設備紅外與可見光圖像的配準方法,其特征在于,包括以
下步驟:
1)獲取同一場景下電氣設備的紅外圖像與可見光圖像,并且紅外圖像與可見光圖像尺
寸相同;
2)采用基于多方向、不同權值的形態學邊緣檢測方法分別提取電氣設備紅外圖像與可
見光圖像的邊緣;
3)通過SURF算子得到紅外邊緣圖像和可見光邊緣圖像的特征點;
4)采用特征點匹配算法對特征點進行匹配,篩選出正確的匹配點對,計算出仿射變換
模型的各系數值;
5)根據仿射變換模型通過插值運算對待配準圖像進行空間坐標變換,得到最終的配準
圖像。
2.根據權利要求1所述的基于SURF算子的電氣設備紅外與可見光圖像的配準方法,其
特征在于:在步驟(2)中,具體步驟包括:
21)采用如下濾波器對圖像進行去噪處理,濾波器公式如下:

22)確定邊緣檢測算子Ek如下式:
Ek=(f·Sk)оSk-(f·Sk)ΘSk,k=1,2,3,4
其中,f代表含有噪聲的圖像,Sk表示方向結構元素,C為用于濾波的結構元素,D表示去
噪后的平滑圖像,·表示形態學的閉運算,о表示形態學的閉運算,Θ表示腐蝕運算;
23)用于濾波的結構元素C值為[0 1 0;1 1 1;0 1 0],方向結構元素Sk包括4個方向,分
別為:S1=[0 1 0;0 1 0;0 1 0];S2=[1 0 0;0 1 0;0 0 1];S3=[0 0 0;1 1 1;0 0 0];
S4=[0 0 1;0 1 0;1 0 0];同時在尺寸為3×3的圖像子塊中,a1,a2,…,a9分
別代表子塊中各像素點的灰度值,其中a1為中間像素點的灰度值,a2,…,a9為其鄰域像素點
的灰度值;
令坐標點(x,y)表示紅外圖像和可見光圖像中任意一像素點,紅外圖像和可見光圖像
中每個子塊內的鄰域間差值的絕對值和各方向結構元素的對應匹配關系為:
方向結構元素S1、S2、S3、S4分別對應的鄰域間差值的絕對值分別為:
<mrow> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>3</mn> </mrow> <mn>5</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>7</mn> </mrow> <mn>9</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>|</mo> <mo>,</mo> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>2</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>4</mn> </mrow> <mn>6</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>8</mn> </mrow> <mn>9</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <msub> <mi>a</mi> <mn>2</mn> </msub> <mo>|</mo> <mo>,</mo> </mrow>
<mrow> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>3</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>h</mi> <mo>=</mo> <mn>5</mn> </mrow> <mn>7</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>h</mi> <mo>=</mo> <mn>2</mn> </mrow> <mn>3</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <msub> <mi>a</mi> <mn>9</mn> </msub> <mo>|</mo> <mo>,</mo> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>4</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>6</mn> </mrow> <mn>8</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>2</mn> </mrow> <mn>4</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>|</mo> <mo>;</mo> </mrow>
方向結構元素S1、S2、S3、S4分別對應的計數值Count為:Count1、Count2、Count3、Count4;
在3×3圖像子塊遍歷整幅圖像的過程中,每次計算四個鄰域間差值的絕對值參數值:
Fe1(x,y)、Fe2(x,y)、Fe3(x,y)、Fe4(x,y),然后比較四個鄰域間差值的絕對值的大小,對最大
鄰域間差值的絕對值所對應的方向結構元素所對應的計數值Count加1,最后由計數值
Count來確定方向結構元素在四個方向上的權值,公式如下所示:
<mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>=</mo> <msub> <mi>Count</mi> <mi>k</mi> </msub> <mo>/</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>4</mn> </munderover> <msub> <mi>Count</mi> <mi>k</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>,</mo> <mn>4</mn> </mrow>
其中w1,w2,w3,w4分別為4個方向結構元素S1、S2、S3、S4所占的比例系數;
把4個方向結構元素依次代入邊緣檢測算子Ek,再根據所計算的4個比例系數w1,w2,w3,
w4對邊緣檢測算子Ek進行疊加,公式如下所示,獲得邊緣圖像E,
<mrow> <mi>E</mi> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>4</mn> </munderover> <msub> <mi>w</mi> <mi>k</mi> </msub> <msub> <mi>E</mi> <mi>k</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>,</mo> <mn>4</mn> <mo>;</mo> </mrow>
24)設置閾值系數α,將步驟23)得到的邊緣圖像E中灰度值大于α的點的灰度值置為
255,灰度值小于或等于α的點的灰度值置0,得到最終邊緣圖像。
3.根據權利要求2所述的基于SURF算子的電氣設備紅外與可見光圖像的配準方法,其
特征在于:在步驟(4)中,特征點匹配方法包括以下步驟:
假設參考圖像用I1表示,待配準圖像用I2表示,尺寸均為M×N,并將參考圖像和待配準
圖像水平依次放置于同一坐標軸下,形成尺寸為M×2N的圖像,M代表圖像的行數,N代表圖
像的列數;
參考圖像I1、待配準圖像I2通過SURF方法檢測到的特征點集合分別表示成:
Pos1={(x′1,y′1),(x'2,y'2),…,(x′i,y′i),…,(x'm,y'm)},1≤i≤m,
Pos2={(x1,y1),(x2,y2),…,(xj,yj),…,(xn,yn)},1≤j≤n,其中m,n分別表示參考圖
像I1和待配準圖像I2特征點的數量;根據最后正確匹配點對之間的斜率方向一致性的先驗
知識,匹配方法的步驟為:
41)對參考圖像I1的特征點集合Pos1中的每個點i,計算其與待配準圖像I2的特征點集
合Pos2中所有的點之間的歐氏距離,選擇最小歐氏距離對應的點作為點i的粗匹配點;
42)計算所有粗匹配點對之間的歐氏距離,并按照歐式距離由小到大的順序對匹配點
對排序,然后遍歷所有的點對,刪除其中多點對一點的點對,此時修正后參考圖像I1的特征
點集合和修正后待配準圖像I2中的特征點集合分別用Pos1'和Pos2'表示;
43)選擇修正后參考圖像的特征點集合Pos1'和修正后待配準圖像的特征點集合Pos2'
中前K1對匹配點,記作
稱為集合1;選擇
修正后參考圖像的特征點集合Pos1'和修正后待配準圖像的特征點集合Pos2'中前K2對匹
配點,用Pos_K2表示,其中
稱為集合2,其
中K1<K2;
44)對于集合2中所有的點對,計算兩點間的斜率,公式如下所示,形成斜率集合一k,并
對斜率集合一k四舍五入取整,形成斜率集合二:k'={k1,k2,…,kp};
<mrow> <msub> <mi>k</mi> <mi>p</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mi>p</mi> </msub> <mo>+</mo> <mi>N</mi> <mo>-</mo> <msubsup> <mi>y</mi> <mi>p</mi> <mo>&prime;</mo> </msubsup> </mrow> <mrow> <msub> <mi>x</mi> <mi>p</mi> </msub> <mo>-</mo> <msubsup> <mi>x</mi> <mi>p</mi> <mo>&prime;</mo> </msubsup> </mrow> </mfrac> <mo>,</mo> <mn>1</mn> <mo>&le;</mo> <mi>p</mi> <mo>&le;</mo> <msub> <mi>K</mi> <mn>2</mn> </msub> </mrow>
45)計算斜率集合二中每個斜率出現的頻數,篩選頻數大于等于2的斜率,形成新的斜
率集合三k_new={k′1,k'2,…,k'q};其中q是得到的特征點的總數量,如果斜率集合二中的
每個斜率出現的頻數都為1,則選擇前2K2/3對的斜率構成新的斜率集合三k_new;
46)遍歷計算考圖像的特征點集合二Pos1'和待配準圖像的特征點集合二Pos2'中所有
的點對的斜率,篩選出斜率在區間[k'p-0.5,k'p+0.5]內的所有的點對,形成點對集合Pos_
K3,其中k'p∈k_new;
47)從集合1中按照排列組合的方法依次選出3組不同的點對代入仿射變換模型計算出
模型參數G,共有種情況;然后將點對集合Pos_K3中的點逐個對代入仿射變換模型,并設
定閾值delta,當滿足下式時,確認該點對集合符合仿射變換模型,稱為內點對,
|G×(xi;yi;1)-(x′i;y′i;1)|<delta
其中,(xi,yi),(x′i,y′i)是一對粗匹配點,且滿足{(xi,yi),(x′i,y′i)}∈Pos_K3;仿射
變換模型的數學模型表示為:
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msup> <mi>x</mi> <mo>&prime;</mo> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>y</mi> <mo>&prime;</mo> </msup> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>a</mi> <mn>11</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>12</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>a</mi> <mn>21</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>22</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> </mtable> </mfenced> <mo>+</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>&Delta;</mi> <mi>x</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>&Delta;</mi> <mi>y</mi> </msub> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中,(x,y)和(x',y')分別是變換前的坐標和變換后的坐標點,Δx和Δy分別是水平和
豎直方向上的平移量;a11、a12、a21、a22均為仿射變換模型里的參數,G為仿射變換模型里各參
數用矩陣表示的形式,最后可以用表示,delta值為[1;1;0];
48)根據不同的仿射變換模型參數計算符合仿射變換模型的點對的數量,選出數量最
大時的情況得到最佳模型參數。
4.根據權利要求3所述的基于SURF算子的電氣設備紅外與可見光圖像的配準方法,其
特征在于:K1的值為10,K2的值為20,delta值為[1;1;0]。
5.根據權利要求3所述的基于SURF算子的電氣設備紅外與可見光圖像的配準方法,其
特征在于:在步驟(5)中,具體步驟為:首先為待配準圖像建立一個和原圖像大小相同的空
矩陣,然后根據仿射變換模型對于空矩陣中的每個點進行坐標逆變換,得到空矩陣中的每
個點在待配準圖像上的對應點,再通過雙線性插值法得到該點的像素值,作為待配準圖像
上對應點的像素值。

說明書

基于SURF算子的電氣設備紅外與可見光圖像配準方法

技術領域

本發明屬于圖像處理技術領域,涉及一種電氣設備紅外與可見光圖像的配準方
法。

背景技術

隨著社會的發展,為了滿足各行各業對電力大量的需求,必須要保證電網供電的
穩定性以及安全性。而電力設備是電力電網系統的重要組成部分,電力設備安全穩定的運
行可以保證電網可靠地供電。但是因為電力設備長期處于運行狀態同時非常容易受到環境
變化的影響,經常會造成各種各樣故障的發生,一般的表現形式有設備整體或者局部的異
常發熱,如設備絕緣性能劣化或絕緣故障導致介質損耗增大而引起的發熱、接頭接觸不良
引起的局部過熱等。所以對電力設備的熱狀態進行定期的檢測,并通過設備的熱狀態進行
分析和診斷,是保障電力設備和電網可靠運行的重要手段之一。由于電力設備的分布比較
廣、數目種類繁多而且運行時具有高溫、高電壓等特殊性,難以采用常規的檢測方式確定電
力設備的熱狀態。

多傳感器的協作運行可以互相彌補各自的局限性,如為了更加可靠的保證電氣設
備的正常運行,可以采用紅外與可見光傳感器結合的方法對電氣設備進行異常發熱區域的
檢測和精準定位。由于采用紅外成像的電力設備檢測技術是對設備的表面進行非接觸、遠
距離成像檢測,不會受到崎嶇地形、設備運行狀態的制約,具有直觀安全、應用范圍廣等特
點,已經成為電力設備健康狀態檢測和故障診斷的重要手段。

所謂圖像配準(Image Registration)就是尋找圖像之間一種空間變換關系,將圖
像變換到統一的坐標系下,使得兩幅圖像中同一目標具有相同坐標位置的過程,其中兩幅
圖像在不同的視角、傳感器、時間下獲得。它也是解決圖像融合、目標檢測和識別的前提,在
遙感、軍事、計算機視覺等眾多場合得到了比較廣泛的應用和發展。

由于來源于不同的傳感器拍攝,多源圖像之間的融合可以獲得比單模態圖像更多
的細節信息,而此時多源圖像之間的配準則顯得尤為重要。本發明所研究的紅外與可見光
圖像的配準則屬于比較常見的多源圖像配準問題,紅外圖像是基于溫差的,其反映的被測
物體的輻射信息,無法分辨出相同溫度區域目標的特征,而可見光圖像反映了被測目標的
反射信息。對這兩種模態的電氣設備圖像進行融合,既可以通過紅外圖像得到電氣設備的
熱狀態信息,及時發現設備異常發熱問題,又可以通過可見光圖像對設備溫度異常區域進
行精確定位,當設備出現故障時,這兩種模態的優勢互補可以快速對故障進行精確定位,確
保設備可靠運行。紅外與可見光兩種圖像拍攝設備在對同一目標取景時難免會出現一定程
度的旋轉、平移、縮放,導致兩幅圖像在同一坐標下存在空間位置的差異,使得多源圖像的
配準成為圖像融合的必要步驟。而快速、精準度高、算法魯棒性好成為紅外和可見光圖像的
配準方法所追求的一個目標。

目前圖像的配準方法可以分為:基于區域灰度的配準方法和基于特征的配準方
法。其中基于區域灰度的配準方法大都是先定義一種基于灰度信息的相似性準則函數,然
后選取圖像某一區域去搜索最優的變換參數值,如果相似性準則函數的值最大,那么所對
應的求解參數值即為最優值。其中以互信息為測度的圖像配準具有魯棒性強、精度高等特
點,得到了廣泛的應用,但是其計算量比較大,從而導致配準過程花費較長時間。而基于特
征的配準方法由于具有計算速度快、魯棒性好、對幾何形變不敏感等特點逐漸被廣泛運用,
其核心是:對于多源圖像數據,選擇共有的特征和適用于該特征的匹配策略。典型的檢測子
包括:Harris角點檢測子、Hessan_Laplace、SIFT算法、SURF算法等,其中Bay于2006年5月提
出的SURF算法在性能上優于SIFT算法,且在運算速度上也有很大的優勢。基于現有技術,本
發明研究了一種基于數學形態學的邊緣檢測算法以及一種新的SURF特征點匹配方法用于
電氣設備紅外與可見光圖像的配準,保證了配準的精度,同時也提高了特征點的匹配速度。

發明內容

本發明所要解決的技術問題是,提供一種電氣設備紅外與可見光圖像的配準方
法,可以實現電氣設備紅外圖像與可見光圖像的高精度配準。

為解決上述技術問題,本發明提供一種基于SURF算子的電氣設備紅外與可見光圖
像的配準方法,其特征在于:包括以下步驟:

1)獲取同一場景下電氣設備的紅外圖像與可見光圖像,并且紅外圖像與可見光圖
像尺寸相同;

2)采用基于多方向、不同權值的形態學邊緣檢測方法分別提取電氣設備紅外圖像
與可見光圖像的邊緣;

3)通過SURF(SpeededUp Robust Features)算子得到紅外邊緣圖像和可見光邊緣
圖像的特征點;

4)采用特征點匹配算法對特征點進行匹配,篩選出正確的匹配點對,計算出仿射
變換模型的各系數值;

5)根據仿射變換模型通過插值運算對待配準圖像進行空間坐標變換,得到最終的
配準圖像。

本發明所達到的有益效果:本發明解決了電氣設備同一場景的紅外與可見光圖像
間一致特征難以提取和匹配的問題,有效提高了匹配點對的正確率,能夠對電氣設備紅外
和可見光圖像實現高精度的配準。

附圖說明

圖1是本發明基于SURF算子的電氣設備紅外與可見光圖像的配準方法的流

程圖。

圖2是本發明結構元素S的四個方向上的不同結構。

圖3是本發明采用的雙線性插值法的示意圖。

具體實施方式

本發明的實施示意圖如圖1所示,本發明的基于SURF算子的電氣設備紅外與可見
光圖像的配準方法,具體步驟包括:

1)獲取同一場景下電氣設備的紅外圖像與可見光圖像,并且紅外圖像與可見光圖
像具有相同的尺寸;

2)對電氣設備紅外圖像與可見光圖像進行灰度化處理,采用基于多方向、不同權
值的形態學邊緣檢測方法分別提取灰度圖像的邊緣,具體步驟包括:

21)采用如下濾波器對圖像進行去噪處理,濾波器公式如下:


22)確定邊緣檢測算子Ek如下式:


其中,f代表含有噪聲的圖像,Sk表示方向結構元素,C為用于濾波的結構元素,D表
示去噪后的平滑圖像,·表示形態學的閉運算,表示形態學的閉運算,Θ表示腐蝕運算;

23)用于濾波的結構元素C值為[0 1 0;1 1 1;0 1 0],方向結構元素Sk包括4個方
向,分別為:S1=[0 1 0;0 1 0;0 1 0];S2=[1 0 0;0 1 0;0 0 1];S3=[0 0 0;1 1 1;0 0
0];S4=[0 0 1;0 1 0;1 0 0];同時在尺寸為3×3的圖像子塊中,a1,
a2,···,a9分別代表子塊中各像素點的灰度值,其中a1為中間像素點的灰度值,
a2,···,a9為其鄰域像素點的灰度值;

通過比較結構元素和圖像邊緣方向之間的關系,可以發現,如果所選結構元素的
方向和邊緣梯度方向一致,那么此時能夠正確地檢測到細節信息,降低錯檢、漏檢等現象發
生的概率。

本發明通過計算圖像子塊中4個方向上像素的變化值來判斷邊緣梯度走向,并對
應到四種結構元素的一種。

令坐標點(x,y)表示紅外圖像和可見光圖像中任意一像素點,紅外圖像和可見光
圖像中每個子塊內的鄰域間差值的絕對值和各方向結構元素的對應匹配關系為:

方向結構元素S1、S2、S3、S4分別對應的鄰域間差值的絕對值分別為:

<mrow> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>3</mn> </mrow> <mn>5</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>7</mn> </mrow> <mn>9</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> </mrow> <mo>|</mo> <mo>,</mo> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>2</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>4</mn> </mrow> <mn>6</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>8</mn> </mrow> <mn>9</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <msub> <mi>a</mi> <mn>2</mn> </msub> </mrow> <mo>|</mo> <mo>,</mo> </mrow>

<mrow> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>3</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>5</mn> </mrow> <mn>7</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>2</mn> </mrow> <mn>3</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <msub> <mi>a</mi> <mn>9</mn> </msub> </mrow> <mo>|</mo> <mo>,</mo> <msub> <mi>F</mi> <mrow> <mi>e</mi> <mn>4</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>6</mn> </mrow> <mn>8</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>h</mi> <mo>=</mo> <mn>2</mn> </mrow> <mn>4</mn> </munderover> <msub> <mi>a</mi> <mi>h</mi> </msub> </mrow> <mo>|</mo> <mo>;</mo> </mrow>

方向結構元素S1、S2、S3、S4分別對應的計數值Count為:Count1、Count2、Count3、
Count4;

在3×3圖像子塊遍歷整幅圖像的過程中,每次計算四個鄰域間差值的絕對值參數
值:Fe1(x,y)、Fe2(x,y)、Fe3(x,y)、Fe4(x,y),然后比較四個鄰域間差值的絕對值的大小,對最
大鄰域間差值的絕對值所對應的方向結構元素所對應的計數值Count加1,最后由計數值
Count來確定方向結構元素在四個方向上的權值,公式如下所示:

<mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>=</mo> <msub> <mi>Count</mi> <mi>k</mi> </msub> <mo>/</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>4</mn> </munderover> <msub> <mi>Count</mi> <mi>k</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>,</mo> <mn>4</mn> </mrow>

其中w1,w2,w3,w4分別為4個方向結構元素S1、S2、S3、S4所占的比例系數;

把4個方向結構元素依次代入邊緣檢測算子Ek,再根據所計算的4個比例系數w1,
w2,w3,w4對邊緣檢測算子Ek進行疊加,公式如下所示,獲得邊緣圖像E,

<mrow> <mi>E</mi> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>4</mn> </munderover> <msub> <mi>w</mi> <mi>k</mi> </msub> <msub> <mi>E</mi> <mi>k</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>,</mo> <mn>4</mn> <mo>;</mo> </mrow>

24)設置閾值系數α,將步驟23)得到的邊緣圖像E中灰度值大于α的點的灰度值置
為255,灰度值小于或等于α的點的灰度值置0,得到最終邊緣圖像。

3)通過SURF算子得到紅外圖像與可見光圖像的邊緣圖像的特征點。下面將從特征
點的檢測、描述兩個方面來詳細介紹SURF理論。

31)檢測特征點:

在SURF算法中,通過計算近似的Hessian矩陣行列式的值來定位特征點。當某點處
Hessian行列式的值局部最大時,所檢測出來的就是特征點。特征點一般比周圍鄰域點更亮
或更暗一些。SURF方法提取特征點過程僅使用原始圖像。將不同尺寸的方形濾波器作用在
原始圖像上,由于使用了積分圖像,盡管方形濾波器的尺寸有所不同,但處理速度可保持不
變。SURF尺度空間包括若干組(Octave),每一組內包含了若干層。每一層為不同尺度的圖
像。不同尺度的圖像為原始圖像與不同尺寸的方形濾波器高斯卷積后得到的結果圖像。各
組之間的區別為最底層方形濾波器的窗口尺寸及組內各層的方形濾波器的窗口大小步進。
第一組最底層使用邊長為9的方形濾波器,之后每一組最底層將使用前一組第二層方形濾
波器的尺寸。比如第一組各層方形濾波器的尺寸分別為9,15,21,27;第二組各層方形濾波
器的尺寸分別為15,27,39,51;第三組各層方形濾波器的尺寸分別為27,51,75,99。

為了保證SURF特征點的尺度不變性,SURF算法中特征點的選取是基于Hessian矩
陣,具體方法為:計算某點處Hessian矩陣行列式的值,當該點處Hessian矩陣行列式的值為
局部區域最大值時,認為該點為特征點的候選點。同時為了除去非區域內Hessian矩陣行列
式最大值的點,引入非最大值抑制的方法。若某點通過了非最大值抑制,并且其Hessian矩
陣行列式的值大于閾值,則對其進行三維鄰域最大值驗證,將與該點同尺度下的8個3×3鄰
域內的點及上下兩層相鄰尺度的18個3×3鄰域的點進行比較,以保證該點確為尺度空間的
極值點。

32)特征點的描述

為了實現SURF特征的旋轉不變性,需要為每個SURF特征點分配唯一的主方向。
SURF特征點主方向是由特征點圓形鄰域內其它點的信息所確定。其主方向通過計算Haar小
波響應來確定。

使用以特征點為頂點、圓心角為60°的扇形掃描特征點圓形鄰域。在掃描過程中,
每掃描1°,計算扇形覆蓋的圖像區域內的Haar小波響應在x、y方向上的累加和,x、y方向就
是水平和豎直方向,扇形區域內的Haar小波響應累加和應為一個矢量。當扇形旋轉一周后,
將得到360個矢量,其中,長度最長的矢量所對應的方向即為該特征點的主方向。

SURF描述子的生成過程中,參與運算的區域為以特征點為中心的,邊長為20倍特
征點尺度值得正方形區域。該正方形區域的y軸方向與特征點主方向重合。將參與運算的正
方形區域分割成4×4的子區域,每個區域大小為5×5像素點。對每一個子區域,使用尺寸為
2倍特征點尺度的Haar小波模板進行運算。設dx為x方向子區域的Haar小波響應值,dy為y方
向子區域的Haar小波響應值。對所有得到的dx和dy,以特征點為中心,使用標準差為3.3倍
特征點尺度的高斯函數進行加權運算。最后,將4×4個子區域的4維向量組合v=(∑dx,∑|
dx|,∑dy,∑|dy|),即得到了一個64維的向量。為了使SURF描述子具備光照不變性,對得到
的64維向量進行歸一化處理,即得到了包含64維信息的SURF特征點描述子。

4)采用特征點匹配算法對特征點進行匹配,篩選出正確的匹配點對,計算出仿射
變換模型的各系數值。

本發明的特征點匹配方法,步驟如下:

假設參考圖像用I1表示,待配準圖像用I2表示,尺寸均為M×N,并將參考圖像和待
配準圖像水平依次放置于同一坐標軸下,形成尺寸為M×2N的圖像,M代表圖像的行數,N代
表圖像的列數;

參考圖像I1、待配準圖像I2通過SURF方法檢測到的特征點集合分別表示成:

Pos1={(x1',y1'),(x'2,y'2),···,(x′i,y′i),···,(x'm,y'm)},1≤i≤m,

Pos2={(x1,y1),(x2,y2),···,(xj,yj),···,(xn,yn)},1≤j≤n,其中m,n分
別表示參考圖像I1和待配準圖像I2特征點的數量;根據最后正確匹配點對之間的斜率方向
一致性的先驗知識,匹配方法的步驟為:

41)對參考圖像I1的特征點集合Pos1中的每個點i,計算其與待配準圖像I2的特征
點集合Pos2中所有的點之間的歐氏距離,選擇最小歐氏距離對應的點作為點i的粗匹配點;

42)計算所有粗匹配點對之間的歐氏距離,并按照歐式距離由小到大的順序對匹
配點對排序,然后遍歷所有的點對,刪除其中多點對一點的點對,此時修正后參考圖像I1的
特征點集合和修正后待配準圖像I2中的特征點集合分別用Pos1'和Pos2'表示;

43)選擇修正后參考圖像的特征點集合Pos1'和修正后待配準圖像的特征點集合Pos2'
中前K1對匹配點,記作稱為集
合1;選擇修正后參考圖像的特征點集合Pos1'和修正后待配準圖像的特征點集合Pos2'中前K2對
匹配點,用Pos_K2表示,其中
稱為集合2,其中K1<K2;

44)對于集合2中所有的點對,計算兩點間的斜率,公式如下所示,形成斜率集合一
k,并對斜率集合一k四舍五入取整,形成斜率集合二:k'={k1,k2,···,kp};

<mrow> <msub> <mi>k</mi> <mi>p</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mi>p</mi> </msub> <mo>+</mo> <mi>N</mi> <mo>-</mo> <msubsup> <mi>y</mi> <mi>p</mi> <mo>&prime;</mo> </msubsup> </mrow> <mrow> <msub> <mi>x</mi> <mi>p</mi> </msub> <mo>-</mo> <msubsup> <mi>x</mi> <mi>p</mi> <mo>&prime;</mo> </msubsup> </mrow> </mfrac> <mo>,</mo> <mn>1</mn> <mo>&le;</mo> <mi>p</mi> <mo>&le;</mo> <msub> <mi>K</mi> <mn>2</mn> </msub> </mrow>

45)計算斜率集合二中每個斜率出現的頻數,篩選頻數大于等于2的斜率,形成新
的斜率集合三k_new={k1',k'2,···,k'q},其中q是得到的特征點的總數量,理論上斜率
集合三k_new1中元素個數小于等于斜率集合二k'中元素個數;如果斜率集合二中的每個斜
率出現的頻數都為1,則選擇前2K2/3對的斜率構成新的斜率集合三k_new;

46)遍歷計算考圖像的特征點集合二Pos1'和待配準圖像的特征點集合二Pos2'中
所有的點對的斜率,篩選出斜率在區間[k'p-0.5,k'p+0.5]內的所有的點對,形成點對集合
Pos_K3,其中k'p∈k_new;

47)從集合1中按照排列組合的方法依次選出3組不同的點對代入仿射變換模型計
算出模型參數G,共有種情況;然后將點對集合Pos_K3中的點逐個對代入仿射變換模型,
并設定閾值delta,當滿足下式時,確認該點對集合符合仿射變換模型,稱為內點對,

|G×(xi;yi;1)-(x′i;y′i;1)|<delta

其中,(xi,yi),(x′i,y′i)是一對粗匹配點,且滿足{(xi,yi),(x′i,y′i)}∈Pos_K3;
仿射變換模型的數學模型表示為:

<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msup> <mi>x</mi> <mo>&prime;</mo> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>y</mi> <mo>&prime;</mo> </msup> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>a</mi> <mn>11</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>12</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>a</mi> <mn>21</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>22</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> </mtable> </mfenced> <mo>+</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>&Delta;</mi> <mi>x</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>&Delta;</mi> <mi>y</mi> </msub> </mtd> </mtr> </mtable> </mfenced> </mrow>

其中,(x,y)和(x',y')分別是變換前的坐標和變換后的坐標點,Δx和Δy分別是水
平和豎直方向上的平移量;a11、a12、a21、a22均為仿射變換模型里的參數,G為仿射變換模型里
各參數用矩陣表示的形式,最后可以用表示,delta值為[1;1;0];

48)根據不同的仿射變換模型參數計算符合仿射變換模型的點對的數量,選出數
量最大時的情況得到最佳模型參數,其中K1的值一般設為10,K2的值一般設為20,delta值設
為[1;1;0]。

5)根據仿射變換模型通過插值運算對待配準圖像進行空間坐標變換,得到最終的
配準圖像。

具體步驟為:首先為待配準圖像建立一個和原圖像大小相同的空矩陣,然后根據
仿射變換模型對于空矩陣中的每個點進行坐標逆變換,得到空矩陣中的每個點在待配準圖
像上的對應點,再通過雙線性插值法得到該點的像素值,作為待配準圖像上對應點的像素
值,其中,插值運算采用雙線性插值法,如圖3所示,原理如下:

假設f(x,y)是所要求的灰度值,f(u,v),f(u+1,v),f(u,v+1),f(u+1,v+1)分別代
表采樣點f(x,y)周圍四個像素點的灰度值大小,其中(u,v)是整數的坐標點,(x,y)是小數
的坐標點。則點(x,y)的像素灰度值的計算如式所示:

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>Q</mi> <mn>1</mn> </msub> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>&lsqb;</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>v</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>Q</mi> <mn>2</mn> </msub> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>&lsqb;</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>v</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>Q</mi> <mn>1</mn> </msub> <mo>+</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <mi>u</mi> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>Q</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>Q</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>

其中,Q1,Q2均為中間變量。

以上對本發明提出的一種基于SURF算子的電氣設備紅外與可見光圖像的配準方
法進行了詳細介紹,可廣泛應用于電力設備健康狀態檢測和故障診斷領域。

關 鍵 詞:
基于 SURF 算子 電氣設備 紅外 可見光 圖像 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:基于SURF算子的電氣設備紅外與可見光圖像配準方法.pdf
鏈接地址:http://www.rgyfuv.icu/p-6100824.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图