• / 13
  • 下載費用:30 金幣  

基于圖像稀疏特征匹配的立體圖像重構方法及裝置.pdf

摘要
申請專利號:

CN201610708440.1

申請日:

2016.08.23

公開號:

CN106303501A

公開日:

2017.01.04

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):H04N 13/04申請日:20160823|||公開
IPC分類號: H04N13/04; G06K9/46; G06T7/00 主分類號: H04N13/04
申請人: 深圳市捷視飛通科技股份有限公司; 深圳凱澳斯科技有限公司
發明人: 張新; 張希飛
地址: 518000 廣東省深圳市南山區朗山路16號華瀚大廈D-401室
優先權:
專利代理機構: 深圳市精英專利事務所 44242 代理人: 葛勤
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201610708440.1

授權公告號:

||||||

法律狀態公告日:

2018.12.04|||2017.02.01|||2017.01.04

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本發明公開一種基于圖像稀疏特征匹配的立體圖像重構方法及裝置,其中,該方法包括:校正獲取的左眼圖像及右眼圖像;分別檢測經校正的左眼圖像與右眼圖像中觀察區的角點及邊緣,得到左眼圖像與右眼圖像的角點特征及邊緣特征;根據基于極線約束的SSDA算法分別對左眼圖像與右眼圖像的角點特征及邊緣特征進行匹配,得到左眼圖像與右眼圖像的稀疏視差圖;對左眼圖像與右眼圖像的稀疏視差圖進行圖像差值運算,得到圖像的稠密視差圖;根據圖像的稠密視差圖及測定參數重構觀察區的立體模型。本發明的技術方案能夠簡化3D圖像數據重構的運算量,提高重構后3D圖像的顯示效果。

權利要求書

1.一種基于圖像稀疏特征匹配的立體圖像重構方法,其特征在于,包括如下步驟:
校正獲取的左眼圖像及右眼圖像;
分別檢測經校正的左眼圖像與右眼圖像中觀察區的角點及邊緣,得到左眼圖像與右眼
圖像的角點特征及邊緣特征;
根據基于極線約束的SSDA算法分別對左眼圖像與右眼圖像的角點特征及邊緣特征進
行匹配,得到左眼圖像與右眼圖像的稀疏視差圖;
對左眼圖像與右眼圖像的稀疏視差圖進行圖像差值運算,得到圖像的稠密視差圖;
根據圖像的稠密視差圖及測定參數重構觀察區的立體模型。
2.如權利要求1所述的基于圖像稀疏特征匹配的立體圖像重構方法,其特征在于,所述
校正獲取的左眼圖像及右眼圖像的步驟,具體包括:
從左眼圖像及右眼圖像中選取多個匹配點,并計算對應的基礎矩陣;
根據左眼圖像及右眼圖像各自極線交點的原則對應計算出左極點及右極點;
選擇一矩陣作為右眼圖像的變換矩陣,并根據變換矩陣將右極點映射到無窮遠極點
處;
根據基礎矩陣及變換矩陣計算出左眼圖像的變換矩陣;
根據右眼圖像的變換矩陣及左眼圖像的變換矩陣重新采樣左眼圖像及右眼圖像,以校
正獲取的左眼圖像及右眼圖像。
3.如權利要求1所述的基于圖像稀疏特征匹配的立體圖像重構方法,其特征在于,所述
分別檢測經校正的左眼圖像與右眼圖像中觀察區的角點及邊緣,得到左眼圖像與右眼圖像
的角點特征及邊緣特征的步驟,具體包括:
根據Harris角點檢測算法檢測左眼圖像與右眼圖像中觀察區,找出左眼圖像與右眼圖
像對應的角點特征;
根據水平邊緣Sobel算子及垂直邊緣Sobel算子檢測左眼圖像與右眼圖像中觀察區,找
出左眼圖像與右眼圖像對應的邊緣特征;
根據左眼圖像與右眼圖像對應的角點特征及邊緣特征生成稀疏特征圖。
4.如權利要求3所述的基于圖像稀疏特征匹配的立體圖像重構方法,其特征在于,所述
根據基于極線約束的SSDA算法分別對左眼圖像與右眼圖像的角點特征及邊緣特征進行匹
配,得到左眼圖像與右眼圖像的稀疏視差圖的步驟,具體包括:
根據基于極線約束的SSDA算法找出與左眼圖像的目標像素點的對應的匹配特征點;
根據基于極線約束的SSDA算法找出與右眼圖像的目標像素點的對應的匹配特征點;
判斷兩次計算的匹配特征點是否相同,若是則保留匹配特征點,并根據匹配特征點得
到左眼圖像與右眼圖像的稀疏視差圖,若否則去除保留匹配特征點。
5.如權利要求1所述的基于圖像稀疏特征匹配的立體圖像重構方法,其特征在于,所述
根據圖像的稠密視差圖及測定參數重構觀察區的立體模型的步驟,具體包括:
根據圖像的稠密視差圖及測定參數求取觀察區內所有像素點的三維坐標;
對觀察區內所有三維坐標的像素點進行渲染形成立體圖像。
6.一種基于圖像稀疏特征匹配的立體圖像重構裝置,其特征在于,包括:
校正模塊,用于校正獲取的左眼圖像及右眼圖像;
檢測模塊,用于分別檢測經校正的左眼圖像與右眼圖像中觀察區的角點及邊緣,得到
左眼圖像與右眼圖像的角點特征及邊緣特征;
匹配模塊,用于根據基于極線約束的SSDA算法分別對左眼圖像與右眼圖像的角點特征
及邊緣特征進行匹配,得到左眼圖像與右眼圖像的稀疏視差圖;
差值運算模塊,用于對左眼圖像與右眼圖像的稀疏視差圖進行圖像差值運算,得到圖
像的稠密視差圖;
重構模塊,用于根據圖像的稠密視差圖及測定參數重構觀察區的立體模型。
7.如權利要求6所述的基于圖像稀疏特征匹配的立體圖像重構裝置,其特征在于,所述
校正模塊具體用于:
從左眼圖像及右眼圖像中選取多個匹配點,并計算對應的基礎矩陣;
根據左眼圖像及右眼圖像各自極線交點的原則對應計算出左極點及右極點;
選擇一矩陣作為右眼圖像的變換矩陣,并根據變換矩陣將右極點映射到無窮遠極點
處;
根據基礎矩陣及變換矩陣計算出左眼圖像的變換矩陣;
根據右眼圖像的變換矩陣及左眼圖像的變換矩陣重新采樣左眼圖像及右眼圖像,以校
正獲取的左眼圖像及右眼圖像。
8.如權利要求6所述的基于圖像稀疏特征匹配的立體圖像重構裝置,其特征在于,所述
檢測模塊具體用于:
根據Harris角點檢測算法檢測左眼圖像與右眼圖像中觀察區,找出左眼圖像與右眼圖
像對應的角點特征;
根據水平邊緣Sobel算子及垂直邊緣Sobel算子檢測左眼圖像與右眼圖像中觀察區,找
出左眼圖像與右眼圖像對應的邊緣特征;
根據左眼圖像與右眼圖像對應的角點特征及邊緣特征生成稀疏特征圖。
9.如權利要求8所述的基于圖像稀疏特征匹配的立體圖像重構裝置,其特征在于,所述
匹配模塊具體用于:
根據基于極線約束的SSDA算法找出與左眼圖像的目標像素點的對應的匹配特征點;
根據基于極線約束的SSDA算法找出與右眼圖像的目標像素點的對應的匹配特征點;
判斷兩次計算的匹配特征點是否相同,若是則保留匹配特征點,并根據匹配特征點得
到左眼圖像與右眼圖像的稀疏視差圖,若否則去除保留匹配特征點。
10.如權利要求6所述的基于圖像稀疏特征匹配的立體圖像重構裝置,其特征在于,所
述重構模塊具體用于:
根據圖像的稠密視差圖及測定參數求取觀察區內所有像素點的三維坐標;
對觀察區內所有三維坐標的像素點進行渲染形成立體圖像。

說明書

基于圖像稀疏特征匹配的立體圖像重構方法及裝置

技術領域

本發明涉及圖像處理技術領域,尤其涉及一種基于圖像稀疏特征匹配的立體圖像
重構方法及裝置。

背景技術

目前,立體內容生成設備通常對兩路光學信號進行采集,通過工業相機上的CCD或
CMOS感光元件將分光器分出的光學信號轉為數字信號,再通過工業相機上數據接口將圖像
數據傳輸到計算機或監視器上,將兩路信號分別呈現給觀察者雙眼。立體內容生成設備具
有兩個并排的成像元器件,在不同的視角實時采集被觀察物體,對得到的雙目圖像經過處
理后,可以形成立體視覺。

利用立體內容生成設備得到的3D圖像數據直接顯示時,一些具有特殊或則重大意
義的像素點的個數要比圖像總的像素點數少很多,導致用戶不能直觀地觀測到關鍵區域的
變化,容易產生視覺疲勞,為此,需要基于重大意義的像素點對3D圖像數據進行重構。3D圖
像數據進行重構的過程中需要尋找像素點的匹配對,若現有技術中圖像重合的面積較大,
會增加像素點的匹配對尋找的難度,導致3D圖像數據重構計算復雜的問題。

發明內容

本發明的主要目的是提供一種基于圖像稀疏特征匹配的立體圖像重構方法,能夠
簡化3D圖像數據重構的運算量,提高重構后3D圖像的顯示效果。

為實現上述目的,本發明采用的一個技術方案為:提供一種基于圖像稀疏特征匹
配的立體圖像重構方法,包括如下步驟:

校正獲取的左眼圖像及右眼圖像;

分別檢測經校正的左眼圖像與右眼圖像中觀察區的角點及邊緣,得到左眼圖像與
右眼圖像的角點特征及邊緣特征;

根據基于極線約束的SSDA算法分別對左眼圖像與右眼圖像的角點特征及邊緣特
征進行匹配,得到左眼圖像與右眼圖像的稀疏視差圖;

對左眼圖像與右眼圖像的稀疏視差圖進行圖像差值運算,得到圖像的稠密視差
圖;

根據圖像的稠密視差圖及測定參數重構觀察區的立體模型。

優選地,所述校正獲取的左眼圖像及右眼圖像的步驟,具體包括:

從左眼圖像及右眼圖像中選取多個匹配點,并計算對應的基礎矩陣;

根據左眼圖像及右眼圖像各自極線交點的原則對應計算出左極點及右極點;

選擇一矩陣作為右眼圖像的變換矩陣,并根據變換矩陣將右極點映射到無窮遠極
點處;

根據基礎矩陣及變換矩陣計算出左眼圖像的變換矩陣;

根據右眼圖像的變換矩陣及左眼圖像的變換矩陣重新采樣左眼圖像及右眼圖像,
以校正獲取的左眼圖像及右眼圖像。

優選地,所述分別檢測經校正的左眼圖像與右眼圖像中觀察區的角點及邊緣,得
到左眼圖像與右眼圖像的角點特征及邊緣特征的步驟,具體包括:

根據Harris角點檢測算法檢測左眼圖像與右眼圖像中觀察區,找出左眼圖像與右
眼圖像對應的角點特征;

根據水平邊緣Sobel算子及垂直邊緣Sobel算子檢測左眼圖像與右眼圖像中觀察
區,找出左眼圖像與右眼圖像對應的邊緣特征;

根據左眼圖像與右眼圖像對應的角點特征及邊緣特征生成稀疏特征圖。

優選地,所述根據基于極線約束的SSDA算法分別對左眼圖像與右眼圖像的角點特
征及邊緣特征進行匹配,得到左眼圖像與右眼圖像的稀疏視差圖的步驟,具體包括:

根據基于極線約束的SSDA算法找出與左眼圖像的目標像素點的對應的匹配特征
點;

根據基于極線約束的SSDA算法找出與右眼圖像的目標像素點的對應的匹配特征
點;

判斷兩次計算的匹配特征點是否相同,若是則保留匹配特征點,并根據匹配特征
點得到左眼圖像與右眼圖像的稀疏視差圖,若否則去除保留匹配特征點。

優選地,所述根據圖像的稠密視差圖及測定參數重構觀察區的立體模型的步驟,
具體包括:

根據圖像的稠密視差圖及測定參數求取觀察區內所有像素點的三維坐標;

對觀察區內所有三維坐標的像素點進行渲染形成立體圖像。

為實現上述目的,本發明采用的另一個技術方案為:提供一種基于圖像稀疏特征
匹配的立體圖像重構裝置,包括:

校正模塊,用于校正獲取的左眼圖像及右眼圖像;

檢測模塊,用于分別檢測經校正的左眼圖像與右眼圖像中觀察區的角點及邊緣,
得到左眼圖像與右眼圖像的角點特征及邊緣特征;

匹配模塊,用于根據基于極線約束的SSDA算法分別對左眼圖像與右眼圖像的角點
特征及邊緣特征進行匹配,得到左眼圖像與右眼圖像的稀疏視差圖;

差值運算模塊,用于對左眼圖像與右眼圖像的稀疏視差圖進行圖像差值運算,得
到圖像的稠密視差圖;

重構模塊,用于根據圖像的稠密視差圖及測定參數重構觀察區的立體模型。

優選地,所述校正模塊具體用于:

從左眼圖像及右眼圖像中選取多個匹配點,并計算對應的基礎矩陣;

根據左眼圖像及右眼圖像各自極線交點的原則對應計算出左極點及右極點;

選擇一矩陣作為右眼圖像的變換矩陣,并根據變換矩陣將右極點映射到無窮遠極
點處;

根據基礎矩陣及變換矩陣計算出左眼圖像的變換矩陣;

根據右眼圖像的變換矩陣及左眼圖像的變換矩陣重新采樣左眼圖像及右眼圖像,
以校正獲取的左眼圖像及右眼圖像。

優選地,根據Harris角點檢測算法檢測左眼圖像與右眼圖像中觀察區,找出左眼
圖像與右眼圖像對應的角點特征;

根據水平邊緣Sobel算子及垂直邊緣Sobel算子檢測左眼圖像與右眼圖像中觀察
區,找出左眼圖像與右眼圖像對應的邊緣特征;

根據左眼圖像與右眼圖像對應的角點特征及邊緣特征生成稀疏特征圖。

優選地,所述匹配模塊具體用于:

根據基于極線約束的SSDA算法找出與左眼圖像的目標像素點的對應的匹配特征
點;

根據基于極線約束的SSDA算法找出與右眼圖像的目標像素點的對應的匹配特征
點;

判斷兩次計算的匹配特征點是否相同,若是則保留匹配特征點,并根據匹配特征
點得到左眼圖像與右眼圖像的稀疏視差圖,若否則去除保留匹配特征點。

優選地,所述重構模塊具體用于:

根據圖像的稠密視差圖及測定參數求取觀察區內所有像素點的三維坐標;

對觀察區內所有三維坐標的像素點進行渲染形成立體圖像。

本發明的技術方案通過先校正獲取的左眼圖像及右眼圖像,能夠使兩圖像水平掃
描線共線,只需沿觀察區內一個方向進行搜索,然后分別檢測經校正的左眼圖像與右眼圖
像中觀察區的角點及邊緣,得到左眼圖像與右眼圖像的角點特征及邊緣特征,無需對所有
的像素點進行匹配,通過前兩個步驟可以大大減少立體圖像重構的計算量;再根據基于極
線約束的SSDA算法分別對左眼圖像與右眼圖像的角點特征及邊緣特征進行匹配,得到左眼
圖像與右眼圖像的稀疏視差圖;以及對左眼圖像與右眼圖像的稀疏視差圖進行圖像差值運
算,得到圖像的稠密視差圖;最后根據圖像的稠密視差圖及測定參數重構觀察區的立體模
型,通過后面三個步驟可以重構觀察區的立體模型,即重構出3D圖像,并且能夠提高構后3D
圖像的顯示效果。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案,下面將對實施例或現
有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本
發明的一些實施例,對于本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以
根據這些附圖示出的結構獲得其他的附圖。

圖1為本發明基于圖像稀疏特征匹配的立體圖像重構方法一實施例的方法流程
圖;

圖2為本發明基于圖像稀疏特征匹配的立體圖像重構裝置一實施例的模塊方框
圖。

本發明目的的實現、功能特點及優點將結合實施例,參照附圖做進一步說明。

具體實施方式

下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完
整地描述,顯然,所描述的實施例僅僅是本發明的一部分實施例,而不是全部的實施例。基
于本發明中的實施例,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其
他實施例,都屬于本發明保護的范圍。

需要說明,本發明中涉及“第一”、“第二”等的描述僅用于描述目的,而不能理解為
指示或暗示其相對重要性或者隱含指明所指示的技術特征的數量。由此,限定有“第一”、
“第二”的特征可以明示或者隱含地包括至少一個該特征。另外,各個實施例之間的技術方
案可以相互結合,但是必須是以本領域普通技術人員能夠實現為基礎,當技術方案的結合
出現相互矛盾或無法實現時應當認為這種技術方案的結合不存在,也不在本發明要求的保
護范圍之內。

請參照圖1,在本發明實施例中,該基于圖像稀疏特征匹配的立體圖像重構方法,
包括如下步驟:

步驟S10、校正獲取的左眼圖像及右眼圖像。通過校正步驟能夠使左眼圖像與右眼
圖像中觀察區的像素特征點變換到同一掃描線上。經過校正步驟之后后,左眼圖像和右眼
圖像對應的特征點變換到同一掃描線上,可以將匹配的搜索范圍從二維降到了一維,降低
匹配計算的難度。

步驟S20、分別檢測經校正的左眼圖像與右眼圖像中觀察區的角點及邊緣,得到左
眼圖像與右眼圖像的角點特征及邊緣特征。由于左眼圖像及右眼圖像的像素冗余量大,需
要提取圖像中非常明顯的目標特征作為圖像分析和稀疏匹配的基礎,本步驟中選用的目標
特征為角點特征和邊緣特征,并通過角點特征和邊緣特征分別對左眼圖像及右眼圖像進行
檢測,得出對應的特征點。

步驟S30、根據基于極線約束的SSDA算法分別對左眼圖像與右眼圖像的角點特征
及邊緣特征進行匹配,得到左眼圖像與右眼圖像的稀疏視差圖。

步驟S40、對左眼圖像與右眼圖像的稀疏視差圖進行圖像差值運算,得到圖像的稠
密視差圖。

步驟S50、根據圖像的稠密視差圖及測定參數重構觀察區的立體模型。測定參數包
括圖像采集的設備的基線距及焦距,根據稠密視差圖、基線距及焦距可以計算觀察區的像
素點的三維坐標,通過對多個像素點的三維坐標進行渲染,可以得到觀察區的立體模型,以
獲得重構的立體圖像。

本發明的技術方案通過先校正獲取的左眼圖像及右眼圖像,能夠使兩圖像水平掃
描線共線,只需沿觀察區內一個方向進行搜索,然后分別檢測經校正的左眼圖像與右眼圖
像中觀察區的角點及邊緣,得到左眼圖像與右眼圖像的角點特征及邊緣特征,無需對所有
的像素點進行匹配,通過前兩個步驟可以大大減少立體圖像重構的計算量;再根據基于極
線約束的SSDA算法分別對左眼圖像與右眼圖像的角點特征及邊緣特征進行匹配,得到左眼
圖像與右眼圖像的稀疏視差圖;以及對左眼圖像與右眼圖像的稀疏視差圖進行圖像差值運
算,得到圖像的稠密視差圖;最后根據圖像的稠密視差圖及測定參數重構觀察區的立體模
型,通過后面三個步驟可以重構觀察區的立體模型,即重構出3D圖像,并且能夠提高構后3D
圖像的顯示效果。

在一具體的實施例中,所述步驟S10具體包括:

從左眼圖像及右眼圖像中選取多個匹配點,并計算對應的基礎矩陣;具體的,該多
個匹配點的數量至少為7個。

根據左眼圖像及右眼圖像各自極線交點的原則對應計算出左極點及右極點;

選擇一矩陣作為右眼圖像的變換矩陣,并根據變換矩陣將右極點映射到無窮遠極
點處;

根據基礎矩陣及變換矩陣計算出左眼圖像的變換矩陣;

根據右眼圖像的變換矩陣及左眼圖像的變換矩陣重新采樣左眼圖像及右眼圖像,
以校正獲取的左眼圖像及右眼圖像。

本實施例中,左眼圖像及右眼圖像校正步驟,主要目的是將兩幅圖像中的像素點
進行二維空間變換,該變換為Ui(i=1,2),變換后圖像像素可以表示為p'i=Uipi,其中,p'i
是點pi變換后的坐標。設無窮遠的極點坐標為e=(1,0,0)T,圖像校正的目標是將兩幅圖像
中對應的極線變換成一組平行的直線,即需求一基礎矩陣F,使F經過校正后可表示為:

<mrow> <msup> <mi>F</mi> <mo>&prime;</mo> </msup> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mi>F</mi> <mo>=</mo> <msubsup> <mi>U</mi> <mn>2</mn> <mi>T</mi> </msubsup> <msup> <mi>F</mi> <mo>&prime;</mo> </msup> <msub> <mi>U</mi> <mn>1</mn> </msub> <mo>.</mo> </mrow>

在立體內容生成設備無法進行前端標定的情況,選用不需要標定也可根據
Hartley算法,完成左眼圖像及右眼圖像的校正,經過校正后的圖像,像點在左眼圖像及右
眼圖像上的高度一致。

在一具體的實施例中,所述步驟S20具體包括:

根據Harris角點檢測算法檢測左眼圖像與右眼圖像中觀察區,找出左眼圖像與右
眼圖像對應的角點特征;

根據水平邊緣Sobel算子及垂直邊緣Sobel算子檢測左眼圖像與右眼圖像中觀察
區,找出左眼圖像與右眼圖像對應的邊緣特征;

根據左眼圖像與右眼圖像對應的角點特征及邊緣特征生成稀疏特征圖。

本實施例中,根據Harris角點檢測算法檢測左眼圖像與右眼圖像中觀察區,具體
計算過程如下:

首先,對觀察區的每一個像素點計算相關性矩陣M,

<mrow> <mi>M</mi> <mo>=</mo> <mi>G</mi> <mrow> <mo>(</mo> <mover> <mi>s</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mo>&CircleTimes;</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msubsup> <mi>g</mi> <mi>x</mi> <mn>2</mn> </msubsup> </mtd> <mtd> <mrow> <msub> <mi>g</mi> <mi>x</mi> </msub> <msub> <mi>g</mi> <mi>y</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>g</mi> <mi>x</mi> </msub> <msub> <mi>g</mi> <mi>y</mi> </msub> </mrow> </mtd> <mtd> <msubsup> <mi>g</mi> <mi>y</mi> <mn>2</mn> </msubsup> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>

其中,gx和gy分別為x和y方向的梯度,為高斯模板。

然后,計算每一像素點的Harris角點響應R,

R=det(M)-k·tr2(M),

其中,det()為矩陣行列式,tr為矩陣的跡,k為默認常數,一般取值為0.04~0.06。

最后,在w*w范圍內(一般w取10以內)尋找極大值點,若Harris角點響應R大于閥值
T(一般取4500~5000),則視為角點特征。

本實施例中,根據水平邊緣Sobel算子及垂直邊緣Sobel算子檢測左眼圖像與右眼
圖像中觀察區,具體計算過程如下:

首先,選用Sobel算子分別遍歷左眼圖像及右眼圖像,其中,該Sobel算子包括水平
邊緣Sobel算子S1及垂直邊緣Sobel算子S2,

<mrow> <mi>S</mi> <mn>1</mn> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mn>2</mn> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>2</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mi>S</mi> <mn>2</mn> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>2</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>-</mo> <mn>2</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>

然后,根據邊緣檢測算子的中心與中心像素對應原則,分別進行水平和垂直兩次
卷積運算,兩次運算的最大值作為該點的邊緣值輸出;

最后,遍歷整幅圖像之后得到左眼圖像及右眼圖像的邊緣特征。結合得到的角點
特征和邊緣特征,生成左眼圖像及右眼圖像的稀疏特征圖像。

在一具體的實施例中,所述步驟S30具體包括:

根據基于極線約束的SSDA算法找出與左眼圖像的目標像素點的對應的匹配特征
點;

根據基于極線約束的SSDA算法找出與右眼圖像的目標像素點的對應的匹配特征
點;

判斷兩次計算的匹配特征點是否相同,若是則保留匹配特征點,并根據匹配特征
點得到左眼圖像與右眼圖像的稀疏視差圖,若否則去除保留匹配特征點。

本實施例中,將上述步驟S20得到左眼圖像及右眼圖像的稀疏特征圖分別記為T和
S,在T中以(i,j)為中心取M*N的區域作為匹配的模板區域Tij,在S中以(i,j)為參考點且尺
寸與相同的子圖為Sij,如此,可以計算出絕對誤差值:

<mrow> <mi>e</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>,</mo> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <msub> <mi>S</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mover> <mi>S</mi> <mo>&OverBar;</mo> </mover> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>T</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mover> <mi>T</mi> <mo>&OverBar;</mo> </mover> <mo>|</mo> </mrow>

<mrow> <mover> <mi>S</mi> <mo>&OverBar;</mo> </mover> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>M</mi> <mi>N</mi> </mrow> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>x</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>y</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>S</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

<mrow> <mover> <mi>T</mi> <mo>&OverBar;</mo> </mover> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>M</mi> <mi>N</mi> </mrow> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>x</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>y</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>T</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

在Sij中隨機選取像素點,計算它同Tij中對應點的誤差值e,然后將e累加起來,當
累加r次誤差超過閾值Th(為一視圖像大小而定的經驗值),則停止累加,并記下次數r,定義
檢測曲面為:

<mrow> <mi>I</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>{</mo> <mi>r</mi> <mo>|</mo> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mn>1</mn> <mo>&le;</mo> <mi>r</mi> <mo>&le;</mo> <mi>M</mi> <mi>N</mi> </mrow> </munder> <mo>&lsqb;</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>r</mi> </munderover> <mi>e</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>,</mo> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>&GreaterEqual;</mo> <mi>T</mi> <mi>h</mi> <mo>&rsqb;</mo> <mo>}</mo> <mo>,</mo> </mrow>

把I(i,j)值大的(i,j)點作為匹配特征點。

經過特征匹配之后得到的匹配點對可能存在誤匹配點,本實施例中,使用一致性
約束來去除誤差結果,即若左圖中一特征點x與右圖中y相匹配,則檢查右圖中y是否與x相
匹配,如果兩次匹配計算得到的特征點不一致,則認為該點是誤匹配特征點,并去除該誤匹
配特征點,如果兩次匹配計算得到的特征點一致,則保留該匹配特征點。

在一具體的實施例中,步驟S40對左眼圖像與右眼圖像的稀疏視差圖進行圖像差
值運算,得到圖像的稠密視差圖。具體的方法如下:選用最近鄰插值算法插值得圖像的稠密
視差圖:取插值點的4個鄰點中距離最近的鄰點灰度值作為該點的灰度值。設插值點(i,j)
到周邊4個鄰點fk(i,j)(k=1,2,3,4)的距離為dk(k=1,2,3,4),則:

I(i,j)=fl(i,j),dl=min{d1,d2,d3,d4},l=1,2,3,4。

在一具體的實施例中,所述根據圖像的稠密視差圖及測定參數重構觀察區的立體
模型的步驟,具體包括:

根據圖像的稠密視差圖及測定參數求取觀察區內所有像素點的三維坐標;

對觀察區內所有三維坐標的像素點進行渲染形成立體圖像。

本實施例中,假設兩攝像機觀測空間物體的一匹配特征點為P(x,y,z),左眼圖像
及右眼圖像的坐標分別為Pl=(xl,yl),Pr=(xr,yr),由于兩圖像的水平掃描線共線,即yl=
yr=Y,則視差為Disparity=xl-xr,在已知攝像機基線距B和焦距f的情況下,點P在相機坐
標系下的三維坐標可以表示如下:

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mi>x</mi> <mo>=</mo> <mfrac> <mrow> <mi>B</mi> <mo>&CenterDot;</mo> <msub> <mi>x</mi> <mi>l</mi> </msub> </mrow> <mrow> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>p</mi> <mi>a</mi> <mi>r</mi> <mi>i</mi> <mi>t</mi> <mi>y</mi> </mrow> </mfrac> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> <mo>=</mo> <mfrac> <mrow> <mi>B</mi> <mo>&CenterDot;</mo> <mi>Y</mi> </mrow> <mrow> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>p</mi> <mi>a</mi> <mi>r</mi> <mi>i</mi> <mi>t</mi> <mi>y</mi> </mrow> </mfrac> </mtd> </mtr> <mtr> <mtd> <mi>z</mi> <mo>=</mo> <mfrac> <mrow> <mi>B</mi> <mo>&CenterDot;</mo> <mi>f</mi> </mrow> <mrow> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>p</mi> <mi>a</mi> <mi>r</mi> <mi>i</mi> <mi>t</mi> <mi>y</mi> </mrow> </mfrac> </mtd> </mtr> </mtable> </mfenced>

求取所有像素點的三維坐標后,對三維坐標進行渲染,重構觀察區的立體模型,即
可得到3D圖像,并可由多張連續的3D圖像可以重構出立體視頻。

請參照圖2,本發明的實施例中,該基于圖像稀疏特征匹配的立體圖像重構裝置,
包括:

校正模塊10,用于校正獲取的左眼圖像及右眼圖像。通過校正模塊10可以使左眼
圖像與右眼圖像中觀察區的像素特征點變換到同一掃描線上。

檢測模塊20,用于分別檢測經校正的左眼圖像與右眼圖像中觀察區的角點及邊
緣,得到左眼圖像與右眼圖像的角點特征及邊緣特征。

匹配模塊30,用于根據基于極線約束的SSDA算法分別對左眼圖像與右眼圖像的角
點特征及邊緣特征進行匹配,得到左眼圖像與右眼圖像的稀疏視差圖。

差值運算模塊40,用于對左眼圖像與右眼圖像的稀疏視差圖進行圖像差值運算,
得到圖像的稠密視差圖。

重構模塊50,用于根據圖像的稠密視差圖及測定參數重構觀察區的立體模型。

在一具體的實施例中,所述校正模塊10具體用于:

從左眼圖像及右眼圖像中選取多個匹配點,并計算對應的基礎矩陣;

根據左眼圖像及右眼圖像各自極線交點的原則對應計算出左極點及右極點;

選擇一矩陣作為右眼圖像的變換矩陣,并根據變換矩陣將右極點映射到無窮遠極
點處;

根據基礎矩陣及變換矩陣計算出左眼圖像的變換矩陣;

根據右眼圖像的變換矩陣及左眼圖像的變換矩陣重新采樣左眼圖像及右眼圖像,
以校正獲取的左眼圖像及右眼圖像。

本實施例中,校正模塊10主要目的是將兩幅圖像中的像素點進行二維空間變換,
圖像校正的目標是將兩幅圖像中對應的極線變換成一組平行的直線,如此,在根據左眼圖
像搜索右眼圖像的特征匹配點過程中,搜索二維的像素點只需沿著區域內x軸方向前進,而
不需要判斷y軸方向的像素,因此將算法從二維搜索降維成一維搜索,減少了計算量,提高
了匹配精度。在立體內容生成設備無法進行前端標定的情況,選用不需要標定也可根據
Hartley算法,完成左眼圖像及右眼圖像的校正,具體計算方法如下所述,此處不再贅述。可
以理解的是,經過校正后的圖像,像點在左眼圖像及右眼圖像上的高度一致。

在一具體的實施例中,所述檢測模塊20具體用于:

根據Harris角點檢測算法檢測左眼圖像與右眼圖像中觀察區,找出左眼圖像與右
眼圖像對應的角點特征;

根據水平邊緣Sobel算子及垂直邊緣Sobel算子檢測左眼圖像與右眼圖像中觀察
區,找出左眼圖像與右眼圖像對應的邊緣特征;

根據左眼圖像與右眼圖像對應的角點特征及邊緣特征生成稀疏特征圖。

本實施例中,由于左眼圖像及右眼圖像的像素冗余量大,需要提取圖像中非常明
顯的目標特征作為圖像分析和稀疏匹配的基礎,本實施例中選用的目標特征為角點特征和
邊緣特征,并通過角點特征和邊緣特征分別對左眼圖像及右眼圖像進行檢測,得出對應的
特征點,具體計算方法如下所述,此處不再贅述。可以理解的是,通過上述的目標特征的檢
測方法,可以大大減少重構圖像運算量,提高圖像處理效率。

在一具體的實施例中,所述匹配模塊30具體用于:

根據基于極線約束的SSDA算法找出與左眼圖像的目標像素點的對應的匹配特征
點;

根據基于極線約束的SSDA算法找出與右眼圖像的目標像素點的對應的匹配特征
點;

判斷兩次計算的匹配特征點是否相同,若是則保留匹配特征點,并根據匹配特征
點得到左眼圖像與右眼圖像的稀疏視差圖,若否則去除保留匹配特征點。

本實施例中,考慮到經過特征匹配之后得到的匹配點對可能存在誤匹配點,該匹
配模塊30使用一致性約束來去除誤差結果,即若左圖中一特征點x與右圖中y相匹配,則檢
查右圖中y是否與x相匹配,如果兩次匹配計算得到的特征點不一致,則認為該點是誤匹配
特征點,并去除該誤匹配特征點,如果兩次匹配計算得到的特征點一致,則保留該匹配特征
點,可以提高匹配特征點的準確率,以提高重構圖像的顯示效果。

在一具體的實施例中,所述重構模塊50具體用于:

根據圖像的稠密視差圖及測定參數求取觀察區內所有像素點的三維坐標;

對觀察區內所有三維坐標的像素點進行渲染形成立體圖像。

本實施例中,該重構模塊50可以根據稠密視差圖以及結合前期攝像機標定得到的
參數(如,基線距及焦距數據),可以計算出每個觀察點在攝像機坐標系下的三維坐標,計算
出所有像素點的三維坐標可對所有像素點進行渲染,重構觀察區的立體模型,即可得到3D
圖像,并可由多張連續的3D圖像可以重構出立體視頻。

以上所述僅為本發明的優選實施例,并非因此限制本發明的專利范圍,凡是在本
發明的發明構思下,利用本發明說明書及附圖內容所作的等效結構變換,或直接/間接運用
在其他相關的技術領域均包括在本發明的專利保護范圍內。

關 鍵 詞:
基于 圖像 稀疏 特征 匹配 立體 方法 裝置
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:基于圖像稀疏特征匹配的立體圖像重構方法及裝置.pdf
鏈接地址:http://www.rgyfuv.icu/p-6100559.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图