• / 14
  • 下載費用:30 金幣  

用于在光場數據庫中進行數據檢索的方法和裝置.pdf

摘要
申請專利號:

CN201610439341.8

申請日:

2016.06.17

公開號:

CN106257454A

公開日:

2016.12.28

當前法律狀態:

撤回

有效性:

無權

法律詳情: 發明專利申請公布后的視為撤回IPC(主分類):G06F 17/30申請公布日:20161228|||公開
IPC分類號: G06F17/30 主分類號: G06F17/30
申請人: 湯姆遜許可公司
發明人: 尤爾根·施陶德爾; 諾伊斯·薩瓦特爾; 塞德里克·泰博
地址: 法國伊西萊穆利諾
優先權: 2015.06.17 EP 15305941.5
專利代理機構: 中科專利商標代理有限責任公司 11021 代理人: 范心田
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201610439341.8

授權公告號:

|||

法律狀態公告日:

2018.12.04|||2016.12.28

法律狀態類型:

發明專利申請公布后的視為撤回|||公開

摘要

描述了一種用于在光場數據庫中進行數據檢索的方法和裝置(10)。所述裝置(10)的獲取單元(11)獲取樣本數據。操作單元(12)根據光場數據庫的每個4D光場數據,確定多個二維(2D)圖像,并根據所述樣本圖像的幾何參數和所述2D圖像的幾何參數,將所述樣本數據與所確定的2D圖像進行匹配。基于匹配結果將2D圖像之一選擇作為目標圖像,并且檢索據其確定了所述目標圖像的4D光場。

權利要求書

1.一種在包括四維4D光場數據的光場數據庫中進行數據檢索的方法,包括:
-獲取(20)樣本數據;
-根據光場數據庫的每個4D光場數據,確定(21)多個二維2D圖像,每個2D圖像的至少一
個幾何參數與另一2D圖像的至少一個幾何參數不同;
-根據樣本數據的幾何參數和所確定的2D圖像的幾何參數,將所述樣本數據與所確定
的2D圖像進行匹配(22);
-基于匹配結果,將所述2D圖像之一選擇(23)作為目標圖像;以及
-檢索(24)據其確定了所述目標圖像的4D光場數據;
其中所述幾何參數包括以下至少一項:分辨率、視點、觀看方向、焦平面、樣本數據和2D
圖像的視差以及在樣本數據和3D圖像中捕獲的圖像對象。
2.根據權利要求1所述的方法,其中所述樣本數據是2D圖像樣本。
3.根據權利要求1所述的方法,其中所述樣本數據是光場數據樣本,所述方法包括:
-根據光場數據樣本,確定(25)多個2D圖像樣本,每個2D圖像樣本的至少一個幾何參數
與另一圖像2D圖像樣本的至少一個幾何參數不同;以及
-根據所述樣本數據的2D圖像樣本的幾何參數以及所確定的光場數據庫的2D圖像的幾
何參數,將樣本數據的2D圖像樣本與所確定的光場數據庫的2D圖像進行匹配(22)。
4.根據權利要求3所述的方法,還包括:
-從所述多個2D圖像樣本中,將具有最高銳度的2D圖像樣本或以正視圖示出目標樣本
對象的2D圖像樣本選擇(26)作為光場數據樣本的代表性樣本;以及
-根據所述代表性樣本的幾何參數以及所確定的光場數據庫的2D圖像的幾何參數,將
所述代表性樣本與所確定的光場數據庫的2D圖像進行匹配(22)。
5.根據前述權利要求之一所述的方法,其中根據光場數據庫確定的2D圖像包括以下至
少一項:使用光場數據庫的經修改視點、經修改視差或經修改深度圖的子孔徑視圖、再聚焦
圖像、全對焦圖像、裁剪圖像、修復圖像、去噪圖像和合成圖像。
6.根據前述權利要求之一所述的方法,其中所述將樣本數據與所確定的2D圖像進行匹
配(22)包括:
-在根據光場數據庫的相同光場數據確定的多個2D圖像之間使用(27)幾何鏈接,其中
所述幾何鏈接代表所述多個2D圖像的幾何參數之間的關系。
7.根據權利要求6所述的方法,其中所述幾何鏈接是焦棧,其中所述焦棧根據在所述多
個2D圖像的每一個2D圖像中的焦平面和像平面之間的距離,順序地示出了所述多個2D圖像
的焦平面,所述方法還包括:
對于光場數據庫的每個光場數據,
-將樣本數據與多個2D圖像中的第一2D圖像進行匹配(22)并計算第一特征距離;
-將樣本數據與多個2D圖像中的第二2D圖像進行匹配(22)并計算第二特征距離;
-基于計算出的第一特征距離和第二特征距離,確定匹配策略;以及
-根據匹配策略,在多個2D圖像中選擇(23)具有最小特征距離的候選2D圖像;以及
-基于所述匹配結果和對幾何鏈接的使用,將候選圖像之一選擇(23)作為目標圖像。
8.根據權利要求7所述的方法,其中確定匹配策略包括將樣本數據與根據光場數據庫
的每個光場數據確定的多個2D圖像的子集進行遞歸性的匹配。
9.根據權利要求6所述的方法,其中所述幾何鏈接是與根據光場數據確定的全對焦圖
像相關聯的組合深度圖,所述方法還包括:
對于光場數據庫的每個光場數據,
-確定(21)全對焦2D圖像;
-產生與全對焦圖像相關聯的組合深度圖;
-將樣本數據與所述全對焦圖像進行匹配(22),以便確定與樣本數據具有最高相似度
的一個位置;
-使用(27)組合深度圖來識別所確定的位置的深度;
-在多個2D圖像中選擇(23)焦平面的深度為所確定的位置的候選2D圖像;以及
-計算樣本數據與候選圖像之間的特征距離;以及
-將候選圖像之一選擇(23)作為具有最小特征距離的目標圖像。
10.一種用于在包括四維4D光場數據的光場數據庫中進行數據檢索的裝置(10),包括:
-獲取單元(11),配置為獲取樣本數據;
-操作單元(12),配置為:
根據光場數據庫的每個4D光場數據,確定(21)多個二維2D圖像,每個2D圖像的至少一
個幾何參數與另一2D圖像的至少一個幾何參數不同;
根據樣本數據的幾何參數和所確定的2D圖像的幾何參數,將所述樣本數據與所確定的
2D圖像進行匹配(22);
基于匹配結果,將所述2D圖像之一選擇(23)作為目標圖像;以及
檢索(24)據其確定了所述目標圖像的4D光場數據;
其中所述幾何參數包括以下至少一項:分辨率、視點、觀看方向、焦平面、樣本數據和2D
圖像的視差以及在樣本數據和3D圖像中捕獲的圖像對象。
11.根據權利要求10所述的裝置,其中所述樣本數據是光場數據樣本,且其中所述操作
單元(12)還配置為:
根據光場數據樣本,確定(25)多個2D圖像樣本,每個2D圖像樣本的至少一個幾何參數
與另一圖像2D圖像樣本的至少一個幾何參數不同;以及
根據所述樣本數據的2D圖像樣本的幾何參數以及所確定的光場數據庫的2D圖像的幾
何參數,將樣本數據的2D圖像樣本與所確定的光場數據庫的2D圖像進行匹配(22)。
12.根據權利要求11所述的裝置,其中所述操作單元(12)還被配置為:
在所述多個2D圖像樣本中,將具有最高銳度的2D圖像樣本或以正視圖示出目標樣本對
象的2D圖像樣本選擇(26)作為光場數據樣本的代表性樣本;以及
根據所述代表性樣本以及所確定的光場數據庫的2D圖像的幾何參數,將所述代表性樣
本與所確定的光場數據庫的2D圖像進行匹配(22)。
13.根據權利要求10到12之一所述的裝置,其中所述操作單元(12)還被配置為:
在根據光場數據庫的相同光場數據確定的多個2D圖像之間使用(27)幾何鏈接,其中所
述幾何鏈接代表所述多個2D圖像的幾何參數之間的關系。
14.一種計算機可讀存儲介質,存儲有用于在包括四維4D光場數據的光場數據庫中進
行數據檢索的指令,其中當由計算機執行時所述指令使所述計算機執行以下操作:
-獲取(20)樣本數據;
-根據光場數據庫的每個4D光場數據,確定(21)多個二維2D圖像,每個2D圖像的至少一
個幾何參數與另一2D圖像的至少一個幾何參數不同;
-根據樣本數據的幾何參數和所確定的2D圖像的幾何參數,將所述樣本數據與所述2D
圖像進行匹配(22);
-基于匹配結果,將所述2D圖像之一選擇(23)作為目標圖像;以及
-檢索(24)據其確定了所述目標圖像的4D光場數據;
其中所述幾何參數包括以下至少一項:分辨率、視點、觀看方向、焦平面、樣本數據和2D
圖像的視差以及在樣本數據和3D圖像中捕獲的圖像對象。

說明書

用于在光場數據庫中進行數據檢索的方法和裝置

技術領域

提出了一種用于在光場數據庫中進行數據檢索的方法和裝置。此外,還提出了一
種適合于這種方法和裝置的計算機可讀介質。

背景技術

使用樣本圖像并基于圖像之間的相似性在二維(2D)圖像數據庫中搜索并檢索2D
圖像是本領域的公知技術。可選地,相似性可以基于不同方面。例如,在數據庫中搜索在樣
本圖像中示出的樣本對象,并將示出與樣本對象相似的對象的圖像檢索作為搜索結果。檢
索方法通常計算針對數據庫中的圖像的特征,并將這些特征與樣本圖像或樣本數據進行比
較以便尋找相似圖像。例如,這些特征可以包括顏色直方圖(color histograms)、邊緣和特
征點。搜索的性能通常依賴于特征分析的質量和魯棒性。

目前針對計算魯棒特征存在多個問題與難題。首先,難以從模糊的圖像計算并提
取可靠的特征,例如,邊緣或特征點。對于包括透明或部分透明對象的圖像,顏色直方圖、邊
緣檢測和特征點檢測將受到背景的影響,其中所述透明或半透明對象后方的背景是可見
的。分散的對象(諸如,具有樹枝和樹葉的樹木)將暴露較大的且空間上分散的深度范圍。此
外,對于從多個圖像中的不同視點看到的對象,幾何和光度失真將使圖像檢索變得困難。

已將四維(4D)光場的場景用作針對圖像捕獲的備選選項。例如可以通過全光攝像
機(plenoptic camera)或攝像機網來捕獲4D光場,所述全光攝像機或攝像機網允許在快照
之后對捕獲進行再聚焦,從而估計捕獲中的場景的深度和針對捕獲數據的許多其他靈活編
輯選項。可以根據針對相同場景的4D光場數據,計算出多個典型2D圖像。計算出的2D圖像
(所謂的光場圖像)可以在視點、觀看方向、分辨率、視覺深度、焦平面等方面上有所不同。例
如,[I]示出了根據光場計算再聚焦2D圖像的方法,其中在像平面內對來自攝像機傳感器的
原始圖像的子圖像進行空間移位,并隨后相加。

可以預期的是將來將使用更多的光場數據。搜索并檢索光場數據的技術和方案對
于用戶而言也變得至關重要。

發明內容

因此,本發明的目的在于提供用于在包括4D光場數據的光場數據庫中進行數據檢
索的方案。具體地,將所述方案用于在數據庫中搜索與給定樣本數據相似的光場數據。

根據一個實施例,提供了一種在光場數據庫中進行數據檢索的方法。光場數據庫
包括4D光場數據。所述方法包括:獲取樣本數據;根據光場數據庫的每個4D光場數據確定多
個二維(2D)圖像,每個2D圖像的至少一個幾何參數與另一2D圖像的至少一個幾何參數不
同;根據樣本數據的幾何參數和所確定的2D圖像的幾何參數,將所述樣本數據與所述2D圖
像進行匹配;基于匹配結果,將所述2D圖像之一選擇作為目標圖像;以及檢索據其確定了所
述目標圖像的4D光場數據。所述幾何參數包括以下至少一項:分辨率、視點、觀看方向、焦平
面、樣本數據和2D圖像的視差(disparity)以及在樣本數據和3D圖像中捕獲的圖像對象。可
選地,樣本數據可以是2D圖像樣本或光場數據樣本。

優選地,根據光場數據庫確定的2D圖像包括以下至少一項:使用光場數據庫的經
修改視點、經修改視差或經修改深度圖的子孔徑視圖、再聚焦圖像、全對焦圖像、裁剪圖像、
修復圖像、去噪圖像和合成圖像。

優選地,將樣本數據與所確定的2D圖像進行匹配包括:在根據光場數據庫的相同
光場數據確定的多個2D圖像之間使用幾何鏈接。所述幾何鏈接表示所述多個2D圖像的幾何
參數之間的關系。

在一個實施例中,樣本數據是光場數據樣本。所述方法還包括:根據光場數據樣本
確定多個2D圖像樣本,每個2D圖像樣本的至少一個幾何參數與另一2D圖像樣本的至少一個
幾何參數不同;以及根據所述樣本數據的2D圖像樣本的幾何參數以及所確定的光場數據庫
的2D圖像的幾何參數,將樣本數據的2D圖像樣本與所確定的光場數據庫的2D圖像進行匹
配。

優選地,所述方法的所述實施例還包括:在所述多個2D圖像樣本中,將具有最高銳
度的2D圖像樣本或以正視圖示出目標樣本對象的2D圖像樣本選擇作為光場數據樣本的代
表性樣本;以及根據所述代表性樣本的幾何參數以及所確定的光場數據庫的2D圖像的幾何
參數,將所述代表性樣本與所確定的光場數據庫的2D圖像進行匹配。

根據一個實施例,提供了一種配置為從光場數據庫檢索數據的裝置。所述裝置包
括獲取單元和操作單元。所述獲取單元配置為獲取樣本數據。所述操作單元配置為:根據光
場數據庫的每個4D光場數據確定多個二維(2D)圖像,每個2D圖像的至少一個幾何參數與另
一2D圖像的至少一個幾何參數不同;根據樣本數據的幾何參數和所確定的2D圖像的幾何參
數,將所述樣本數據與所確定的2D圖像進行匹配;基于匹配結果,將所述2D圖像之一選擇作
為目標圖像;以及檢索據其確定了所述目標圖像的4D光場數據。所述幾何參數包括以下至
少一項:分辨率、視點、觀看方向、焦平面、樣本數據和2D圖像的視差以及在樣本數據和3D圖
像中捕獲的圖像對象。

優選地,所述操作單元還配置為在根據光場數據庫的相同光場數據確定的多個2D
圖像之間使用幾何鏈接。所述幾何鏈接代表所述多個2D圖像的幾何參數之間的關系。

在一個實施例中,樣本數據是光場數據樣本。所述操作單元還配置為根據光場數
據樣本確定多個2D圖像樣本,每個2D圖像樣本的至少一個幾何參數與另一圖像2D圖像樣本
的至少一個幾何參數不同;以及根據所述樣本數據的2D圖像樣本的幾何參數以及所確定的
光場數據庫的2D圖像的幾何參數,將樣本數據的2D圖像樣本與所確定的光場數據庫的2D圖
像進行匹配。優選地,所述操作單元還配置為從所述多個2D圖像樣本中,將具有最高銳度的
2D圖像樣本或以正視圖示出目標樣本對象的2D圖像樣本選擇作為光場數據樣本的代表性
樣本;以及根據所述代表性樣本以及所確定的光場數據庫的2D圖像的幾何參數,將所述代
表性樣本與所確定的光場數據庫的2D圖像進行匹配。

此外,一種計算機可讀存儲介質,存儲有用于在光場數據庫中進行數據檢索的指
令,其中當由計算機執行時所述指令使所述計算機執行以下操作:獲取樣本數據;根據光場
數據庫的每個4D光場數據確定多個二維(2D)圖像,每個2D圖像的至少一個幾何參數與另一
2D圖像的至少一個幾何參數不同;根據樣本數據的幾何參數和所確定的2D圖像的幾何參
數,將所述樣本數據與所述2D圖像進行匹配;基于匹配結果,將所述2D圖像之一選擇作為目
標圖像;以及檢索據其確定了所述目標圖像的4D光場數據。所述幾何參數包括以下至少一
項:分辨率、視點、觀看方向、焦平面、樣本數據和2D圖像的視差以及在樣本數據和3D圖像中
捕獲的圖像對象。

所述計算機可讀存儲介質可以是一種非暫時性易失性或非易失性存儲介質,例
如,硬盤、光盤或磁盤或磁帶、固態存儲設備等。因此,所述存儲介質有形地表現由計算機或
處理設備可執行的指令程序,以便執行本文所述程序步驟。

所提出的方法利用以下觀點:光場數據庫包含關于所捕獲場景的豐富信息。通過
使用光場數據庫和它所提供的視覺信息,克服傳統圖像數據庫的一些缺點。例如,可以搜索
或檢索不同深度的目標對象以及部分透明的對象和部分分散的對象。此外,還可以在光場
數據庫中搜索不同視點看到的對象。當使用幾何鏈接時,搜索和檢索可以得到改善且更高
效。

附圖說明

為了更好地理解本發明,現將參考附圖在以下描述中更詳細地解釋所提出的方
案。應理解,所述方案不限于所公開的示例實施例,還可以方便地合并和/或修改具體特征,
而不脫離由所附權利要求限定的所提出的方案的范圍。

圖1是示出了配置為在光場數據庫中檢索數據的裝置的示例實施例的示意圖。

圖2是示出了用于在光場數據庫中進行數據檢索的方法的優選實施例的流程圖。

圖3是示出了用于在光場數據庫中進行數據檢索的方法的另一優選實施例的流程
圖。

圖4是示出了用于在光場數據庫中進行數據檢索的方法的再一優選實施例的流程
圖。

具體實施方式

應將本說明書中使用的術語“光場”理解為本領域通常限定的含義。也就是說,4D
視頻數據包括在任何時刻,與在空間場景的每個方向上行進的每個點處的所有光線有關的
角度信息和空間信息,且可以通過例如全光視頻攝像機、視頻攝像機陣列或任何其他可行
攝像機設備來捕獲。具體地,說明書中的光場可以理解為針對允許產生該光場的2D圖像數
據的場景捕獲的數據的總體或其子集。

圖1示意性地示出了配置為從包括4D光場數據的光場數據庫檢索數據的裝置10的
示例實施例。所述裝置包括獲取單元11、操作單元12和可選的存儲單元13。

所述獲取單元11配置為獲取樣本數據。可以經由所述裝置10的用戶輸入(未示出)
或外部輸入設備,從用戶獲取樣本數據。備選地,可以從可用數據庫檢索并獲取樣本數據,
所述可用數據庫可以例如存儲在存儲單元13中。

存儲單元13可以是任何可行且適合的存儲設備,且可以被集成在所述裝置10中或
輔助所述裝置10。可選地,在其中檢索到4D光場數據的光場數據庫也可以存儲在存儲單元
13中。

操作單元12配置為根據光場數據庫的每個4D光場數據來確定多個2D圖像。所確定
的2D圖像中的每一個2D圖像的至少一個幾何參數與另一2D圖像的至少一個幾何參數不同。
操作單元12還配置為根據樣本數據和所確定的2D圖像的幾何參數,將所獲取的樣本數據與
所確定的2D圖像進行匹配,以便基于匹配結果將所述2D圖像之一選擇作為目標圖像,并檢
索據其確定了所述目標圖像的特定4D光場數據。

在一個實施例中,所述操作單元12還配置為在根據光場數據庫的相同光場數據確
定的多個2D圖像之間使用幾何鏈接。所述幾何鏈接表示所述多個2D圖像的幾何參數之間的
關系。

以下將參考所提出的在光場數據庫中進行數據檢索的方法來描述與裝置10的操
作有關的更多細節。當然,所述裝置10可以可選地包括任何其他附加的或備選的設備,以便
實現所提出的方法的實施例。

圖2示意性地示出了用于在包括4D光場數據的光場數據庫中進行數據檢索的方法
的優選實施例。參考圖1,以下將使用所述裝置10的示例實施例,來詳細解釋所述方法的實
施例。應理解,所述方法可以在本領域熟知的且可用的任何其他適合系統或裝置中執行。

如上所述,光場數據庫優選地存儲在所述裝置10的存儲單元13。備選地,光場數據
庫還可以存儲在外部存儲設備中,其中所述裝置10可以訪問并從中檢索光場數據。光場數
據庫包括4D光場數據。

所述裝置10的操作單元12根據光場數據庫的每個4D光場數據,確定21多個2D圖
像。所述2D圖像中的每一個2D圖像的至少一個幾何參數與另一2D圖像的至少一個幾何參數
不同。優選地,所述幾何參數包括以下至少一項:分辨率、視點、觀看方向、焦平面、樣本數據
和2D圖像的視差以及在樣本數據和3D圖像中捕獲的圖像對象。可選地,還可以將所確定的
2D圖像存儲在存儲單元13中。

所述裝置10的獲取單元11獲取20樣本數據。樣本數據原則上限定搜索或檢索詢
問,可選地,可以是2D圖像、3D圖像、光場數據等。此外,優選的是在樣本數據中示出并捕獲
有至少一個樣本對象。

然后,操作單元12根據樣本數據和所確定的2D圖像的幾何參數,將所述樣本數據
與所述2D圖像進行匹配22。基于所述匹配結果,操作單元12將2D圖像之一選擇23作為目標
圖像,因此,將據其確定了所述目標圖像的4D光場數據檢索24作為檢索結果。

所提出的方法利用以下觀點:光場數據庫包含與這些光場捕獲的場景有關的豐富
信息。因此,有利地且優選地,將樣本數據與光場數據庫所含的不同視覺信息的最大值進行
比較和匹配,以便正確并精確地評估樣本數據和光場信息之間的相似性,因此實現改善的
檢索結果。

根據光場數據庫的光場數據確定21的2D圖像的特性可以是各種各樣的。例如,所
述2D圖像可以是子孔徑視圖,每一個子孔徑視圖表征特定觀看方向。所述2D圖像可以是再
聚焦圖像或全對焦圖像,其中所有圖像內容均是聚焦的。也可以根據光場數據確定并計算
其他類型的圖像,例如,裁剪圖像、修復圖像、去噪圖像、深度圖、視差圖或任何其他類型的
圖像。

優選地,根據光場數據庫的光場數據確定21的2D圖像包括以下至少一項:使用光
場數據庫的經修改視點、經修改視差或經修改深度圖的子孔徑視圖、再聚焦圖像、全對焦圖
像、裁剪圖像、修復圖像、去噪圖像和合成圖像。

參考圖3,在一個實施例中,獲取20的樣本數據本身是光場數據樣本。因此,所述方
法還包括:根據光場數據樣本確定25多個2D圖像樣本,每個2D圖像樣本的至少一個幾何參
數與另一圖像2D圖像樣本的至少一個幾何參數不同。優選地,該操作可以由所述裝置10的
操作單元12來執行。因此,操作單元12根據所述樣本數據的2D圖像樣本以及所確定的光場
數據庫的2D圖像的幾何參數,將樣本數據的2D圖像樣本與所確定的光場數據庫的2D圖像進
行匹配22。

優選地,所述方法還包括從根據給定光場數據樣本確定的所述多個2D圖像樣本中
選擇26代表性2D圖像樣本,這類似地優選由操作單元12來執行。這種選擇基于以下構思:在
數據庫中檢索圖像或示出在圖像中的對象通常利用圖像而工作效果最好。對象或對象的至
少一部分清楚地示出在圖像中,并例如可以以較高的銳度最優識別所述對象或對象的一部
分,或從優選視點觀看所述對象或對象的一部分。因此,所選的代表性2D圖像樣本優選地是
具有最高銳度的2D圖像樣本,和/或以正視圖示出目標樣本對象或目標樣本對象最為銳利
或呈現效果最佳的2D圖像樣本。例如,當在所述2D圖像樣本之一中以正視圖示出人臉且人
臉具有最高銳度時,該2D圖像樣本是作為針對對應光場數據的代表性2D圖像樣本的良好備
選。因此,操作單元12將所述代表性樣本與所確定的光場數據庫的2D圖像進行匹配22,以便
在光場數據庫中進行數據檢索。

參考圖4,在另一實施例中,所述方法還包括:在根據光場數據庫的相同光場數據
確定的多個2D圖像之間,使用27幾何鏈接。所述幾何鏈接代表所述多個2D圖像的幾何參數
之間的關系。優選地,所述幾何鏈接允許對所述多個2D圖像進行排序。例如,幾何鏈接可以
將所述多個2D圖像組織為有序的列表或網格。一維網格或有序的列表可以例如是焦距作為
幾何參數的焦棧(focal stack),二維網格可以是例如具有不同觀看方向的多個視圖的網
格,其中將觀看方向矢量的坐標作為幾何參數。在占據網格之前,搜索策略確定要比較和匹
配的相應下一2D圖像。通過使用幾何鏈接,無需對根據光場數據庫確定的所有可能2D圖像
進行匹配和審閱,因此加速在光場數據庫中的搜索和檢索。

在一個實施例中,使用27焦棧的幾何鏈接,其中根據在所述多個2D圖像的每一個
2D圖像中的焦平面和像平面之間的距離,順序地示出了所述多個2D圖像的焦平面。

所提出的方法的這種實施例還包括:對于光場數據庫中的每個光場數據,將樣本
數據與所述多個2D圖像中的第一和第二2D圖像進行匹配22,并分別計算第一和第二特征距
離。然后,使用計算出的第一和第二特征距離來確定與該焦棧相對應的匹配策略。下文提供
匹配策略的示例。優選地,確定匹配策略包括將樣本數據與根據光場數據庫的每個光場數
據確定的多個2D圖像的子集進行遞歸性地匹配。例如,在與第一2D圖像和第二2D圖像進行
匹配之后,選擇第三2D圖像以便與樣本數據進行匹配,匹配結果有助于確定匹配策略。換言
之,根據計算出的特征距離和匹配策略,遞歸性地執行所述匹配和計算步驟,以便從多個2D
圖像中選擇23候選2D圖像,其中候選2D圖像具有最小的特征距離。隨后,基于匹配結果和使
用幾何鏈接,將光場數據的候選圖像之一選擇作為目標圖像,隨后檢索據其確定了所述目
標圖像的4D光場數據。

通過利用焦棧的幾何鏈接,操作單元13可以使用系統性的檢索策略,來將樣本數
據與來自光場數據庫的這些多個2D圖像進行匹配22。以下提供匹配策略的示例。

開始時,將樣本數據與在有序焦棧中具有第一索引(I1)的第一2D圖像(例如,與焦
平面和像平面之間的平均焦距處的焦平面相對應)進行匹配22,因此計算出所得到的特征
矢量的第一距離(D1)。然后,將樣本數據與在有序焦棧中具有第二索引(I2)的第二2D圖像進
行匹配,計算出特征矢量的對應第二距離(D2)。

如果D2<D1,則在記錄中將D2保持為最小特征距離,且可以預期的是特征距離隨著
索引的增加而變得越來越小。然后,合理的是將樣本數據與具有第三索引(I3)的第三圖像
進行匹配22,其中第三索引在I2的后面且等于I2加上I1與I2之間的間隔。然后,將得到的特
征距離D3與D2進行比較,以便查看哪個更小。

如果D2≥D1,則將樣本數據與具有第三索引(I3)的第三圖像進行匹配22,其中第三
索引位于I1和I2之間,且還將樣本數據與具有第四索引(I4)的第四圖像進行匹配,其中第四
索引小于I1。應理解,該操作同樣是為了尋找最小的所得特征距離,因此,將優化2D圖像選
擇23作為具有最小特征距離的目標圖像。

在另一實施例中,使用27組合深度圖的幾何鏈接。組合深度圖與根據光場數據庫
的每個光場數據確定的全對焦圖像相關聯。全對焦圖像示出了聚焦良好的捕獲場景,獨立
于該場景中不同對象的深度。

通過將多個視差圖組合為一個單個組合深度圖,來計算并產生組合深度圖,其中
所述多個視差圖與根據光場數據庫的相同光場數據確定的多個2D圖像相關聯。通常根據利
用不同視點捕獲相同場景或相同對象的多個2D圖像中的兩個不同2D圖像,計算多個視差圖
中的每一個。組合深度圖中的每個像素指示全對焦圖像的對應像素處可視的對象的深度。
可選地,還可以通過使用用于光場數據的任何其他可行方法和技術(例如,焦棧上的散焦深
度(depth from defocus)),來產生視差圖和組合深度圖。

在該實施例中,具體確定21針對光場數據庫的每個4D光場數據的全對焦2D圖像。
每個全對焦2D圖像示出了聚焦良好的捕獲場景,獨立于該場景中不同對象的深度。此外,還
產生與全對焦圖像中的每一個相關聯的深度圖。

因此,所提出的方法還包括:針對光場數據庫的每個光場數據,將樣本數據與所確
定的全對焦圖像進行匹配22,并在與樣本數據具有最高相似度的全對焦圖像中確定一個幾
何位置。這種匹配可以包括幾何操作,例如,改變樣本數據的比例和旋轉樣本數據。通過使
用全對焦圖像,所述匹配和比較可以是有效率的且節省時間的,這是由于不存在失焦模糊。
然后可以使用27與對應的全對焦圖像相關聯的組合深度圖,具體地,以便識別全對焦圖像
中所確定的位置的深度。對于每個光場數據,因此可以選擇多個2D圖像中的候選2D圖像,其
中所述候選2D圖像是其焦平面的深度在所確定的位置處的2D圖像。

然后,計算樣本數據和每個光場數據的每個候選2D圖像之間的特征距離。隨后,將
具有最小特征距離的候選2D圖像選擇23作為目標圖像,然后檢索24據其確定了所述目標圖
像的4D光場數據。

在該實施例中,可以執行所述搜索而不考慮焦棧的大小,這樣可以加速在光場數
據庫中的搜索和檢索。

可選地,可以根據任何本領域可用或已知的技術(例如,[II]所述的方法)來執行
對特征距離的計算。

在另一實施例中,可以通過使用特征描述符和/或特征包的方法來執行對樣本數
據與根據光場數據庫的2D圖像的匹配22。

參考文獻

[I]R.Ng等,“Light field photography with a hand-held p lenoptic
camera”,Standford University Computer Scienee Tee h Report CSTR,2005年4月

[II]K.E.A.van de Sande等,“Evaluating color descripto rs for object
and scene recognition”,IEEE Transactions on P attern Analysis and Maehine
Intelligenee,32(9),第1582-1596頁,2010

關 鍵 詞:
用于 數據庫 進行 數據 檢索 方法 裝置
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:用于在光場數據庫中進行數據檢索的方法和裝置.pdf
鏈接地址:http://www.rgyfuv.icu/p-6100766.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图