• / 19
  • 下載費用:30 金幣  

一種圖像拼接方法及裝置.pdf

摘要
申請專利號:

CN201610890008.9

申請日:

2016.10.12

公開號:

CN106331527A

公開日:

2017.01.11

當前法律狀態:

實審

有效性:

審中

法律詳情: 實質審查的生效IPC(主分類):H04N 5/265申請日:20161012|||公開
IPC分類號: H04N5/265; H04N5/262; H04N5/232; G06T5/00 主分類號: H04N5/265
申請人: 騰訊科技(北京)有限公司
發明人: 袁梓瑾; 簡偉華
地址: 100080 北京市海淀區海淀大街38號銀科大廈16層1601-1608室
優先權:
專利代理機構: 北京德琦知識產權代理有限公司 11018 代理人: 郭曼;王琦
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201610890008.9

授權公告號:

|||

法律狀態公告日:

2017.03.08|||2017.01.11

法律狀態類型:

實質審查的生效|||公開

摘要

本申請公開了一種圖像拼接方法及裝置。該方法包括:獲取至少兩個攝像裝置各自拍攝到的圖像;針對每個攝像裝置,以預設的至少兩個攝像裝置的公共光心為原點構建該攝像裝置的三維坐標系;針對每個攝像裝置拍攝到的一圖像中的每個像素,執行以下處理:將該像素在該圖像中二維坐標系的第一坐標轉換為該三維坐標系下的第二坐標;根據該攝像裝置的光心和該圖像中指定的目標物點,對第二坐標進行修正,得到第三坐標;及,根據所有圖像中每個像素的第三坐標對所有圖像進行拼接。利用這些技術方案,能夠提供無視差的拼接圖像,提高圖像拼接裝置的資源利用率。

權利要求書

1.一種圖像拼接方法,其特征在于,包括:
獲取至少兩個攝像裝置各自拍攝到的圖像;
針對每個攝像裝置,以預設的所述至少兩個攝像裝置的公共光心為原點構建該攝像裝
置的三維坐標系;
針對每個攝像裝置拍攝到的一圖像中的每個像素,執行以下處理:
將該像素在該圖像中二維坐標系的第一坐標轉換為該三維坐標系下的第二坐標;
根據該攝像裝置的光心和該圖像中指定的目標物點,對所述第二坐標進行修正,得到
第三坐標;及,
根據所有圖像中每個像素的所述第三坐標對所有圖像進行拼接。
2.根據權利要求1所述的方法,其中,若所述三維坐標系表示為(X,Y,Z),所述以預設的
所述至少兩個攝像裝置的公共光心為原點構建該攝像裝置的三維坐標系包括:
以所述公共光心為原點,在該攝像裝置的成像面的平行面上建立二維坐標系(X,Y);
根據所述二維坐標系(X,Y)和右手定則確定Z軸。
3.根據權利要求1所述的方法,其中,所述將該像素在該圖像中二維坐標系的第一坐標
轉換為該三維坐標系下的第二坐標包括:
根據所述第一坐標確定該像素的角坐標;
根據該攝像裝置的透鏡成像幾何函數和所述第一坐標確定入射光與該三維坐標系(X,
Y,Z)中Z軸之間的夾角;
根據所述角坐標和所述夾角計算出所述第二坐標。
4.根據權利要求3所述的方法,其中,若第一坐標表示為(x1,y1),角坐標表示為所述
根據第一坐標確定該像素的角坐標包括:
確定的三角函數值分別為:

該三維坐標系為笛卡爾坐標系,若第二坐標表示為(x2,y2,z2),夾角表示為θ,所述根據
所述夾角和所述角坐標計算出所述第二坐標包括:
按照如下公式計算得到x2、y2和z2:


z2=cos(θ) 。
5.根據權利要求3或4所述的方法,其中,所述根據該攝像裝置的透鏡成像幾何函數r
(θ)和所述第一坐標(x1,y1)確定入射光與該三維坐標系(X,Y,Z)中Z軸之間的夾角θ包括:
當該攝像裝置的透鏡為直線型時,有r(θ)=f·tan(θ),則

當該攝像裝置的透鏡為等距型時,有r(θ)=f·θ,則

其中,atan(·)表示取反正切值函數,pw,ph分別表示該像素的寬度與高度,f為透鏡的
焦距。
6.根據權利要求1所述的方法,其中,所述根據該攝像裝置的光心和該圖像中指定的目
標物點,對所述第二坐標進行修正,得到第三坐標包括:
獲取所述公共光心和所述目標物點之間的距離;
獲取該攝像裝置的光心相對于所述公共光心的偏移量;
根據所述距離、所述偏移量和所述第二坐標計算出所述第三坐標。
7.根據權利要求6所述的方法,其中,所述根據所述距離R0、所述偏移量(Tx,Ty,Tz)和所
述第二坐標(x2,y2,z2)計算出所述第三坐標(x3,y3,z3)包括:
按照如下公式計算得到x3、y3和z3:



其中,
8.根據權利要求1至7中任一項所述的方法,其中,所述根據所有圖像中每個像素的所
述第三坐標對所有圖像進行拼接包括:
根據每個攝像裝置在全景系統中所處的位置,按照預設的投影類型將所述第三坐標投
影到單位全景球面中;
在所述單位全景球面中將所有的圖像進行拼接,得到全景圖像。
9.一種圖像拼接裝置,其特征在于,包括:
獲取模塊,用于獲取至少兩個攝像裝置各自拍攝到的圖像;
坐標系構建模塊,用于針對每個攝像裝置,以預設的所述至少兩個攝像裝置的公共光
心為原點構建該攝像裝置的三維坐標系;
坐標處理模塊,用于針對每個攝像裝置拍攝到的一圖像中的每個像素,執行以下處理:
將該像素在該圖像中二維坐標系的第一坐標轉換為該三維坐標系下的第二坐標;根據該攝
像裝置的光心和該圖像中指定的目標物點,對所述第二坐標進行修正,得到第三坐標;及,
拼接模塊,用于根據所有圖像中每個像素的所述第三坐標對所有圖像進行拼接。
10.根據權利要求9所述的裝置,其中,所述坐標處理模塊包括轉換單元,用于根據所述
第一坐標確定該像素的角坐標;根據該攝像裝置的透鏡成像幾何函數和所述第一坐標確定
入射光與該三維坐標系(X,Y,Z)中Z軸之間的夾角;根據所述角坐標和所述夾角計算出所述
第二坐標。
11.根據權利要求10所述的裝置,其中,若第一坐標表示為(x1,y1),角坐標表示為所
述轉換單元用于,確定:

該三維坐標系為笛卡爾坐標系,若第二坐標表示為(x2,y2,z2),夾角表示為θ,所述轉換
單元用于,按照如下公式計算得到x2、y2和z2:


z2=cos(θ) 。
12.根據權利要求9所述的裝置,其中,所述坐標處理模塊包括修正單元,用于獲取所述
公共光心和所述目標物點之間的距離;獲取該攝像裝置的光心相對于所述公共光心的偏移
量;根據所述距離、所述偏移量和所述第二坐標計算出所述第三坐標。
13.根據權利要求12所述的裝置,其中,若所述距離表示為R0,所述偏移量表示為(Tx,
Ty,Tz),所述第二坐標表示為(x2,y2,z2),所述第三坐標表示為(x3,y3,z3),所述修正單元用
于,按照如下公式計算得到x3、y3和z3:



其中,
14.根據權利要求9至14中任一項所述的方法,其中,所述拼接模塊用于,根據每個攝像
裝置在全景系統中所處的位置,按照預設的投影類型將所述第三坐標投影到單位全景球面
中;在所述單位全景球面中將所有的圖像進行拼接,得到全景圖像。

說明書

一種圖像拼接方法及裝置

技術領域

本申請涉及圖像處理技術領域,尤其涉及一種圖像拼接方法及裝置。

背景技術

目前,360度全景視頻逐漸成為虛擬現實領域主要的內容之一。相比于傳統有限視
野的視頻,這種全景視頻能夠提供給用戶更為逼真的沉浸觀看體驗。由于目前采集全景視
頻的單鏡頭系統還很少,一般是由多個攝像裝置或多個鏡頭系統采集的視頻拼接而成。

根據鏡頭的光學透視幾何原理,兩個不共光心的鏡頭系統捕獲的二維成像,在它
們的公共視野部分總會存在一定的視差(parallax)。并且,在不同的深度面上,視差程度不
一樣,最終導致所拼接的圖像在視覺上出現難以接受的瑕疵,例如重影、鬼影、連續線條錯
位斷裂等。因此,拼接出的圖像效果很差,影響了用戶的觀看體驗,并且降低了成像裝置的
資源利用率。

發明內容

有鑒于此,本發明提供了一種圖像拼接方法及裝置,能夠提供無視差的拼接圖像,
提高圖像拼接裝置的資源利用率。

本發明的技術方案是這樣實現的:

本發明提供了一種圖像拼接方法,包括:

獲取至少兩個攝像裝置各自拍攝到的圖像;

針對每個攝像裝置,以預設的所述至少兩個攝像裝置的公共光心為原點構建該攝
像裝置的三維坐標系;

針對每個攝像裝置拍攝到的一圖像中的每個像素,執行以下處理:

將該像素在該圖像中二維坐標系的第一坐標轉換為該三維坐標系下的第二坐標;

根據該攝像裝置的光心和該圖像中指定的目標物點,對所述第二坐標進行修正,
得到第三坐標;及,

根據所有圖像中每個像素的所述第三坐標對所有圖像進行拼接。

本發明還提供了一種圖像拼接裝置,包括:

獲取模塊,用于獲取至少兩個攝像裝置各自拍攝到的圖像;

坐標系構建模塊,用于針對每個攝像裝置,以預設的所述至少兩個攝像裝置的公
共光心為原點構建該攝像裝置的三維坐標系;

坐標處理模塊,用于針對每個攝像裝置拍攝到的一圖像中的每個像素,執行以下
處理:將該像素在該圖像中二維坐標系的第一坐標轉換為該三維坐標系下的第二坐標;根
據該攝像裝置的光心和該圖像中指定的目標物點,對所述第二坐標進行修正,得到第三坐
標;及,

拼接模塊,用于根據所有圖像中每個像素的所述第三坐標對所有圖像進行拼接。

與現有技術相比,本發明提供的方法,與所拍攝的物體的幾何特性、攝像裝置的具
體成像幾何公式、最終拼接的投影類型都無關,提供了一種無視差拼接深度面的通用技術,
可以自適應的選擇場景中的主要內容所在深度位置作為無視差拼接深度面,提供無視差的
拼接圖像,無需額外的去視差處理,提高了圖像拼接裝置的資源利用率。

附圖說明

為了更清楚的說明本發明實施例中的技術方案,下面將對實施例描述中所需要使
用的附圖作簡單的介紹,顯而易見地,下面描述中的附圖僅僅是本發明的一些實施例,對于
本領域普通技術人員來說,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其它
的附圖。其中,

圖1為依據本發明一實施例的圖像拼接方法的示例性流程圖;

圖2為依據本發明一實施例的構建笛卡爾坐標系的示意圖;

圖3為依據本發明一實施例的光心偏移補償方法的示例性流程圖;

圖4a為依據本發明一實施例的對第二坐標進行修正的坐標示意圖;

圖4b為依據本發明一實施例的確定偏移量的坐標示意圖;

圖5為依據本發明另一實施例的圖像拼接方法的示例性流程圖;

圖6a為依據本發明一實施例的拼接前的二維圖像示意圖;

圖6b為依據本發明一實施例的拼接后的二維圖像示意圖;

圖7依據本發明一實施例的圖像拼接裝置的結構示意圖;

圖8為依據本發明另一實施例的圖像拼接裝置的結構示意圖。

具體實施方式

下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完
整地描述,顯然,所描述的實施例是本發明一部分實施例,而不是全部的實施例。基于本發
明中的實施例,本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施
例,都屬于本發明保護的范圍。

本發明實施例中的圖像拼接方法和裝置適用于任何具有至少兩個攝像裝置的攝
像系統,其中,兩個相鄰的攝像裝置的視角具有公共部分,即公共視野部分,二者所拍攝的
圖像具有重疊部分。根據本發明實施例中的方法,分別針對每個攝像裝置拍攝到的圖像進
行處理,然后在整個攝像系統中進行圖像的拼接,在指定的目標物點(或者深度面)上能夠
得到完整的無視差的全景圖像。

圖1為依據本發明一實施例的圖像拼接方法的示例性流程圖。如圖1所示,該方法
可包括如下步驟:

步驟101,獲取至少兩個攝像裝置各自拍攝到的圖像。

本步驟,首先獲取一攝像系統中所有攝像裝置拍攝到的圖像。

步驟102,針對每個攝像裝置,以預設的至少兩個攝像裝置的公共光心為原點構建
該攝像裝置的三維坐標系。

由于每個攝像裝置都具備一個自身鏡頭的光心,本步驟中,首先預設一個公共光
心,即假設所有的攝像裝置都具備這樣一個理想的光心,以此為原點構建三維坐標系。

若三維坐標系表示為(X,Y,Z),以預設的公共光心為原點構建該攝像裝置的三維
坐標系時,具體包括:以公共光心為原點,在該攝像裝置的成像面的平行面上建立二維坐標
系(X,Y),然后根據二維坐標系(X,Y)和右手定則確定Z軸。

在一實施例中,該三維坐標系為笛卡爾坐標系。相對于攝像裝置的坐標系而言,這
種笛卡爾坐標系又被稱為笛卡爾世界坐標系。圖2為依據本發明一實施例的構建笛卡爾坐
標系的示意圖。如圖2所示,X軸、Y軸和Z軸共同組成了一攝像裝置A的笛卡爾坐標系,公共光
心O為坐標系的原點。入射光以θ角進入攝像裝置A的透鏡系統,經過透鏡折射后,在攝像
裝置A的成像面x'o'y'上成像。其中,XOY面和x'o'y'面平行。

步驟103,針對每個攝像裝置拍攝到的一圖像中的每個像素,執行以下處理:

步驟1031,將該像素在該圖像中二維坐標系的第一坐標轉換為該三維坐標系下的
第二坐標;

步驟1032,根據該攝像裝置的光心和該圖像中指定的目標物點,對第二坐標進行
修正,得到第三坐標。

其中,對于步驟1031,將第一坐標轉換為第二坐標,具體包括:根據第一坐標確定
該像素的角坐標,根據該攝像裝置的透鏡成像幾何函數和第一坐標確定入射光與該三維坐
標系(X,Y,Z)中Z軸之間的夾角,然后根據夾角和角坐標計算出第二坐標。

若一像素的第一坐標表示為(x1,y1),角坐標表示為根據第一坐標確定該像素
的角坐標包括確定的如下三角函數值:


若第二坐標表示為(x2,y2,z2),夾角表示為θ,則按照如下公式計算出第二坐標中
的x2、y2和z2:


若攝像裝置的透鏡成像幾何函數為r(θ),當該攝像裝置的透鏡為直線型
(rectilinear)時,有r(θ)=f·tan(θ),則夾角

<mrow> <mi>&theta;</mi> <mo>=</mo> <mi>a</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>p</mi> <mi>w</mi> <mo>&CenterDot;</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>p</mi> <mi>h</mi> <mo>&CenterDot;</mo> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mi>f</mi> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

當該攝像裝置的透鏡為等距型(equidistant)時,有r(θ)=f·θ,則夾角

<mrow> <mi>&theta;</mi> <mo>=</mo> <mfrac> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>p</mi> <mi>w</mi> <mo>&CenterDot;</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>p</mi> <mi>h</mi> <mo>&CenterDot;</mo> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mi>f</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

其中,atan(·)表示取反正切值函數,pw,ph分別表示該像素的寬度與高度,f為透
鏡的焦距(如圖2所示)。

對應到圖2中,成像面x'o'y'的一個像素p1′,其第一坐標為(x1,y1),p1′和原點o′
之間的連線與x′o′軸之間的夾角為轉換到笛卡爾坐標系(X,Y,Z)下,對應物點P1,其三維
坐標如公式(2)所示。其中,P1在XOY二維面上的投影為p1,p1和原點O之間的連線與XO軸之間
的夾角也為

上述公共光心O對所有的攝像裝置而言是唯一的,但是考慮到實際中每個攝像裝
置都具備自己的一個光心O′,因此,需要根據光心之間的偏離對成像的圖像進行補償,使得
其與O為原點下的成像一致。

對此,圖3為依據本發明一實施例的光心偏移補償方法的示例性流程圖。針對步驟
1032,根據該攝像裝置的光心和該圖像中指定的目標物點,對第二坐標進行修正,得到第三
坐標,如圖3所示,具體包括如下步驟:

步驟301,獲取公共光心和目標物點之間的距離,即獲取目標物點的深度。

本步驟中,目標物點可以由用戶根據所拍攝到的圖像中自己感興趣的物點進行指
定,或者,可以根據場景中的主要目標物或內容物進行指定。在指定了目標物點之后,估計
出在XOZ面上公共光心和目標物點之間的距離。例如,根據第三方軟件估計出在一具體的場
景中該目標物點的深度為10m,或者20m等。

圖4a為依據本發明一實施例的對第二坐標進行修正的坐標示意圖。如圖4a所示,
目標物點為入射光上的物點P1,上述距離即為P1在XOZ面上投影的長度,即O到P′之
間的長度,記為R0,該距離也稱之為物點P1的深度。

步驟302,獲取該攝像裝置的光心相對于公共光心的偏移量。

本步驟中,考慮到在一個全景攝像系統中相鄰兩個攝像裝置所拍攝的圖像之間具
備重疊部分,根據重疊圖像的樣本數據以及和攝像裝置的對應/匹配關系進行回歸或者仿
真估計,可以確定出上述偏移量。例如,一個全景(即360°)視頻系統,在三維空間中安置有
多個照相機,每個照相機拍攝到一定視角范圍內的圖像。

圖4b為依據本發明一實施例的確定偏移量的坐標示意圖。如圖4b所示,在三維球
面400所構建的ABC坐標系中,在不同位置上布置有照相機401和402,二者所拍攝的圖像具
有重疊部分。根據重疊圖像的樣本數據可以確定出每個照相機的光心O′與原點O之間的偏
移量。回到圖4a中,光心O′相對于原點O在X軸、Y軸和Z軸上的偏移量分別為Tx,Ty,Tz。

步驟303,根據距離、偏移量和第二坐標計算出第三坐標。

對第二坐標進行修正,可以按照如下公式計算得到第三坐標(x3,y3,z3)中的每個
坐標值x3、y3和z3:

<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>3</mn> </msub> <mo>=</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>+</mo> <mfrac> <msub> <mi>T</mi> <mi>x</mi> </msub> <msup> <mi>R</mi> <mo>,</mo> </msup> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>3</mn> </msub> <mo>=</mo> <msub> <mi>y</mi> <mn>2</mn> </msub> <mo>+</mo> <mfrac> <msub> <mi>T</mi> <mi>y</mi> </msub> <msup> <mi>R</mi> <mo>,</mo> </msup> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>z</mi> <mn>3</mn> </msub> <mo>=</mo> <msub> <mi>z</mi> <mn>2</mn> </msub> <mo>+</mo> <mfrac> <msub> <mi>T</mi> <mi>z</mi> </msub> <msup> <mi>R</mi> <mo>,</mo> </msup> </mfrac> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

其中,b=2·(Tz·z2+Tx·x2)。

步驟104,根據所有圖像中每個像素的第三坐標對所有圖像進行拼接。

針對每個圖像中的每個像素進行上述處理后,根據每個攝像裝置在攝像系統中所
處的位置,按照某種投影類型對所有處理后的圖像進行拼接,從而獲得在目標物點所處的
深度面上無任何視差的全景圖像。

在本實施例中,通過獲取至少兩個攝像裝置各自拍攝到的圖像,針對每個攝像裝
置,以預設的至少兩個攝像裝置的公共光心為原點構建該攝像裝置的三維坐標系,針對每
個攝像裝置拍攝到的一圖像中的每個像素,執行以下處理:將該像素在該圖像中二維坐標
系的第一坐標轉換為該三維坐標系下的第二坐標;根據該攝像裝置的光心和該圖像中指定
的目標物點,對第二坐標進行修正,得到第三坐標,根據所有圖像中每個像素的第三坐標對
所有圖像進行拼接,提供了一種無視差拼接深度面的技術,可以自適應的選擇場景中的主
要內容所在深度位置作為無視差拼接深度面,使得場景中的主要內容呈現無視差瑕疵的拼
接效果。

此外,上述方法中坐標的轉換和光心偏移的補償,與目標物點的幾何特性無關,不
依賴于具體的目標物點的形狀,更適用于在時間維度上內容不斷變化的視頻應用。和現有
技術相比,上述方法無需對場景內容進行特征檢測與特征匹配,從而可以快速靈活的根據
用戶指定的目標物點(或者指定的無視差拼接深度面),對期望位置處的物點或場景內容進
行完整對齊,提供無視差的拼接圖像。并且,上述方法和攝像裝置的具體成像幾何公式、最
終拼接的投影類型也無關,因此,具有通用性,提高了圖像拼接裝置的資源利用率。

圖5為依據本發明另一實施例的圖像拼接方法的示例性流程圖。如圖5所示,包括
如下步驟:

步驟501,獲取至少兩個攝像裝置各自拍攝到的圖像。

步驟502,針對每個攝像裝置,以預設的至少兩個攝像裝置的公共光心為原點構建
該攝像裝置的笛卡爾坐標系。

步驟503,針對每個攝像裝置拍攝到的一圖像中的每個像素,執行以下處理:

步驟5031,進行坐標轉換:

將該像素在該圖像中二維坐標系的第一坐標轉換為該笛卡爾坐標系下的第二坐
標;

步驟5032,進行光心偏移補償:

根據該攝像裝置的光心和該圖像中指定的目標物點,對第二坐標進行修正,得到
第三坐標。

由上述公式(2)可以看出,第二坐標的模為1,即即所建立的
笛卡爾坐標系是歸一化的笛卡爾坐標系。由于歸一化笛卡爾坐標系是不含深度信息的,所
以在同一入射光線上兩個深度不同的物點擁有相同的歸一化笛卡爾坐標值。如圖2所
示,將p1′轉換到歸一化笛卡爾坐標系(X,Y,Z)下對應的物點不僅僅是P1,除了P1,還可以是
沿著入射光上的其他物點,如圖2中的P2。物點P1和P2的深度不同,即在XOZ面上相對于光
心O之間的距離不同,但是二者擁有相同的歸一化笛卡爾坐標值(x2,y2,z2),都對應于成像
面x'o'y'上的p1′。

步驟504,根據每個攝像裝置在全景系統中所處的位置,按照預設的投影類型將第
三坐標投影到單位全景球面中。

當所有的攝像裝置組成了一個全景的攝像系統時,將第三坐標投影到一單位全景
球面中。預設的投影類型包括但不限于:直線型(rectilinear)、魚眼型(fisheye)、等矩柱
狀投影(equirectangular)、正射投影(orthographic)、球面投影(stereographic)等。

步驟505,在單位全景球面中將所有的圖像進行拼接,得到全景圖像。

通過上述步驟,在拼接后的全景圖像中,能夠在指定的目標物點位置上達到無視
差的拼接深度面,相鄰圖像完全對齊,得到無拼接瑕疵的效果。在向用戶展示圖像時,可以
將三維的全景頭像再轉換為二維的圖像。

圖6a為依據本發明一實施例的拼接前的二維圖像示意圖。其中,在左圖600中,目
標物點為第一旗桿(如箭頭601所示),對應于圖4a中所示的P1-P′。在光心偏移補償之前,在
該旗桿處出現由于視差導致的上下、左右圖像不對齊現象。在右圖610中可以清楚的看到,
旗桿的頂端611的左下方還出現多余的點611′,旗幟原本為612所示的圖像,但是由于視差,
導致最終成像的為612′。

圖6b為依據本發明一實施例的拼接后的二維圖像示意圖。相應地,左圖620為經過
坐標變換、光心偏移補償后的成像,在旗桿處上下圖像完美對齊。在右圖630中可以清楚的
看到,在頂端611和旗幟612之外沒有對齊的圖像都消失,展現出了清晰的旗桿。可見,實現
了對場景中主要內容物(即旗桿)的完美對齊,在旗桿位置處,成為無視差拼接深度面。

在具體應用時,還可以采用逆向處理的方式,即在一張空白的全景畫布(canvas)
上,逐像素執行逆處理過程(即依次執行步驟5032所述的光心偏移補償、步驟5031所述的坐
標轉換操作),找到它對應到的攝像裝置所捕獲圖像的像素位置,然后插值得到當前全景畫
布上該像素的實際值。

圖7依據本發明一實施例的圖像拼接裝置的結構示意圖。如圖7所示,圖像拼接裝
置700包括獲取模塊710、坐標系構建模塊720、坐標處理模塊730和拼接模塊740,其中,

獲取模塊710,用于獲取至少兩個攝像裝置各自拍攝到的圖像;

坐標系構建模塊720,用于針對每個攝像裝置,以預設的至少兩個攝像裝置的公共
光心為原點構建該攝像裝置的三維坐標系;

坐標處理模塊730,用于針對每個攝像裝置拍攝到的一圖像中的每個像素,執行以
下處理:將該像素在該圖像中二維坐標系的第一坐標轉換為該三維坐標系下的第二坐標;
根據該攝像裝置的光心和該圖像中指定的目標物點,對第二坐標進行修正,得到第三坐標;
及,

拼接模塊740,用于根據所有圖像中每個像素的第三坐標對所有圖像進行拼接。

在一實施例中,坐標處理模塊730包括轉換單元731,用于根據第一坐標確定該像
素的角坐標;根據該攝像裝置的透鏡成像幾何函數和第一坐標確定入射光與該三維坐標系
(X,Y,Z)中Z軸之間的夾角;根據角坐標和夾角計算出第二坐標。

在一實施例中,若第一坐標表示為(x1,y1),角坐標表示為轉換單元731用于,確
定:


該三維坐標系為笛卡爾坐標系,若第二坐標表示為(x2,y2,z2),夾角表示為θ,轉換
單元731用于,按照如下公式計算得到x2、y2和z2:



z2=cos(θ)

在一實施例中,坐標處理模塊730包括修正單元732,用于獲取公共光心和目標物
點之間的距離;獲取該攝像裝置的光心相對于公共光心的偏移量;根據距離、偏移量和第二
坐標計算出第三坐標。

在一實施例中,若距離表示為R0,偏移量表示為(Tx,Ty,Tz),第二坐標表示為(x2,
y2,z2),第三坐標表示為(x3,y3,z3),修正單元732用于,按照如下公式計算得到x3、y3和z3:

<mrow> <msub> <mi>x</mi> <mn>3</mn> </msub> <mo>=</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>+</mo> <mfrac> <msub> <mi>T</mi> <mi>x</mi> </msub> <msup> <mi>R</mi> <mo>,</mo> </msup> </mfrac> </mrow>

<mrow> <msub> <mi>y</mi> <mn>3</mn> </msub> <mo>=</mo> <msub> <mi>y</mi> <mn>2</mn> </msub> <mo>+</mo> <mfrac> <msub> <mi>T</mi> <mi>y</mi> </msub> <msup> <mi>R</mi> <mo>,</mo> </msup> </mfrac> </mrow>

<mrow> <msub> <mi>z</mi> <mn>3</mn> </msub> <mo>=</mo> <msub> <mi>z</mi> <mn>2</mn> </msub> <mo>+</mo> <mfrac> <msub> <mi>T</mi> <mi>z</mi> </msub> <msup> <mi>R</mi> <mo>,</mo> </msup> </mfrac> </mrow>

其中,b=2·(Tz·z2+Tx·x2)。

在一實施例中,拼接模塊740用于,根據每個攝像裝置在全景系統中所處的位置,
按照預設的投影類型將第三坐標投影到單位全景球面中;在單位全景球面中將所有的圖像
進行拼接,得到全景圖像。

圖8為依據本發明另一實施例的圖像拼接裝置的結構示意圖。該圖像拼接裝置800
可包括:處理器810、存儲器820、端口830以及總線840。處理器810和存儲器820通過總線840
互聯。處理器810可通過端口830接收和發送數據。其中,

處理器810用于執行存儲器820存儲的機器可讀指令模塊。

存儲器820存儲有處理器810可執行的機器可讀指令模塊。處理器810可執行的指
令模塊包括:獲取模塊821、坐標系構建模塊822、坐標處理模塊823和拼接模塊824。其中,

獲取模塊821被處理器810執行時可以為:獲取至少兩個攝像裝置各自拍攝到的圖
像;

坐標系構建模塊822被處理器810執行時可以為:針對每個攝像裝置,以預設的至
少兩個攝像裝置的公共光心為原點構建該攝像裝置的三維坐標系;

坐標處理模塊823被處理器810執行時可以為:針對每個攝像裝置拍攝到的一圖像
中的每個像素,執行以下處理:將該像素在該圖像中二維坐標系的第一坐標轉換為該三維
坐標系下的第二坐標;根據該攝像裝置的光心和該圖像中指定的目標物點,對第二坐標進
行修正,得到第三坐標;及,

拼接模塊824被處理器810執行時可以為:根據所有圖像中每個像素的第三坐標對
所有圖像進行拼接。

由此可以看出,當存儲在存儲器820中的指令模塊被處理器810執行時,可實現前
述各個實施例中獲取模塊、坐標系構建模塊、坐標處理模塊和拼接模塊的各種功能。

上述裝置和系統實施例中,各個模塊及單元實現自身功能的具體方法在方法實施
例中均有描述,這里不再贅述。

另外,在本發明各個實施例中的各功能模塊可以集成在一個處理單元中,也可以
是各個模塊單獨物理存在,也可以兩個或兩個以上模塊集成在一個單元中。上述集成的單
元既可以采用硬件的形式實現,也可以采用軟件功能單元的形式實現。

另外,本發明的每一個實施例可以通過由數據處理設備如計算機執行的數據處理
程序來實現。顯然,數據處理程序構成了本發明。此外,通常存儲在一個存儲介質中的數據
處理程序通過直接將程序讀取出存儲介質或者通過將程序安裝或復制到數據處理設備的
存儲設備(如硬盤和或內存)中執行。因此,這樣的存儲介質也構成了本發明。存儲介質可以
使用任何類型的記錄方式,例如紙張存儲介質(如紙帶等)、磁存儲介質(如軟盤、硬盤、閃存
等)、光存儲介質(如CD-ROM等)、磁光存儲介質(如MO等)等。

因此,本發明還公開了一種存儲介質,其中存儲有數據處理程序,該數據處理程序
用于執行本發明上述方法的任何一種實施例。

以上所述僅為本發明的較佳實施例而已,并不用以限制本發明,凡在本發明的精
神和原則之內,所做的任何修改、等同替換、改進等,均應包含在本發明保護的范圍之內。

關 鍵 詞:
一種 圖像 拼接 方法 裝置
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:一種圖像拼接方法及裝置.pdf
鏈接地址:http://www.rgyfuv.icu/p-6100876.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图