• / 19
  • 下載費用:30 金幣  

深度信息產生器、深度信息產生方法及深度調整裝置.pdf

摘要
申請專利號:

CN201210012429.3

申請日:

2012.01.16

公開號:

CN102685523B

公開日:

2015.01.21

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):H04N 13/00申請日:20120116|||公開
IPC分類號: H04N13/00; H04N13/04 主分類號: H04N13/00
申請人: 聯發科技股份有限公司
發明人: 張德浩; 方弘吉
地址: 中國臺灣新竹科學工業園區新竹市篤行一路一號
優先權: 2011.03.18 US 61/454,068; 2011.09.21 US 13/237,949
專利代理機構: 北京萬慧達知識產權代理有限公司 11111 代理人: 于淼;張一軍
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201210012429.3

授權公告號:

102685523B||||||

法律狀態公告日:

2015.01.21|||2012.11.14|||2012.09.19

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本發明公開一種深度信息產生器、深度信息產生方法及深度調整裝置。所述深度信息產生器包括接收電路及具有第一深度信息產生電路的深度信息產生塊。所述接收電路用以接收多視角視頻流,所述多視角視頻流傳輸分別對應于不同視角的多個影像。所述第一深度信息產生電路耦接于所述接收電路,用以通過對所接收到的所述多個影像的一部份進行處理,來產生第一深度信息輸出。本發明的深度信息輸出并未采用傳統三維視頻深度調整設計所使用的立體匹配技術,因此,提供了一種具有較少的存儲器頻寬耗費、較低的硬件成本及/或較低的計算復雜度的深度信息產生機制。

權利要求書

1.一種深度信息產生器,其特征在于,包括:
接收電路,用以接收多視角視頻流,其中所述多視角視頻流傳輸分別對應
于不同視角的多個影像;以及
深度信息產生塊,包括:
第一深度信息產生電路,耦接于所述接收電路,用以通過對所接收到的
所述多個影像的一部份進行處理,來產生第一深度信息輸出。
2.如權利要求1所述的深度信息產生器,其特征在于,所接收到的所述多
個影像的所述部份僅包括對應單一視角的單一影像。
3.如權利要求1所述的深度信息產生器,其特征在于,所述第一深度信息
產生電路另用以通過對所接收到的所述多個影像的另一部份進行處理,來產生
第二深度信息輸出。
4.如權利要求3所述的深度信息產生器,其特征在于,所接收到的所述多
個影像的所述部份僅包括對應第一視角的第一影像,以及所接收到的所述多個
影像的所述另一部份僅包括對應第二視角的第二影像。
5.如權利要求3所述的深度信息產生器,其特征在于,所述接收電路依序
地接收所述多個影像,并依序地將所接收到的所述多個影像的所述部份及所接
收到的所述多個影像的所述另一部份輸出至所述第一深度信息產生電路;以及
所述第一深度信息產生電路以分時多工的方式來依序地產生所述第一深度信息
輸出及所述第二深度信息輸出。
6.如權利要求3所述的深度信息產生器,其特征在于,所述第一深度信息
產生電路包括:
第一深度信息產生單元,用以從所述接收電路接收所述多個影像的所述部
份,并依據所接收到的所述多個影像的所述部份來產生所述第一深度信息輸出;
以及
第二深度信息產生單元,用以從所述接收電路接收所述多個影像的所述另
一部份,并依據所接收到的所述多個影像的所述另一部份來產生所述第二深度
信息輸出。
7.如權利要求3所述的深度信息產生器,其特征在于,所述深度信息產生
塊還包括:
混合電路,耦接于所述第一深度信息產生電路,用以通過將至少所述第一
深度信息輸出及所述第二深度信息輸出加以混合,來產生混合深度信息輸出。
8.如權利要求1所述的深度信息產生器,其特征在于,所述深度信息產生
塊還包括:
第二深度信息產生電路,耦接于所述接收電路,用以通過對所接收到的所
述多個影像的全部影像進行處理,來產生第二深度信息輸出;以及
混合電路,耦接于所述第一深度信息產生電路及所述第二深度信息產生電
路,用以通過將至少所述第一深度信息輸出及所述第二深度信息輸出加以混合,
來產生混合深度信息輸出。
9.如權利要求1所述的深度信息產生器,其特征在于,所述多視角視頻流
為立體視頻流,以及所述多個影像包括左眼影像及右眼影像。
10.一種深度信息產生方法,其特征在于,包括:
接收多視角視頻流,其中所述多視角視頻流傳輸分別對應于不同視角的多
個影像;以及
通過對所接收到的所述多個影像的一部份進行處理,來產生第一深度信息
輸出。
11.如權利要求10所述的深度信息產生方法,其特征在于,所接收到的所
述多個影像的所述部份僅包括對應單一視角的單一影像。
12.如權利要求10所述的深度信息產生方法,其特征在于,還包括:
通過對所接收到的所述多個影像的另一部份進行處理,來產生第二深度信
息輸出。
13.如權利要求12所述的深度信息產生方法,其特征在于,所接收到的所
述多個影像的所述部份僅包括對應第一視角的第一影像,以及所接收到的所述
多個影像的所述另一部份僅包括對應第二視角的第二影像。
14.如權利要求12所述的深度信息產生方法,其特征在于,接收所述多視
角視頻流的步驟包括:
依序地接收所述多個影像;以及
依序地輸出所接收到的所述多個影像的所述部份及所接收到的所述多個影
像的所述另一部份;
其中所述第一深度信息輸出及所述第二深度信息輸出為依序地產生。
15.如權利要求12所述的深度信息產生方法,其特征在于,
所述產生第一深度信息輸出的步驟包括:
利用第一深度信息產生單元,從接收電路接收所述多個影像的所述部份,
并依據所接收到的所述多個影像的所述一部份來產生所述第一深度信息輸出;
以及
所述產生第二深度信息輸出的步驟包括:
利用第二深度信息產生單元,從所述接收電路接收所述多個影像的所述另
一部份,并依據所接收到的所述多個影像的所述另一部份來產生所述第二深度
信息輸出。
16.如權利要求12所述的深度信息產生方法,其特征在于,還包括:
通過將至少所述第一深度信息輸出及所述第二深度信息輸出加以混合,來
產生混合深度信息輸出。
17.如權利要求10所述的深度信息產生方法,其特征在于,還包括:
通過對所接收到的所述多個影像的全部影像進行處理,來產生第二深度信
息輸出;以及
通過將至少所述第一深度信息輸出及所述第二深度信息輸出加以混合,來
產生混合深度信息輸出。
18.如權利要求10所述的深度信息產生方法,其特征在于,所述多視角視
頻流為立體視頻流,以及所述多個影像包括左眼影像及右眼影像。
19.一種深度信息產生器,其特征在于,包括:
接收電路,用以接收多視角視頻流,其中所述多視角視頻流傳輸分別對應
于不同視角的多個影像;
深度信息產生塊,耦接于所述接收電路,用以通過對所接收到的所述多個
影像進行處理,來產生多個深度信息輸出;以及
混合電路,耦接于所述深度信息產生塊,用以通過將所述多個深度信息輸
出加以混合,來產生混合深度信息輸出。
20.如權利要求19所述的深度信息產生器,其特征在于,所述多視角視頻
流為立體視頻流,以及所述多個影像包括左眼影像及右眼影像。
21.一種深度調整裝置,其特征在于,包括深度信息產生器和視角合成塊,
所述深度信息產生器包括接收電路以及深度信息產生塊,
所述接收電路,用以接收多視角視頻流,其中所述多視角視頻流傳輸分別
對應于不同視角的多個影像;
所述深度信息產生塊包括第一深度信息產生電路,所述第一深度信息產生
電路耦接于所述接收電路,用以對所接收到的所述多個影像的一部份進行處理,
來產生第一深度信息輸出;
所述視角合成塊,用以依據所述多個影像及由至少所述第一深度信息輸出
所得到的至少一目標深度信息輸出來執行視角合成/影像繪圖操作,以產生調整
后影像。
22.如權利要求21所述的深度調整裝置,其特征在于,所接收到的所述多
個影像的所述部份僅包括對應單一視角的單一影像。
23.如權利要求21所述的深度調整裝置,其特征在于,所述第一深度信息
產生電路另用以通過對所接收到的所述多個影像的另一部份進行處理,來產生
第二深度信息輸出;以及所述至少一目標深度信息輸出由至少所述第一深度信
息輸出及所述第二深度信息輸出所取得。
24.如權利要求23所述的深度調整裝置,其特征在于,所接收到的所述多
個影像的所述部份僅包括對應第一視角的第一影像,以及所接收到的所述多個
影像的所述另一部份僅包括對應第二視角的第二影像。
25.如權利要求23所述的深度調整裝置,其特征在于,所述接收電路依序
地接收所述多個影像,并依序地將所接收到的所述多個影像的所述部份及所接
收到的所述多個影像的所述另一部份,輸出至所述第一深度信息產生電路;以
及所述第一深度信息產生電路以分時多工的方式來依序地產生所述第一深度信
息輸出及所述第二深度信息輸出。
26.如權利要求23所述的深度調整裝置,其特征在于,所述第一深度信息
產生電路包括:
第一深度信息產生單元,用以從所述接收電路接收所述多個影像的所述部
份,并依據所接收到的所述多個影像的所述部份來產生所述第一深度信息輸出;
以及
第二深度信息產生單元,用以從所述接收電路接收所述多個影像的所述另
一部份,并依據所接收到的所述多個影像的所述另一部份來產生所述第二深度
信息輸出。
27.如權利要求23所述的深度調整裝置,其特征在于,所述深度信息產生
塊還包括:
混合電路,耦接于所述第一深度信息產生電路,用以通過將至少所述第一
深度信息輸出及所述第二深度信息輸出加以混合,來產生混合深度信息輸出,
其中所述至少一目標深度信息輸出由所述混合深度信息輸出而得。
28.如權利要求21所述的深度調整裝置,其特征在于,所述深度信息產生
塊還包括:
第二深度信息產生電路,耦接于所述接收電路,用以通過對所接收到的所
述多個影像的全部影像進行處理,來產生第二深度信息輸出;以及
混合電路,耦接于所述第一深度信息產生電路及所述第二深度信息產生電
路,用以通過將至少所述第一深度信息輸出及所述第二深度信息輸出加以混合,
來產生混合深度信息輸出,其中所述至少一目標深度信息輸出由所述混合深度
信息輸出而得。
29.如權利要求21所述的深度調整裝置,其特征在于,所述多視角視頻流
為立體視頻流,所述多個影像包括左眼影像及右眼影像,以及所述調整后影像
包括調整后左眼影像及調整后右眼影像。

說明書

深度信息產生器、深度信息產生方法及深度調整裝置

技術領域

本發明有關于產生深度信息,特別是有關于一種僅通過處理所接收到的具
有不同視角的影像的一部份來產生深度信息輸出的深度信息產生器,以及相關
深度信息產生方法及其深度調整裝置。

背景技術

隨著科技發展,使用者所追求的是立體(stereo)/三維(three-dimensional)
及更真實的影像顯示(image?display),已不再是高畫質的影像。呈現立體影像
顯示的技術有兩種,一種是使用搭配眼鏡(例如,紅綠眼鏡(anaglyph?glasses)、
偏光眼鏡(polarization?glasses)及快門眼鏡(shutter?glasses))的視頻(video)
輸出裝置,而另一種則是直接使用不需搭配任何眼鏡的視頻輸出裝置。無論所
使用的技術是哪一種,立體影像顯示的主要原理在于使左眼與右眼看到不同的
影像,因此,人腦會將此兩眼所看到的不同影像視為立體影像。

圖1為人類深度知覺(human?depth?perception)如何創造出三維視覺
(three-dimensional?vision,3D?vision)的示意圖。想要產生立體感的視覺,需要
兩眼以重疊視場(overlapping?visual?field)來觀看景物。舉例來說,如圖1所示,
兩眼以稍微不同的角度來觀看同一影像點(image?point),并將所述影像點聚焦
至視網膜(retina),接著,人腦會將上述的位于視網膜的二維影像
(two-dimensional,2D)加以合并以形成三維視覺。所述影像點的視差(disparity)
D與由左眼及右眼所看到影像點的影像位置的差異(來自于特定的兩眼間距(eye?
separation))有關,以及人腦會將其解讀為與所述影像點相關的深度(depth),
換言之,當所述影像點距離眼睛很近時,視差D會比較大;然而,當所述影像
點距離眼睛很遠時,視差D則會比較小。更具體地說,視差D反比于人腦所解
讀的深度,即

當使用者觀看利用顯示立體視頻流中的左眼影像及右眼影像所呈現的三維
視頻內容時,使用者可能會想調整所接收到的深度以滿足他/她的觀看偏好
(viewing?preference),因此,左眼影像及右眼影像應被適當地調整以改變使用
者的深度知覺。可采用傳統三維視頻深度調整機制(3D?video?depth?adjustment?
scheme)來達成此目標,舉例來說,傳統三維視頻深度調整機制通過對一對左
眼影像及右眼影像進行立體匹配操作(stereo?matching?operation)以取得深度/
視差圖(depth/disparity?map),依據原始左眼影像(original?left-eye?image)及所
得到的深度/視差圖來進行視角合成/影像繪圖操作(view?synthesis/image?
rendering?operation),以產生調整后的左眼影像(adjusted?left-eye?image),以及
依據原始右眼影像(original?right-eye?image)及所得到的深度/視差圖來進行視
角合成/影像繪圖操作,以產生調整后的右眼影像(adjusted?right-eye?image)。基
于上述的調整后的左眼影像及調整后的右眼影像,深度調整后的三維視頻輸出
便呈現給使用者。

一般來說,立體匹配操作需要同時從存儲裝置(memory?device)(例如,動
態隨機存取存儲器(dynamic?random?access?memory,DRAM))取得左眼影像及
右眼影像,故會耗費大量的存儲器頻寬(memory?bandwidth),此外,立體匹配
操作需要執行基于像素(pixel-based)或基于塊(block-based)的匹配,因而導
致較高的硬件成本(hardware?cost)以及計算復雜度(computational?complexity)。
因此,需要一種創新的設計,其可耗費較少的存儲器頻寬、較低的硬件成本及/
或較低的計算復雜度,來取得深度信息(depth?information)(例如,深度圖或視
差圖)。

發明內容

由此,本發明的目的為提供一種僅處理所接收到的具有不同視角的影像的
一部份來產生深度信息輸出的深度信息產生器,以及相關深度信息產生方法及
其深度調整裝置,來解決上述問題。

一種深度信息產生器的范例實施方式,包括:接收電路及具有第一深度信
息產生電路的深度信息產生塊。所述接收電路用以接收多視角視頻流,其中所
述多視角視頻流傳輸分別對應于不同視角的多個影像。所述第一深度信息產生
電路耦接于所述接收電路,用以通過對所接收到的所述多個影像的一部份進行
處理來產生第一深度信息輸出。

一種深度信息產生方法的范例實施方式,包括下列步驟:接收多視角視頻
流,其中所述多視角視頻流傳輸分別對應于不同視角的多個影像;以及通過對
所接收到的所述多個影像的一部份進行處理來產生第一深度信息輸出。

一種深度信息產生器的另一范例實施方式,包括:接收電路、深度信息產
生塊以及混合電路。所述接收電路用以接收多視角視頻流,其中所述多視角視
頻流傳輸分別對應于不同視角的多個影像。所述深度信息產生塊耦接于所述接
收電路,用以針對所接收到的所述多個影像進行處理來產生多個深度信息輸出。
所述混合電路耦接于所述深度信息產生塊,用以將所述多個深度信息輸出加以
混合,來產生混合深度信息輸出。

一種深度調整裝置的范例實施方式,包括深度信息產生器以及視角合成塊。
所述深度信息產生器包括接收電路以及深度信息產生塊。所述接收電路用以接
收多視角視頻流,其中所述多視角視頻流傳輸分別對應于不同視角的多個影像。
所述深度信息產生塊包括第一深度信息產生電路,所述第一深度信息產生電路
耦接于所述接收電路,用以通過對所接收到的所述多個影像的一部份進行處理
來產生第一深度信息輸出。所述視角合成塊用以依據所述多個影像以及由至少
所述第一深度信息輸出所得到的至少一目標深度信息輸出,來執行視角合成/影
像繪圖操作以產生調整后影像。

本發明的深度信息輸出并未采用傳統三維視頻深度調整設計所使用的立體
匹配技術,因此,提供了一種具有較少的存儲器頻寬耗費、較低的硬件成本及/
或較低的計算復雜度的深度信息產生機制。

對于已經閱讀后續由各附圖及內容所顯示的較佳實施方式的本領域的技術
人員來說,本發明的各目的是明顯的。

附圖說明

圖1為人類深度知覺如何創造出三維視覺的示意圖。

圖2為本發明廣義的深度調整裝置的一實施例的示意圖。

圖3為本發明深度信息產生器的第一實施例的示意圖。

圖4為本發明深度信息產生器的第二實施例的示意圖。

圖5為本發明深度信息產生器的第三實施例的示意圖。

圖6為本發明深度信息產生器的第四實施例的示意圖。

圖7為本發明深度信息產生器的第五實施例的示意圖。

具體實施方式

在權利要求書及說明書中使用了某些詞匯來指稱特定的組件。所屬領域中
的技術人員應可理解,硬件制造商可能會用不同的名詞來稱呼同樣的組件。本
權利要求書及說明書并不以名稱的差異來作為區分組件的方式,而是以組件在
功能上的差異來作為區分的準則。在權利要求書及說明書中所提及的「包括」
為開放式的用語,故應解釋成「包括但不限定于」。另外,「耦接」一詞在此包
括任何直接及間接的電氣連接手段。因此,若文中描述第一裝置耦接于第二裝
置,則代表所述第一裝置可直接電氣連接于所述第二裝置,或通過其他裝置或
連接手段間接地電氣連接至所述第二裝置。

圖2為本發明廣義的深度調整裝置(depth?adjustment?apparatus)的一實施
例的示意圖。深度調整裝置200包括深度信息產生器(depth?information?
generator)202以及視角合成塊(view?synthesizing?block)204,其中深度信息產
生器202包括(但并不局限于)接收電路(receiving?circuit)206以及深度信息
產生塊(depth?infprmation?generating?block)208。接收電路206用以接收多視角
視頻流(multi-view?video?stream)S_IN(例如,立體視頻流(stereo?video?stream)),
舉例來說,多視角視頻流S_IN傳輸分別對應于不同視角(view)的多個影像F_1、
F_2、...及F_M。當多視角視頻流S_IN為立體視頻流時,上述不同視角的視角
個數等于2,以及具有不同視角的多個影像F_1、F_2、...及F?M因而會包括左
眼影像以及右眼影像。舉例來說(但本發明并不局限于此),接收電路206可包
括緩沖裝置(buffer?device)(例如,動態隨機存取存儲裝置)以緩沖由多視角視
頻流S_IN所傳輸的多個影像,并傳輸已緩沖的多個影像至下一處理級(例如,
深度信息產生塊208)以供進一步的處理。

深度信息產生塊208用以依據所接收到的多個影像F_1~F_M,來產生多個
深度信息輸出(depth?information?output)DI_1~DI_N至視角合成塊204。在本
實施例中,深度信息產生塊208并不會通過同時參照所接收到的具有不同視角
的多個影像F_1~F_M的全部影像來產生深度信息輸出,反而是多個深度信息
輸出DI_1~DI_N之中的至少一個深度信息輸出通過僅處理所接收到的所述多
個影像F_1~F_M的一部份來產生。舉例來說,多個深度信息輸出DI_1~DI_N
其中之一通過僅對所接收到的所述多個影像F_1~F_M的一部份來進行處理所
產生,以及多個深度信息輸出DI_1~DI_N其中之另一則是通過僅對所接收到的
所述多個影像F_1~F_M的另一部份來進行處理所產生。在一實施范例中,深
度信息產生塊208可采用單一視角(single-view)深度信息產生機制,以通過處
理所接收到的影像F_1~F_M中的每一個影像來產生深度信息輸出DI_1~DI_N
中的每一個深度信息輸出,其中具有不同視角的所接收到的多個影像F_1~
F_M的個數等于多個深度信息輸出DI_1~DI_N的個數。在多視角視頻流S_IN
為挾帶左眼影像及右眼影像的立體視頻流的情形下,由于所提出的多個深度信
息輸出DI_1~DI_N并未采用傳統三維視頻深度調整設計所使用的立體匹配技
術,因此,可實現一種具有較少的存儲器頻寬耗費、較低的硬件成本及/或較低
的計算復雜度的深度信息產生機制。

視角合成塊204用以依據多個原始影像F_1~F_M及多個深度信息輸出
DI_1~DI_N來執行視角合成/影像繪圖操作,并據以產生多個調整后影像
(adjusted?image)F_1’~F_M’,以進行具有調整后的使用者感知深度的視頻播
放。如圖2所示,視角合成塊204另接收深度調整參數(depth?adjustment?
parameter)P_ADJ,其用來對施加于使用者所感知到的深度的調整進行控制/調
校。在多視角視頻流S_IN為挾帶左眼影像及右眼影像的立體視頻流的情形下,
當使用者觀看利用顯示左眼影像及右眼影像所呈現的三維視頻輸出時,使用者
可通過他/她的觀看偏好來適當地設定深度調整參數P_ADJ,以看到所要的三維
視頻深度,因此,當顯示由視角合成塊204所產生的調整后左眼影像及調整后
右眼影像時,會產生具有所要的三維視頻深度的調整后三維視頻輸出。請注意,
視角合成塊204可采用任何可用的視角合成/影像繪圖機制來產生調整后影像
F_1’~F_M’,舉例來說,視角合成塊204可參照深度/視差圖以及影像來產生調
整后影像;而在設計變化中,視角合成塊204可參照多個深度/視差圖以及影像
來產生調整后影像。由于本發明著重于深度信息產生而不是視角合成/影像繪圖,
因此,關于視角合成塊204的進一步說明,在此便不再贅述,以求簡潔。

以下提供圖2所示的深度信息產生器202的多個實施方式,以便更清楚地
繪示出本發明的技術特征。為求清楚及簡明,在此假設上述的多視角視頻流S_IN
為挾帶交錯的左眼影像及右眼影像的立體視頻流(即左眼影像與右眼影像經由
所述立體視頻流來輪流傳送出),因此,具有不同視角的多個影像F_1~F_M的
個數等于2,以及多個影像F_1~F_M包括左眼影像FL以及右眼影像FR,然而,
以上僅作為說明用,并非用來作為本發明的限制。

如圖3所示,圖3為本發明深度信息產生器的第一實施例。圖2所示的深
度信息產生器202可由圖3所示的深度信息產生器300來加以實施。在本實施
例中,深度信息產生器300包括接收電路302以及具有第一深度信息產生電路
(depth?information?generating?circuit)306的深度信息產生塊304。如圖3所示,
接收電路302依序地接收左眼影像FL(作為所接收到的具有不同視角的多個影
像的一部份)以及右眼影像FR(作為所接收到具有不同視角的多個影像的另一
部份),以及依序地將所接收到的左眼影像FL及右眼影像FR輸出至第一深度信
息產生電路306。在本實施例中,第一深度信息產生電路306采用單一視角深度
信息產生機制,其中所述單一視角深度信息產生機制可能會使用物件切割技術
(object?segmentation?technique)、基于對比(contrast)/色彩信息、紋理/邊緣
(texture/edge)信息及/或移動(motion)信息的深度線索提取技術(depth?cue?
extraction?technique)或者前景/背景檢測技術(foreground/background?detection?
technique)。此外,第一深度信息產生電路306以分時多工(time?sharing)的方
式來產生兩個深度信息輸出DI_R及DI_L,換言之,在接收左眼影像FL之后,
第一深度信息產生電路306針對單一左眼影像FL進行單一視角深度信息產生操
作,因而產生并輸出深度信息輸出DI_L;相似地,在接收右眼影像FR(緊接著
左眼影像FL)之后,第一深度信息產生電路306針對單一右眼影像FR進行單一
視角深度信息產生操作,因而產生并輸出深度信息輸出DI_R,其中深度信息輸
出DI_L及深度信息輸出DI_R提供給后續的視角合成塊204用。接著,視角合
成塊204可依據深度信息輸出DI_L及左眼影像FL來產生調整后左眼影像(例
如,多個調整后影像F_1’~F_M’其中之一),以及依據深度信息輸出DI_R及右
眼影像FR來產生調整后右眼影像(例如,多個調整后影像F_1’~F_M’其中之另
一)。

如圖4所示,圖4為本發明深度信息產生器的第二實施例。圖2所示的深
度信息產生器202可由圖4所示的深度信息產生器400來加以實施。在本實施
例中,深度信息產生器400包括接收電路402以及深度信息產生塊404,其中深
度信息產生塊404包括具有第一深度信息產生單元(depth?information?generating?
unit)407_1及第二深度信息產生單元407_2的第一深度信息產生電路406。如
圖4所示,接收電路402依序地接收左眼影像FL(作為所接收到具有不同視角
的多個影像的一部份)以及右眼影像FR(作為所接收到具有不同視角的多個影
像的另一部份),接著,接收電路402分別將左眼影像FL輸出至第一深度信息產
生單元407_1,以及將右眼影像FR輸出至第二深度信息產生單元407_2。在本實
施范例中,第一深度信息產生單元407_1及第二深度信息產生單元407_2均采
用單一視角深度信息產生機制,其中所述單一視角深度信息產生機制可能會使
用物件切割技術、基于對比/色彩信息、紋理/邊緣信息及/或移動信息的深度線索
提取技術或者前景/背景檢測技術。在接收左眼影像FL之后,第一深度信息產生
單元407_1針對單一左眼影像FL進行單一視角深度信息產生操作,因而產生并
輸出深度信息輸出DI_L;相似地,在接收右眼影像FR之后,第二深度信息產生
單元407_2針對單一右眼影像FR進行單一視角深度信息產生操作,因而產生并
輸出深度信息輸出DI_R。舉例來說(但本發明并不局限于此),接收電路402
可同時將所接收到的左眼影像FL傳輸至第一深度信息產生單元407_1以及將所
接收到的右眼影像FR傳輸至第二深度信息產生單元407_2,因此,第一深度信
息產生電路406允許以平行處理(parallel?processing)的方式來處理左眼影像FL
及右眼影像FR。此外,深度信息輸出DI_L及深度信息輸出DI_R提供給圖2所
示的后續視角合成塊204用。接下來,視角合成塊204可依據深度信息輸出DI_L
及左眼影像FL來產生調整后左眼影像(例如,多個調整后影像F_1’~F_M’其中
之一),以及依據深度信息輸出DI_R及右眼影像FR來產生調整后右眼影像(例
如,多個調整后影像F_1’~F_M’其中之另一)。

如圖5所示,圖5為本發明深度信息產生器的第三實施例。圖2所示的深
度信息產生器可由圖5所示的深度信息產生器500來加以實施出。深度信息產
生器300與深度信息產生器500之間主要的差別在于:深度信息產生塊504具
有混合電路(blending?circuit)506。在深度信息輸出DI_L及DI_R由第一深度
信息產生電路306依序地產生之后,混合電路506通過將深度信息輸出DI_L及
DI_R加以混合,來產生混合深度信息輸出(blended?depth?information?output)
DI_LR。舉例來說,混合深度信息輸出DI_LR可以是深度信息輸出DI_L及DI_R
的平均值。然而,以上僅作為說明用,也就是說,在一設計變化中,將深度信
息輸出DI_L及DI_R加以混合所得到不同的混合結果,也可用來當作混合深度
信息輸出DI_LR。混合深度信息輸出DI_LR提供給圖2所示的后續的視角合成
塊204用。接下來,視角合成塊204可依據混合深度信息輸出DI_LR及左眼影
像FL來產生調整后左眼影像(例如,多個調整后影像F_1’~F_M’其中之一),
以及依據混合深度信息輸出DI_LR及右眼影像FR來產生調整后右眼影像(例如,
多個調整后影像F_1’~F_M’其中之另一)。

如圖6所示,圖6為本發明深度信息產生器的第四實施例。圖2所示的深
度信息產生器202可由圖6所示的深度信息產生器600來加以實施。深度信息
產生器400與深度信息產生器600之間主要的差別在于:深度信息產生塊604
具有混合電路606。在深度信息輸出DI_L及DI_R分別由第一深度信息產生單
元407_1及第二深度信息產生單元407_2產生之后,混合電路606通過將深度
信息輸出DI_L及DI_R加以混合,來產生混合深度信息輸出DI_LR。舉例來說,
混合深度信息輸出DI_LR可以是深度信息輸出DI_L及DI_R的平均值,然而,
以上僅作為說明用,也就是說,在一設計變化中,將深度信息輸出DI_L及DI_R
加以混合所得到不同的混合結果,也可用來當作混合深度信息輸出DI_LR。混
合深度信息輸出DI_LR提供給圖2所示的后續的視角合成塊204用。接下來,
視角合成塊204可依據混合深度信息輸出DI_LR及左眼影像FL來產生調整后左
眼影像(例如,多個調整后影像F_1’~F_M’其中之一),以及依據混合深度信息
輸出DI_LR及右眼影像FR來產生調整后右眼影像(例如,多個調整后影像F_1’~
F_M’其中之另一)。

如圖7所示,圖7為本發明深度信息產生器的第五實施例。圖2所示的深
度信息產生器202可由圖7所示的深度信息產生器700來加以實施。深度信息
產生器700包括接收電路702以及深度信息產生塊704,其中深度信息產生塊
704包括上述的第一深度信息產生電路306/406、第二深度信息產生電路705以
及混合電路706。除了提供所接收到的左眼影像FL及右眼影像FR給第一深度信
息產生電路306/406之外,接收電路702同時將所接收到的左眼影像FL及右眼
影像FR傳輸至第二深度信息產生電路705。在本實施例中,第二深度信息產生
電路705通過處理所接收到具有不同視角的多個影像(即左眼影像FL及右眼影
像FR)的全部影像,來產生深度信息輸出DI_S,舉例來說,第二深度信息產生
電路705可采用傳統的立體匹配技術來產生深度信息輸出DI_S。

對于混合電路706來說,其用以依據由上述的第一深度信息產生電路
306/406及第二深度信息產生電路705所產生的多個深度信息輸出,來產生一個
或多個混合深度信息輸出。在第一設計范例中,混合電路706可通過將深度信
息輸出DI_L、DI_R及DI_S加以混合,來產生單一混合深度信息輸出DI_SLR。
在第二設計范例中,混合電路706可通過將深度信息輸出DI_L及DI_S加以混
合,來產生混合深度信息輸出DI_SL,以及另將深度信息輸出DI_R及DI_S加
以混合,來產生另一混合深度信息輸出DI_SR。在第三設計范例中,混合電路
706可通過將深度信息輸出DI_L及DI_S加以混合,來產生單一混合深度信息
輸出DI_SL。在第四設計范例中,混合電路706可通過將深度信息輸出DI_R及
DI_S加以混合,來產生單一混合深度信息輸出DI_SR。

此外,混合深度信息輸出提供給圖2所示的后續的視角合成塊204用。接
下來,視角合成塊204可依據混合深度信息輸出、左眼影像FL及右眼影像FR
來產生調整后左眼影像(例如,多個調整后影像F_1’~F_M’其中之一)以及調
整后右眼影像(例如,多個調整后影像F_1’~F_M’其中之另一)。

在圖3~圖7所示的實施例中,第一深度信息產生電路306/406得以針對單
一影像執行單一視角深度圖產生(single-view?depth?map?generation)操作來產生
深度信息輸出,因此,當視頻輸入為單一視角視頻流(例如,二維視頻流)而
不是多視角視頻流時,本發明所揭示的深度信息產生器也可用于二維至三維的
轉換(2D-to-3D?conversion)。換言之,二維影像及由第一深度信息產生電路
306/406通過處理所述二維影像所得到的深度信息輸出,可被傳輸至后續的視角
合成塊204,接著,視角合成塊204可產生對應于所述二維影像的左眼影像及右
眼影像。因此,通過硬件共享技術(hardware?sharing?technique)來使本案所提
出的深度信息產生器共享于三維視頻深度調整電路(3D?video?depth?adjustment?
circuit)與二維至三維轉換電路(2D-to-3D?conversion?circuit)之間,有成本效益
的設計(cost-efficient?design)便得以實現。

以上所述僅為本發明的較佳實施方式,凡依本發明權利要求所做的均等變
化和修飾,均應屬本發明的涵蓋范圍。

關 鍵 詞:
深度 信息 產生器 產生 方法 調整 裝置
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:深度信息產生器、深度信息產生方法及深度調整裝置.pdf
鏈接地址:http://www.rgyfuv.icu/p-6420530.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图