• / 12
  • 下載費用:30 金幣  

基于雙向的局部和全局運動估計的幀率轉換.pdf

摘要
申請專利號:

CN201010583657.7

申請日:

2010.12.08

公開號:

CN102088589B

公開日:

2015.01.14

當前法律狀態:

有效性:

法律詳情: 授權|||實質審查的生效IPC(主分類):H04N 7/01申請日:20101208|||公開
IPC分類號: H04N7/01; H04N5/14 主分類號: H04N7/01
申請人: 英特爾公司
發明人: A·利維; A·米亞斯科夫斯基; B·赫維茨
地址: 美國加利福尼亞
優先權: 2009.12.08 US 12/633,088
專利代理機構: 永新專利商標代理有限公司 72002 代理人: 趙騰飛;王英
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201010583657.7

授權公告號:

102088589B||||||

法律狀態公告日:

2015.01.14|||2011.07.20|||2011.06.08

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

根據一些實施例,幀率轉換可以使用前向和反向的局部和全局運動估計。在一些實施例中,可以對于塊產生空間和相鄰預測值。可以對于每一個預測值執行小范圍塊匹配。可以基于來自相鄰塊的投票,從多個候選中選擇用于塊的最終或最佳運動矢量。可以從多個所選擇的運動矢量計算全局運動矢量。可以基于兩個連續幀以及前向和后向的局部和全局運動估計來計算經過運動補償的內插。

權利要求書

1.一種方法,包括:使用前向運動估計和反向運動估計來執行幀率轉換;以及計算前向全局運動估計和反向全局運動估計,以用于幀率轉換。2.根據權利要求1所述的方法,其中,所述使用前向運動估計和反向運動估計來執行幀率轉換包括:使用分級搜索來執行運動估計。3.根據權利要求1所述的方法,包括:對于所選擇的塊產生時間預測值和相鄰預測值。4.根據權利要求1所述的方法,包括:對于每一個預測值執行小范圍塊匹配。5.根據權利要求3所述的方法,包括:將具有最小絕對差之和的運動矢量確定為候選運動矢量。6.根據權利要求4所述的方法,包括:基于來自相鄰塊的投票,從多個候選中選擇用于所選擇的塊的最終運動矢量。7.根據權利要求1所述的方法,包括:執行運動補償。8.根據權利要求7所述的方法,包括:計算多個值的中值,所述多個值包括在依據用從前一幀至下一幀的運動矢量前向移位的位置而計算的位置處的、從所述下一幀獲取的像素的值。9.根據權利要求8所述的方法,包括:使用在用從所述下一幀至所述前一幀的運動矢量反向移位的位置處的、來自所述前一幀的像素,來計算所述中值。10.根據權利要求9所述的方法,包括:確定至少5個值的所述中值,其中,所述值之一是從所述下一幀獲取的所述像素和從所述前一幀獲取的所述像素的平均。11.根據權利要求8所述的方法,包括:使用在用從所述下一幀至所述前一幀的全局運動估計反向移位的位置處的、來自所述前一幀的像素來計算所述中值。12.根據權利要求8所述的方法,包括:使用在用從所述前一幀至所述下一幀的全局運動估計前向移位的位置處的、來自所述下一幀的像素,來計算所述中值。13.一種計算機可讀介質,用于存儲指令,所述指令使得計算機:前向和反向估計局部和全局運動,以用于幀率轉換。14.根據權利要求13所述的介質,進一步存儲指令,所述指令用于:使用前向運動矢量和前向全局運動以及反向運動矢量和反向全局運動,基于內插來計算像素。15.根據權利要求13所述的介質,進一步存儲指令,所述指令用于:對于所選擇的塊產生時間預測值和相鄰預測值。16.根據權利要求13所述的介質,進一步存儲指令,所述指令用于:使用10x10的范圍對于每一個預測值執行小范圍塊匹配。17.根據權利要求15所述的介質,進一步存儲指令,所述指令用于:將具有最小絕對差之和的運動矢量確定為候選運動矢量。18.根據權利要求17所述的介質,進一步存儲指令,所述指令用于:基于來自相鄰塊的投票,從多個候選中選擇用于所選擇的塊的最終運動矢量。19.根據權利要求13所述的介質,進一步存儲指令,所述指令用于:執行運動補償。20.根據權利要求13所述的介質,進一步存儲指令,所述指令用于:通過計算多個值的中值來執行運動補償,所述多個值包括在依據用從前一幀至下一幀的運動矢量前向移位的位置而計算的位置處的、從所述下一幀獲取的像素的值。21.根據權利要求20所述的介質,進一步存儲指令,所述指令用于:使用在用從所述下一幀至所述前一幀的運動矢量反向移位的位置處的、來自所述前一幀的像素來計算所述中值。22.根據權利要求21所述的介質,進一步存儲指令,所述指令用于:確定至少5個值的中值,其中,所述值之一是從所述下一幀獲取的所述像素和從所述前一幀獲取的所述像素的平均。23.根據權利要求21所述的介質,進一步存儲指令,所述指令用于:使用在用從所述下一幀至所述前一幀的全局運動估計反向移位的位置處的、來自所述前一幀的像素,來確定中值。24.根據權利要求21所述的介質,進一步存儲指令,所述指令用于:使用在用從所述前一幀至所述下一幀的全局運動估計前向移位的位置處的、來自所述下一幀的像素,來確定中值。25.一種裝置,包括:前向運動估計單元,其包括投票過程單元,用于基于來自相鄰塊的投票,從多個候選中選擇用于所選擇的塊的最終運動矢量;以及反向運動估計單元,其包括投票過程單元,用于基于來自相鄰塊的投票,從多個候選中選擇用于所選擇的塊的最終運動矢量。26.根據權利要求25所述的裝置,所述前向運動估計單元和所述反向運動估計單元使用分級搜索來執行運動估計。27.根據權利要求25所述的裝置,其中,所述前向運動估計單元和所述反向運動估計單元對于所選擇的塊產生時間預測值和相鄰預測值。28.根據權利要求25所述的裝置,其中,所述前向運動估計單元和所述反向運動估計單元對于每一個預測值執行小范圍塊匹配。29.根據權利要求27所述的裝置,所述前向運動估計單元和所述反向運動估計單元將具有最小絕對差之和的運動矢量確定為候選運動矢量。30.根據權利要求29所述的裝置,所述前向運動估計單元和所述反向運動估計單元基于所述鄰居投票來選擇最佳候選運動矢量。31.根據權利要求25所述的裝置,其中,所述運動估計單元耦合到運動補償設備。32.根據權利要求30所述的裝置,其中,所述運動補償設備計算多個值的中值,所述多個值包括在依據用從前一幀至下一幀的運動矢量前向移位的位置而計算得到的位置處的、從所述前一幀和所述下一幀之中的所述下一幀獲取的像素的值。33.根據權利要求32所述的裝置,其中,所述運動補償設備使用從所述下一幀至所述前一幀的運動矢量反向移位的、來自所述前一幀的像素來計算所述中值。34.根據權利要求33所述的裝置,其中,所述運動補償設備確定至少3個值的中值,其中,所述值之一是從所述下一幀獲取的所述像素和從所述前一幀獲取的所述像素的平均。35.根據權利要求34所述的裝置,其中,所述運動補償設備使用在用從所述下一幀至所述前一幀的全局運動估計反向移位的位置處的、來自所述前一幀的像素來確定中值。36.根據權利要求34所述的裝置,其中,所述運動補償設備使用在用從所述前一幀至所述下一幀的全局運動估計前向移位的位置處的、來自所述下一幀的像素來確定中值。

說明書

基于雙向的局部和全局運動估計的幀率轉換

技術領域

本發明總體上涉及處理視頻信息。

背景技術

可以以給定的幀率來提供視頻。該視頻由靜止幀的序列組成。該幀率是每秒的幀數量。

一些顯示器使用與輸入視頻的幀率不同的幀率。因此,幀率轉換將幀率向上或向下轉換,使得輸入幀率與顯示器的幀率匹配。

附圖說明

圖1是根據本發明的一個實施例的幀率轉換裝置;

圖2是根據一個實施例的運動估計單元的更詳細地描述;

圖3是根據一個實施例的運動補償設備的更詳細的描述;

圖4是根據本發明的一個實施例的時間預測值(predictor)及金字塔預測值的描述;

圖5是根據本發明的一個實施例的空間預測值的描述;

圖6是一個實施例的流程圖;以及

圖7是對于一個實施例的系統描述。

具體實施方式

幀率轉換用于改變視頻序列的幀率。典型的幀率轉換算法應用是,對于國家電視系統委員會(NTSC)系統而言,將影片內容從每秒24幀轉換為每秒60幀,或對于逐行倒相(PAL)系統而言,將影片內容從每秒25幀轉換為每秒50幀。高清晰度電視支持每秒120或240幀的顯示,這也需要幀的向上轉換。根據一些實施例,幀率轉換算法可以補償在視頻序列中描述的運動。

在一個實施例中,使用雙向的、分級的局部和全局運動估計和運動補償。“雙向”表示在前向和反向上在兩個錨定幀(anchor?frame)之間估計運動。“分級運動估計(hierarchical?motion?estimation)”指的是使用所提供的視頻信息的每一次不斷提高的分辨率來精煉運動估計的情況。雙向的、分級的局部和全局運動估計之后是最終運動補償階段,該階段將所述兩個錨定幀和所有的運動估計元素整合到一個內插階段內。

根據一個實施例,可以接收兩個視頻幀的輸入序列。這些幀可以包括由x、y和時間t坐標指定的一系列像素。運動矢量可以從第一幀至第二幀以及從第二幀至第一幀來確定,換句話說,在前向和反向上確定。本算法使用所得到的局部和全局運動、所提供的時間戳以及連續的幀數據來在這兩個幀之間創建內插幀。時間戳對應于幀率,并且具體地說,對應于輸出幀的期望幀率。

因此,前一幀P可以具有由x、y和t變量指定的像素,并且后一幀N可以具有采用x、y和t+1變量的像素。輸出幀C具有采用x、y、t’變量的像素。內插得到的輸出幀C可以具有時間t+q,其中,q小于1并且大于0。可以在x和y坐標中由p來指示像素位置。運動矢量MVAB(x,y)是從幀A至幀B的、在屏幕空間中的坐標x和y處的運動矢量。全局運動矢量GMAB是從幀A至幀B的主運動矢量(dominant?motion?vector)。

因此,參見圖1,向前向運動估計單元12a和反向運動估計單元12b提供前一幀P和后一幀N。每一個運動估計單元12的輸出是運動矢量場和全局運動矢量,該運動矢量場和全局運動矢量在前向運動估計單元12a的情況下是從前一幀P至后一幀N,或者在反向運動估計單元12b的情況下是從后一幀至前一幀,如圖1中所述。向運動補償設備22提供前向和反向運動估計的結果,運動補償設備22接收所述運動矢量和內插的輸出幀C的時間q。

參見圖2,運動估計單元12可以實現圖1的前向運動估計單元12a或反向運動估計單元12b。其可以以軟件或硬件來實現。在硬件實施例中,可以在一些實施例中使用硬件加速器。

輸入幀被指示為A和B,它們在一個實施例中僅包括Y、U、V顏色系統中的Y分量。也可以使用其他顏色方案。該運動估計單元的輸入還可以包括用于在分級系統的多個金字塔級的每一級處的每一個塊的時間預測值。時間預測值是根據先前的運動估計計算的在參考幀中的源塊的預期位置。如所指示,輸出是在每一個金字塔級處的每一個塊的運動矢量和在幀中的全局運動或主運動矢量。

各個子單元包括:金字塔單元16,用于根據輸入幀建立金字塔結構;以及,全局運動估計單元20,其計算從A至B的全局或主運動矢量。以下,更詳細地描述塊搜索單元15和投票單元18。

全局運動估計單元20通過使用參照原始幀分辨率的金字塔的最低一級的從A至B的運動矢量來計算從幀A至幀B的主運動。計算所有運動矢量的平均,然后,去除與該平均有顯著不同的所有運動矢量。再一次計算剩余運動矢量集合的平均,并且同樣去除與該新的平均不同的運動矢量。這個處理繼續進行,直到其收斂為止,這表示平均運動矢量從當前的迭代至下一個迭代不發生改變。最終的平均運動矢量即為全局或主運動矢量。

在圖3中更詳細地示出了運動補償設備22。運動補償設備22包括運動矢量平滑24、像素內插25和中值計算器26。運動矢量平滑24基于相關的塊運動矢量來計算內插幀的每一個像素的前向和反向運動矢量。給定像素的運動矢量是其所屬的塊的運動矢量與其緊鄰的鄰居塊的運動矢量的加權平均。基于每一個像素在塊中的位置來為該像素計算權重。

像素內插單元25計算內插幀的每一個像素的每一個顏色分量(例如,Y、U和V)的四個內插版本。這些內插版本可以是:在由從P至N的對應運動矢量和時間戳q指示的位置中的、來自幀N的像素a;在由從N至P的對應運動矢量和時間戳q指示的位置中的、來自幀P的像素b;在由從P至N的全局運動矢量和時間戳q指示的位置中的、來自幀N的像素d;以及,在由從N至P的全局運動矢量和時間戳q指示的位置中的、來自幀P的像素e。在一個實施例中,內插方法可以是最近鄰內插或雙線性內插以及任何其他內插方法。

中值計算器26計算每一個分量的a、b、c、d和e像素的中值,所述分量例如是每一個像素的Y、U、V,其中,c是a和b像素的平均。運動補償塊使用P和N幀,其中包括在YUV系統中的所有的Y、U和V顏色分量。運動補償塊使用用于僅最低金字塔級的塊的從P至N的前向運動矢量和用于僅最低金字塔級的塊的從N至P的反向運動矢量。使用從P至N的前向全局運動矢量和從N至P的反向全局運動矢量以及q,q是內插幀的時間戳,并且是在0到1之間的值。輸出是內插幀。

金字塔單元16(圖2)建立圖像的金字塔結構,其中,金字塔的第一或基本圖像是原始圖像,第二或較低分辨率的圖像是基本單元或原始圖像的大小的四分之一,并且第三圖像是比第二圖像更低分辨率的圖像,第三圖像的大小是第二圖像的四分之一。

在單元12中的運動估計過程可以在前向和反向上是相同的。運動估計使用了金字塔單元16,金字塔塊16具有給定數量的級。在一個實施例中,使用了三個級,但是可以提供任何數量的級。為了實現平滑的運動場,使用來自金字塔的前一級以及來自前一個運動估計的運動矢量預測值。在一個實施例中,運動估計輸出可以包括用于每一個8x8塊的一個運動矢量。

參見圖4,使用原始圖像30、第二級圖像32和第三級圖像34來描述一個三級金字塔。塊30、32和34都以表示金字塔(Pyramid)的P標注,并且指示了N幀的金字塔表示的三個級。三個塊36、38和40被標注為表示先前金字塔(Previous?Pyramids)的PP,其被標記為是前一幀的金字塔表示。再次指出,預測值是在參考幀中的源塊的預期位置。對于每個8x8塊,根據在圖4中被標記為時間的前一幀的運動矢量場計算一個預測值,并根據在圖4中所示的金字塔的先前的更低一級計算四個預測值。在最高的金字塔級,即具有最低分辨率的金字塔級,僅有一個空間預測值——零位移。

參見圖5,在圖5中被標記為46的、在給定的金字塔級中的每一個8x8塊與在更低一級中的四個塊46a、46b、46c、46d相關。因此,每一個8x8塊[46a]具有:一個空間預測值,該空間預測值是源自于其直接父塊(direct?ancestor?block)的,所述直接父塊在圖5中被標記為塊46;以及,三個其他預測值,它們是源自于三個相鄰塊41、42和44。

對于每一個預測值,執行小范圍塊匹配搜索,并且在源塊與參考塊之間確定相似度測量,例如絕對差之和(SAD)。在這個搜索范圍中,在絕對差之和最小時的塊位移,即運動矢量,被輸出為與這個預測值相關的候選。

在一個實施例中,每一個預測值有9個運動矢量位置。在一個實施例中,對于在源幀中的每一個8x8塊以及對于每一個預測值,搜索區域是10x10,使得針對每一個方向提供±1的搜索范圍。對于每一個方向,搜索覆蓋三個位置(-1,0,+1),因此,搜索位置的總數是3x3或9。

塊的最終運動矢量的選擇是基于鄰居投票過程的。在鄰居投票中,針對每一個塊,基于相鄰塊的運動矢量候選來選擇最佳的運動矢量。對于當前塊的每一個運動矢量候選,對8個相鄰塊的類似的運動矢量候選的數量進行計數。由于最多次數地作為候選而獲得最大票數的運動矢量被選擇為最佳運動矢量。

運動補償設備22基于前向運動場和反向運動場運動矢量,通過使用前一幀P和原始幀N來產生輸出的內插幀C。可以由平滑濾波器24平滑在前向和反向上的運動場,該平滑濾波器24在一個實施例中可以是9x9濾波器。在一個實施例中,在中值計算器26中,每一個輸出像素被計算為5個不同值(a、b、c、d和e)的中值。即,在下一幀N和前一幀P之間計算在新的內插幀C中的像素位置p。假定,這個新的幀處于時間軸上0到1之間的某個位置q處,在時間0處的P幀與時間1處的N幀之間。

參見圖6,根據一個實施例,可以以軟件、硬件或固件來實現序列。在軟件實施例中,可以使用例如通用處理器或圖形處理器的處理器來實現該序列,以執行指令序列。該指令序列可以被存儲在可由執行中的處理器訪問的計算機可讀介質上。所述計算機可讀介質可以是任何存儲設備,包括磁存儲設備、半導體存儲設備或光學存儲設備。

初始,該序列在框50開始,在框50中接收前一幀和后一幀的像素。在框54和64,準備前一幀和后一幀的金字塔結構。其后在金字塔運動估計階段52a、52b、52c中處理像素。在前向運動估計階段,使用先前的前向運動場(框55)為每一個8x8塊產生時間和空間預測值,如框56中所示。接下來,對于每一個預測值執行小范圍塊匹配,如在框58中所示。其后在框60中,具有最小絕對差之和的運動矢量被識別為候選。基于鄰居投票來從候選中選擇最佳候選,如框62中所示。某個金字塔級的運動矢量結果被提供到本級的框73內和下一級的框66內。然后在框73中進行全局運動估計。

在反向上,在框65、66、68、70、72和73中執行同一序列。

在框74中,對最后一個金字塔級的運動估計結果進行組合以用于運動補償。運動補償階段可以包括:在框76中的濾波,用于平滑運動矢量場以建立每一個像素的運動矢量;在使用運動矢量的框77a和77d和使用全局運動的77b和77c中的內插;以及,在框78中的中值計算。

在圖7中所示的計算機系統130可以包括硬盤驅動器134和可移除介質136,硬盤驅動器134和可移除介質136通過總線124而耦合到芯片組核心邏輯110。在一個實施例中,該核心邏輯可以耦合到圖形處理器112(經由總線105)和主或主機處理器122。圖形處理器還可以通過總線126耦合到幀緩沖器114。幀緩沖器114可以通過總線107而耦合到顯示器屏幕118,顯示器屏幕118進而通過總線108耦合到例如鍵盤或鼠標120的常規部件。在軟件實施方式的情況下,相關的計算機可執行代碼可以被存儲在任何半導體、磁性或光學存儲器中,包括主存儲器132。因此,在一個實施例中,代碼139可以被存儲在例如主存儲器132的機器可讀介質中,以由例如處理器112或122的處理器執行。在一個實施例中,所述代碼可以實現在圖6中所示的序列。

在一些實施例中,雙向方法和投票過程可以減少在對象邊緣附近的偽影,因為這些圖像區域由于在單向方法中產生的孔徑(aperture)問題而容易出現運動場不準確的問題。雖然雙向方法并未解決孔徑問題本身,但是最后的內插是更精確的,因為其依賴于來自兩個獨立的運動場的最佳結果。

可在各種硬件架構中實現在此所述的圖形處理技術。例如,圖形功能可以被集成在芯片組內。替代地,可以使用分立的圖形處理器。作為另一個實施例,可以通過包括多核芯處理器在內的通用處理器來實現圖形功能。

在本說明書中對于“一個實施例”或“實施例”的提及表示在本發明中涵蓋的至少一種實施方式中包括結合該實施例所描述的特定特征、結構或特性。因此,短語“一個實施例”或“在實施例中”的出現不必指的是同一實施例。而且,可以以除了所舉例說明的特定實施例之外的其他適當形式來建立所述特定特征、結構或特性,并且,在本申請的權利要求內涵蓋所有這樣的形式。

雖然已經針對有限數量的實施例描述了本發明,但是本領域內的技術人員可以理解根據上述實施例的各種修改和變型。意欲所附的權利要求涵蓋落在本發明的真實精神和范圍內的所有這樣的修改和變型。

關 鍵 詞:
基于 雙向 局部 全局 運動 估計 轉換
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:基于雙向的局部和全局運動估計的幀率轉換.pdf
鏈接地址:http://www.rgyfuv.icu/p-6420205.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图