• / 8
  • 下載費用:30 金幣  

基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻的方法.pdf

摘要
申請專利號:

CN201610779011.3

申請日:

2016.08.31

公開號:

CN106303706A

公開日:

2017.01.04

當前法律狀態:

實審

有效性:

審中

法律詳情: 著錄事項變更IPC(主分類):H04N 21/442變更事項:申請人變更前:杭州當虹科技股份有限公司變更后:杭州當虹科技股份有限公司變更事項:地址變更前:310053 浙江省杭州市濱江區六和路368號一幢(北)二樓B2010室變更后:310053 浙江省杭州市西湖區西斗門路3號天堂軟件園E幢16層A座|||著錄事項變更IPC(主分類):H04N 21/442變更事項:申請人變更前:杭州當虹科技有限公司變更后:杭州當虹科技股份有限公司變更事項:地址變更前:310053 浙江省杭州市濱江區六和路368號一幢(北)二樓B2010室變更后:310053 浙江省杭州市濱江區六和路368號一幢(北)二樓B2010室|||實質審查的生效IPC(主分類):H04N 21/442申請日:20160831|||公開
IPC分類號: H04N21/442(2011.01)I; H04N21/44(2011.01)I; H04N21/81(2011.01)I; G06F3/01 主分類號: H04N21/442
申請人: 杭州當虹科技有限公司
發明人: 裘昊; 江文祥; 郭偉偉
地址: 310053 浙江省杭州市濱江區六和路368號一幢(北)二樓B2010室
優先權:
專利代理機構: 代理人:
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201610779011.3

授權公告號:

|||||||||

法律狀態公告日:

2018.09.28|||2018.08.28|||2017.02.01|||2017.01.04

法律狀態類型:

著錄事項變更|||著錄事項變更|||實質審查的生效|||公開

摘要

本發明涉及一種基于人臉追蹤和物件跟蹤實現的以主角跟隨視角觀看虛擬現實視頻的方法,包括:視頻播放模塊進行3D建模;視頻播放模塊逐幀讀取視頻數據投放到3D模型;根據用戶設定的播放模式計算播放視角所需的控制參數;應用計算出來的控制參數進行實時渲染和視頻播放。本發明在全景視頻播放過程中,通過跟蹤技術模塊對用戶指定的物件/人臉進行跟蹤定位,確定該物件/人臉在視頻中的位置,并根據該位置計算出用戶的視角朝向信息進行實時跟蹤播放,并在播放過程中不斷校正視頻中心的位置以保證被跟蹤物件/人臉始終處于視頻中心,這使得用戶在觀看視頻時可以通過選定某個感興趣的物件/人臉實現自動實時跟蹤觀看。

權利要求書

1.基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻的方法
實視頻的方法,其特征在于,該方法包含以下步驟:
播放模塊3D建模步驟,播放模塊根據設定參數進行3D建模;
向3D模型映射視頻數據步驟,逐幀讀取視頻數據并投影到3D模型上;
視角參數計算步驟,根據用戶的觀影模式采取特定方式計算用戶視角對應的控制參
數;
播放視頻步驟,根據視角控制參數對3D投影矩陣實時校正并進行視頻播放。
2.如權利要求1所述的基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻的
方法,其特征在于,所述播放模塊3D建模步驟中,所述參數包括用于確定遠近關系和景深以
及指導2D貼圖和3D建模渲染的3D模型球面半徑、用于確定攝像機朝向的方向矢量和用于確
定前進方向的向上矢量。
3.如權利要求1所述的基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻的
方法,其特征在于,所述視角參數計算步驟中是指根據觀看視角模式來選擇不同的視角參
數計算方式進行計算,該視角模式包括:自由視角模式和指定物件/人臉追蹤模式。
4.如權利要求3所述的基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻的
方法,其特征在于,在所述自由模式下,所述視角控制參數有用戶通過特定設備直接輸入。
5.如權利要求3所述的基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻的
方法,其特征在于,在所述指定物件/人臉追蹤模式下,通過追蹤技術模塊對指定物件/人臉
進行追蹤定位,確定其在3D模型中的三維坐標,并根據該坐標計算出視角的朝向矢量信息
和前進方向矢量信息。
6.如權利要求5所述的基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻的
方法,其特征在于,在所述朝向矢量信息的計算方法為連接目標與攝像機形成的直線為方
向矢量的前進方向,朝向為攝像機到目標。
7.如權利要求5所述的基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻的
方法,其特征在于,所述指定物件/人臉可以根據觀看者的需要進行動態切換,具體的,當用
戶改變追蹤對象時,所述追蹤技術模塊將立即改變追蹤對象并進行對應計算從而得到新對
象的視角信息實現視角轉換過程。
8.如權利要求1所述的基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻的
方法,其特征在于,所述播放視頻步驟包括:根據視角控制信息重建3D投影矩陣和實時渲染
校正播放中心并播放視頻。
9.如權利要求7所述的基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻的
方法,其特征在于,所述實時渲染校正播放中心的目的為保證被追蹤物件/人物始終處于視
頻播放中心。
10.如權利要求1所述的基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻
的方法,其特征在于,所述播放視頻步驟將在每一幀視頻播放完畢后檢查是否需要結束視
頻播放,并在需要繼續播放的情況下讀取下一幀視頻信息重復播放過程,在需要結束視頻
播放時停止解析并銷毀指定。

說明書

基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻的方法

技術領域

本發明涉及一種基于人臉追蹤和物件跟蹤實現的以主角跟隨視角觀看虛擬現實
視頻的方法,尤其涉及一種虛擬現實和視頻播放技術領域的人臉追蹤和物件跟蹤實現的以
主角跟隨視角觀看虛擬現實視頻的方法。

背景技術

虛擬現實作為一種強烈帶入感的視覺體驗模式隨著現代影音技術的飛速發展而
逐漸受到人們追捧。其特點為提供360度全方位視角的視頻信息給用戶,用戶通過特定硬件
設備與虛擬現實視頻播放器進行互動,實時輸入視角控制信息從而實現視角的自由轉換。

該觀看模式雖然給用戶以自主選擇的空間,卻也存在一些不足。加入用戶期望對
視頻中出現的某個人物/物件進行跟蹤觀看,就需要用戶自己不斷通過給出動作實時追蹤,
這樣既難做到平滑鏡頭播放效果,也很難保證目標一直處于視頻中心位置,尤其是需要追
蹤快速移動的目標,用戶甚至無法進行追蹤觀看,給視頻觀看帶來一定的影響,用戶體驗有
待提高。

發明內容

對虛擬現實技術中存在的不足,本發明基于人臉和物件跟蹤實現以主角跟隨視角
觀看虛擬現實視頻的方法,提出一種通過追蹤技術實現對視頻中出現的特定物件/人臉定
位追蹤,并通過該位置坐標計算出人眼視角的朝向和后續運動方向控制矢量信息,在視頻
播放模塊中通過讀取所述控制信息來逐幀建立3D影像數據矩陣,實時渲染視頻數據實現對
追蹤目標的實時觀看,并根據目標位置實時校正觀影中心位置信息保證目標始終保持在播
放畫面中心的方法,通過允許用戶設定目標物件/人物的方式,使用戶除了選擇自由視角模
式之外還可以對關注的物件/人物進行自動實時追蹤且不需要用戶自己做出任何動作,既
給用戶提供舒適的觀影效果,也避免了因視頻中物件/人物運動過快或軌跡復雜而導致用
戶無法自主追蹤的問題,大大提高了用戶觀影體驗。

本發明解決其技術問題所采用的技術方案包括以下步驟:

播放模塊3D建模步驟,播放模塊根據設定參數進行3D建模。

優選的,所述參數包括用于確定遠近關系和景深以及指導2D貼圖和3D建模渲染的
3D模型球面半徑、用于確定攝像機朝向的方向矢量和用于確定前進方向的向上矢量。

向3D模型映射視頻數據步驟,逐幀讀取視頻數據并投影到3D模型上。

視角參數計算步驟,根據用戶的觀影模式采取特定方式計算用戶視角對應的控制
參數。

優選的,所述步驟是指根據觀看視角模式來選擇不同的視角參數計算方式進行計
算,該視角模式包括:自由視角模式和指定物件/人臉追蹤模式。

優選的,在所述自由模式下,所述視角控制參數有用戶通過特定設備直接輸入。

優選的,在所述指定物件/人臉追蹤模式下,通過追蹤技術模塊對指定物件/人臉
進行追蹤定位,確定其在3D模型中的三維坐標,并根據該坐標計算出視角的朝向矢量信息
和前進方向矢量信息。

優選的,在所述朝向矢量信息的計算方法為連接目標與攝像機形成的直線為方向
矢量的前進方向,朝向為攝像機到目標。

優選的,所述指定物件/人臉可以根據觀看者的需要進行動態切換,具體的,當用
戶改變追蹤對象時,所述追蹤技術模塊將立即改變追蹤對象并進行對應計算從而得到新對
象的視角信息實現視角轉換過程。

播放視頻步驟,根據視角控制參數對3D投影矩陣實時校正并進行視頻播放。

優選的,所述步驟包括:根據視角控制信息重建3D投影矩陣和實時渲染校正播放
中心并播放視頻。

優選的,所述實時渲染校正播放中心的目的為保證被追蹤物件/人物始終處于視
頻播放中心。

優選的,在每一幀視頻播放完畢后將檢查是否需要結束視頻播放,并在需要繼續
播放的情況下讀取下一幀視頻信息重復播放過程,在需要結束視頻播放時停止解析并銷毀
指定。

采用上述技術方案,本發明具有以下優點:

本發明涉及基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻的方法,通過
追蹤技術實現對視頻中出現的特定物件/人臉定位追蹤,并通過該位置坐標計算出人眼視
角的朝向和后續運動方向控制矢量信息,在視頻播放模塊中通過讀取所述控制信息來逐幀
建立3D影像數據矩陣,實時渲染視頻數據實現對追蹤目標的實時觀看,并根據目標位置實
時校正觀影中心位置信息保證目標始終保持在播放畫面中心,通過允許用戶設定目標物
件/人物的方式,使用戶除了選擇自由視角模式之外還可以對關注的物件/人物進行自動實
時追蹤且不需要用戶自己做出任何動作,既給用戶提供舒適的觀影效果,也避免了因視頻
中物件/人物運動過快或軌跡復雜而導致用戶無法自主追蹤的問題,大大提高了用戶觀影
體驗。

附圖說明

圖1為本發明較佳實施方式的基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬
現實視頻的方法的步驟示意圖。

圖2為本發明較佳實施方式的基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬
現實視頻的方法的詳細流程圖。

具體實施方式

下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完
整的描述,顯然,所描述的實施例僅僅是本發明的一個實施例,而不是全部實施例。基于本
發明中的實施例,本領域的一般技術人員在沒有做出創造性勞動的前提下所獲得的其他實
施例,都屬于本發明保護的范圍。

本發明實施例公開了基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視
頻的方法,參見圖1所示,該方法包括:

步驟S1:視頻播放模塊進行3D建模;

步驟S2:視頻播放模塊逐幀讀取視頻數據投放到3D模型;

步驟S3:根據用戶設定的播放模式計算播放視角所需的控制參數;

步驟S4:應用計算出來的控制參數進行實時渲染和視頻播放;

本發明實施例中,通過追蹤技術實現對視頻中出現的特定物件/人臉定位追蹤,并通過
該位置坐標計算出人眼視角的朝向和后續運動方向控制矢量信息,在視頻播放模塊中通過
讀取所述控制信息來逐幀建立3D影像數據矩陣,實時渲染視頻數據實現對追蹤目標的實時
觀看,并根據目標位置實時校正觀影中心位置信息保證目標始終保持在播放畫面中心。

可見,通過允許用戶設定目標物件/人物的方式,使用戶除了選擇自由視角模式之
外還可以對關注的物件/人物進行自動實時追蹤且不需要用戶自己做出任何動作,既給用
戶提供舒適的觀影效果,也避免了因視頻中物件/人物運動過快或軌跡復雜而導致用戶無
法自主追蹤的問題,大大提高了用戶觀影體驗。

本發明實施例公開了基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視
頻的方法,參見圖2,相對上一實施例,本實施例對技術方案作了進一步的說明和優化。具體
的,本實施例中基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻的方法包含以
下步驟:

S1:播放模塊3D建模;

優選的,播放模塊根據設定參數進行3D建模,所述參數包括用于確定遠近關系和景深
以及指導2D貼圖和3D建模渲染的3D模型球面半徑、用于確定攝像機朝向的方向矢量和用于
確定前進方向的向上矢量。

S2:向3D模型映射視頻數據;

優選的,逐幀讀取視頻數據并投影到3D模型上。

S3:視角參數計算;

優選的,通過執行步驟S31判斷用戶設置的觀影模式,包括自由模式和追蹤模式,若是
自由模式則執行步驟S32,否則執行步驟S33、S34;

優選的,對于步驟S32,視頻播放模塊直接讀取用戶輸入的視角位置控制信息,并應用
該信息進行視屏播放;

優選的,步驟S32是指讀取用戶設定的目標物件/人物信息,并將該信息發送個追蹤技
術模塊對目標進行追蹤定位,計算出目標在3D模型中的坐標信息;

優選的,根據步驟S32得出的計算信息,執行步驟S33計算攝像機朝向和前進方向控制
矢量信息;

優選的,如果用戶在追蹤觀看過程中的發生追蹤對象動態切換,步驟S32中所述追蹤技
術模塊將立即改變追蹤對象并進行對應計算從而得到新對象的視角信息實時完成追蹤目
標切換過程。

S4:播放視頻;

優選的,根據步驟S3計算得出的視角控制參數執行步驟S41對3D投影矩陣進行重建;

優選的,對所述重建后的視頻矩陣信息執行步驟S42實時渲染視頻信息并校正目標在
視頻中的位置以保證追蹤目標始終處于視頻中心;

優選的,每一幀視頻數據播放完畢后執行步驟S43判斷視頻播放是否結束,如果結束則
執行步驟S44停止播放視頻并銷毀指定資源,否則執行步驟S2讀取下一幀視頻信息并重復
上述處理過過程直至視頻播放完成。

綜上所述,通過執行步驟S1利用視頻播放模塊讀取特定參數進行3D建模,接著執
行步驟S2逐幀讀取視頻數據并投影到該3D模型上,通過步驟S31判斷用戶設置的觀影模式,
具體包括自由模式和追蹤模式,對于自由模式執行步驟S32讀取用戶輸入的視角控制信息
作為視頻播放所需的控制信息,對于追蹤模式執行步驟S33利用追蹤技術模塊對目標物件/
人臉進行實時定位并計算出其在3D模型中的坐標,根據該坐標值通過執行步驟S34計算出
攝像機的朝向和前進方向控制矢量信息,將所述計算信息作為視頻不放所需的控制信息,
完成步驟S3之后執行步驟S41根據所述視頻播放控制信息重建3D投影矩陣,最后執行步驟
S42對視頻數據進行實時渲染并根據所述控制信息實施校正視角中心保證目標始終處于視
頻播放中心,在每幀視頻播放完畢后執行步驟S43判斷視頻播放是否結束,結束執行步驟
S44停止視頻數據解析并銷毀特定資源,否則執行步驟S2讀取下一幀數據重復上述處理過
程直至視頻播放結束。通過允許用戶設定目標物件/人物的方式,使用戶除了選擇自由視角
模式之外還可以對關注的物件/人物進行自動實時追蹤且不需要用戶自己做出任何動作,
既給用戶提供舒適的觀影效果,也避免了因視頻中物件/人物運動過快或軌跡復雜而導致
用戶無法自主追蹤的問題,大大提高了用戶觀影體驗。

以上所述僅為舉例性,而非為限制性。本領域的技術人員可以對發明進行各種改
動和變型而不脫離本發明的精神和范圍。這樣,倘若本發明的這些修改和變型屬于本發明
權利要求及其等同技術的范圍之內,則本發明也意圖包括這些改動和變型在內。

關 鍵 詞:
基于 物件 跟蹤 實現 主角 跟隨 視角 觀看 虛擬現實 視頻 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:基于人臉和物件跟蹤實現以主角跟隨視角觀看虛擬現實視頻的方法.pdf
鏈接地址:http://www.rgyfuv.icu/p-6100580.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图