• / 19
  • 下載費用:30 金幣  

一種基于2D視頻序列的手勢識別及人機交互方法和系統.pdf

摘要
申請專利號:

CN201510469130.4

申請日:

2015.08.04

公開號:

CN104992171A

公開日:

2015.10.21

當前法律狀態:

撤回

有效性:

無權

法律詳情: 發明專利申請公布后的視為撤回IPC(主分類):G06K 9/00申請公布日:20151021|||著錄事項變更IPC(主分類):G06K 9/00變更事項:申請人變更前:易視騰科技有限公司變更后:易視騰科技股份有限公司變更事項:地址變更前:214135 江蘇省無錫市無錫國家高新技術產業開發區菱湖大道111號無錫軟件園鯨魚座D幢701室變更后:214135 江蘇省無錫市無錫國家高新技術產業開發區菱湖大道111號無錫軟件園鯨魚座D幢701室|||實質審查的生效IPC(主分類):G06K 9/00申請日:20150804|||公開
IPC分類號: G06K9/00; G06F3/01 主分類號: G06K9/00
申請人: 易視騰科技有限公司
發明人: 黃飛; 侯立民; 謝建; 黃克; 田澤康
地址: 214135江蘇省無錫市無錫國家高新技術產業開發區菱湖大道111號無錫軟件園鯨魚座D幢701室
優先權:
專利代理機構: 北京聯創佳為專利事務所(普通合伙)11362 代理人: 郭防; 劉美蓮
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510469130.4

授權公告號:

|||||||||

法律狀態公告日:

2018.10.09|||2016.08.03|||2015.12.16|||2015.10.21

法律狀態類型:

發明專利申請公布后的視為撤回|||著錄事項變更|||實質審查的生效|||公開

摘要

本發明公開了一種基于2D視頻序列的手勢識別及人機交互方法和系統,所述方法包括以下步驟:S1,獲取單目2D視頻幀序列圖像,并提取該圖像中的運動前景;S2,在所述的運動前景中檢測人手,并構建人手的聯合特征模型;S3,預測人手目標出現的位置區域,在該位置區域中利用人手的聯合特征模型搜索、定位人手目標,獲得人手在當前幀中的位置;S4,根據人手在當前幀中的位置判斷當前的操作模式類型;S5,對人手進行跟蹤,識別當前操作模式下人手的姿態和手勢;將所述的姿態和手勢轉換為相應的指令,實現人機交互。本發明的人機交互方法,不僅可以實現在復雜背景下的目標人手甄選,而且還可以實現對人手的精確度、高穩定性的跟蹤。

權利要求書

權利要求書
1.  一種基于2D視頻序列的手勢識別及人機交互方法,其特征在于,包括以下步驟:
S1,獲取單目2D視頻幀序列圖像,并提取該圖像中的運動前景;
S2,在所述的運動前景中檢測人手,并構建人手的聯合特征模型;
S3,預測人手目標出現的位置區域,在該位置區域中利用人手的聯合特征模型搜索、定位人手目標,獲得人手在當前幀中的位置;
S4,根據人手在當前幀中的位置判斷當前的操作模式類型;
S5,對人手進行跟蹤,識別當前操作模式下人手的姿態和手勢;將所述的姿態和手勢轉換為相應的指令,實現人機交互。

2.  根據權利要求1所述的基于2D視頻序列的手勢識別及人機交互方法,其特征在于,步驟S2中,在所述的運動前景中通過Haar與LBP的聯合特征檢測人手。

3.  根據權利要求1所述的基于2D視頻序列的手勢識別及人機交互方法,其特征在于,所述的聯合特征模型由顏色、形狀、紋理、結構、梯度特征模型中的任意兩種或多種融合而成;優選的,所述的聯合特征模型由顏色和紋理特征模型通過核函數融合而成。

4.  根據權利要求1~3任一項所述的基于2D視頻序列的手勢識別及人機交互方法,其特征在于,步驟S3具體包括以下步驟:通過對目標人手的軌跡分析,預測人手在當前幀中的位置,以該位置為中心確定目標可能存在的區域;遍歷該區域中所有目標人手大小的矩形框,提取每個矩形框的聯合特征,與樣本庫中的樣本進行匹配,獲得人手在當前幀中的位置,并更新模型樣本庫。

5.  根據權利要求1~3任一項所述的基于2D視頻序列的手勢識別及人機交互方法,其特征在于,步驟S4具體包括:檢測人體的其他部位,并根據人手在當前幀中的位置,區分左右手并預測另一只手出現的位置區域;在該位置區域中利用人手的聯合特征模型搜索、定位另一只手;根據搜素、定位結果確定當前的操作為雙手模式或單手模式;步驟S5包括:根據當前的操作模式,計算人手在圖像中的運動量,并按照非線性映射的方式,映射為當前顯示器分辨率下鼠標或鍵盤的運動量,實現對鼠標或鍵盤的操控。

6.  根據權利要求5所述的基于2D視頻序列的手勢識別及人機交互方法,其特征在于,步驟S5具體包括:對人手進行跟蹤,獲取每只手的位置和軌跡,并進行姿態和手勢識別;其中,進行姿態識別時,以所述的人手位置為中心,在手掌的最小外接矩形框內,檢測當前人手的姿態,并將其與樣本庫中的姿態進行匹配,若匹配,則輸出與該姿態對應的命令,實現人機交互;進行手勢識別時,緩存每只手在多幀圖像中的位置信息,并進行重采樣;將采樣得到的軌跡與標準手勢模型進行匹配,若相似度大于設定的閾值,則輸出該手勢對 應的命令,實現人機交互。

7.  一種基于2D視頻序列的手勢識別及人機交互系統,其特征在于,包括:
運動前景提取模塊:用于獲取單目2D視頻幀序列圖像,并提取該圖像中的運動前景;
人手甄選模塊:用于在所述的運動前景中檢測人手;
目標人手建模模塊:用于構建人手的聯合特征模型;
目標人手跟蹤模塊:用于預測人手目標出現的位置區域,在該位置區域中利用人手的聯合特征模型搜索、定位人手目標,獲得人手在當前幀中的位置;
操作模式識別模塊:用于根據人手在當前幀中的位置判斷當前的操作模式類型;
姿態、手勢識別模塊:用于對人手進行跟蹤,識別當前操作模式下人手的姿態和手勢;
人機交互模塊:用于將所述的姿態和手勢轉換為相應的指令,實現人機交互。

8.  根據權利要求7所述的基于2D視頻序列的手勢識別及人機交互系統,其特征在于,所述的目標人手跟蹤模塊還包括:
位置區域預測模塊:用于通過對目標人手的軌跡分析,預測人手在當前幀中的位置,以該位置為中心確定目標可能存在的區域;
人手位置確定模塊:用于遍歷該區域中所有目標人手大小的矩形框,提取每個矩形框的聯合特征,與樣本庫中的樣本進行匹配,獲得人手在當前幀中的位置;
模型樣本庫更新模塊:用于更新模型樣本庫。

9.  根據權利要求7或8所述的基于2D視頻序列的手勢識別及人機交互系統,其特征在于,所述的操作模式識別模塊還包括:
左右手區分模塊:用于檢測人體的其他部位,并根據人手在當前幀中的位置,區分左右手;
單雙手識別模塊:用于預測另一只手出現的位置區域;在該位置區域中利用人手的聯合特征模型搜索、定位另一只手;根據搜素、定位結果確定當前的操作為雙手模式或單手模式;
所述的人機交互模塊還包括:
映射鼠標或鍵盤模塊:用于根據當前的操作模式,計算人手在圖像中的運動量,并按照非線性映射的方式,映射為當前顯示器分辨率下鼠標或鍵盤的運動量,實現對鼠標或鍵盤的操控。

10.  根據權利要求9所述的基于2D視頻序列的手勢識別及人機交互系統,其特征在于,所述的姿態、手勢識別模塊還包括:
姿態匹配模塊:用于進行姿態識別時,以所述的人手位置為中心,在手掌的最小外接矩形框內,檢測當前人手的姿態,并將其與樣本庫中的姿態進行匹配;
手勢匹配模塊:用于進行手勢識別時,緩存每只手在多幀圖像中的位置信息,并進行重采樣;將采樣得到的軌跡與標準手勢模型進行匹配。

說明書

說明書一種基于2D視頻序列的手勢識別及人機交互方法和系統
技術領域
本發明涉及一種基于2D視頻序列的手勢識別及人機交互方法和系統,屬于人機交互技術領域。
背景技術
基于手勢識別的體感控制技術,已經成為目前一種重要的人機交互手段。其通過普通攝像頭采集用戶的動作畫面,通過模式識別算法,對圖像中的手部特征進行檢測和定位,再通過識別出人手的姿態和運動軌跡等,將這種識別信息轉化為操作信號,反饋給智能終端,并觸發相應的操作命令,如電視節目的切換,音量的調節,圖片、網頁的放大、縮小,簡單的體感游戲的操控,如切水果、打球、駕駛類等游戲。手勢識別技術基于智能終端所配備的攝像頭,在終端安裝相應的識別軟件,即可完成以上操作,因而在硬件成本和操作方式上都具有極大的優勢,該技術可以用來操控電視、個人電腦、平板電腦和智能手機等消費電子設備。
根據手勢識別的研究和應用的發展過程,大致可以劃分為以下幾種技術手段:
(1)基于數據手套或佩戴物:通過用戶佩戴特制的手套或者標識物,通過攝像頭來進行識別,手套本身是特殊設計的,具有明顯的特征,因而可以降低檢測和識別算法的復雜性,但是這種佩戴式的操作方式,顯然難以滿足自然的人機交互的需要,因而該方法始終未得到廣泛的應用;
(2)基于3D深度相機:代表技術為微軟的KINECT產品,其通過三維掃描設備,獲取操作者的動態三維模型,因為其工作在3D空間,因而避免了2D空間中存在的顏色干擾、圖像分割等大量的難題。但是3D掃描設備體積較大,硬件成本較高,所需的運算能力更高,因而難以集成并應用到大眾化的智能終端如電視、手機等設備上;
(3)基于普通攝像頭2D圖像識別的技術:由于這種技術是基于普通攝像頭來實現的,因而也是最具有大規模應用潛力的技術。本申請人所提交的申請號為201310481745.X的專利申請公開了“一種基于單目視頻序列的目標人手勢交互方法”,其通過對人手靜止姿態或單手手勢進行識別,從而可以應用于低運算能力的嵌入式平臺進行人機交互。但是該申請仍然存在以下缺點:a)由于缺乏深度信息,在復雜環境中人手的提取會比較困難;b)普通的2D攝像頭對光線很敏感,并且要實現對于像人手這種非剛性、少紋理的目標進行高精度跟蹤,在復雜環境下將會面臨很大的挑戰;c)由于噪聲、距離、還有每個人習慣的不同,也會導致對人手的各種姿態和手勢的識別造成一定的影響;d)無法實現人手的雙手姿態及手勢 的識別;e)對于雙手識別而言,如何處理兩只手交叉等問題,也是一個難題。因而,仍然需要發明人繼續進行研究改進。
發明內容
本發明的目的在于,提供一種基于2D視頻序列的手勢識別及人機交互方法和系統,它可以有效解決現有技術中存在的問題,尤其是普通的2D攝像頭對光線很敏感,要實現對人手這種非剛性、少紋理的目標進行高精度跟蹤,將會面臨很大挑戰的問題。
為解決上述技術問題,本發明采用如下的技術方案:一種基于2D視頻序列的手勢識別及人機交互方法,包括以下步驟:
S1,獲取單目2D視頻幀序列圖像,并提取該圖像中的運動前景(從而可以剔除靜止物體,初步挑選出人手可能出現的區域,減少人手定位的計算量);
S2,在所述的運動前景中檢測人手,并構建人手的聯合特征模型;
S3,預測人手目標出現的位置區域,并在該位置區域中利用人手的聯合特征模型搜索、定位人手目標,獲得人手在當前幀中的位置;
S4,根據人手在當前幀中的位置判斷當前的操作模式類型;
S5,對人手進行跟蹤,識別當前操作模式下人手的姿態和手勢;將所述的姿態和手勢轉換為相應的指令,實現人機交互。
對于步驟S2中的聯合特征模型,可采用直接融合更新、多樣本庫更新或在線學習等方式進行模型更新,尤其是采用直接融合的方式進行更新,更新時的權重計算函數采用模型匹配相似度的線性函數,從而可以及時的反映目標模型在短時間內的快速變化,能夠實時的匹配人手的快速移動的特點。
本發明的步驟S1中,可通過GMM運動檢測算法對圖像中的運動前景進行提取,使得運動前景的提取更高效、更穩定,同時本發明對于運動檢測模塊的模型更新策略采用了局部更新速率自適應調整的方式。
本發明的步驟S2中,在所述的運動前景中通過Haar與LBP的聯合特征檢測人手,分類器采用Adaboost,采用此聯合特征進行檢測,從而可以在提升檢測率的同時,使得計算速度也非常快,滿足實時的要求,適合移植到嵌入式系統中。
本發明的步驟S2中,所述的聯合特征模型由顏色、形狀、紋理、結構、梯度特征模型中的任意兩種或多種融合而成,相對于單顏色模型,使得人手的識別與跟蹤更加穩定可靠,精度更高,且能夠克服復雜環境以及人手的快速運動產生的形變干擾。
優選的,步驟S2中,所述的聯合特征模型由顏色和紋理特征模型通過核函數融合而 成,從而可以進一步增加中心部分的權重,減小邊緣部分的權重的方式,減少背景的干擾,提高了跟蹤的穩定性與精確度。
此外,本發明通過neon、OpenMP、多線程優化算法對硬件進行加速,使得本發明采用聯合特征模型進行跟蹤與檢測,不僅人手的識別與跟蹤更加穩定可靠,精度更高,而且計算時間大大減少,在移動平臺上運行非常流暢。
所述的核函數可以為高斯核函數、多項式核函數、徑向基核函數等,尤其是采用高斯核函數對顏色和紋理特征進行融合,可以進一步減少背景的干擾,提高跟蹤的穩定性與精確度。
具體的,采用高斯核函數對顏色和紋理特征進行融合包括以下步驟:
(1)加權提取顏色直方圖特征模型和LBP紋理直方圖特征模型;
(2)利用所述的顏色直方圖特征模型和LBP紋理直方圖特征模型分別對人手目標進行搜索,獲得兩個搜索結果;
(3)將所述的兩個搜索結果通過線性方式進行融合,相似度為權值,相似度大的權重大,相似度小的權重小,得聯合特征模型(即顏色直方圖+LBP紋理直方圖的聯合特征直方圖),具體的,所述的聯合特征模型為:
Rectresult=colorSimcolorSim+lbpSimRectcolor+lbpSimcolorSim+lbpSimRectlbp]]>
其中,Rectresult為最終融合的結果;colorSim為顏色跟蹤的相似度(0~1),lbpSim為紋理跟蹤的相似度(0~1),Rectcolor為顏色跟蹤的結果,Rectlbp為紋理跟蹤的結果。
步驟S3中,采用均值漂移的搜索方式對目標人手進行搜索,相對于逐像素搜索、粒子群搜索速度更快,更適合本發明中實時應用。
前述的基于2D視頻序列的手勢識別及人機交互方法中,步驟S3具體包括以下步驟:通過對目標人手的軌跡分析,預測人手在當前幀中的位置,以該位置為中心確定目標可能存在的區域;遍歷該區域中所有目標人手大小的矩形框,提取每個矩形框的聯合特征,與樣本庫中的樣本進行匹配,獲得人手在當前幀中的位置,并利用人手特征和軌跡更新模型樣本庫。
其中,步驟S3中所述的通過對目標人手的軌跡分析,預測人手在當前幀中的位置,以該位置為中心確定目標可能存在的區域具體包括:假設目標在短時間內勻速運動,利用目標的前3幀運動信息計算出其運動的平均速度和方向;再根據計算出的平均速度和方向預測下一幀中目標可能出現的位置;以預測出的下一幀中目標可能出現的位置為中心,并根 據目標當前的平均運動速度確定搜索區域,在該搜索區域中精確跟蹤定位人手的實際位置。
另外,步驟S3中所述的與樣本庫中的樣本進行匹配是指根據提取的聯合特征模型(即LPB+顏色的聯合特征直方圖)與樣本庫中的直方圖進行匹配。
優選的,遍歷該區域中所有目標大小的矩形框時,若該矩形框包含運動前景像素,則提取該矩形框中的聯合特征,與樣本庫中的樣本進行匹配,獲得人手在當前幀中的位置,并更新模型樣本庫;否則繼續檢測下一個矩形框。
本發明的步驟S4具體包括:檢測人體的其他部位,并根據人手在當前幀中的位置,區分左右手并預測另一只手出現的位置區域;在該位置區域中利用人手的聯合特征模型搜索、定位另一只手;根據搜素、定位結果確定當前的操作為雙手模式或單手模式。
具體的說,可先用人臉檢測方法檢測出人臉,再判斷當前人手與人臉的位置關系,如果當前人手在人臉的左側則為左手,當前人手在人臉的右側則為右手;當確定了當前人手為左手或右手后,從而即可預測另一只手出現的位置區域,方便快捷。
進一步的,本發明通過以下方法實現雙手交叉的識別與處理:
(1)對每只手分別進行跟蹤,根據產生的運動軌跡判斷當前手為左手或右手;
(2)對每只手分別建立聯合特征模型,并將其與當前采集到的聯合特征模型進行對比,判斷當前手為左手或右手;
(3)根據當前人手與人臉的位置關系判斷當前手為左手或右手;
(4)根據步驟(1)、(2)、(3),獲得最終的判斷結果。
通過上述方法實現雙手交叉的識別與處理,系統操作的穩定性和可靠性較高,同時可以節省大量的計算時間。
步驟S5包括:根據當前的操作模式,計算人手在圖像中的運動量,并按照非線性映射的方式,映射為當前顯示器分辨率下鼠標或鍵盤的運動量(即將計算得到的手的運動位置坐標采用非線性的方式映射到顯示屏的坐標位置上),實現對鼠標或鍵盤的操控。
上述方法中,步驟S5具體包括:對人手進行跟蹤,獲取每只手的位置和軌跡,并進行姿態和手勢識別;其中,進行姿態識別時,以所述的人手位置為中心,在手掌的最小外接矩形框內,檢測當前人手的姿態,并將其與樣本庫中的姿態進行匹配,若匹配,則輸出與該姿態對應的命令,實現人機交互;進行手勢識別時,緩存每只手在多幀圖像中的位置信息,并進行重采樣;將采樣得到的軌跡與標準手勢模型進行匹配,若相似度大于設定的閾值,則輸出該手勢對應的命令,實現人機交互。
一種基于2D視頻序列的手勢識別及人機交互系統,包括:
運動前景提取模塊:用于獲取單目2D視頻幀序列圖像,并提取該圖像中的運動前景;
人手甄選模塊:用于在所述的運動前景中檢測人手;
目標人手建模模塊:用于構建人手的聯合特征模型;
目標人手跟蹤模塊:用于預測人手目標出現的位置區域,在該位置區域中利用人手的聯合特征模型搜索、定位人手目標,獲得人手在當前幀中的位置;
操作模式識別模塊:用于根據人手在當前幀中的位置判斷當前的操作模式類型;
姿態、手勢識別模塊:用于對人手進行跟蹤,識別當前操作模式下人手的姿態和手勢;
人機交互模塊:用于將所述的姿態和手勢轉換為相應的指令,實現人機交互。
優選的,所述的目標人手跟蹤模塊還包括:
位置區域預測模塊:用于通過對目標人手的軌跡分析,預測人手在當前幀中的位置,以該位置為中心確定目標可能存在的區域;
人手位置確定模塊:用于遍歷該區域中所有目標人手大小的矩形框,提取每個矩形框的聯合特征,與樣本庫中的樣本進行匹配,獲得人手在當前幀中的位置;
模型樣本庫更新模塊:用于更新模型樣本庫。
本發明中,所述的人手位置確定模塊還包括:
運動前景像素檢測模塊:用于檢測矩形框是否包含運動前景像素。
上述系統中,所述的操作模式識別模塊還包括:
左右手區分模塊:用于檢測人體的其他部位,并根據人手在當前幀中的位置,區分左右手;
單雙手識別模塊:用于預測另一只手出現的位置區域;在該位置區域中利用人手的聯合特征模型搜索、定位另一只手;根據搜素、定位結果確定當前的操作為雙手模式或單手模式。
前述的基于2D視頻序列的手勢識別及人機交互系統中,所述的人機交互模塊還包括:
映射鼠標或鍵盤模塊:用于根據當前的操作模式,計算人手在圖像中的運動量,并按照非線性映射的方式,映射為當前顯示器分辨率下鼠標或鍵盤的運動量,實現對鼠標或鍵盤的操控。
本發明中,所述的姿態、手勢識別模塊還包括:
姿態匹配模塊:用于進行姿態識別時,以所述的人手位置為中心,在手掌的最小外接 矩形框內,檢測當前人手的姿態,并將其與樣本庫中的姿態進行匹配;
手勢匹配模塊:用于進行手勢識別時,緩存每只手在多幀圖像中的位置信息,并進行重采樣;將采樣得到的軌跡與標準手勢模型進行匹配。
與現有技術相比,本發明通過提取該圖像中的運動前景,并在所述的運動前景中檢測人手,構建人手的聯合特征模型,再利用人手的聯合特征模型搜索、定位人手目標,獲得人手在當前幀中的位置,再識別人手的姿態和手勢;將所述的姿態和手勢轉換為相應的指令,實現人機交互,不僅實現了在復雜背景下的目標人手甄選,而且還可以實現對人手的高精度、高穩定性的跟蹤;另外,本發明還可以進行單手、雙手的檢測和跟蹤,并準確的區分左右手,實現利用更多的手勢和姿態進行人機交互。此外,本發明通過利用核函數對顏色、形狀、紋理、結構、梯度特征進行融合,從而可以增加中心部分的權重,減小邊緣部分的權重的方式,進一步減少了背景的干擾,進一步提高了跟蹤的穩定性與精確度。另外,本發明中的人手模擬鼠標模式,可以方便的擴充為遙控器模式、觸屏模式等。本發明采用GMM的更新方式對背景模型進行更新,同時對于運動檢測模塊的模型更新策略采用了局部更新速率自適應的方式,從而能夠更精確的提取人手這種快速運動中的目標。
此外,本發明采用了聯合特征跟蹤結合檢測的思想,使得人手分割更精確,減小了對人手的各種姿態和手勢識別的干擾,進而使得人手的識別與跟蹤更加穩定可靠,精度更高;同時本發明通過算法邏輯上的并行優化以及硬件加速(如NEON,OpenMP、多線程優化算法)使得計算量滿足實時性要求,在移動平臺上運行也非常流暢;另外,本發明中采用了局部更新速率自適應的運動檢測方式結合聯合特征跟蹤(指采用顏色與紋理模型融合后的聯合特征模型)、聯合特征檢測(指權利要求2中的Haar+LBP的聯合特征)及雙手識別的算法思想,保證了系統穩定可靠快速的運行在嵌入式系統中。此外,本發明采用聯合特征檢測,檢測器本身就具有克服一定光照和噪聲的影響;而且跟蹤器中采用的聯合特征模型也具有抗光照,形變的特性,再加上跟蹤模型的及時學習更新以及結合運動分析和軌跡分析,從而增強了對非剛性、少紋理的目標跟蹤的魯棒性,提高了跟蹤的精確度;此外,對于不同的距離操作,本發明根據人手的大小自適應調整鼠標映射系數,從而減小了距離給操作帶來的影響。
附圖說明
圖1是本發明的一種實施例的方法流程圖;
圖2為人手檢測的方法流程圖;
圖3為人手聯合特征模型的構建方法流程圖;
圖4為人手在圖像中的位置確定方法流程圖;
圖5為手勢系統的啟動流程圖;
圖6為單、雙手模式識別方法流程圖;
圖7為利用人手姿態和手勢進行人機交互的方法流程圖;
圖8為利用人手操控鼠標移動的方法流程圖。
下面結合附圖和具體實施方式對本發明作進一步的說明。
具體實施方式
本發明的實施例:一種基于2D視頻序列的手勢識別及人機交互方法,如圖1所示,包括以下步驟:
S1,獲取單目2D視頻幀序列圖像,并通過GMM運動檢測算法提取該圖像中的運動前景,從而可以剔除靜止物體,初步挑選出人手可能出現的區域,減少人手定位的計算量;
S2,在所述的運動前景中通過Haar與LBP的聯合特征檢測人手(分類器采用Adaboost,若檢測到了人手,則對運動模型除了人手區域之外的部分進行更新,輸出人手的位置;若未檢測到人手,則對運動模型全部更新),并構建人手的聯合特征模型(如圖3所示);其中,所述的聯合特征模型由顏色、形狀、紋理、結構、梯度特征模型中的任意兩種或多種融合而成,尤其是由顏色和紋理特征模型通過核函數融合而成的聯合特征模型,可以增加中心部分的權重,減小邊緣部分的權重的方式,減少背景的干擾,提高跟蹤的穩定性與精確度;所述的核函數可以為高斯核函數、多項式核函數、徑向基核函數等,尤其是采用高斯核函數對顏色和紋理特征進行融合,可以進一步減少背景的干擾,提高跟蹤的穩定性與精確度;具體的,采用高斯核函數對顏色和紋理特征進行融合包括以下步驟:
(1)加權提取顏色直方圖特征模型和LBP紋理直方圖特征模型;
(2)利用所述的顏色直方圖特征模型和LBP紋理直方圖特征模型分別對人手目標進行搜索,獲得兩個搜索結果;
(3)將所述的兩個搜索結果通過線性方式進行融合,相似度為權值,相似度大的權重大,相似度小的權重小,得聯合特征模型(即顏色直方圖+LBP紋理直方圖的聯合特征直方圖),具體的,所述的聯合特征模型為:
Rectresult=colorSimcolorSim+lbpSimRectcolor+lbpSimcolorSim+lbpSimRectlbp]]>
其中,Rectresult為最終融合的結果;colorSim為顏色跟蹤的相似度(0~1),lbpSim為紋理跟蹤的相似度(0~1),Rectcolor為顏色跟蹤的結果,Rectlbp為紋理跟蹤的結果;
對于所述的聯合特征模型,可采用直接融合更新、多樣本庫更新或在線學習等方式進行模型更新,尤其是采用直接融合的方式進行更新,更新時的權重計算函數采用模型匹配相似度的線性函數,從而可以及時的反映目標模型在短時間內的快速變化,能夠實時的匹配人手的快速移動的特點;
S3,預測人手目標出現的位置區域,在該位置區域中利用人手的聯合特征模型搜索(可采用均值漂移的搜索方式對目標人手進行搜索,也可采用逐像素搜索、粒子群搜索的方式,但是均值漂移的搜索方式速度更快,更適合本發明中實時應用)、定位人手目標,獲得人手在當前幀中的位置;具體包括以下步驟(如圖2、圖4所示):通過對目標人手的軌跡分析,預測人手在當前幀中的位置,以該位置為中心確定目標可能存在的區域;遍歷該區域中所有目標人手大小的矩形框,提取每個矩形框的聯合特征,與樣本庫中的樣本進行匹配,獲得人手在當前幀中的位置,并利用人手特征和軌跡更新模型樣本庫;遍歷該區域中所有目標大小的矩形框時,若該矩形框包含運動前景像素,則提取該矩形框中的聯合特征,與樣本庫中的樣本進行匹配,獲得人手在當前幀中的位置,并更新模型樣本庫;否則繼續檢測下一個矩形框;緩存多幀步驟S3得到的人手的位置,并進行重采樣,將采樣得到的軌跡與標準手勢模型進行匹配,如果相似度足夠大,則手勢系統啟動,否則不啟動(如圖5所示),從而減小了誤啟動的概率;其中,所述的對目標人手的軌跡分析,預測人手在當前幀中的位置,以該位置為中心確定目標可能存在的區域具體包括:假設目標在短時間內勻速運動,利用目標的前3幀運動信息計算出其運動的平均速度和方向;再根據計算出的平均速度和方向預測下一幀中目標可能出現的位置;以預測出的下一幀中目標可能出現的位置為中心,并根據目標當前的平均運動速度確定搜索區域,在該搜索區域中精確跟蹤定位人手的實際位置;
S4,根據人手在當前幀中的位置判斷當前的操作模式類型;具體包括(如圖6所示):檢測人體的其他部位,并根據人手在當前幀中的位置,區分左右手并預測另一只手出現的位置區域;在該位置區域中利用人手的聯合特征模型搜索、定位另一只手(如可先用人臉檢測方法檢測出人臉,再判斷當前人手與人臉的位置關系,如果當前人手在人臉的左側則為左手,當前人手在人臉的右側則為右手;當確定了當前人手為左手或右手后,從而即可預測另一只手出現的位置區域,方便快捷);根據搜素、定位結果確定當前的操作為雙手模式或單手模式;
S5,對人手進行跟蹤,識別當前操作模式下人手的姿態和手勢(如圖7所示);將所述的姿態和手勢轉換為相應的指令,實現人機交互;具體包括:對人手進行跟蹤,獲取每只 手的位置和軌跡,并進行姿態和手勢識別;其中,進行姿態識別時,以所述的人手位置為中心,在手掌的最小外接矩形框內,檢測當前人手的姿態,并將其與樣本庫中的姿態進行匹配,若匹配,則輸出與該姿態對應的命令(如握拳表示down命令,手掌表示up命令,豎大拇指表示贊等;另外,用戶也可以自定義需要的姿態),實現人機交互;進行手勢識別時,緩存每只手在多幀圖像中的位置信息,并進行重采樣;將采樣得到的軌跡與標準手勢模型進行匹配,若相似度大于設定的閾值,則輸出該手勢對應的命令(如單手斜向上為return命令,單手上下左右揮動為上下左右命令,雙手向外移動為放大命令,雙手向內移動為縮小命令等;另外,用戶也可以自定義手勢),實現人機交互;其中,可通過以下方法實現雙手交叉的識別與處理:
(1)對每只手分別進行跟蹤,根據產生的運動軌跡判斷當前手為左手或右手;
(2)對每只手分別建立聯合特征模型,并將其與當前采集到的聯合特征模型進行對比,判斷當前手為左手或右手;
(3)根據當前人手與人臉的位置關系判斷當前手為左手或右手;
(4)根據步驟(1)、(2)、(3),獲得最終的判斷結果。
具體的,根據當前的操作模式,計算人手在圖像中的運動量,并按照非線性映射的方式,映射為當前顯示器分辨率下鼠標或鍵盤的運動量(即將計算得到的手的運動位置坐標采用非線性的方式映射到顯示屏的坐標位置上),實現對鼠標或鍵盤的操控。
本發明通過neon、OpenMP、多線程優化算法對硬件進行加速,使得本發明采用聯合特征模型進行跟蹤與檢測,不僅人手的識別與跟蹤更加穩定可靠,精度更高,而且計算時間大大減少,在移動平臺上運行非常流暢。
一種基于2D視頻序列的手勢識別及人機交互系統,包括:
運動前景提取模塊:用于獲取單目2D視頻幀序列圖像,并提取該圖像中的運動前景;
人手甄選模塊:用于在所述的運動前景中檢測人手;
目標人手建模模塊:用于構建人手的聯合特征模型;
目標人手跟蹤模塊:用于預測人手目標出現的位置區域,在該位置區域中利用人手的聯合特征模型搜索、定位人手目標,獲得人手在當前幀中的位置;
操作模式識別模塊:用于根據人手在當前幀中的位置判斷當前的操作模式類型;
姿態、手勢識別模塊:用于對人手進行跟蹤,識別當前操作模式下人手的姿態和手勢;
人機交互模塊:用于將所述的姿態和手勢轉換為相應的指令,實現人機交互。
所述的目標人手跟蹤模塊還包括:
位置區域預測模塊:用于通過對目標人手的軌跡分析,預測人手在當前幀中的位置,以該位置為中心確定目標可能存在的區域;
人手位置確定模塊:用于遍歷該區域中所有目標人手大小的矩形框,提取每個矩形框的聯合特征,與樣本庫中的樣本進行匹配,獲得人手在當前幀中的位置;
模型樣本庫更新模塊:用于更新模型樣本庫。
所述的人手位置確定模塊還包括:
運動前景像素檢測模塊:用于檢測矩形框是否包含運動前景像素。
所述的操作模式識別模塊還包括:
左右手區分模塊:用于檢測人體的其他部位,并根據人手在當前幀中的位置,區分左右手;
單雙手識別模塊:用于預測另一只手出現的位置區域;在該位置區域中利用人手的聯合特征模型搜索、定位另一只手;根據搜素、定位結果確定當前的操作為雙手模式或單手模式。
所述的人機交互模塊還包括:
映射鼠標或鍵盤模塊:用于根據當前的操作模式,計算人手在圖像中的運動量,并按照非線性映射的方式,映射為當前顯示器分辨率下鼠標或鍵盤的運動量,實現對鼠標或鍵盤的操控。
所述的姿態、手勢識別模塊還包括:
姿態匹配模塊:用于進行姿態識別時,以所述的人手位置為中心,在手掌的最小外接矩形框內,檢測當前人手的姿態,并將其與樣本庫中的姿態進行匹配;
手勢匹配模塊:用于進行手勢識別時,緩存每只手在多幀圖像中的位置信息,并進行重采樣;將采樣得到的軌跡與標準手勢模型進行匹配。

關 鍵 詞:
一種 基于 視頻 序列 手勢 識別 人機交互 方法 系統
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:一種基于2D視頻序列的手勢識別及人機交互方法和系統.pdf
鏈接地址:http://www.rgyfuv.icu/p-6353568.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图