• / 16
  • 下載費用:30 金幣  

基于雙向光流和感知哈希的指尖跟蹤方法.pdf

摘要
申請專利號:

CN201510646203.2

申請日:

2015.09.30

公開號:

CN105261038A

公開日:

2016.01.20

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):G06T 7/20申請日:20150930|||公開
IPC分類號: G06T7/20; G06F3/01 主分類號: G06T7/20
申請人: 華南理工大學
發明人: 康文雄; 吳桂樂
地址: 511458廣東省廣州市南沙區環市大道南路25號華工大廣州產研院
優先權:
專利代理機構: 廣州市華學知識產權代理有限公司44245 代理人: 梁瑩; 李衛東
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510646203.2

授權公告號:

||||||

法律狀態公告日:

2018.02.27|||2016.02.17|||2016.01.20

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本發明提供一種基于雙向光流和感知哈希的指尖跟蹤方法,該方法包括:第一步,通過計算與場景信息對應的稠密光流信息;再構建膚色濾波器得到手部區域;第二步,對各輪廓點進行向量點積和叉乘計算來剔除非指尖的輪廓點;再根據指尖的幾何特性來檢測指尖點的位置并得到指尖輪廓點;第三步,利用雙向金字塔光流算法對指尖輪廓點計算,得到雙向匹配的指尖輪廓點來對指尖運動區域進行估計;采用感知哈希算法生成64位感知哈希序列,與指尖哈希序列模板匹配,最大匹配區域為指尖區域;判斷是否進行下一輪的指尖跟蹤,實現指尖持續跟蹤。本發明方法可有效實現在復雜環境下指尖的持續性跟蹤,同時避免了因指尖跟蹤軌跡不連續導致指尖跟蹤效果差的問題。

權利要求書

1.一種基于雙向光流和感知哈希的指尖跟蹤方法,用于對手部的指尖進行
持續跟蹤;其特征在于:包括以下三個步驟:
第一步,捕獲場景信息,通過計算與場景信息對應的稠密光流信息并進行
二值化預處理得到含有手部區域的場景圖像;再構建膚色濾波器,對含有手部
區域的場景圖像進行手部區域的分割,得到手部區域;
第二步,對手部區域的輪廓進行采樣,對各輪廓點進行向量點積和叉乘計
算來剔除非指尖的輪廓點,得到候選指尖點;再根據指尖的幾何特性設定閾值,
統計候選指尖點附近被剔除非指尖輪廓點的數目并與閾值比較,來檢測指尖點
的位置并得到指尖輪廓點;若沒有檢測到指尖點,則返回第一步重新初始化;
第三步,利用雙向金字塔光流算法對指尖輪廓點計算,得到雙向匹配的指
尖輪廓點來對指尖運動區域進行估計;在指尖的估計運動區域中,采用搜索窗策
略依次進行離散余弦變換,提取鄰域,并計算對應離散余弦變換低頻系數矩陣,
采用感知哈希算法生成64位感知哈希序列,并將64位感知哈希序列與指尖哈
希序列模板匹配,則最大匹配區域為指尖區域;最后設定匹配距離的閾值來判
斷是否將64位感知哈希序列更新為指尖哈希序列模板,設定指尖輪廓匹配點數
的閾值來判斷指尖區域是否跟蹤正確,若正確則進行下一輪的指尖跟蹤,實現
指尖持續跟蹤,若不正確則返回第一步。
2.根據權利要求1所述的基于雙向光流和感知哈希的指尖跟蹤方法,其特
征在于:在第一步中,所述捕獲場景信息,通過計算與場景信息對應的稠密光
流信息并進行二值化預處理得到含有手部區域的場景圖像;再構建膚色濾波器,
對含有手部區域的場景圖像進行手部區域的分割,得到手部區域是指:包括以
下步驟:
(1.1)捕獲場景信息,并計算與之對應的稠密光流信息;
(1.2)遍歷光流信息,尋找最大光流值,并利用該最大光流值,在X軸和
Y軸方向對所有光流進行正則化處理;
(1.3)根據正則化后的光流,計算沿光流方向發生變化的區域的色調和飽
和度,并標記不同的顏色值;
(1.4)設定閾值,根據閾值將顏色標記的光流變化區域轉化為二值圖像,
結合邏輯運算和數學形態學運算,獲得含有手部區域的場景圖像。
(1.5)根據人體膚色聚類特性,構造YCbCr膚色濾波器,剔除冗余色彩和
亮度信息;
(1.6)對YCbCr膚色濾波器過濾后對含有手部區域的場景圖像的所有輪廓
進行遞減排序,尋找最大連通區域作為手部區域,實現對含有手部區域的場景
圖像進行手部區域的分割。
3.根據權利要求1所述的基于雙向光流和感知哈希的指尖跟蹤方法,其特
征在于:在第二步中,所述對手部區域的輪廓進行采樣,對各輪廓點進行向量
點積和叉乘計算來剔除非指尖的輪廓點,得到候選指尖點;再根據指尖的幾何
特性設定閾值,統計候選指尖點附近被剔除非指尖輪廓點的數目并與閾值比較,
來檢測指尖點的位置并得到指尖輪廓點;若沒有檢測到指尖點,則返回第一步
重新初始化是指:包括以下步驟:
(2.1)對手部區域輪廓進行采樣,并計算各個輪廓點的向量點積,其中向
量點積為K曲率;
(2.2)設定閾值T1、T2,對K曲率在閾值T1和T2之間的輪廓點進行向量
叉乘計算,根據計算結果來剔除非指尖的輪廓點,得到候選指尖點;
(2.3)根據指尖的幾何特性設定閾值T0,統計候選指尖點附近不滿足向量
叉乘計算結果的連續分布的輪廓點個數并與閾值T0比較,來檢測指尖點的位置
并得到指尖輪廓點;若沒有檢測到指尖點,則返回第一步重新初始化。
4.根據權利要求3所述的基于雙向光流和感知哈希的指尖跟蹤方法,其特
征在于:在步驟(2.1)中,所述計算各個輪廓點的向量點積是指:采用公式(1)
計算各個輪廓點的余弦絕對值:
| c o s α | = | V 1 · V 2 | V 1 | | V 2 | | - - - ( 1 ) ]]>
其中,為輪廓上某一點P0與前面第K個點P1構成的向量,為
輪廓上某一點P0與后面第K個點P2構成的向量。
5.根據權利要求4所述的基于雙向光流和感知哈希的指尖跟蹤方法,其特
征在于:在步驟(2.2)中,所述對K曲率在閾值T1和T2之間的輪廓點進行向
量叉乘計算,根據計算結果來剔除非指尖的輪廓點,得到候選指尖點是指:若
輪廓點的余弦絕對值滿足公式(2),則通過公式(3)進行該點的向量叉乘計算;
否則該點無需進行向量叉乘計算;
T 1 | cos α | P 0 < T 2 - - - ( 2 ) ]]>
V=V1×V2(3)
若向量叉乘V>0,則該輪廓點為候選指尖點,否則判斷為非指尖的輪廓點
并剔除。
6.根據權利要求5所述的基于雙向光流和感知哈希的指尖跟蹤方法,其特
征在于:在步驟(2.3)中,所述統計候選指尖點附近不滿足向量叉乘計算結果
的連續分布的輪廓點個數并與閾值T0比較,來檢測指尖點的位置并得到指尖輪
廓點是指:統計每個候選指尖點附近不滿足向量叉乘V>0的連續分布的輪廓點
的個數N,若N>T0時,其對應的候選指尖點為指尖輪廓點,并檢測到該指尖輪
廓點的位置;否則返回第一步重新初始化。
7.根據權利要求1所述的基于雙向光流和感知哈希的指尖跟蹤方法,其特
征在于:在第三步中,所述利用雙向金字塔光流算法對指尖輪廓點計算,得到
雙向匹配的指尖輪廓點來對指尖運動區域進行估計;在指尖的估計運動區域中,
采用搜索窗策略依次進行離散余弦變換,提取鄰域,并計算對應離散余弦變換
低頻系數矩陣,采用感知哈希算法生成64位感知哈希序列,并將64位感知哈
希序列與指尖哈希序列模板匹配,則最大匹配區域為指尖區域;最后設定匹配
距離的閾值來判斷是否將64位感知哈希序列更新為指尖哈希序列模板,設定指
尖輪廓匹配點數的閾值來判斷指尖區域是否跟蹤正確,若正確則進行下一輪的
指尖跟蹤,實現指尖持續跟蹤,若不正確則返回第一步,包括以下步驟:
(3.1)對第二步檢測到的指尖輪廓點進行正向光流計算,獲得下一幀中與
之對應的正向估計指尖輪廓點;
(3.2)對正向估計指尖輪廓點進行逆向光流計算,獲得當前幀中與之對應
的逆向估計指尖輪廓點;
(3.3)匹配初始指尖輪廓點和逆向估計指尖輪廓點,獲得能進行雙向匹配
的指尖輪廓點;
(3.4)利用雙向匹配指尖輪廓點對指尖在下一幀中運動區域進行估計;
(3.5)在指尖運動估計區域中,采用搜索窗策略,在搜索窗區域依次進行
離散余弦變換,并提取離散余弦變換后左上角8×8鄰域內的低頻有效成分,得
到對應的離散余弦系數矩陣;
(3.6)計算離散余弦系數矩陣的中值,并將鄰域內各像素點與中值進行對
比,生成64位的感知哈希序列;
(3.7)將64位感知哈希序列與上一幀跟蹤結果保留的指尖哈希序列模板進
行匹配分析,則最大匹配區域為指尖區域;其中,初始化結束后的跟蹤過程中,
指尖哈希序列模板根據初始化結果設定;
(3.8)設定匹配距離的閾值T3來判斷是否將64位感知哈希序列更新為指
尖哈希序列模板;
(3.9)設定指尖輪廓匹配點數的閾值T4來判斷指尖區域是否跟蹤正確,若
指尖輪廓匹配點數M<T4,則發生顯著的指尖目標丟失,返回第一步,重新初始
化檢測指尖輪廓點;否則判斷指尖區域跟蹤正確,返回步驟(3.1)進行下一輪
的指尖跟蹤,實現指尖持續跟蹤。
8.根據權利要求7所述的基于雙向光流和感知哈希的指尖跟蹤方法,其特
征在于:在步驟(3.5)中,所述在指尖運動估計區域中,采用搜索窗策略,在
搜索窗區域依次進行離散余弦變換,并提取離散余弦變換后左上角8×8鄰域內
的低頻有效成分,得到對應的離散余弦系數矩陣是指:在指尖的估計運動區域
中,采用搜索窗策略,設置16×16的搜索窗,從運動估計區域的左上角到右下
角,依次將16×16的圖像塊轉化為灰度圖像,并進行離散余弦變換,提取離散
余弦變換后左上角8×8鄰域的低頻有效成分,計算對應的離散余弦系數矩陣。
9.根據權利要求7所述的基于雙向光流和感知哈希的指尖跟蹤方法,其特
征在于:在步驟(3.8)中,所述設定匹配距離的閾值T3來判斷是否將64位感
知哈希序列更新為指尖哈希序列模板是指:計算64位感知哈希序列的漢明距離,
通過公式(4)將漢明距離和閾值T3判斷是否將64位感知哈希序列更新為指尖
哈希序列模板;
D h a m min g ( S t e m p l a t e , S n e w ) T 3 , T e m p l a t e u p d a t e D h a m min g ( S t e m p l a t e , S n e w ) < T 3 , T e m p l a t e n o u p d a t e - - - ( 4 ) ]]>
若漢明距離Dhamming(Stemplate,Snew)≥T3,則將64位感知哈希序列更新為指尖哈
希序列模板,否則不更新指尖哈希序列模板。

說明書

基于雙向光流和感知哈希的指尖跟蹤方法

技術領域

本發明涉及圖像處理與分析技術領域,更具體地說,涉及一種基于雙向光
流和感知哈希的指尖跟蹤方法。

背景技術

傳統的人機交互主要是通過鼠標或者鍵盤等媒介完成人與計算的信息交
換,這種交互方法的媒介需要占用一定的空間,使用很不方便。如今,隨著計
算機科學技術與人工智能技術的發展,人機交互不斷發展,諸如觸屏、語音識
別、計算機視覺等技術的應用,使得人機交互系統變得越來越便捷友好。

作為基于計算機視覺的人機交互系統的重要組成部分,指尖跟蹤在近年來
吸引了越來越多研究人員的關注。指尖跟蹤技術可以被廣泛應用于手勢識別、
身份認證、鼠標控制、家庭娛樂遠程控制等領域,具有極大的商業價值。當前
的指尖跟蹤技術大體上可以分為兩類:一種是通過不斷檢測指尖的方式來實現
持續性的跟蹤;另一種是先檢測指尖,再通過分析、預測等方式實現指尖持續
跟蹤。

第一種指尖跟蹤技術典型的實現方式是用特殊顏料標記指尖或者用彩色膠
布綁在指尖上,攝像頭捕獲視頻場景信息,通過跟蹤場景中這種特殊顏色的方
式來檢測跟蹤指尖。然而這種方式每次都需要進行特殊顏色標記,使用很不方
便,同時,這種方式只能用于場景很簡單的情況下。有一部分研究者提出利用
數據手套,通過傳感器數據進行指尖定位,這種方式實現的指尖跟蹤效果比較
理想,但是數據手套一般價格比較高,使用也不方便,推廣性較差。近年來,
隨著攝像頭工藝技術的發展,尤其是微軟發展的特殊攝像頭Kinect,很多研究
人員開始考慮特殊攝像頭在手指跟蹤等人機交互系統中的應用。這些特殊的攝
像頭一般能提供比普通攝像頭更多的有用信息,人機交互的效果也比較理想,
但是特殊攝像頭畢竟普及性較差、價格較高、不適合推廣。總體而言,這一種
指尖跟蹤的方式由于只進行持續的檢測,往往會忽略時間和空間在視頻場景中
的關系,導致手指跟蹤效果比較一般,容易出現跳躍性跟蹤、跟蹤軌跡不連續
等問題。

第二種指尖跟蹤技術是最近幾年才被提出來的,主要是通過各種技術檢測
視頻場景中的指尖位置后,利用速度位置預測、粒子濾波等方式實現持續性的
指尖跟蹤。然而,當前這類技術尚未成熟,大多數算法跟蹤效果一般,很多都
只能在簡單的場景中進行應用。

由此可見,現階段通過普通攝像頭捕獲視頻場景,實現復雜環境中指尖的
持續跟蹤,具有使用方便、推廣性強、魯棒性好等優點,是手指人機交互系統
研究的趨勢。

發明內容

本發明的目的在于彌補現有指尖檢測與跟蹤技術的不足,提供一種基于雙
向光流和感知哈希的指尖跟蹤方法,該指尖跟蹤方法可有效實現在復雜環境下
指尖的持續性跟蹤,同時避免了因指尖跟蹤軌跡不連續導致指尖跟蹤效果差的
問題。

為了達到上述目的,本發明通過下述技術方案予以實現:一種基于雙向光
流和感知哈希的指尖跟蹤方法,用于對手部的指尖進行持續跟蹤;其特征在于:
包括以下三個步驟:

第一步,捕獲場景信息,通過計算與場景信息對應的稠密光流信息并進行
二值化預處理得到含有手部區域的場景圖像;再構建膚色濾波器,對含有手部
區域的場景圖像進行手部區域的分割,得到手部區域;

第二步,對手部區域的輪廓進行采樣,對各輪廓點進行向量點積和叉乘計
算來剔除非指尖的輪廓點,得到候選指尖點;再根據指尖的幾何特性設定閾值,
統計候選指尖點附近被剔除非指尖輪廓點的數目并與閾值比較,來檢測指尖點
的位置并得到指尖輪廓點;若沒有檢測到指尖點,則返回第一步重新初始化;

第三步,利用雙向金字塔光流算法對指尖輪廓點計算,得到雙向匹配的指
尖輪廓點來對指尖運動區域進行估計;在指尖的估計運動區域中,采用搜索窗
策略依次進行離散余弦變換,提取鄰域,并計算對應離散余弦變換低頻系數矩
陣,采用感知哈希算法生成64位感知哈希序列,并將64位感知哈希序列與指
尖哈希序列模板匹配,則最大匹配區域為指尖區域;最后設定匹配距離的閾值
來判斷是否將64位感知哈希序列更新為指尖哈希序列模板,設定指尖輪廓匹配
點數的閾值來判斷指尖區域是否跟蹤正確,若正確則進行下一輪的指尖跟蹤,
實現指尖持續跟蹤,若不正確則返回第一步。

在第一步中,所述捕獲場景信息,通過計算與場景信息對應的稠密光流信
息并進行二值化預處理得到含有手部區域的場景圖像;再構建膚色濾波器,對
含有手部區域的場景圖像進行手部區域的分割,得到手部區域是指:包括以下
步驟:

(1.1)捕獲場景信息,并計算與之對應的稠密光流信息;

(1.2)遍歷光流信息,尋找最大光流值,并利用該最大光流值,在X軸和
Y軸方向對所有光流進行正則化處理;

(1.3)根據正則化后的光流,計算沿光流方向發生變化的區域的色調和飽
和度,并標記不同的顏色值;

(1.4)設定閾值,根據閾值將顏色標記的光流變化區域轉化為二值圖像,
結合邏輯運算和數學形態學運算,獲得含有手部區域的場景圖像。

(1.5)根據人體膚色聚類特性,構造YCbCr膚色濾波器,剔除冗余色彩和
亮度信息;

(1.6)對YCbCr膚色濾波器過濾后對含有手部區域的場景圖像的所有輪廓
進行遞減排序,尋找最大連通區域作為手部區域,實現對含有手部區域的場景
圖像進行手部區域的分割。

在第二步中,所述對手部區域的輪廓進行采樣,對各輪廓點進行向量點積
和叉乘計算來剔除非指尖的輪廓點,得到候選指尖點;再根據指尖的幾何特性
設定閾值,統計候選指尖點附近被剔除非指尖輪廓點的數目并與閾值比較,來
檢測指尖點的位置并得到指尖輪廓點;若沒有檢測到指尖點,則返回第一步重
新初始化是指:包括以下步驟:

(2.1)對手部區域輪廓進行采樣,并計算各個輪廓點的向量點積,其中向
量點積為K曲率;

(2.2)設定閾值T1、T2,對K曲率在閾值T1和T2之間的輪廓點進行向量
叉乘計算,根據計算結果來剔除非指尖的輪廓點,得到候選指尖點;

(2.3)根據指尖的幾何特性設定閾值T0,統計候選指尖點附近不滿足向量
叉乘計算結果的連續分布的輪廓點個數并與閾值T0比較,來檢測指尖點的位置
并得到指尖輪廓點;若沒有檢測到指尖點,則返回第一步重新初始化。

在步驟(2.1)中,所述計算各個輪廓點的向量點積是指:采用公式(1)計
算各個輪廓點的余弦絕對值:

| c o s α | = | V 1 · V 2 | V 1 | | V 2 | | - - - ( 1 ) ]]>

其中,為輪廓上某一點P0與前面第K個點P1構成的向量,為
輪廓上某一點P0與后面第K個點P2構成的向量。

在步驟(2.2)中,所述對K曲率在閾值T1和T2之間的輪廓點進行向量叉
乘計算,根據計算結果來剔除非指尖的輪廓點,得到候選指尖點是指:若輪廓
點的余弦絕對值滿足公式(2),則通過公式(3)進行該點的向量叉乘計算;否
則該點無需進行向量叉乘計算;

T 1 < | cos α | P 0 < T 2 - - - ( 2 ) ]]>

V=V1×V2(3)

若向量叉乘V>0,則該輪廓點為候選指尖點,否則判斷為非指尖的輪廓點
并剔除。

在步驟(2.3)中,所述統計候選指尖點附近不滿足向量叉乘計算結果的連
續分布的輪廓點個數并與閾值T0比較,來檢測指尖點的位置并得到指尖輪廓點
是指:統計每個候選指尖點附近不滿足向量叉乘V>0的連續分布的輪廓點的個
數N,若N>T0時,其對應的候選指尖點為指尖輪廓點,并檢測到該指尖輪廓點
的位置;否則返回第一步重新初始化。

在第三步中,所述利用雙向金字塔光流算法對指尖輪廓點計算,得到雙向
匹配的指尖輪廓點來對指尖運動區域進行估計;在指尖的估計運動區域中,采
用搜索窗策略依次進行離散余弦變換,提取鄰域,并計算對應離散余弦變換低
頻系數矩陣,采用感知哈希算法生成64位感知哈希序列,并將64位感知哈希
序列與指尖哈希序列模板匹配,則最大匹配區域為指尖區域;最后設定匹配距
離的閾值來判斷是否將64位感知哈希序列更新為指尖哈希序列模板,設定指尖
輪廓匹配點數的閾值來判斷指尖區域是否跟蹤正確,若正確則進行下一輪的指
尖跟蹤,實現指尖持續跟蹤,若不正確則返回第一步,包括以下步驟:

(3.1)對第二步檢測到的指尖輪廓點進行正向光流計算,獲得下一幀中與
之對應的正向估計指尖輪廓點;

(3.2)對正向估計指尖輪廓點進行逆向光流計算,獲得當前幀中與之對應
的逆向估計指尖輪廓點;

(3.3)匹配初始指尖輪廓點和逆向估計指尖輪廓點,獲得能進行雙向匹配
的指尖輪廓點;

(3.4)利用雙向匹配指尖輪廓點對指尖在下一幀中運動區域進行估計;

(3.5)在指尖運動估計區域中,采用搜索窗策略,在搜索窗區域依次進行
離散余弦變換,并提取離散余弦變換后左上角8×8鄰域內的低頻有效成分,得
到對應的離散余弦系數矩陣;

(3.6)計算離散余弦系數矩陣的中值,并將鄰域內各像素點與中值進行對
比,生成64位的感知哈希序列;

(3.7)將64位感知哈希序列與上一幀跟蹤結果保留的指尖哈希序列模板進
行匹配分析,則最大匹配區域為指尖區域;其中,初始化結束后的跟蹤過程中,
指尖哈希序列模板根據初始化結果設定;

(3.8)設定匹配距離的閾值T3來判斷是否將64位感知哈希序列更新為指
尖哈希序列模板;

(3.9)設定指尖輪廓匹配點數的閾值T4來判斷指尖區域是否跟蹤正確,若
指尖輪廓匹配點數M<T4時,則發生顯著的指尖目標丟失,返回第一步,重新初
始化檢測指尖輪廓點;否則判斷指尖區域跟蹤正確,返回步驟(3.1)進行下一
輪的指尖跟蹤,實現指尖持續跟蹤。

在步驟(3.5)中,所述在指尖運動估計區域中,采用搜索窗策略,在搜索
窗區域依次進行離散余弦變換,并提取離散余弦變換后左上角8×8鄰域內的低
頻有效成分,得到對應的離散余弦系數矩陣是指:在指尖的估計運動區域中,
采用搜索窗策略,設置16×16的搜索窗,從運動估計區域的左上角到右下角,
依次將16×16的圖像塊轉化為灰度圖像,并進行離散余弦變換,提取離散余弦
變換后左上角8×8鄰域的低頻有效成分,計算對應的離散余弦系數矩陣。

在步驟(3.8)中,所述設定匹配距離的閾值T3來判斷是否將64位感知哈
希序列更新為指尖哈希序列模板是指:計算64位感知哈希序列的漢明距離,通
過公式(4)將漢明距離和閾值T3判斷是否將64位感知哈希序列更新為指尖哈
希序列模板;

D h a m min g ( S t e m p l a t e , S n e w ) T 3 , T e m p l a t e u p d a t e D h a m min g ( S t e m p l a t e , S n e w ) < T 3 , T e m p l a t e n o u p d a t e - - - ( 4 ) ]]>

若漢明距離Dhamming(Stemplate,Snew)≥T3,則將64位感知哈希序列更新為指尖哈
希序列模板,否則不更新指尖哈希序列模板。本發明中,初始化結束后的第一
次跟蹤,指尖哈希序列模板根據初始化結果設定;之后的持續跟蹤過程,指尖
哈希序列模板則根據上一幀跟蹤過程設定,即上一幀跟蹤過程被更新的指尖哈
希序列模板。

與現有技術相比,本發明具有如下優點與有益效果:

1、本方法在實施時使用的是普通攝像頭捕獲場景視頻,無需特殊設備,人
手也無需特殊標記。本方法通過計算稠密光流和構建膚色濾波器,能從復雜場
景中正確地分割出手部所在區域,可以應對場景中包含大量類膚色區域和背景
變換等情況;之后,通過改進K曲率方法,尋找到正確的指尖點所在位置,確
保指尖點同時滿足曲率特性和幾何特性;最后,根據指尖檢測結果,利用雙向
金字塔光流和感知哈希實現指尖持續跟蹤,其中,雙向金字塔光流應用于指尖
輪廓點前后關聯性分析,能夠準確預測當前目標的運動趨勢與運動范圍;感知
哈希匹配的應用能夠在運動估計范圍內找到最大似然目標。此外,在進行指尖
跟蹤過程中,本方法引入了模板更新與輪廓匹配點更新的策略,實現指尖穩定
高效的跟蹤。

2、本發明指尖跟蹤方法可有效實現在復雜環境下指尖的持續性跟蹤,同時
避免了因指尖跟蹤軌跡不連續導致指尖跟蹤效果差的問題。

附圖說明

圖1是本發明指尖跟蹤方法的流程框圖;

圖2是第一步從復雜環境中分割完整的手部區域的方法流程圖;

圖3是第二步對手部區域圖像進行指尖檢測的方法流程圖;

圖4是第二步中輪廓上某一點P0與前面第K個點P1和后面第K個點P2的位
置示意圖;

圖5是第三步基于雙向金字塔光流和感知哈希實現持續性指尖跟蹤的方法
流程圖;

圖6是第三步中獲得能進行雙向匹配的指尖輪廓點的過程示意圖;

具體實施方式

下面結合附圖與具體實施方式對本發明作進一步詳細的描述。

實施例

如圖1至圖6所示,本發明一種基于雙向光流和感知哈希的指尖跟蹤方法,
用于對手部的指尖進行持續跟蹤;該包括以下三個步驟:

第一步,捕獲場景信息,通過計算與場景信息對應的稠密光流信息并進行
二值化預處理得到含有手部區域的場景圖像;再構建膚色濾波器,對含有手部
區域的場景圖像進行手部區域的分割,得到手部區域;

第二步,對手部區域的輪廓進行采樣,對各輪廓點進行向量點積和叉乘計
算來剔除非指尖的輪廓點,得到候選指尖點;再根據指尖的幾何特性設定閾值,
統計候選指尖點附近被剔除非指尖輪廓點的數目并與閾值比較,來檢測指尖點
的位置并得到指尖輪廓點;若沒有檢測到指尖點,則返回第一步重新初始化;

第三步,利用雙向金字塔光流算法對指尖輪廓點計算,得到雙向匹配的指
尖輪廓點來對指尖運動區域進行估計;在指尖的估計運動區域中,采用搜索窗
策略依次進行離散余弦變換,提取鄰域,并計算對應離散余弦變換低頻系數矩
陣,采用感知哈希算法生成64位感知哈希序列,并將64位感知哈希序列與指
尖哈希序列模板匹配,則最大匹配區域為指尖區域;最后設定匹配距離的閾值
來判斷是否將64位感知哈希序列更新為指尖哈希序列模板,設定指尖輪廓匹配
點數的閾值來判斷指尖區域是否跟蹤正確,若正確則進行下一輪的指尖跟蹤,
實現指尖持續跟蹤,若不正確則返回第一步。

在第一步中,所述捕獲場景信息,通過計算與場景信息對應的稠密光流信
息并進行二值化預處理得到含有手部區域的場景圖像;再構建膚色濾波器,對
含有手部區域的場景圖像進行手部區域的分割,得到手部區域是指:包括以下
步驟:

(1.1)捕獲場景信息,并計算與之對應的稠密光流信息;雖然稠密光流的
計算量一般都很大,但在本方法中,由于本發明計算稠密光流只是為了獲取手
部候選大致區域,因此我們使用雙層的金字塔進行光流計算,并設定較大的搜
索窗口(15x15);

(1.2)遍歷光流信息,尋找最大光流值,并利用該最大光流值,在X軸和
Y軸方向對所有光流進行正則化處理;

(1.3)根據正則化后的光流,計算沿光流方向發生變化的區域的色調和飽
和度,并標記不同的顏色值;

(1.4)設定閾值,根據閾值將顏色標記的光流變化區域轉化為二值圖像,
結合邏輯運算和數學形態學運算,獲得含有手部區域的場景圖像。

(1.5)根據人體膚色聚類特性,構造YCbCr膚色濾波器,剔除冗余色彩和
亮度信息;由于人體膚色的分布具有明顯的聚類特性,結合大量的實驗結果,
可以將RGB圖像轉化為YCbCr圖像,并選定狹長的色帶
(Cb∈[100,127],Cr∈[128,170])作為膚色模型,構造YCbCr膚色濾波器。

(1.6)對YCbCr膚色濾波器過濾后對含有手部區域的場景圖像的所有輪廓
進行遞減排序,尋找最大連通區域作為手部區域,實現對含有手部區域的場景
圖像進行手部區域的分割。

在第二步中,所述對手部區域的輪廓進行采樣,對各輪廓點進行向量點積
和叉乘計算來剔除非指尖的輪廓點,得到候選指尖點;再根據指尖的幾何特性
設定閾值,統計候選指尖點附近被剔除非指尖輪廓點的數目并與閾值比較,來
檢測指尖點的位置并得到指尖輪廓點;若沒有檢測到指尖點,則返回第一步重
新初始化是指:包括以下步驟:

(2.1)對手部區域輪廓進行采樣,并計算各個輪廓點的向量點積,其中向
量點積為K曲率;

(2.2)設定閾值T1、T2,對K曲率在閾值T1和T2之間的輪廓點進行向量
叉乘計算,根據計算結果來剔除非指尖的輪廓點,得到候選指尖點;

(2.3)根據指尖的幾何特性設定閾值T0,統計候選指尖點附近不滿足向量
叉乘計算結果的連續分布的輪廓點個數并與閾值T0比較,來檢測指尖點的位置
并得到指尖輪廓點;若沒有檢測到指尖點,則返回第一步重新初始化。

在步驟(2.1)中,所述計算各個輪廓點的向量點積是指:采用公式(1)計
算各個輪廓點的余弦絕對值:

| c o s α | = | V 1 · V 2 | V 1 | | V 2 | | - - - ( 1 ) ]]>

其中,為輪廓上某一點P0與前面第K個點P1構成的向量,為
輪廓上某一點P0與后面第K個點P2構成的向量。

在步驟(2.2)中,所述對K曲率在閾值T1和T2之間的輪廓點進行向量叉
乘計算,根據計算結果來剔除非指尖的輪廓點,得到候選指尖點是指:若輪廓
點的余弦絕對值滿足公式(2),則通過公式(3)進行該點的向量叉乘計算;否
則該點無需進行向量叉乘計算;

T 1 < | cos α | P 0 < T 2 - - - ( 2 ) ]]>

V=V1×V2(3)

若向量叉乘V>0,則該輪廓點為候選指尖點,否則判斷為非指尖的輪廓點
并剔除。

在步驟(2.3)中,所述統計候選指尖點附近不滿足向量叉乘計算結果的連
續分布的輪廓點個數并與閾值T0比較,來檢測指尖點的位置并得到指尖輪廓點
是指:統計每個候選指尖點附近不滿足向量叉乘V>0的連續分布的輪廓點的個
數N,若N>T0時,其對應的候選指尖點為指尖輪廓點,并檢測到該指尖輪廓點
的位置;否則返回第一步重新初始化。

在第三步中,所述利用雙向金字塔光流算法對指尖輪廓點計算,得到雙向
匹配的指尖輪廓點來對指尖運動區域進行估計;在指尖的估計運動區域中,采
用搜索窗策略依次進行離散余弦變換,提取鄰域,并計算對應離散余弦變換低
頻系數矩陣,采用感知哈希算法生成64位感知哈希序列,并將64位感知哈希
序列與指尖哈希序列模板匹配,則最大匹配區域為指尖區域;最后設定匹配距
離的閾值來判斷是否將64位感知哈希序列更新為指尖哈希序列模板,設定指尖
輪廓匹配點數的閾值來判斷指尖區域是否跟蹤正確,若正確則進行下一輪的指
尖跟蹤,實現指尖持續跟蹤,若不正確則返回第一步,包括以下步驟:

(3.1)對第二步檢測到的指尖輪廓點進行正向光流計算,獲得下一幀中與
之對應的正向估計指尖輪廓點;

(3.2)對正向估計指尖輪廓點進行逆向光流計算,獲得當前幀中與之對應
的逆向估計指尖輪廓點;

(3.3)匹配初始指尖輪廓點和逆向估計指尖輪廓點,獲得能進行雙向匹配
的指尖輪廓點;

(3.4)利用雙向匹配指尖輪廓點對指尖在下一幀中運動區域進行估計;

(3.5)在指尖運動估計區域中,采用搜索窗策略,在搜索窗區域依次進行
離散余弦變換,并提取離散余弦變換后左上角8×8鄰域內的低頻有效成分,得
到對應的離散余弦系數矩陣;

(3.6)計算離散余弦系數矩陣的中值,并將鄰域內各像素點與中值進行對
比,生成64位的感知哈希序列;

(3.7)將64位感知哈希序列與上一幀跟蹤結果保留的指尖哈希序列模板進
行匹配分析,則最大匹配區域為指尖區域;其中,初始化結束后的跟蹤過程中,
指尖哈希序列模板根據初始化結果設定;

(3.8)設定匹配距離的閾值T3來判斷是否將64位感知哈希序列更新為指
尖哈希序列模板;

(3.9)設定指尖輪廓匹配點數的閾值T4來判斷指尖區域是否跟蹤正確,若
指尖輪廓匹配點數M<T4時,則發生顯著的指尖目標丟失,返回第一步,重新初
始化檢測指尖輪廓點;否則判斷指尖區域跟蹤正確,返回步驟(3.1)進行下一
輪的指尖跟蹤,實現指尖持續跟蹤。

在步驟(3.5)中,所述在指尖運動估計區域中,采用搜索窗策略,在搜索
窗區域依次進行離散余弦變換,并提取離散余弦變換后左上角8×8鄰域內的低
頻有效成分,得到對應的離散余弦系數矩陣是指:在指尖的估計運動區域中,
采用搜索窗策略,設置16×16的搜索窗,從運動估計區域的左上角到右下角,
依次將16×16的圖像塊轉化為灰度圖像,并進行離散余弦變換,提取離散余弦
變換后左上角8×8鄰域的低頻有效成分,計算對應的離散余弦系數矩陣。

在步驟(3.8)中,所述設定匹配距離的閾值T3來判斷是否將64位感知哈
希序列更新為指尖哈希序列模板是指:計算64位感知哈希序列的漢明距離,通
過公式(4)將漢明距離和閾值T3判斷是否將64位感知哈希序列更新為指尖哈
希序列模板;

D h a m min g ( S t e m p l a t e , S n e w ) T 3 , T e m p l a t e u p d a t e D h a m min g ( S t e m p l a t e , S n e w ) < T 3 , T e m p l a t e n o u p d a t e - - - ( 4 ) ]]>

若漢明距離Dhamming(Stemplate,Snew)≥T3,則將64位感知哈希序列更新為指尖哈
希序列模板,否則不更新指尖哈希序列模板。本發明中,初始化結束后的第一
次跟蹤,指尖哈希序列模板根據初始化結果設定;之后的持續跟蹤過程,指尖
哈希序列模板則根據上一幀跟蹤過程設定,即上一幀跟蹤過程被更新的指尖哈
希序列模板。

上述實施例為本發明較佳的實施方式,但本發明的實施方式并不受上述實
施例的限制,其他的任何未背離本發明的精神實質與原理下所作的改變、修飾、
替代、組合、簡化,均應為等效的置換方式,都包含在本發明的保護范圍之內。

關 鍵 詞:
基于 雙向 感知 指尖 跟蹤 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:基于雙向光流和感知哈希的指尖跟蹤方法.pdf
鏈接地址:http://www.rgyfuv.icu/p-6345446.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图