• / 41
  • 下載費用:30 金幣  

用于同軸眼睛凝視跟蹤的系統和方法.pdf

摘要
申請專利號:

CN201480028893.9

申請日:

2014.03.17

公開號:

CN105431078A

公開日:

2016.03.23

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):A61B 3/113申請日:20140317|||公開
IPC分類號: A61B3/113; A61B3/10; G06F3/01 主分類號: A61B3/113
申請人: 視譯公司
發明人: N·J·沙利文
地址: 加拿大魁北克省
優先權: 61/802,881 2013.03.18 US
專利代理機構: 北京三友知識產權代理有限公司11127 代理人: 呂俊剛; 劉久亮
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201480028893.9

授權公告號:

||||||

法律狀態公告日:

2018.11.02|||2016.04.20|||2016.03.23

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

提供了一種用于執行眼睛凝視跟蹤的系統和方法,該系統被配置成用該方法并且該方法包括:針對單個同軸成像裝置最優化場景的照明,在最優化的照明下,利用所述單個同軸成像裝置獲取圖像,以及處理所獲取的圖像,以執行凝視估計。還提供了動態照明控制、眼睛候選檢測和過濾、以及凝視估計技術。

權利要求書

1.一種用于執行眼睛凝視跟蹤的方法,該方法包括以下步驟:
最優化針對單個同軸成像裝置的場景的照明;
在最優化的照明下,利用所述單個同軸成像裝置獲取圖像;以及
處理獲取的所述圖像,以執行凝視估計。
2.根據權利要求1所述的方法,所述方法還包括以下步驟:向應用輸出凝視點。
3.根據權利要求1或2所述的方法,其中,最優化步驟包括以下步驟:利用照明
源修改通過成像傳感器檢測的照明。
4.根據權利要求1至3中的任一項所述的方法,其中,最優化步驟包括以下步驟
中的至少一個:修改成像傳感器,以調制通過所述傳感器接收的光的量;以及修改通
過所述成像傳感器接收的信號。
5.根據權利要求1至4中的任一項所述的方法,其中,最優化步驟包括以下步驟:
照明控制器從所述單個同軸成像裝置獲取照明參數,并且從該處理獲取當前眼睛
特征參數;
所述照明控制器利用所述當前眼睛特征強度參數來生成新照明參數;以及
所述照明控制器在所述單個同軸成像裝置的操作期間,向所述單個同軸成像裝置
提供所述新照明參數。
6.根據權利要求5所述的方法,其中,生成所述新照明參數的步驟包括以下步驟:
針對一個或更多個照明參數循環遍歷一值范圍,以尋找一只或更多只眼睛;以及
當能夠找到至少一只眼睛時,朝著理想修改所述一個或更多個照明參數。
7.根據權利要求6所述的方法,所述方法還包括以下步驟:選擇參數,以針對所
述理想接近眼睛。
8.根據權利要求6或7所述的方法,所述方法還包括以下步驟:當在所述場景中
檢測到一個以上的用戶時,基于外部指示符確定使用的眼睛。
9.根據權利要求6至8中的任一項所述的方法,所述方法還包括以下步驟:遍歷
所述值范圍應用單次通過,并且存儲眼睛特征強度。
10.根據權利要求1至9中的任一項所述的方法,其中,所述處理包括執行眼睛檢
測的步驟。
11.根據權利要求10所述的方法,其中,所述眼睛檢測包括以下步驟:執行眼睛
候選檢測,并且使用一組一只或更多只眼睛候選來執行眼睛候選過濾。
12.根據權利要求11所述的方法,所述方法還包括以下步驟:使用一組一只或更
多只所找到的眼睛來執行眼睛特征提取。
13.根據權利要求12所述的方法,其中,使用一組一個或更多個眼睛特征來執行
所述凝視估計。
14.根據權利要求10至13中的任一項所述的方法,其中,所述眼睛檢測包括以下
步驟:
從二進制圖像中提取一個或更多個二進制斑點;
利用所述二進制斑點排序瞳孔候選;以及
提供一組一只或更多只所排序眼睛候選。
15.根據權利要求14所述的方法,所述方法還包括以下步驟:
基于希望的眼睛特征強度來閾值化所獲取的圖像,以獲取所述二進制圖像。
16.根據權利要求14所述的方法,所述方法還包括以下步驟:
從所獲取的圖像計算梯度取向圖像和梯度量值圖像;以及
基于眼睛特征強度之間的希望對比度,向所述梯度量值圖像應用閾值化,以獲取
所述二進制圖像。
17.根據權利要求11至16中的任一項所述的方法,其中,所述眼睛候選過濾的步
驟包括以下步驟:
基于描述眼睛的至少一個標準來過濾眼睛候選;以及
針對最合適的雙眼來分析剩余候選。
18.根據權利要求1至17中的任一項所述的方法,其中,所述凝視估計包括以下
步驟:
針對所找到的眼睛,確定瞳孔中心與角膜閃光之間的矢量;
確定距離度量;
利用所述距離度量以及所述瞳孔中心與所述角膜閃光之間的所述矢量,來生成標
準化矢量;以及
根據所述標準化矢量的函數映射來確定凝視點。
19.根據權利要求18所述的方法,其中,所述距離度量使用以下中的任一個或更
多個:異色邊緣直徑或半徑、姿勢修正瞳孔距離、其它已知眼睛和面部特征關系、焦
深或散焦度量、以及其它外部提供距離度量。
20.根據權利要求1至19中的任一項所述的方法,所述方法還包括以下步驟:針
對所獲取的圖像執行圖像預處理。
21.根據權利要求1至20中的任一項所述的方法,其中,所述單個同軸成像裝置
聯接至電子裝置,該電子裝置被配置成在至少一個操作中利用眼睛跟蹤。
22.一種計算機可讀存儲介質,該計算機可讀存儲介質包括用于執行根據權利要
求1至21中的任一項所述的方法的計算機可執行指令。
23.一種包括處理模塊的凝視跟蹤系統,該處理模塊被配置成執行根據權利要求
1至21中的任一項所述的方法。
24.根據權利要求23所述的凝視跟蹤系統,所述凝視跟蹤系統還包括所述單個同
軸成像裝置。
25.根據權利要求23或24所述的凝視跟蹤系統,所述凝視跟蹤系統聯接至電子裝
置。
26.根據權利要求25所述的凝視跟蹤系統,其中,所述凝視跟蹤系統與所述電子
裝置集成。
27.根據權利要求23至26中的任一項所述的凝視跟蹤系統,其中,所述單個同軸
成像裝置包括成像傳感器和至少一個照明源。
28.根據權利要求27所述的凝視跟蹤系統,其中,所述成像傳感器是攝像機。
29.根據權利要求27或28所述的凝視跟蹤系統,其中,所述至少一個照明源包括
圍繞所述成像傳感器的照明源陣列。
30.根據權利要求23至29中的任一項所述的凝視跟蹤系統,其中,所述處理模塊
包括聯接至所述單個同軸成像裝置的照明控制器。
31.一種控制用于眼睛凝視跟蹤系統的照明的方法,該方法包括以下步驟:
從成像裝置獲取照明參數;
基于當前眼睛特征強度參數,生成新照明參數;以及
在單個同軸成像裝置的操作期間,向所述單個同軸成像裝置提供所述新照明參
數。
32.根據權利要求31所述的方法,所述方法還包括以下步驟:從通過所述眼睛凝
視跟蹤系統執行的處理獲取所述當前眼睛特征強度參數。
33.根據權利要求31或32所述的方法,所述方法還包括以下步驟:利用照明源來
修改通過成像傳感器檢測的照明。
34.根據權利要求31至33中的任一項所述的方法,所述方法還包括以下步驟中的
至少一個:修改成像傳感器,以調制通過所述傳感器接收的光的量;以及修改通過所
述成像傳感器接收的信號。
35.根據權利要求31至34中的任一項所述的方法,其中,生成所述新照明參數的
步驟包括以下步驟:
針對一個或更多個照明參數循環遍歷一值范圍,以尋找一只或更多只眼睛;以及
當能夠找到至少一只眼睛時,朝著理想修改所述一個或更多個照明參數。
36.根據權利要求35所述的方法,所述方法還包括以下步驟:選擇參數,以針對
所述理想接近眼睛。
37.根據權利要求35或36所述的方法,所述方法還包括以下步驟:當在所述場景
中檢測到一個以上的用戶時,基于外部指示符確定使用的眼睛。
38.根據權利要求35至37中的任一項所述的方法,所述方法還包括以下步驟:遍
歷所述值范圍應用單次通過,并且存儲眼睛特征強度。
39.一種計算機可讀介質,該計算機可讀介質包括用于執行根據權利要求31至38
中的任一項所述的方法的計算機可執行指令。
40.一種包括處理器和存儲器的照明控制器,所述存儲器存儲用于執行根據權利
要求31至38中的任一項所述的方法的計算機可執行指令。
41.一種執行用于眼睛凝視跟蹤系統的眼睛檢測的方法,該方法包括以下步驟:
接收在最優化照明下利用單個同軸成像裝置獲取的圖像,以提供眼睛特征強度之
間的希望對比度;以及
針對所獲取的圖像執行眼睛檢測。
42.根據權利要求41所述的方法,其中,所述眼睛檢測包括以下步驟:執行眼睛
候選檢測,并且使用一組一只或更多只眼睛候選來執行眼睛候選過濾。
43.根據權利要求42所述的方法,所述方法還包括以下步驟:使用一組一只或更
多只所找到的眼睛,來執行眼睛特征提取。
44.根據權利要求43所述的方法,其中,使用一組一個或更多個眼睛特征,來執
行凝視估計。
45.根據權利要求41至44中的任一項所述的方法,其中,所述眼睛檢測包括以下
步驟:
從二進制圖像中提取一個或更多個二進制斑點;
利用所述二進制斑點排序瞳孔候選;以及
提供一組一只或更多只所排序眼睛候選。
46.根據權利要求45所述的方法,所述方法還包括以下步驟:
基于希望的眼睛特征強度來閾值化所獲取的圖像,以獲取所述二進制圖像。
47.根據權利要求45所述的方法,所述方法還包括以下步驟:
從所獲取的圖像計算梯度取向圖像和梯度量值圖像;以及
基于眼睛特征強度之間的希望對比度,向所述梯度量值圖像應用閾值化,以獲得
所述二進制圖像。
48.根據權利要求42至47中的任一項所述的方法,其中,所述眼睛候選過濾的步
驟包括以下步驟:
基于描述眼睛的至少一個標準來過濾眼睛候選;以及
針對最合適的雙眼來分析剩余候選。
49.一種計算機可讀介質,該計算機可讀介質包括用于執行根據權利要求41至48
中的任一項所述的方法的計算機可執行指令。
50.一種包括處理器和存儲器的眼睛檢測系統,所述存儲器存儲用于執行根據權
利要求41至48中的任一項所述的方法的計算機可執行指令。
51.一種執行用于眼睛凝視跟蹤系統的凝視估計的方法,該方法包括以下步驟:
接收在最優化照明下利用單個同軸成像裝置獲取的圖像;
確定至少一只所找到的眼睛;
針對所述至少一只所找到的眼睛,確定瞳孔中心與角膜閃光之間的矢量;
確定距離度量;
利用所述距離度量以及所述瞳孔中心與所述角膜閃光之間的所述矢量來生成標
準化矢量;以及
根據所述標準化矢量的函數映射來確定凝視點。
52.根據權利要求51所述的方法,其中,所述距離度量使用以下中的任一個或更
多個:異色邊緣直徑或半徑、姿勢修正瞳孔距離、其它已知眼睛和面部特征關系、焦
深或散焦度量、以及其它外部提供距離度量。
53.一種計算機可讀介質,該計算機可讀介質包括用于執行根據權利要求51或52
所述的方法的計算機可執行指令。
54.一種包括處理器和存儲器的眼睛凝視估計系統,所述存儲器存儲用于執行根
據權利要求51或52所述的方法的計算機可執行指令。

說明書

用于同軸眼睛凝視跟蹤的系統和方法

本申請要求保護2013年3月18日提交的美國臨時申請No.61/802881的優先權,
其內容通過引用并入于此。

技術領域

下面內容涉及用于同軸(on-axis)眼睛凝視(gaze)跟蹤的系統和方法。

背景技術

用于人與機器之間的交互的常見技術包括手動用戶接口裝置,如鍵盤、按鈕、操
縱桿以及點擊裝置(例如,鼠標器、針筆等)。眼睛凝視跟蹤系統方面的近期發展可
以確定單人眼睛的視線(LOS)矢量。該LOS信息可以被用作用于人機交互的控制
工具。

針對用戶至空間(例如,畫面)中一位置,已知有兩種一般類型的凝視估計過程。
即,函數映射和3D模型。在函數映射中,獲取畫面點和特征矢量對(通常經由校準
過程),并且每一對都包含當用戶凝視畫面上的所設置點時,從該用戶獲取的特征矢
量。接著,將這兩個數據集用于近似從特征矢量至畫面位置的凝視映射函數。

在基于3D模型的方法中,結合選定的眼睛模型使用所提取眼睛特征,來估計眼
睛的光學軸。該軸確定眼睛在空間中的角狀位置,并且可以結合用戶視軸的已知發散
性來使用,以估計用戶在看空間中的什么地方。

對于將眼睛凝視跟蹤信息用作控制工具來說,有許多缺點。例如,這種缺點可以
包括:眼睛的視覺系統與大腦中的所得圖像之間的直覺鏈接;相對于移動手動交互裝
置的眼睛移動速度(即,用戶通常在移動手動裝置之前看著該手動裝置的希望目的
地);以及眼睛凝視跟蹤技術可以被嚴重傷殘人士使用的可能性(僅舉幾個例子)。

用于眼睛凝視跟蹤系統的許多其它應用例如可以包括:深入眼睛移動與感知和/
或認知過程之間的連接的心理和生理研究;駕駛員意識分析;深入廣告和網站布局的
有效性的研究;以及凝視偶然顯示(僅舉幾個例子)。

典型地講,已知許多現有凝視跟蹤技術采用操作如下的系統,其中,分析所提供
的圖像數據以尋找眼睛,對所找到的眼睛進行特定特征提取,以及使用該特征來估計
畫面上的凝視點。然而,這些系統通常采用多個照明源和一個或更多個成像系統,以
便確定用戶的POG。這些系統趨于包含同軸和離軸照明源兩者,利用圖像差分方法
來檢測和跟蹤場景中的眼睛。根據這個情況,來自照明源的瞳孔中心和多角膜反射(還
已知為Purkinje圖像)被提取為眼睛特征,并且用于確定畫面上用戶的POG。

發明內容

在一個方面,提供了一種用于執行眼睛凝視跟蹤的方法,該方法包括以下步驟:
針對單個同軸成像裝置最優化場景的照明;在最優化的照明下,利用所述單個同軸成
像裝置獲取圖像;以及處理所獲取的圖像,以執行凝視估計。

在其它方面,提供了被配置成執行所述方法的計算機可讀介質和系統。

附圖說明

下面,參照其中附圖,僅通過示例的方式對實施方式進行描述:

圖1是其中將凝視跟蹤系統并入用于跟蹤用戶的凝視的電子裝置中的環境的示
意圖;

圖2例示了同軸配備電子裝置的示例;

圖3例示了同軸和離軸配備電子裝置的示例;

圖4是針對凝視跟蹤系統的配置的示例;

圖5圖像中的眼睛的示意性例示圖;

圖6是例示針對凝視跟蹤系統的配置的示例的框圖;

圖7A是例示動態照明過程的應用的狀態圖;

圖7B是例示動態照明與場景中的多個用戶的應用的狀態圖;

圖8是例示用于尋找第二瞳孔的過程的示意圖;

圖9是例示用于理想化瞳孔的過程的示意圖;

圖10是例示用于理想化瞳孔的另一過程的示意圖;

圖11是例示可以在動態照明過程中執行的示例計算機可執行操作的流程圖;

圖12是例示用于同軸眼睛候選檢測的處理的示例的流程圖;

圖13例示了利用理想化照明參數在同軸眼睛候選檢測處理內應用的同軸閾值化
的效果;

圖14例示了用于例示同軸眼睛候選檢測的處理的另一示例的流程圖;

圖15例示了同軸圖像的示例;

圖16例示了向圖15的同軸圖像應用圖像梯度量值;

圖17例示了向圖15的同軸圖像應用閾值化;

圖18是例示可以在眼睛候選過濾過程中執行的示例計算機可執行操作的流程圖;

圖19例示了通過凝視跟蹤系統利用瞳孔-閃光(glint)矢量和被用于標準化所例
示矢量的距離度量來照明的眼睛;

圖20例示了通過凝視跟蹤系統利用瞳孔-閃光矢量和被用于標準化所例示矢量的
異色邊緣(limbus)距離度量來照明的眼睛;

圖21是例示可以在凝視確定過程中執行的示例計算機可執行操作的流程圖;以及

圖22是例示可以在示例實現中通過凝視跟蹤系統執行的示例計算機可執行操作
的流程圖。

具體實施方式

應當清楚,為簡化和清楚地例示起見,在認為合適的情況下,附圖標記可以在圖
之間重復,以指示對應或類似部件。另外,闡述了許多具體細節,以便提供對在此描
述的示例的詳盡理解。然而,本領域普通技術人員應當明白,在此描述的示例可以在
不需要這些具體細節的情況下來實踐。在其它情況下,公知方法、過程以及組件未加
以詳細描述,以使不混淆在此描述的示例。而且,該描述不被視為限制如在此描述的
示例的范圍。

應當清楚,在此使用的示例和對應圖表僅出于例示性目的。在不脫離在此表達的
原理的情況下,可以使用不同的配置和術語。例如,在不脫離這些原理的情況下,可
以利用不同連接來添加、刪除、修改或者排列組件和模塊。

已經發現,大部分現存的基于紅外線的眼睛跟蹤系統需要同軸和離軸照明源兩
者,以便可靠跟蹤用戶的瞳孔。下文中說明的方法和算法描述了這樣的系統,其用于
具有包括同軸照明源的單個同軸傳感器的眼睛凝視跟蹤器。已經認識到,用于提供僅
具有單個傳感器的眼睛跟蹤系統的能力考慮到創建這樣一種眼睛跟蹤系統模塊,即,
其尺寸可以制作成容納在寬泛種類的電子裝置內,特別是手持式或個人電子裝置。例
如,在此描述的系統可以被設置成,以和標準膝上型電腦網絡攝像機(webcam)或
便攜式裝置攝像機類似的形狀因子來容納,其可以在膝上型電腦或多媒體裝置中以常
規方式接口化,作為直覺附加人機接口。可以清楚,雖然在此描述的示例僅按同軸配
置來例示,但所述原理可以等同地應用至同軸和離軸眼睛凝視跟蹤器,以改進它們的
可靠性,并且降低誤報(falsepositive)檢出率。

提供了這樣的一種系統,其被配置用于感測和跟蹤眼睛凝視特征,并且使用由其
獲取的信息來估計凝視點。這種系統在利用單個同軸傳感器來獲取眼睛凝視數據的配
置中特別有利。

下面提供了一種系統和要通過這種系統來實現的計算機可執行指令和操作,其用
于執行如下面更詳細討論的動態照明主體眼睛、同軸候選檢測技術、同軸候選過濾處
理,以及同軸凝視確定技術。如下更詳細描述的,該同軸眼睛候選過濾和同軸眼睛候
選檢測技術在此可以被通稱為眼睛檢測和跟蹤。同軸凝視確定技術在此還可以被稱為
使用來自圖像的提取特征以估計畫面上的凝視的方法。該動態照明可以被視為修改所
使用的裝置的參數來執行眼睛跟蹤,以實現用于凝視跟蹤的可接受圖像質量的并行處
理或技術。可以清楚,在此描述的技術可以并入到任何合適的眼睛凝視跟蹤系統。特
別地講,該動態照明和眼睛候選過濾算法可以獨立地模塊化,并且在任何眼睛凝視跟
蹤系統中使用以提高可靠性,并且潛在地增加這樣的用戶范圍,在該用戶范圍下凝視
跟蹤將可行和/或具有功能性。

在此描述的系統和方法提供了各種優點。例如,在此描述的系統和方法可以被采
用以縮減尺寸、增加模塊化以及增加這樣的用戶百分比,在該用戶百分比下凝視跟蹤
可行。

已經發現,通過允許可靠眼睛跟蹤裝置在具有單個共軸照明源的單個攝像機上起
作用,壓縮了硬件裝置的尺寸化約束到針對攝像機本身的尺寸化約束。這是因為與離
軸照明的尺寸化需求相比,包含共軸照明源通常最小,其在物理上受針對照明源在功
能方面不共軸的需求距離所約束。

而且,已經發現,模塊化方面的顯著增加(即,用于模塊化的能力)可以因深度
計算方法獨立于所使用的特定步驟而實現。例如,一旦在設計中選擇了攝像機模塊,
在此描述的系統可以按和與標準網絡攝像機連接類似的方式來連接。當與離軸配置相
比時,這特別有利,該離軸配置需要:要在照明源與攝像機模塊之間使用的更復雜的
設置和連接(例如,用于同步化等)。例如,因為距離度量經由三角測量來實現,所
以離軸照明源的距離通常限制了眼睛凝視跟蹤器可以起作用的范圍。可以注意到,對
于利用兩個攝像機的眼睛跟蹤系統來說,也發現了該問題,因為兩個攝像機系統使用
攝像機之間的距離,來三角測量用戶距該系統的距離。

下面的技術可以有利地使能夠增加眼睛參數方面的可變性的量,并由此,可應用
于更大的用戶基礎。在此描述的動態照明技術使得眼睛凝視系統能夠掃描更完整范圍
的可準許照明設置,以便尋找用戶,而已經發現以前的系統具有固定范圍,由此限制
了潛在的用戶基礎。還發現,在此描述的系統可以適于通過應用眼睛候選過濾算法準
確地除去瞳孔狀對象,來處理其它用戶情況,如用戶正佩戴眼鏡的情況。

下面,轉至附圖,圖1例示了其中將同軸凝視跟蹤系統10并入電子裝置12中的凝
視跟蹤環境8(即,其中執行凝視跟蹤的任何環境)。在圖1所示示例中,該凝視跟蹤
系統10跟蹤用戶18的一只或多只眼睛16的凝視14,該凝視14指向電子裝置12的至少一
個組件(例如,顯示屏)。該凝視跟蹤系統10包括具有視野(FOV)20的一個或更多
個成像組件(例如,下面所述),該視野考慮到對用戶18的眼睛16進行成像。

圖2例示了圖2所示的同軸配備電子裝置12的外部前視圖。當與圖3所示的同軸和
離軸配備電子裝置12'相比時,縮減復雜性是明顯的。如圖2所示,同軸凝視跟蹤系統
10包括成像裝置22,其提供照明和用于獲取FOV20內的圖像的至少一個透鏡部件(未
示出)。圖3所示同軸和離軸配備電子裝置12'可以包括在此描述的同軸凝視跟蹤系統
10(具有圖3所示的成像裝置22),并且包括附加離軸成像裝置24(位于圖3中的同軸
裝置22側面的兩個裝置24a、24b),和處于成像裝置22、24之間的同步組件26。可以
清楚的是,同軸凝視跟蹤系統10能夠并入更小裝置中,而不需要針對離軸組件的附加
分離。而且,如果不消除,則在很大程度上最小化組件的同步需要。

圖4示出了針對同軸凝視跟蹤系統10的配置的示例,其包括同軸成像裝置22和處
理模塊30。處理模塊30通常可以表示用于執行在此描述的各種技術、處理、方法以及
算法(可互換地使用的術語)的任一個或更多個組件、模塊、編程指令集等。處理模
塊30聯接至成像裝置22以接收所獲取圖像,并且提供用于控制使用如下面更詳細描述
的成像裝置22的指令和/或數據。同軸成像裝置22包括:成像模塊34(例如,攝像機)
和一個或更多個照明源32(例如,圍繞攝像機的一系列紅外LED)。同軸凝視跟蹤系
統10還包括用于與電子裝置12連接的通信總線或其它連接部40,以例如向電子裝置12
上的應用或處理提供眼睛凝視作為輸入。

成像裝置22、24獲取考慮到檢測用戶眼睛的圖像。圖5是可以在共軸或者同軸照
明下成像的眼睛的示例。在圖5中,該眼睛包括:瞳孔50、虹膜52、閃光54、鞏膜56、
以及周圍皮膚60。

下面,轉至圖6,示出了針對凝視跟蹤系統10的配置的示例。在圖6所示的構造中,
示出了各種功能框聯接至成像裝置22的處理模塊30。成像裝置22獲取同軸圖像,其被
提供給圖像預處理框72,用于針對該同軸圖像執行圖像增強技術。這可以包括修改原
始圖像以準許更容易的眼睛檢測和跟蹤、或者眼睛特征提取的任何方法。其示例可以
包括圖像的去噪聲、去模糊、對比度增強、以及邊緣增強。該預處理生成被提供給眼
睛檢測和跟蹤階段的修改圖像,其中,在所修改圖像上執行眼睛候選檢測74,以確定
眼睛候選,并且在眼睛候選上執行眼睛候選過濾76,以確定“所找到”的眼睛。將所找
到的眼睛提供給眼睛特征提取框78,以確定眼睛特征,其被提供給凝視估計框80,以
生成凝視點輸出,例如,提供給電子裝置12中的應用或處理。如圖6所示,并行地,
動態照明控制器70可以用于獲取來自成像裝置22的動態照明參數,和來自眼睛特征提
取框78的眼睛特征強度特征,以生成新動態照明參數,以便以正在進行為基礎來精煉
照明過程(例如,實現最優化或理想照明)。

在下面的討論和示例中,術語“斑點(blob)”可以參照數字圖像的具有公共特性
的區域來使用,使得該區域被視為獨特對象。該數字圖像可以通過根據預定度量來分
析并過濾,以使轉換成二進制圖像(即,具有范圍為兩個值的像素的圖像)。在這些
情況下,提取二進制斑點。還可以清楚的是,在下面的討論中,當討論同軸裝置時,
成像系統和單個共軸照明源的任何組合都可應用,而且,圖4所示示例僅用于例示性
目的。例如,單個照明源可以包括諸如LED這樣的更小照明源的任何組合,以創建單
個均勻照明源,或者單個大光源。

動態照明

下面,參照圖7A和圖7B,對可以通過動態照明控制器70執行的動態照明處理的
示例進行描述。該動態照明處理可以與自動增益控制系統類似地,經由系統10中的反
饋控制回路起作用,以確保該信號處于可接受照明范圍內。在這個示例中,動態照明
處理作為輸入時間步長t處的一個或更多個信號幅度指示符,和一個或更多個照明變
化參數,并且確定更新照明參數,以便改進時間步長(t+1)處的信號幅度。在該示
例中,用于動態照明處理的信號幅度指示符是用戶眼睛的強度特征,而且同樣可以視
為眼睛特征強度參數。因為一個或更多個用戶并不總是包含在場景內,所以還可以將
多狀態系統設置成考慮如圖7B所示的情況。

動態照明控制器70的目的是修改有效場景照明,以使用戶的眼睛處于最優化或
“理想”照明。通過最優化場景照明,動態照明控制器70允許凝視跟蹤系統10準確地作
用于大范圍用戶,因為在用戶瞳孔的后向反射性方面存在大量變化,而且具有固定攝
像機參數通常導致其它凝視跟蹤系統不準確地作用于一部分人口。

出于以下討論的目的,可以闡明下列術語:

信號幅度指示符:這可以表示信號的任何強度指示符,如圖像分段的平均強度。
處于描述動態照明系統的目的,將提取眼睛特征的強度分布用作幅度指示符。該系統
假定希望理想照明與指定信號幅度指示符的值之間的關系。作為示例,動態照明系統
可以將用戶的所找到的瞳孔的平均強度用作其信號幅度指示符,嘗試驅動它們盡可能
接近該強度范圍的一半。

照明變化參數:這可以表示可用于同軸裝置的、允許修改在指定時間步長t期間
通過攝像機存儲的光的量的任何參數。由此,照明變化參數可以涉及控制在指定時間
步長t期間通過同軸照明源輸出的照明的量的參數,或者控制通過攝像機傳感器存儲
的照明的量的參數。前者的示例可以是傳遞至LED照明源的電流的量,后者的示例可
以是成像系統的快門速度持續時間。

眼睛特征亮度/強度:當引用特定眼睛特征時,可互換地使用術語亮度和強度,
以通過成像系統表示所述特征的所測量強度。作為示例,從同軸裝置獲取的同軸圖像
可以包含處于平均強度200的用戶瞳孔(如存儲在8位無符號灰度級圖像中)。由此,
在該圖像中,用戶眼睛的平均瞳孔亮度或瞳孔強度為200。應注意到,根據平均強度,
意味著平均像素值被描繪為屬于用戶瞳孔。

同軸/共軸照明:共軸照明源指示源相距成像系統的光學軸的距離足夠小,向該
系統返回的反射光基本上平行于光學系統的軸。

理想照明:在此的定義指用戶的眼睛特征可容易彼此區分的照明狀態。特別地,
理想照明可以被視為這樣的照明設置,即,希望的眼睛特征被足夠照明,以使它們可
以通過計算機視覺系統來提取,并且在場景中可容易與其它誤報區分。為清楚起見,
盡管下面的討論涉及僅同軸凝視跟蹤系統10,但是動態照明的原理可以等同地應用至
不同配置和不同照明標準。

同軸理想照明:指用戶瞳孔容易與其虹膜和角膜閃光區分的照明狀態。這允許瞳
孔容易與場景中的其它對象分割出,同樣易于提取用于凝視跟蹤的其它眼睛特征(如
角膜閃光,和異色邊緣邊界)。該理想照明概念是根據用戶的鞏膜、皮膚、瞳孔、瞳
孔閃光以及虹膜的反射特性差異得出的。針對在同軸照明下的所有用戶,從最低至最
高的反射級通常為:虹膜52<鞏膜56~皮膚60~瞳孔50<角膜閃光54(其中,~
指示接近,而<指示小于,參見圖5)。可以注意到,盡管每一個用戶的瞳孔反射特性
可能非常不同,但瞳孔反射率與虹膜反射率之間的差異通常在大多數情況下足夠大,
如果不是所有情況,則在此描述的反射率方面的關系應當適用。

一般來說,用于使得用戶眼睛處于同軸理想照明的方法可以描述如下:設置裝置
照明特性,以使用戶的瞳孔處于與攝像機傳感器的范圍中點相對應的值。例如,對于
提供8位數字圖像(0-255)的攝像機傳感器,可以修改系統的照明設置,以使瞳孔
始終處于值128。在這個示例中,通過這樣做,系統10可以旨在實現以下目的:

a)瞳孔未曝光過度,而且同樣地,可以容易地與角膜閃光和諸如眼鏡眩光的
遮擋物(其最終成為圖像中的過飽和斑點)區別;

b)瞳孔未曝光不足,而且同樣地,用于凝視跟蹤的關注眼睛特征(如角膜閃
光和異色邊緣邊界)被足夠照明,以使可以在場景中區別;以及

c)作為最少反射面特性的虹膜粗略地處于圖像范圍的最低1/4處內,并由此可
容易區別。

在一個示例中,在此描述的動態照明處理的實現可以視為輸入場景的平均瞳孔強
度,視為信號幅度參數,以及當前攝像機參數,其在所述原型中使用快門速度和增益。
可以注意到,與修改照明源或修改場景照明的其它方法相對,在此描述的處理可以將
攝像機參數用作照明變化參數。該處理的目的因此可以是修改有效場景照明,以使接
近“理想”條件,而且同樣地,可以經由攝像機強度參數和照明源的任何組合來實現。
為清楚和簡潔起見,動態照明處理可以利用被用作攝像機增益和攝像機快門持續時間
的照明變化參數來描述。如稍早所述,動態照明系統可以由任何1至n個照明變化參數
構成。由此,應當簡單想象僅由攝像機快門持續時間或增益構成的這種定義系統。

還可以注意到,在此描述的動態照明算法可以使用用戶的瞳孔強度特征,作為系
統10的信號指示符參數。假定眼睛的不同特征的已知反射特性,任何數量的其它特征
可以被用作該系統10的指示符參數。然而,由于所提出的系統的性質、容易提取所述
參數、以及所描述的“理想”照明狀態,因而,該特征在所述實施方式中使用。

圖7A例示了利用具有三種狀態的狀態圖90的動態照明處理。每一種狀態都采取
瞳孔用于分析,并且確定是否修改攝像機強度參數。該示例假定了系統10僅希望在任
何指定時間點跟蹤場景中的一個用戶。狀態圖90由此可以被修改成用于當多個用戶處
于場景中時跟蹤特定用戶的配置,如圖7B中所示

搜索瞳孔

在動態照明處理的初始狀態下,可以假定沒有發現瞳孔。為了在94處定位瞳孔,
動態照明控制器70循環不同攝像機參數設置,直到找到瞳孔為止。在一個示例中,動
態照明控制器70循環完整攝像機快門持續時間范圍兩次,按每一次循環切換攝像機增
益在其范圍的33%與66%之間。可以將許多不同的快門持續時間和增益組合存儲在
環形緩沖器中并循環。還可以創建所找到瞳孔強度的隊列。按找到瞳孔的每一個迭代,
將瞳孔亮度添加到該隊列中。該動態照明處理循環該環形緩沖器,每次將攝像機快門
持續時間改變成新設置,直到該隊列為環形緩沖器的尺寸為止,或者找不到瞳孔并且
該隊列不為空;即,瞳孔已經在先前測試的快門持續時間下找到。在這點上,該處理
檢查搜索最接近理想瞳孔亮度的瞳孔亮度的隊列,因此設置快門持續時間,并且移動
至圖7A所示“尋找其它瞳孔”狀態92。

通過執行上述操作,動態照明處理旨在選擇針對該場景的最佳快門持續時間。

尋找其它瞳孔

在尋找其它瞳孔狀態92中,目的是定位用戶的其它瞳孔,同時避免丟失當前瞳孔
的軌跡。為了這樣做,動態照明處理可以逐步增高和降低攝像機的線性增益范圍,直
到找到第二瞳孔為止,如圖8中所描繪。圖8中的點(a)和(b)描繪這樣的情況,即,
尋找要處于希望瞳孔強度范圍邊緣的瞳孔,并因此執行用于沿其它方向搜索的切換,
以避免丟失該瞳孔。在點(c),找到第二瞳孔,并因此改變該狀態。

隨著確定預先設置的增益步長,動態照明處理可以在攝像機中間增益值開始,并
且繼續逐步增高增益范圍,直到其達到上限為止,接著,返回至中間增益值,并且逐
步降低增益范圍,直到其達到下限為止。動態照明控制器70繼續這樣做,直到找到第
二瞳孔為止,在該點,處理轉變至“理想化瞳孔”狀態96,如圖7A所示。

可以注意到,如果動態照明控制器70在任何點丟失第一瞳孔,則處理可以返回至
搜索瞳孔狀態94。還可以注意到,如果場景相當易變,則可以實現鋸齒功能(與在達
到該范圍的頂端和低端之后立即返回至該范圍的中點相對)。而且,該動態照明處理
可以被設置成,一旦其達到了增益范圍的極限值,就增加或減少快門持續時間,以確
保其已經循環了所找到的瞳孔的接受照明的整個范圍。

為了確定第一瞳孔未從該搜索中丟失,如果瞳孔的亮度處于設置的極限值之外,
則可以暫停向上或向下運動步進。例如,所使用的極限值可以包括由下述瞳孔候選過
濾處理所使用的“中心瞳孔亮度”標準的子范圍。同樣地,通過逐步增高或降低,動態
照明處理可以確保其不會造成過濾處理將實際瞳孔視為誤報,并且排除它。通過這樣
做,可以查明,系統10仍準確地在該場景中僅以一個瞳孔起作用,并由此更魯棒。

理想化瞳孔

在理想化瞳孔狀態86中,已經找到兩個瞳孔,并且該狀態下的目的是,保持或移
動瞳孔強度值盡可能接近理想瞳孔亮度,以保持該系統處于理想狀態下,同時確保兩
個瞳孔保持“看得見”并且被始終如一地跟蹤。

在此使用的處理可以比較每一個瞳孔的亮度,并且確定哪一個距理想瞳孔亮度最
遠。接著,動態照明控制器70確定為移動攝像機增益和/或快門所需的方向,以便使
瞳孔更接近理想。為了禁止丟失另一瞳孔,該動態照明控制器可以被設置成,檢查另
一瞳孔處于所確定的可接受瞳孔范圍內,例如,在上述尋找其它瞳孔狀態92中描述的
同一范圍。如果是這樣,則動態照明控制器70按增益步長大小增加或減少攝像機增益。
否則,其保持當前攝像機強度參數。

圖9和圖10中例示了理想化瞳孔狀態96。在圖9中,瞳孔2比瞳孔1距理想瞳孔亮度
更遠,因此,確定整個設置需要移動的方向,以便使其更接近理想亮度。因為瞳孔1
仍處于可接受瞳孔亮度范圍內,所以允許該運動。類似的是,在圖10中,瞳孔1的亮
度距理想最遠,因此,基于該亮度來確定方向。然而,因為瞳孔2處于可接受瞳孔亮
度范圍之外,所以不需要執行攝像機強度改變。

如上所述,圖7A所述單用戶狀態圖可以被修改成解釋場景中的多個用戶。圖7B
描述了類似的狀態圖,其中,“搜索瞳孔狀態”被替換以“連續掃描瞳孔”狀態。與單用
戶情況下的初始狀態類似,存儲所找到的瞳孔,并且它們的強度和在場景中的位置包
含在類似存儲容器中。然而,可與原始狀態區分的是,該狀態不需要切換至“尋找其
它瞳孔”狀態,直到其接收到用于跟蹤希望用戶的位置的外部信號位置為止。該外部
信號可以包括與希望用戶的位置相對應的畫面坐標,如從外部用戶位置系統獲取的。
一旦接收到該信號,就確定針對該畫面點的最接近瞳孔,而如果處于接受距離閾值內,
則系統切換至“尋找其它瞳孔”狀態。另外,在任何點,系統都可以接收外部信號以切
換所跟蹤的用戶。在這種情況下,系統返回至其初始狀態。

應注意到,所述多用戶狀態圖仍一次僅跟蹤單個用戶,但準許經由外部信號選擇
跟蹤哪個用戶。對此的理由是:除非用戶的反射率特性類似,否則具有一個可修改照
明源的動態照明系統10只能夠一次跟蹤一個用戶。然而,如果凝視跟蹤裝置準許對場
景的多個分區段的分離有效照明切換(例如,經由一組復雜的照明源,或者關注區段
攝像機參數切換),則這可以容易地擴展至跟蹤多個用戶。在這種情況下,系統將包
括該場景的n個分區段,每一個都具有它們自己的1至m個照明變化參數。由此,所述
單用戶狀態圖可以在每一個分區段中實現,允許在該場景的每一個分區段內進行單用
戶跟蹤。另選的是,圖7B所述的狀態圖還可以針對每一個分區段實現。這種系統將
包括n個外部控制信號,并且準許該場景的每分區段多個用戶。

參照圖11,通過動態照明控制器70執行的動態照明處理可以描述如下。在200,
動態照明控制器70在未找到眼睛的同時循環遍歷動態照明參數范圍,并且在202確定
是否找到眼睛。如果找到了眼睛,則動態照明控制器70可以可選地在204遍歷動態照
明參數范圍完成單次通過(onepass)(如圖11中虛線所示),存儲針對每一個可獲眼
睛的眼睛特征強度。接著,在206,動態照明控制器70確定該場景中是存在單個用戶
還是多個用戶。如果場景中存在單個用戶,則在208,動態照明控制器70針對理想照
明選擇最佳接近可獲用戶眼睛的動態照明參數,或者如果跳過步驟204,則直接進行
至步驟212。如果在場景中期望多個用戶,則在210,動態照明控制器70根據針對關注
用戶的外部指示符,基于所找到的眼睛的距離度量來確定要使用的眼睛。

一旦正跟蹤用戶的眼睛,則在212,動態照明控制器70動態修改照明參數,使得
用戶眼睛仍保持盡可能接近理想照明。在該示例中,用于保持理想照明附近的眼睛的
度量是眼睛特征強度。

可以注意到,在此描述的示例流程圖不包含與尋找或重新尋找一個或多個丟失眼
睛相關聯的步驟,如在至少一些示例中所提供的。盡管在希望跟蹤兩只眼睛時這將導
致更魯棒的跟蹤經歷,但已經發現其不是該系統所需要的。例如,集中于跟蹤單只眼
睛而非成對眼睛的凝視跟蹤系統沒有關注于完善該雙眼睛。

同軸眼睛檢測技術

由用于檢測用戶眼睛的基于紅外線的眼睛凝視跟蹤器所使用的常用技術涉及通
過首先差分化同軸(亮)和離軸(暗)圖像,而根據其余場景來閾值化瞳孔50。因為
瞳孔50在同軸圖像中因角膜的向后反射特性而明亮,而在其它地方黑暗,所以所得差
分圖像應當理想上只包含瞳孔。接著,將該圖像按可靠等級閾值化,生成包含瞳孔的
二進制圖像。然而,已經發現,實際上,諸如因在用戶運動期間的差分化而造成的噪
聲這樣的附加問題,和示出和瞳孔相同特性的對象,趨于增加可以成為針對需要過濾
的場景的顯著量的誤報。單獨使用離軸照明的其它系統趨于執行計算上相對昂貴的、
基于外觀的方法,其從場景提取并確定眼睛,如模板匹配或多Haar級聯分類器。

為尋求解決這些問題,圖6所示眼睛候選檢測74可以被設置成有益于該原理
(theorem),在同軸理想照明條件下,用戶虹膜52的反射特性顯著低于同軸情況下其
臉部其余部分及其瞳孔50的反射特性,其研究已經表明是一種可靠的測試裝置。還發
現,有關人類皮膚、人類虹膜以及人類瞳孔視網膜的反射特性的研究支持這些假定。

上述原理暗示了在理想照明下,用戶的瞳孔50可以容易地從該圖像提取。即,利
用用戶眼睛的瞳孔與虹膜52之間的對比度在該場景中會最高的知識,可以直接進行二
進制化該圖像,以提取這些對象。接著,僅需要分析并過濾這種圖像中的斑點(例如,
經由下述同軸眼睛候選過濾技術),僅留下實際瞳孔50。所使用的確定的閾值應當使
得在理想照明下,可以因此閾值化任何用戶。可以注意到,在這個示例中,該技術取
決于上述方面,即:a)輸入圖像處于同軸理想照明條件下,并且b)可以正確地過濾
該二進制斑點,生成所選擇的實際瞳孔。這特別重要,因為二進制圖像可以包含大量
噪聲,其中,包含用戶臉部表情方面,而且潛在地包含場景中的其它噪聲。

二進制化該圖像以提供二進制斑點涉及閾值化原始圖像或者該原始圖像的修改
表述。利用該系統實現這種過程的優點在于,所關注對象(眼睛)因瞳孔50與虹膜52
之間的強對比度而容易與該場景中的其它對象區分。盡管可以采取許多不同的方法來
得到該先驗知識,但下面描述了用于創建二進制圖像的兩個示例。可以注意到,出于
例示性目的,僅提供這些示例來例證所提供的先驗知識的有利效果,而不應被視為在
于此描述的原理內是窮盡的。

圖12例示了眼睛候選檢測74的一個示例。在300,獲取預處理圖像表情,在302
將該圖像閾值化,以生成二進制圖像。接著,在304,處理該二進制圖像,以提取二
進制斑點,并且在306,將這些二進制斑點排序為瞳孔候選。圖12所示的方法可以在
圖像場景主要對應于用戶臉部時應用,而且照明約束不是特定關注。在這種情況下,
系統100可以嘗試按接近虹膜52的強度值來閾值化該圖像。通過這樣做,皮膚60和瞳
孔50應當相對于虹膜52來分段,因而斷定,皮膚60和瞳孔50將分離。是否這樣分段包
括鞏膜54可以是無關緊要的。已經發現,按攝像機傳感器的照明范圍的底部1/4閾值
化可以是在這種考慮下提取瞳孔50的可靠方法。

圖13例示了在理想照明下,隨著在眼睛候選檢測內進行同軸閾值化來應用圖12
所示處理的示例,其中,兩個示例性二進制圖像是該閾值化的潛在結果,無論鞏膜56
是否與該臉部鏈接。在該示例中,最終結果將獲取與實際瞳孔50和該臉部的整個或部
分相對應的二進制斑點,其將在稍后狀態濾出。

下面,轉至圖14,示出了用于眼睛候選檢測74的處理的另一示例。在320,獲取
預處理圖像(例如,圖15所示的圖像350),并且將該圖像用于在322計算梯度量值,
并在324計算梯度取向。計算梯度量值生成如圖16所示的梯度量值圖像(圖像360),
其在326經歷梯度閾值化,以獲取二進制圖像,例如,如圖17所示(圖像370)。接著,
在328,處理該二進制圖像,以提取二進制斑點,其與梯度取向一起使用,以在330
排序梯度候選。

圖14所示的處理包括分析輸入圖像的圖像梯度,和確定針對其的合適閾值。該處
理考慮不完整的照明因素,其中,場景中的附加照明源可能使得上面的簡單閾值化難
于應用。在這種因素下,不能夠保證用戶的瞳孔能夠達到該場景中的所述理想照明。
而且,用戶的虹膜不能處于希望強度范圍內,局部化照明使其比希望更亮。然而,可
以根據場景的先驗知識假定,給出人類視網膜的向后反射特性,瞳孔應當是該場景中
的最亮對象之一。另外,可以假設虹膜52具有局部最小強度。由此,可以希望該梯度
量值在瞳孔-虹膜邊界是該場景中的最亮量值之一。

可以注意到,上面的假定在該系統的照明源相對于場景中的其它照明源可忽略時
不應用。作為示例,如果同軸裝置22在大白天使用,而且射中裝置22的有效日光照明
顯著高于該裝置的照明源32的照明,則該假定很可能不應用。

為了在326可靠地二進制化梯度量值圖像,系統10可以分析梯度量值直方圖,搜
索將二進制化圖像的上百分比P_threshold的閾值,其中:

P_threshold=百分比(眼睛)+百分比(希望高對比度對象)

由此,可以創建二進制化圖像,其包含與場景邊緣的上P_threshold百分比相對應
的梯度量值二進制斑點。對于所述應用來說,與眼睛相對應的梯度信號的比例和與其
它希望高對比度對象相對應的梯度信號的比例兩者,應當使用這兩者的最大可能尺寸
和量。

作為示例,針對其中僅一個用戶的眼睛按指定深度范圍來跟蹤的應用,并且該場
景僅包括用戶的臉部,系統10可以計算瞳孔的最大希望尺寸(給定人類瞳孔尺寸的統
計學變化和希望用戶位于的操作范圍)。針對理想二進制化,可以添加一設置比例,
對應于其它希望高對比度對象(如眼鏡眩光),和因此的閾值。

同軸眼睛候選過濾算法

為了確保準確地跟蹤眼睛,系統10被設置成,選擇其中可能有相當量噪聲的二進
制圖像中的眼睛。下面,轉至圖18,可以采用兩步處理來從二進制圖像中過濾眼睛。
在400,基于被確定成最佳地描述眼睛的一組標準來過濾所有眼睛候選,并且在410,
針對“最合適”雙眼來分析剩余眼睛候選。

眼睛候選過濾

被用于過濾大部分眼睛候選的方法可以基于用于創建可靠特征的機器學習方法,
例如,考慮到大量簡單特征度量趨于混和以提供可靠且魯棒的特征。所述每一個特征
都設置有一指定范圍,在該范圍內,將實際瞳孔視為以可接受方式位于理想化同軸照
明條件下。接著,針對所有特征分析每一個眼睛候選。如果該眼睛候選無法位于它們
之一的范圍內,則將其從候選列表中去除。另選的是,可以實現加權特征集,其中,
合適的瞳孔候選是具有超過特定閾值的加權特定和的那些。

在所述系統中,下列特征可以被用于過濾瞳孔候選:

瞳孔圓度/圓形度(Circularity):與瞳孔在眼睛中的位置無關,其圓度固定在特定
范圍內,其它對象通常落在其外。

瞳孔強度分布:在理想照明下,可以可靠地希望瞳孔的亮度值落在某一固定范圍
內。通過這樣做,其可以容易地與諸如(其趨于具有非常高的亮度值)眼鏡眩光的普
通誤報相區分。在這個示例中,系統10被設置成,考慮平均瞳孔強度、中心瞳孔強度
(瞳孔的中心截面)以及瞳孔強度變量。

瞳孔面積:該度量允許容易濾出像簡單噪聲的小對象,和像用戶臉部的大對象。

虹膜強度分布:作為外眼的具有最小反射特性的部分,希望該特征處于低邊界區
內。

梯度量值:與瞳孔和虹膜亮度度量有關,希望瞳孔-虹膜邊界的梯度量值處于特
定范圍內。

梯度取向:盡管圓形度和圓度是有價值的度量,但系統10可以另外通過接受具有
向內指向梯度取向的候選來確保可靠瞳孔候選。即,接受具有隨著信號從虹膜向瞳孔
移動而增加的信號強度的候選。

適配橢圓參數:考慮到所找到的二進制斑點僅對應于該對象的粗略估計,可以對
所提供的數據進行分析,并且適配與瞳孔和/或虹膜橢圓相對應的橢圓。這與作為旋
轉至離開圖像平面軸的某種程度的圓形對象的所希望的瞳孔和虹膜適配。由此,在傳
感器上成像的瞳孔和虹膜對象將對應于某一形式的橢圓。從而,圓度、圓形度以及強
度分布還可以基于對象的橢圓估計來加以分析。

可以注意到,出于例示性目的,該示例僅分析屬于用戶眼睛的瞳孔和虹膜的特征。
可以分析許多其它特征,如用戶的鞏膜、存在角膜閃光、以及將瞳孔候選連接至臉部
的其它面部特征。另外,所有這些特征可以組合成基于共同外觀的匹配方法,如模板
匹配或Haar特征跟蹤。瞳孔大小因其在場景中的位置、瞳孔反射率以及使用眼鏡而相
對于虹膜、眼睛大小的可變性使得這種分類者的訓練和測試相對困難并且計算上昂
貴。由此,在諸如本示例的情況中,可以優選的是,在所提供的范圍內具有每一個特
征的獨立分析。

最合適雙眼匹配

一旦去除了大多數斑點,對于最佳一對來說,該瞳孔候選被視為眼睛。如果僅存
在一個瞳孔,則選擇最高排序的瞳孔。在該示例中,尋找最佳瞳孔對,包括針對每一
對比較所述瞳孔特征,嘗試尋找最相似的一對眼睛候選。這還可以通過瞳孔候選的直
方圖匹配來增強。在這種示例中,成功的瞳孔對需要關聯的直方圖,以及類似的橢圓
估計尺度和瞳孔強度分布。另外,獲知瞳孔之間的瞳孔間距離范圍,以及它們之間的
潛在尺寸可變性還可以過濾誤報。

同軸凝視估計技術

如上所述,在針對所找到的眼睛執行特征提取78之后,系統10使用特定眼睛特征
來執行凝視估計80。

同軸標準化差匹配

映射那些估計系統的典型瞳孔中心角膜反射(PCCR)采取一個或更多個矢量
其定義為瞳孔中心pc與角膜閃光gi之間的矢量,并且利用所述一個或更多個矢量,
連同對應畫面坐標si一起,創建凝視估計映射。這經由校準過程來執行,該校準過
程采取已知的特征F和畫面點si的對,并且執行數值擬合處理,以確定它們之間的函
數映射的系數。由此,創建映射函數f(F),其中,F是該組特征,而f是返回畫面點si
的映射函數。盡管當用戶在該場景中靜止時是準確的,但已經發現當用戶修改他或她
的三維方位時,這些凝視映射通常顯著偏離正確的凝視點。

為修正其,一種方法是,當兩個角膜閃光54可獲得時,利用這兩個角膜閃光之間
的距離度量dg來標準化所提供矢量如圖19所示。由此,變為接
著,其修正朝著和遠離眼睛跟蹤裝置22的用戶運動,其中,瞳孔-閃光矢量的量值在
用戶注視畫面上的同一點si時改變。圖19描繪了在這種系統下照明的眼睛,連同所
描述的矢量和距離度量。在于此所述并且在圖21所示的示例中,因為同軸這種22僅創
建有關每一只眼睛的單個角膜閃光,所以不執行利用該標準的標準化矢量。代替使用
如圖20所示的標準化矢量地,其中,dm是可以修正深度位移的距離度量。
如圖21所示,在500,確定瞳孔中心與角膜閃光之間的矢量,在502,確定距離度量,
接著在504,利用在500和502獲取的值生成標準化矢量。接著,在506,將該標準化矢
量傳遞至函數映射f(F),其在畫面上輸出估計的凝視點。

可以將各種距離度量用于標準化該矢量,包括:

異色邊緣距離度量:利用該度量,使用瞳孔中心與虹膜/視網膜邊界(異色邊緣)
之間的距離。可以使用用于提取異色邊緣的各種方法,例如,用于經由虹膜識別來執
行生物特征分析的那些。這還可以通過提取異色邊緣plimbus上的一個點來簡化,給
出瞳孔橢圓和角膜閃光gi。可以假定,瞳孔橢圓和異色邊緣橢圓在相對于成像它們
的像平面的偏移角處,是公共平面上的同心圓。由此,形成在圖像上的每一個橢圓的
主軸合理接近每一個圓的半徑。從而,這兩個半徑之間的關系可以通過計算與瞳孔中
心pc相交的任何線上的兩個相交點ipupil與ilimbus(分別來自瞳孔橢圓和異色邊緣
橢圓)之間的關系來選擇。因此,給出plimbus和瞳孔橢圓,提取對應交點ipupil,
并且確定比例關系c,據此,虹膜半徑rirls大于瞳孔半徑rpupil。最后,計算與虹膜
直徑相對應的距離度量dm,采取瞳孔橢圓主軸apupil(根據非旋轉橢圓方程
)并且將其乘以所述比例關系c:dm=c*apupil。

瞳孔間距離度量:因為在瞳孔間距離方面有著豐富的人口變化知識,所以可以找
到其作為合適的度量。該度量采取可以修正其中用戶的頭部姿勢因側轉運動而不平行
于攝像機的情況的模型,而且在該示例中,涉及測量用戶瞳孔之間的距離,以確定距
攝像機的距離。修正頭部姿勢可以利用可以檢測的其它可靠面部特征(如用戶的鼻子)
來解決。

基于圖像聚焦的距離度量:這里,該距離度量dm基于場景中的特定對象的模糊
變化來估計。在這種情況下,選擇瞳孔/虹膜邊界,但可以選擇圖像中的其它邊界(例
如,另一只眼睛或面部特定邊界)。該度量可以經由距焦點的深度或者距散焦的深度
來獲取。在距焦點的深度下,恒定地切換該焦點參數,以使選定對象和對象邊界被視
為焦點對準,并且聚焦標準用于當該對象已經接近完美焦點時確定。在距散焦的深度
下,對象的模糊直接在任何時間點分析。在兩種情況下,返回標準用于估計對象距成
像系統的深度。該深度可以被容易地用作針對所述標準化矢量的距離度量。

距平行系統的深度:還可以的是,深度估計可容易從結合所述系統使用的平行系
統(如范圍成像系統)獲得。在這種情況下,使估計深度的復雜性為零。

在至少一個示例中,該系統10因此可以被設置成如圖22所示地執行。在600,獲
取同軸圖像,并且在602生成閾值圖像。接著,在604,從該閾值圖像提取輪廓和斑點,
并且在606,過濾斑點用于瞳孔候選。并行地,在610,應用動態強度處理,并且在612,
以進行中為基礎,更新并利用攝像機強度參數,以實現如上所述的理想照明。在608,
執行瞳孔跟蹤,并且并行地,在610,應用動態強度處理,并且在612,以進行中為基
礎,更新并利用攝像機強度參數,以實現如上所述的理想照明。在613,提取角膜閃
光和異色邊緣半徑。并且,在614,將所述標準化的特征矢量映射至該畫面上的位置,
并且在616,確定畫面上的凝視。

應當清楚,在此例證的、執行指令的任何模塊或組件可以包括或者以其它方式使
用計算機可讀介質,如存儲介質、計算機存儲介質,或者數據存儲裝置(可去除和/
或不可去除),舉例來說,如磁盤、光盤,或磁帶。計算機存儲介質可以包括按任何
方法或技術實現的、用于存儲信息(如計算機可讀指令、數據結構、程序模塊,或其
它數據)的易失性和非易失性、可去除和非可去除介質。計算機存儲介質的示例包括:
RAM、ROM、FEPROM、閃速存儲器或其它存儲器技術、CD-ROM、數字萬用盤(DVD)
或其它光學存儲部、磁帶盒、磁帶、磁盤存儲部或其它磁存儲裝置,或者可以用于存
儲希望信息和可以通過應用、模塊或兩者存取的任何其它介質。任何這種計算機存儲
介質都可以是系統10的一部分、系統10的任何組件或與系統10有關的組件等,或者可
接入或可連接至其。在此描述的任何應用或模塊可以利用可以通過這種計算機可讀介
質存儲或者以其它方式保持的計算機可讀/可執行指令來實現。

在此描述的流程圖和示意圖中的步驟或操作只是舉例。不脫離上述原理的情況
下,針對這些步驟或操作可以有許多變化。例如,所述步驟可以按不同次序執行,或
者可以添加、刪除,或修改步驟。

盡管上面的原理已經參照特定示例進行了描述,但如在所附權利要求書中所概述
的,本領域技術人員將清楚其各種修改例。

權利要求書(按照條約第19條的修改)

1.一種用于執行眼睛凝視跟蹤的方法,該方法包括以下步驟:

在同軸照明下,利用單個同軸成像裝置獲取單個圖像;以及

處理所獲取的單個圖像,以執行凝視估計。

2.根據權利要求1所述的方法,所述方法還包括以下步驟:針對所述單個同軸成
像裝置最優化場景的照明。

3.根據權利要求2所述的方法,所述方法還包括以下步驟:針對至少一個照明標
準分析所獲取的單個圖像,并且通過發送基于所述分析來朝著最優化照明修改一個或
更多個照明參數的請求而最優化所述場景。

4.根據權利要求1至3中的任一項所述的方法,所述方法還包括以下步驟:向應
用輸出凝視點。

5.根據權利要求2至4中的任一項所述的方法,其中,最優化所述場景的照明的
步驟包括以下步驟:利用照明源修改通過成像傳感器檢測的照明。

6.根據權利要求2至5中的任一項所述的方法,其中,最優化所述場景的照明的
步驟包括以下步驟中的至少一個:修改成像傳感器,以調制通過所述傳感器接收的光
的量;以及修改通過所述成像傳感器接收的信號。

7.根據權利要求2至6中的任一項所述的方法,其中,最優化所述場景的照明的
步驟包括以下步驟:

在照明控制器處,從所述單個同軸成像裝置獲取照明參數,并且從該處理獲取當
前眼睛特征參數;

在所述照明控制器處,利用當前眼睛特征強度參數來生成新照明參數;以及

通過所述照明控制器,在所述單個同軸成像裝置的操作期間,向所述單個同軸成
像裝置提供所述新照明參數。

8.根據權利要求7所述的方法,其中,生成所述新照明參數的步驟包括以下步驟:

針對一個或更多個照明參數循環遍歷一值范圍,以尋找一只或更多只眼睛;以及

當能夠找到至少一只眼睛時,朝著理想修改所述一個或更多個照明參數。

9.根據權利要求8所述的方法,所述方法還包括以下步驟:選擇參數,以針對所
述理想接近眼睛。

10.根據權利要求8或9所述的方法,所述方法還包括以下步驟:當在所述場景中
檢測到一個以上的用戶時,基于外部指示符確定使用的眼睛。

11.根據權利要求8至10中的任一項所述的方法,所述方法還包括以下步驟:遍
歷所述值范圍應用單次通過,并且存儲眼睛特征強度。

12.根據權利要求1至11中的任一項所述的方法,其中,所述處理包括執行眼睛
檢測的步驟。

13.根據權利要求12所述的方法,其中,所述眼睛檢測包括以下步驟:執行眼睛
候選檢測,并且使用一組一只或更多只眼睛候選來執行眼睛候選過濾。

14.根據權利要求13所述的方法,所述方法還包括以下步驟:使用一組一只或更
多只所找到的眼睛來執行眼睛特征提取。

15.根據權利要求14所述的方法,其中,使用一組一個或更多個眼睛特征,來執
行所述凝視估計。

16.根據權利要求12至15中的任一項所述的方法,其中,所述眼睛檢測包括以下
步驟:

從二進制圖像中提取一個或更多個二進制斑點;

利用所述二進制斑點對瞳孔候選進行排序;以及

提供一組一只或更多只所排序的眼睛候選。

17.根據權利要求16所述的方法,所述方法還包括以下步驟:

基于希望的眼睛特征強度來閾值化所獲取的圖像,以獲取所述二進制圖像。

18.根據權利要求16所述的方法,所述方法還包括以下步驟:

從所獲取的圖像計算梯度取向圖像和梯度量值圖像;以及

基于眼睛特征強度之間的希望對比度,向所述梯度量值圖像應用閾值化,以獲取
所述二進制圖像。

19.根據權利要求13至18中的任一項所述的方法,其中,所述眼睛候選過濾的步
驟包括以下步驟:

基于描述眼睛的至少一個標準來過濾眼睛候選;以及

針對最合適的雙眼來分析剩余候選。

20.根據權利要求1至19中的任一項所述的方法,其中,所述凝視估計包括以下
步驟:

針對所找到的眼睛,確定瞳孔中心與角膜閃光之間的矢量;

確定距離度量;

利用所述距離度量以及所述瞳孔中心與所述角膜閃光之間的所述矢量,來生成標
準化矢量;以及

根據所述標準化矢量的函數映射來確定凝視點。

21.根據權利要求20所述的方法,其中,所述距離度量使用以下中的任一個或更
多個:異色邊緣直徑或半徑、姿勢修正瞳孔距離、至少一個預定眼睛或面部特征關系、
焦深或散焦度量、以及至少一個外部提供的預定距離度量。

22.根據權利要求1至21中的任一項所述的方法,所述方法還包括以下步驟:針
對所獲取的圖像執行圖像預處理。

23.根據權利要求1至22中的任一項所述的方法,其中,所述單個同軸成像裝置
聯接至電子裝置,該電子裝置被配置成在至少一個操作中利用眼睛跟蹤。

24.一種計算機可讀存儲介質,該計算機可讀存儲介質包括用于執行根據權利要
求1至23中的任一項所述的方法的計算機可執行指令。

25.一種包括處理模塊的凝視跟蹤系統,該處理模塊被配置成執行根據權利要求
1至23中的任一項所述的方法。

26.根據權利要求25所述的凝視跟蹤系統,所述凝視跟蹤系統還包括所述單個同
軸成像裝置。

27.根據權利要求25或26所述的凝視跟蹤系統,所述凝視跟蹤系統聯接至電子裝
置。

28.根據權利要求27所述的凝視跟蹤系統,其中,所述凝視跟蹤系統與所述電子
裝置集成。

29.根據權利要求25至28中的任一項所述的凝視跟蹤系統,其中,所述單個同軸
成像裝置包括成像傳感器和至少一個照明源。

30.根據權利要求29所述的凝視跟蹤系統,其中,所述成像傳感器是攝像機。

31.根據權利要求29或30所述的凝視跟蹤系統,其中,所述至少一個照明源包括
圍繞所述成像傳感器的照明源陣列。

32.根據權利要求25至31中的任一項所述的凝視跟蹤系統,其中,所述處理模塊
包括聯接至所述單個同軸成像裝置的照明控制器。

33.一種控制用于眼睛凝視跟蹤系統的照明的方法,該方法包括以下步驟:

從成像裝置獲取照明參數;

基于當前眼睛特征強度參數,生成新照明參數;以及

在單個同軸成像裝置的操作期間,向所述單個同軸成像裝置提供所述新照明參
數。

34.根據權利要求33所述的方法,所述方法還包括以下步驟:從通過所述眼睛凝
視跟蹤系統執行的處理獲取所述當前眼睛特征強度參數。

35.根據權利要求33或34所述的方法,所述方法還包括以下步驟:利用照明源來
修改通過成像傳感器檢測的所述照明。

36.根據權利要求33至35中的任一項所述的方法,所述方法還包括以下步驟:修
改成像傳感器,以調制通過所述傳感器接收的光的量;以及修改通過所述成像傳感器
接收的信號。

37.根據權利要求33至36中的任一項所述的方法,其中,生成所述新照明參數的
步驟包括以下步驟:

針對一個或更多個照明參數循環遍歷一值范圍,以尋找一只或更多只眼睛;以及

當能夠找到至少一只眼睛時,朝著理想修改所述一個或更多個照明參數。

38.根據權利要求37所述的方法,所述方法還包括以下步驟:選擇參數,以針對
所述理想接近眼睛。

39.根據權利要求37或38所述的方法,所述方法還包括以下步驟:當在所述場景
中檢測到一個以上的用戶時,基于外部指示符確定使用的眼睛。

40.根據權利要求37至39中的任一項所述的方法,所述方法還包括以下步驟:遍
歷所述值范圍應用單次通過,并且存儲眼睛特征強度。

41.一種計算機可讀介質,該計算機可讀介質包括用于執行根據權利要求33至40
中的任一項所述的方法的計算機可執行指令。

42.一種包括處理器和存儲器的照明控制器,所述存儲器存儲用于執行根據權利
要求33至40中的任一項所述的方法的計算機可執行指令。

43.一種執行用于眼睛凝視跟蹤系統的眼睛檢測的方法,該方法包括以下步驟:

接收在最優化照明下利用單個同軸成像裝置獲取的單個圖像,以提供眼睛特征強
度之間的希望對比度;以及

針對所獲取的圖像執行眼睛檢測。

44.根據權利要求43所述的方法,其中,所述眼睛檢測包括以下步驟:執行眼睛
候選檢測,并且使用一組一只或更多只眼睛候選來執行眼睛候選過濾。

45.根據權利要求44所述的方法,所述方法還包括以下步驟:使用一組一只或更
多只所找到的眼睛,來執行眼睛特征提取。

46.根據權利要求45所述的方法,其中,使用一組一個或更多個眼睛特征,來執
行凝視估計。

47.根據權利要求43至46中的任一項所述的方法,其中,所述眼睛檢測包括以下
步驟:

從二進制圖像中提取一個或更多個二進制斑點;

利用所述二進制斑點排序瞳孔候選;以及

提供一組一只或更多只所排序的眼睛候選。

48.根據權利要求47所述的方法,所述方法還包括以下步驟:

基于希望的眼睛特征強度來閾值化獲取的圖像,以獲得所述二進制圖像。

49.根據權利要求47所述的方法,所述方法還包括以下步驟:

從所獲取的圖像計算梯度取向圖像和梯度量值圖像;以及

基于眼睛特征強度之間的希望對比度,向所述梯度量值圖像應用閾值化,以獲得
所述二進制圖像。

50.根據權利要求44至49中的任一項所述的方法,其中,所述眼睛候選過濾的步
驟包括以下步驟:

基于描述眼睛的至少一個標準來過濾眼睛候選;以及

針對最合適的雙眼來分析剩余候選。

51.一種計算機可讀介質,該計算機可讀介質包括用于執行根據權利要求43至50
中的任一項所述的方法的計算機可執行指令。

52.一種包括處理器和存儲器的眼睛檢測系統,所述存儲器存儲用于執行根據權
利要求43至50中的任一項所述的方法的計算機可執行指令。

53.一種執行用于眼睛凝視跟蹤系統的凝視估計的方法,該方法包括以下步驟:

接收在最優化照明下利用單個同軸成像裝置獲取的單個圖像;

確定至少一只所找到的眼睛;

針對所述至少一只所找到的眼睛,確定瞳孔中心與角膜閃光之間的矢量;

確定距離度量;

利用所述距離度量以及所述瞳孔中心與所述角膜閃光之間的所述矢量來生成標
準化矢量;以及

根據所述標準化矢量的函數映射來確定凝視點。

54.根據權利要求53所述的方法,其中,所述距離度量使用以下中的任一個或更
多個:異色邊緣直徑或半徑、姿勢修正瞳孔距離、至少一個預定眼睛或面部特征關系、
焦深或散焦度量、以及至少一個外部提供的預定距離度量。

55.一種計算機可讀介質,該計算機可讀介質包括用于執行根據權利要求53或54
所述的方法的計算機可執行指令。

56.一種包括處理器和存儲器的眼睛凝視估計系統,所述存儲器存儲用于執行根
據權利要求53或54所述的方法的計算機可執行指令。

說明或聲明(按照條約第19條的修改)

尊敬的先生:

在此同時提交根據PCT第19條的修改。本次意見用于解釋針對主題
申請作出的修改。

修改了權利要求1,以便厘清由以下說明導出的保護范圍,即在“共
軸”照明下獲取“單個圖像”,并且對單個圖像進行處理,以在使用兩個
圖像的差別的先前系統上進行厘清。這些修改的支持基礎可以至少在所
提交的申請文件的第80和81段以及圖4找到。

修改了權利要求1,移除了“優化”操作,而從中移除的特征新添加
為權利要求2。添加了權利要求3,其涉及優化場景的示例方式。這些修
改的支持基礎可以至少在所提交的申請文件的第43、48、50、51段以及
圖6找到,其例示了動態照明作為類似特征。

根據新添加的權利要求2和3,對余下的權利要求進行重新編號。

關 鍵 詞:
用于 同軸 眼睛 凝視 跟蹤 系統 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:用于同軸眼睛凝視跟蹤的系統和方法.pdf
鏈接地址:http://www.rgyfuv.icu/p-6345607.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图