• / 24
  • 下載費用:30 金幣  

自主NUI設備的自發現.pdf

摘要
申請專利號:

CN201480018853.6

申請日:

2014.03.25

公開號:

CN105164617A

公開日:

2015.12.16

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):G06F 3/03申請日:20140325|||公開
IPC分類號: G06F3/03; G06F3/01; G06F3/00 主分類號: G06F3/03
申請人: 微軟技術許可有限責任公司
發明人: D·易
地址: 美國華盛頓州
優先權: 13/851,459 2013.03.27 US
專利代理機構: 上海專利商標事務所有限公司31100 代理人: 羅婷婷
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201480018853.6

授權公告號:

||||||

法律狀態公告日:

2018.06.19|||2016.01.13|||2015.12.16

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

一種向捕捉設備提供在存在其他這樣的設備的情況下自主地確定其自己的操作窗口的系統和方法。捕捉設備包括成像傳感器,該成像傳感器具有視野和照明源。處理器包括指令處理器掃描視野以查找在該捕捉設備附近的、在循環時間窗口中操作的另一照明源的代碼。如果在該循環窗口內發生來自另一源的照明,則第二照明源的操作窗口被確定為是循環窗口內為該捕捉設備建立的新操作窗口。

權利要求書

權利要求書
1.  一種具有照明系統和圖像捕捉系統的捕捉設備的自主操作方法,包括:
由捕捉設備掃描所述捕捉設備附近的環境以尋找在循環時間窗口內操作的照明源;
確定在所述循環時間窗口內在所述捕捉設備附近的所述環境中是否發生照明;
如果在所述循環窗口內發現照明,則在該照明發生時,隔離所述循環窗口內的任何現有操作時間窗口,所述現有操作窗口各自是相對于所述循環窗口的時間長度的一部分;
確定任何現有操作窗口的開始和結束;以及
如果所述循環窗口內有時間可用,則在所述循環窗口內建立新操作窗口。

2.  如權利要求1所述的方法,其特征在于,進一步包括使所述照明系統在任何現有操作窗口之外并在所述循環窗口之內的時間處加入所述新操作窗口。

3.  如權利要求2所述的方法,其特征在于,在任何操作窗口之外的時間在所有在先操作窗口的結束處開始。

4.  如權利要求2所述的方法,其特征在于,任何操作窗口之外的時間在所有操作窗口的結束之后、所述循環窗口的結束減去所述新操作窗口的時間之前的任何時間點處開始。

5.  如權利要求1所述的方法,其特征在于,確定是否發生照明包括確定所述循環窗口內的多個操作窗口。

6.  一種捕捉設備,包括:
具有視野的深度成像傳感器;
設備照明源;
耦合到所述傳感器的處理器,所述處理器包括指令所述處理器執行以下動作的代碼:
掃描所述視野以查找在所述捕捉設備附近的、在循環時間窗口中操作的至少一個第二照明源;
如果在所述循環窗口內發生來自至少一個第二照明源的照明,則在該照明發生時,隔離所述循環窗口內的所述第二照明源的操作時間窗口,所述操作窗口是相對于所述循環窗口的時間長度的一部分;
確定所述操作窗口的開始和結束;以及
在所述循環窗口內建立新操作窗口。

7.  如權利要求6所述的捕捉設備,進一步包括使用所述深度成像傳感器來進行掃描。

8.  如權利要求6所述的捕捉設備,其特征在于,建立新操作窗口包括使所述設備照明源在任何現有操作窗口之外并在所述循環窗口之內的時間處加入,并接收所述新操作窗口內的從所述設備照明源反射的照明。

9.  如權利要求8所述的捕捉設備,其特征在于,如果在所述循環窗口內沒有發生照明,則使所述照明設備以與所述循環窗口的時間一致的規律發生的間隔加入,并接收從所述設備照明源反射的照明,由此建立所述新操作窗口。

10.  如權利要求9所述的捕捉設備,其特征在于,所述確定包括確定所述循環窗口內的多個操作窗口。

說明書

說明書自主NUI設備的自發現
背景
在過去,諸如計算機游戲和多媒體應用之類的計算應用已使用控制器、遙控器、鍵盤、鼠標等來允許用戶操縱應用的游戲角色或其他方面。近來,計算機游戲和多媒體應用已開始使用相機和運動識別來提供人機接口(“HCI”)。使用HCI,檢測、解釋用戶姿勢并使用用戶姿勢來控制應用的游戲角色或其他方面。
存在其中用戶尋求在同一位置使用不同的處理設備來共同參與游戲的多個游戲應用。通常,當使用成像來提供人機接口的設備中的每一者都在其自身的處理系統上分開地操作時,這些設備不具有用于確保正確操作的機制。
概述
提供了使得多個捕捉設備能夠在同一物理空間中以自主方式進行交互的技術。每一捕捉設備都包括使用具有視野和照明源的成像傳感器來捕捉用戶在第一物理環境中的設備檢測移動的能力。在初始化或校準設備之際,代碼指令控制照明源和傳感器的處理器使照明源斷電并使用深度成像傳感器掃描視野以查找在循環時間窗口中操作的任何其他照明源。如果檢測到任何其他照明源,則確定該循環窗口內其他照明源的操作時間窗口的定時,并在這些操作窗口之外但在這些設備的循環脈寬窗口之內建立當前設備的非沖突操作窗口。這允許每一設備在此后通過使深度照明源重復地在任何現有操作窗口之外的時間處加入新循環操作窗口來在其自己的操作窗口內操作,并在該新操作窗口內接收從該設備照明源反射的照明。
提供本概述是為了以精簡的形式介紹將在以下詳細描述中進一步描述的一些概念。該概述不意圖標識所要求保護的主題的關鍵特征或基本特征,也不意圖被用來幫助確定所要求保護的主題的范圍。
附圖簡述
圖1示出了目標識別、分析及跟蹤系統的一個實施例,其中用戶正執行姿 勢以控制用戶界面。
圖2示出根據本技術的捕捉設備的一個實施例。
圖3示出本技術的相機照明和捕捉技術的一個實施例。
圖4是描述用于跟蹤用戶運動的過程的一個實施例的流程圖。
圖5是對物理空間中正利用兩個不同的捕捉設備和處理系統的兩個用戶的描繪。
圖6是描述用于在存在其他捕捉設備的情況下校準或初始化一捕捉設備的一個實施例的流程圖。
圖7A和7B相對于循環窗口示出各操作窗口。
圖8示出了根據本技術的第一處理設備。
圖9示出了根據本技術的第二處理設備。
詳細描述
提供了用于使得提供自然用戶界面的多個捕捉設備能夠在同一物理空間中進行交互的技術。每一捕捉設備都包括捕捉檢測用戶在第一物理環境中的移動的設備的能力。每一捕捉設備都包括具有視野的深度成像傳感器和設備照明源。在初始化或校準設備之際,代碼指令控制照明源和傳感器的處理器使照明源斷電并使用深度成像傳感器來掃描視野以查找該捕捉設備附近的、在循環時間窗口中操作的任何其他照明源。如果檢測到任何其他照明源,則確定關于循環窗口內的其他照明源的任何操作時間窗口,并在這些操作窗口之外但在這些設備的循環脈寬窗口之內建立當前設備的非沖突操作窗口。這允許每一設備在此后通過使深度照明源在任何現有操作窗口之外的時間處重復地加入新循環操作窗口來在其自己的操作窗口之內操作,并在新操作窗口內接收從該設備照明源反射的照明。
圖1示出了目標識別、分析和跟蹤系統10(下文中統稱為跟蹤系統)的一個實施例,其中用戶18正在與用戶界面23進行交互。目標識別、分析和跟蹤系統10可用來識別、分析和/或跟蹤諸如用戶18之類的人類目標,并提供人類控制的界面。
如圖1所示,跟蹤系統10可包括計算環境12。計算環境12可以是計算機、游戲系統或控制臺等。根據一個實施例,計算環境12可包括硬件組件和/或軟 件組件,使得計算環境12可用于執行操作系統和諸如游戲應用、非游戲應用等的應用。在一個實施例中,計算環境12可包括諸如標準化處理器、專用處理器、微處理器等處理器,該處理器可執行存儲在處理器可讀存儲設備上的用于執行本文中描述的過程的指令。
如圖1所示,跟蹤系統10還可包括捕捉設備20。捕捉設備20可以是例如相機,該相機可用于在視覺上監視諸如用戶18之類的一個或多個用戶,以使得可以捕捉、分析并跟蹤一個或多個用戶所執行的姿勢以執行針對操作系統或應用的用戶界面的一個或多個控制或動作。
捕捉設備可被定位在三軸定位馬達上,從而允許捕捉設備相對于其上安裝該捕捉設備的底座元件移動。定位馬達使得捕捉設備能夠掃描其中放置有捕捉設備20的物理環境100的更大范圍。
根據一個實施例,跟蹤系統10可連接至可向諸如用戶18等的用戶提供游戲或應用視覺和/或音頻的視聽設備16,諸如電視機、監視器、高清電視機(HDTV)等。例如,計算環境12可包括諸如圖形卡之類的視頻適配器和/或諸如聲卡之類的音頻適配器,這些適配器可提供與游戲應用、非游戲應用等相關聯的視聽信號。視聽設備16可以接收來自計算環境12的視聽信號,并可向用戶18輸出與該視聽信號相關聯的游戲或應用視覺和/或音頻。根據一個實施例,視聽設備16可經由例如S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜等連接到計算環境12。
如圖1所示,目標識別、分析和跟蹤系統10可用于識別、分析和/或跟蹤諸如用戶18之類的一個或多個人類目標。例如,可使用捕捉設備20來跟蹤用戶18,使得可將用戶18的移動解釋為可用于影響正由計算環境12執行的應用或操作系統的控制。
考慮諸如在計算環境12上執行的拳擊游戲之類的用戶界面應用。計算環境12可以使用視聽設備16來向用戶18提供拳擊對手的視覺表示,并使用視聽設備16來提供用戶18可用他或她的移動來控制的游戲化身的視覺表示。用戶18可在物理空間中作出移動(例如,揮拳)以使得玩家化身在游戲空間中作出相應的移動。可在物理空間中識別并分析用戶的移動,使得執行用于對游戲空間中玩家化身的游戲控制的相應移動。
某些移動可被解釋為可與除控制玩家化身或其他游戲對象之外的動作相對應的控制。例如,玩家可以使用移動來結束、暫停或保存游戲、選擇級別、查看高分、與朋友交流等。事實上操作系統和/或應用的任何可控方面可由諸如用戶18等目標的移動來控制。玩家可使用移動來從主用戶界面選擇游戲或其他應用。用戶18的全范圍運動可以用任何合適的方式來獲得、使用并分析以與應用或操作系統進行交互。
在圖1中,用戶18正與跟蹤系統10交互以控制系統用戶界面(UI)23,在該具體示例中該系統用戶界面正在顯示菜單項320-330的列表310。個體項目可代表應用或其他UI對象。用戶可在列表310中向左或向右滾動(如從用戶的視點來看)以查看不在當前顯示中但也與該列表相關聯的其他菜單項,選擇該菜單項以觸發諸如打開該菜單項所表示的應用之類的動作或對該項的進一步UI控制。用戶還可通過UI回退移動到UI層次結構中更高級的菜單項。
該系統可包括姿勢識別,以使得用戶可通過執行一個或多個姿勢來控制正在計算環境12上執行的應用或操作系統,計算環境12如以上所討論的可以是游戲控制臺、計算機等。在一個實施例中,姿勢識別器引擎(其架構在以下更完全描述)用于從用戶的骨架模型確定用戶何時作出了特定姿勢。
一般來說,如圖1中所指示的,用戶18在使用捕捉設備20時被限制于物理環境100。環境100一般是捕捉設備20的最佳執行范圍。
虛擬對象導航系統可利用身體部位跟蹤系統,該身體部位跟蹤系統使用諸如頭部、肩部、髖中心、膝蓋、踝部等一些身體部位的位置來計算一些導出量,并隨后使用這些量來按模擬方式而非數字方式實時地連續(即逐幀地)計算出虛擬觀察者的相機位置(即,用戶的細微移動導致相機的細微移動,以使得不是簡單的向左/向右移動,用戶可精確地向左/向右或以任何其他方向慢速或快速地移動相機)。
例如,手或其他身體部位的各種運動可對應于常見的系統級任務,諸如在分層菜單結構中向上或向下導航、在菜單列表中滾動各項、打開文件、關閉文件和保存文件。姿勢也可取決于游戲在視頻游戲專用上下文中使用。例如,在駕駛游戲中,手和腳的各種運動可對應于在某方向上駕駛車輛、換檔、加速和剎車。
在圖1中,用戶執行用右手的姿勢以如從用戶的視點來看向左滾動菜單項列表。如圖1中所示,用戶以他的右手在位置304開始,然后朝向他的身體的左側將右手移動到位置306。當用戶以他的手在位置304開始該姿勢時,菜單項320-328的列表310處于圖1中的第一位置。在圖2中,用戶已經將其手移到位置306,通過將菜單項的列表310向左滾動使得菜單項的列表改變。作為向左(如在用戶18的視角中定義的)滾動的結果,已將菜單項320從該列表移走。項322-328中的每一者都已向左移動一個位置,從而取代緊接在前的項的位置。作為從右到左滾動的結果,已將項330添加到列表。
圖2示出了捕捉設備20和計算設備12的一個實施例,它們可以在目標識別、分析和跟蹤系統10中使用,以識別捕捉環境100中的人類或非人類目標(而無需將特殊的感測設備附連到這些主體),并在三維空間中唯一地標識這些目標并跟蹤這些目標。根據一個實施例,捕捉設備20可被配置成經由任何合適的技術,包括例如飛行時間、結構化光、立體圖像等來捕捉具有深度信息的視頻,該深度信息包括可以包括深度值的深度圖像。根據一個實施例,捕捉設備20可將計算出的深度信息組織成“Z層”,即可與從深度相機沿其視線延伸的Z軸相垂直的層。
如圖2所示,捕捉設備20可包括圖像相機組件32。根據一個實施例,圖像相機組件32可以是可捕捉場景的深度圖像的深度相機。深度圖像可包括所捕捉的場景的二維(2-D)像素區域,其中2-D像素區域中的每個像素都可以表示深度值,比如所捕捉的場景中的對象與相機相距的例如以厘米、毫米等為單位的距離。
如圖2所示,圖像相機組件32可包括可被用來捕捉捕捉區域的深度圖像的IR光源34、三維(3-D)相機36、以及RGB相機38。例如,在飛行時間分析中,捕捉設備20的IR光源34可以將紅外光發射到捕捉區域上,然后可以使用傳感器,用例如3-D相機36和/或RGB相機38來檢測從捕捉區域中的一個或多個目標和對象的表面反向散射的光。在某些實施例中,可以使用脈沖式紅外光從而可以測量出射光脈沖和相應的入射光脈沖之間的時間差并將其用于確定從捕捉設備20到捕捉區域中的目標或對象上的特定位置的物理距離。此外,可將出射光波的相位與入射光波的相位進行比較來確定相移。然后可以 使用該相移來確定從捕捉設備到目標或對象上的特定位置的物理距離。
根據一個實施例,可使用飛行時間分析,通過經由包括例如快門式光脈沖成像的各種技術來分析反射光束隨時間的強度變化以間接地確定從捕捉設備20到目標或對象上的特定位置的物理距離。
在另一示例中,捕捉設備20可使用結構化光來捕捉深度信息。在該分析中,圖案化光(即,被顯示為諸如網格圖案或條紋圖案等已知圖案的光)可經由例如IR光源34被投射到捕捉區域上。在撞擊到捕捉區域中的一個或多個目標或對象的表面時,作為響應,圖案可變形。圖案的這種變形可由例如3-D相機36和/或RGB相機38來捕捉,然后可被分析來確定從捕捉設備到目標或對象上的特定位置的物理距離。
根據一個實施例,捕捉設備20可包括可以從不同的角度觀察捕捉區域的兩個或更多個在物理上分離的相機,以獲取可以被解析以生成深度信息的視覺立體數據。也可使用其它類型的深度圖像傳感器來創建深度圖像。
捕捉設備20還可包括話筒40。話筒40可包括可接收聲音并將其轉換成電信號的換能器或傳感器。根據一個實施例,話筒40可用于減少目標識別、分析和跟蹤系統10中的捕捉設備20與計算環境12之間的反饋。另外,話筒40可用于接收也可由用戶提供的音頻信號,以控制可由計算環境12執行的諸如游戲應用、非游戲應用等之類的應用。
在一個實施例中,話筒40包括具有多個元素(例如,四個元素)的話筒陣列。話筒的多個元素可與各波束形成技術結合用于實現空間選擇性。在一個實施例中,捕捉設備20還可以包括可以在操作上與圖像相機組件32進行通信的處理器42。處理器42可包括可執行指令的標準處理器、專用處理器、微處理器等,這些指令可包括用于存儲簡檔的指令、用于接收深度圖像的指令、用于確定合適的目標是否被包括在深度圖像中的指令、用于將合適的目標轉換成該目標的骨架表示或模型的指令、或任何其他合適的指令。
處理器42可包括能夠調整色彩、亮度、色調、銳化和所捕捉的數字圖像的其他元素的成像信號處理器。
捕捉設備20還可包括存儲器組件44,存儲器組件34可存儲可由處理器42執行的指令、由3-D相機或RGB相機所捕捉的圖像或圖像的幀、用戶簡檔、 或任何其他合適的信息、圖像等等。根據一個示例,存儲器組件44可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、高速緩存、閃存、硬盤、或任何其他合適的存儲組件。如圖3所示,存儲器組件44可以是與圖像捕捉組件32和處理器42進行通信的分開的組件。在另一實施例中,存儲器組件44可被集成到處理器42和/或圖像捕捉組件32中。在一個實施例中,圖2中示出的捕捉設備20的組件32、34、36、38、40、42和44中的一些或全部被容納在單一殼體中。
捕捉設備20可以經由通信鏈路46與計算環境12進行通信。通信鏈路46可以是包括例如USB連接、火線連接、以太網電纜連接等有線連接和/或諸如無線802.11b、802.11g、802.11a或802.11n連接等的無線連接。計算環境12可以向捕捉設備20提供時鐘,可以使用該時鐘來通過通信鏈路46確定何時捕捉例如場景。
捕捉設備20可經由通信鏈路46來向計算環境12提供由例如3-D相機36和/或RGB相機38捕捉的深度信息和圖像,包括可由捕捉設備20生成的骨架模型。計算環境12然后可使用骨架模型、深度信息和所捕捉的圖像來例如創建虛擬屏幕、適應用戶界面、以及控制諸如游戲或文字處理程序等應用。
運動跟蹤系統191使用骨架模型和深度信息來向在捕捉設備20耦合到的處理設備上的應用提供控制輸出。深度信息同樣可被姿勢庫192、結構數據198、姿勢識別引擎190、深度圖像處理和對象報告模塊194以及操作系統196使用。深度圖像處理和對象報告模塊194使用深度圖像來跟蹤諸如用戶和其他對象等對象的運動。深度圖像處理和對象報告模塊194會將檢測到的每個對象的標識以及每幀的對象的位置報告給操作系統196。操作系統196將使用該信息來更新化身或其他圖像在顯示中的位置或移動,或對所提供的用戶界面執行一動作。為了幫助跟蹤對象,深度圖像處理和對象報告模塊194使用姿勢庫190、結構數據198和姿勢識別引擎190。
計算系統12可包括利用捕捉設備所收集的信息以供用戶18使用的一個或多個應用300。在捕捉設備的存儲器中的校準或初始化組件197實現本文中公開的允許如本文中討論的多個設備的自主操作的技術。
結構數據198包括關于可被跟蹤的對象的結構信息。例如,可以存儲人類 的骨架模型以幫助理解用戶的移動并識別身體部位。還可以存儲關于非生命對象的結構信息以幫助識別這些對象并幫助理解移動。
姿勢庫192可包括姿勢過濾器的集合,每一姿勢過濾器包括和骨架模型(在用戶移動時)可執行的姿勢有關的信息。姿勢識別引擎190可將由相機36、38和設備20捕捉的、骨架模型以及與其相關聯的移動等形式的數據與姿勢庫192中的姿勢過濾器進行比較,以標識(如由骨架模型表示的)用戶何時作出了一個或多個姿勢。那些姿勢可與應用的各種控制相關聯。因此,計算環境12可使用姿勢庫190來解釋骨架模型的移動并基于這些移動來控制操作系統196或應用(未示出)。
關于識別器引擎190的更多信息可以在2009年4月13日提交的名為“GestureRecognizerSystemArchitecture(姿勢識別器系統架構)”的美國專利申請12/422,661中找到。關于識別姿勢的更多信息可在2009年2月23日提交的明為“StandardGestures(標準姿勢)”的美國專利申請12/391,150;以及2009年5月29日提交的名為“GestureTool(姿勢工具)”的美國專利申請12/474,655中找到。關于運動檢測和追蹤的更多信息可在2009年12月18日提交的名為“MotionDetectionUsingDepthImages(使用深度圖像的運動檢測)”的美國專利申請12/641,788以及名為“DeviceforIdentifyingandTrackingMultipleHumansoverTime(用于隨時間標識和跟蹤多個人類的設備)”的美國專利申請12/475,308中找到。
圖3描繪了圖2的捕捉設備20的局部框圖。這些組件可被提供在單個外殼中。設備20包括IR源34,該IR源34可被啟用(通電或打開)以發射連續光或脈沖光。IR源34也可被停用(斷電或關閉)以使得它不發射照明。光源在深度感測期間被調制或脈沖化。如果該IR源被關閉,則這意味著該系統僅能夠捕捉彩色視頻/圖像。IR源充當捕捉設備的照明系統。
捕捉設備20包括安裝透鏡322和傳感器透鏡360的外殼。投影透鏡322和/或傳感器透鏡360分別發射和接收IR照明和經反射的IR照明。相機36被定位成通過透鏡360接收經反射的IR照明。一般來說,IR照明可以被脈沖化,得到的光脈沖對場景照明并且被對象反射。相機透鏡收集經反射的光并將其成像在相機36上。取決于距離,傳入的光經歷延遲。由于光具有大致c= 300,000,000米每秒的速度,因此該延遲非常短,并且該照明的脈寬確定相機可處理的最大范圍。
在一個實施例中,捕捉設備使用33ms的循環窗口(W)。該循環窗口包括該捕捉設備的按順序循環的操作窗口。應當認識到,該窗口可取決于該捕捉設備被使用于的應用和范圍而改變。在一個實施例中,為了在捕捉設備20附近的給定環境100內進行感測,定義循環窗口內用于脈沖和檢測反射的操作窗口(圖7A),該定義基于光C的范圍和速度。脈沖和感測可在操作窗口內發生許多次,但在一個實施例中在9ms之后完成。應當理解,操作窗口(設備20的脈沖和感測窗口)可以是循環窗口的任何部分。每一脈沖都是在例如幾納秒之內在區域100內被發送和接收的,從而得到操作窗口內的許多脈沖/感測序列。這意味著捕捉設備具有操作窗口(在本實施例中為9ms),其比循環窗口短(在本實施例中為33ms)。應當理解,這些時間僅僅是示例性的。
在圖7A中示出了脈沖和感測循環窗口(w)和各操作窗口(x)。
根據本技術,存儲器44可存儲由處理器42執行來順序地提供脈沖照明和接收以在一連串的操作窗口上確定深度數據的指令。一般來說,這可在設備20正操作以提供所需的基于姿勢的界面時被持續地進行。
處理器42與IR源通信以如在此所述的那樣對其進行驅動或調制。傳感器透鏡360使從視野經反射的IR照明經過并抵達深度相機36所表示的一個或多個傳感器。脈沖反射限于來自源的IR脈沖,因為任何環境光都通過使用IR帶通濾波器(未示出)被反射,該IR帶通濾波器被調諧以僅準許IR源的波長的光被接收。相機36可包括例如具有光敏像素的一個或多個CMOS傳感器或CCD。每個像素都生成電荷,并且所聚集或集成的電荷的量可以被讀取作為對像素已經達到的光強的指示。
處理器42可包括從傳感器接收讀數并將這些讀數翻譯成用于傳感器的每個像素的深度數據的深度數據處理。例如,來自像素的讀數可以指示所聚集的電荷的量,并且這可以基于傳感器的特性與光強相關聯。深度圖可被存儲在例如存儲器44中。
如上所解釋的,捕捉設備20向計算環境12提供RGB圖像(也被稱為彩色圖像)以及深度圖像。深度圖像可以是多個觀測到的像素,其中每個觀測到 的像素具有觀測到的深度值。例如,深度圖像可包括所捕捉的場景的二維(2D)像素區域,其中2D像素區域中的每一像素可表示深度值,諸如例如以厘米、毫米等計的、所捕捉的場景中的對象距捕捉設備的長度或距離。
圖4是描述在一個實施例中可由跟蹤系統10執行的對用戶界面的姿勢控制的過程的一個實施例的流程圖。在步驟502,捕捉設備20的處理器42從圖像捕捉組件32處接收視覺圖像和深度圖像。在其他示例中,在步驟502僅接收深度圖像。深度圖像和視覺圖像可由圖像捕捉組件32中的任何傳感器或本領域中已知的其他適合的傳感器來捕捉。在一個實施例中,深度圖像是與視覺圖像分開地捕捉的。在一些實現中,深度圖像和視覺圖像被同時捕捉,而在其他實現中,它們被順序地或在不同的時間捕捉。在其他實施例中,深度圖像是與視覺圖像一起被捕捉的,或者與視覺圖像組合成一個圖像文件,使得每個像素具有R值、G值、B值和Z值(表示距離)。
在步驟504,確定對應于視覺圖像和深度圖像的深度信息。可分析在步驟502接收到的視覺圖像和深度圖像,以確定圖像內的一個或多個目標的深度值。捕捉設備20可捕捉或觀察可包括一個或多個目標的捕捉區域。在步驟506,捕捉設備確定深度圖像是否包括人類目標。在一個示例中,可對深度圖像中的每一目標進行泛色填充并將其與一圖案進行比較來確定該深度圖像是否包括人類目標。在一個示例中,可確定深度圖像的被捕捉場景中的每個目標的邊緣。深度圖像可包括被捕捉的場景的二維像素區域,其中2D像素區域中的每個像素可表示例如可通過相機測量的長度或距離之類的深度值。可以通過將與例如深度圖像的毗鄰或相鄰的像素相關聯的各深度值進行比較來確定邊緣。如果被比較的各深度值大于預定邊緣容差,則這些像素可定義邊緣。捕捉設備可將包括深度圖像的所計算的深度信息組織成“Z層”或可垂直于沿著其視線從相機延伸到觀察者的Z軸的各層。可基于所確定的邊緣來對Z層的可能Z值進行泛色填充。例如,可將與所確定的邊緣相關聯的像素和所確定的邊緣內的區域的像素彼此關聯,以限定捕捉區域中的目標或對象。
在步驟508,捕捉設備掃描人類目標以尋找一個或多個身體部位。可以掃描人類目標,以提供諸如長度、寬度等與用戶的一個或多個身體部位相關聯的測量,以使得用戶的準確模型可基于這些測量來生成。在一個示例中,隔離人 類目標,并創建位掩模來掃描一個或多個身體部位。可例如通過對人類目標進行泛色填充來創建位掩模,使得該人類目標與捕捉區域元素中的其他目標或對象相分離。在步驟510,基于在步驟508執行的掃描來生成人類目標的模型。可分析該位掩模來尋找一個或多個身體部位,以生成諸如人類目標的骨架模型、網格人類模型等模型。例如,可使用由所掃描的位掩模確定的度量值來限定骨架模型中的一個或多個關節。位掩模可包括人類目標沿X、Y和Z軸的值。該一個或多個關節可用于定義可對應于人類的身體部位的一根或多根骨骼。
根據一個實施例,為了確定人類目標的頸部、肩膀等的位置,可以將例如在被掃描的位置處的位掩模的寬度與關聯于例如頸部、肩膀等的典型寬度的閾值進行比較。在替換實施例中,可以使用離位掩碼中先前掃描的并與身體部位相關聯的位置的距離來確定頸部、肩膀等的位置。
在一個實施例中,為了確定肩膀的位置,可將肩膀位置處的位掩模的寬度與閾值肩膀值進行比較。例如,可以將肩部位置處的位掩模的X值處的兩個最靠外的Y值之間的距離與例如人類肩部之間的典型距離的閾值肩部值進行比較。由此,根據一示例實施例,該閾值肩部值可以是與人類的身體模型的肩部相關聯的典型寬度或寬度范圍。
在另一實施例中,為了確定肩膀的位置,可從頭部向下解析一特定距離的位掩碼。例如,可與頭部的頂部相關聯的位掩碼的頂部可具有與其相關聯的X值。然后可以將所存儲的與從頭部的頂部到人類身體的肩膀的頂部的典型距離相關聯的值加到頭部的頂部的X值來確定肩膀的X值。由此,在一個實施例中,可將所存儲的值加到與頭的頂部相關聯的X值以確定與肩膀相關聯的X值。
在一個實施例中,諸如腿、腳等的某些身體部位可基于例如其他身體部位的位置來計算。例如,如上所述,可以掃描與人類目標相關聯的諸如位、像素等信息,以確定人類目標的各個身體部位的位置。基于這些位置,然后可以為人類目標計算諸如腿、腳等的后續身體部位。
根據一個實施例,在確定了例如某身體部位的值后,可以創建一數據結構,該數據結構可包括諸如身體部位的長度、寬度等與人類目標的位掩模的掃描相關聯的測量值。在一實施例中,該數據結構可包括從多個深度圖像平均的掃描結果。例如,捕捉設備可捕捉各幀內的捕捉區域,每一幀都包括深度圖像。可 按如上所述來分析每個幀的深度圖像,以確定是否包括人類目標。如果幀的深度圖像包括人類目標,則可掃描與該幀相關聯的深度圖像的人類目標的位掩模來尋找一個或多個身體部位。隨后可對為每一幀所確定的身體部位的值求平均,以使數據結構可包括與每一幀的掃描相關聯的身體部位的諸如長度、寬度等平均測量值。在一個實施例中,所確定的身體部位的測量值可被調整(諸如被放大、縮小等),使得數據結構中的測量值更緊密地對應于人類身體的典型模型。在步驟510中,可使用由所掃描的位掩模確定的度量值來定義骨架模型中的一個或多個關節。
在步驟512,從接收自捕捉設備的深度圖像和視覺圖像中捕捉運動。在一個實施例中,如將在下文更詳細地描述的,在步驟514捕捉運動包括基于骨架映射生成運動捕捉文件。在步驟514,使用骨架映射來跟蹤在步驟510創建的模型,并在步驟516跟蹤用戶運動。例如,可在用戶在視野內在相機前的物理空間中移動時調整和更新用戶18的骨架模型。來自捕捉設備的信息可用于調整模型,以使得骨架模型準確地表示用戶。在一個示例中,這通過以下來實現:將一個或多個力施加到骨架模型的一個或多個受力方面,以將骨架模型調整成更加緊密地對應于人類目標和物理空間的姿態的姿態。
在步驟516,跟蹤用戶運動。
在步驟815,向諸如本文中所描述的導航系統之類的應用提供運動數據。還可評估這樣的運動數據以確定用戶是否正在執行預先定義的姿勢。可基于在步驟516確定的一個或多個UI上下文來執行步驟518。例如,當在菜單上下文中操作時第一姿勢集合可以是活躍的,而當在玩游戲上下文中操作時不同的姿勢集合可以是活躍的。步驟518還可包括確定活躍姿勢集合。在步驟520,執行姿勢識別和控制。跟蹤模型和捕捉到的運動被傳遞經過針對活躍姿勢集合的濾波器以確定是否滿足任何活躍姿勢濾波器。在計算環境內應用任何檢測出的姿勢,以控制計算環境12所提供的用戶界面。步驟520還可包括確定是否存在任何姿勢,如果存在,則修改響應于姿勢檢測而執行的用戶界面動作。
在一個實施例中,步驟516-520由計算設備12執行。此外,盡管步驟502-514被描述為由捕捉設備20執行,但這些步驟中的各個步驟可由諸如計算環境12之類的其他組件來執行。例如,捕捉設備20可向計算環境12提供視覺和/或深 度圖像,計算環境12接著將確定深度信息,檢測人類目標,掃描目標,生成并跟蹤模型,以及捕捉人類目標的運動。
圖5是本技術的應用的圖示。在圖5中,在同一物理空間1000上存在第一用戶18a和第二用戶18b。在該實例中,還存在兩個捕捉設備20A和20B以及系統10A和10B。存在先前描述的供每一用戶18a和18b與系統10聯用的其他元件。在圖5所示的示例中,每一系統10A和108B必須按其中照明和檢測不沖突的方式來操作。用于實現這個的一種方法是確保系統10a和10b就其操作窗口彼此通信。然而,要求這些系統之間的連接通常是不切實際的,并降低了這些系統的靈活性。
圖6是示出當多個捕捉設備在環境1000中操作時由一捕捉設備的自發現的方法的流程圖。圖6的技術允許該系統獨立地確定另一系統是否存在于將需要系統之間的協調一影響操作的物理鄰近度中。
圖6的方法可由每一捕捉設備作為初始化過程的一部分或在重新校準被處理器42中指令校準的代碼請求時作為重新校準的一部分來執行。在一個實施例中,所有捕捉設備都被設計成用相同定時的循環和操作窗口操作。圖6的方法允許設備在可能包含其他設備的環境中為其自己確定要在其中進行脈沖和感測的操作窗口。
在602,作出關于在捕捉設備的循環時間W內的操作時間窗口X的確定。操作窗口可以是圖7A中示出的脈沖和檢測窗口,該窗口是依據該設備的脈寬定義的操作窗口的一部分。應當認識到,該操作窗口和循環窗口可取決于該捕捉設備被使用于的應用和范圍而改變。步驟602的確定可為每一初始化或校準作出,或者為執行圖6的方法的任何設備作出一次。
在604,發起對捕捉設備的初始化或校準。在606,禁用該設備的所有照明源。這允許捕捉設備的傳感器元件檢測是否發生與預定義模式匹配的或在循環窗口內的其他照明源。
在608,掃描環境以查找在該環境中發生的脈沖光源。該掃描在多個數目(N)個循環窗口上的某時間幀內查找不時重復的任何照明源。如果在610在N個循環窗口的掃描時間幀內檢測到照明,則在612作出關于這些脈沖的長度的計算。在612的定時計算將允許在615確定照明(或非照明)。在一個實施 例中,在步驟614、616、618通過以下方式來計算脈沖長度:確定環境內的任何照明周期的長度并因此確定是否剩余循環窗口內的任何操作窗口以用于執行圖6的方法的設備的操作。
在620,基于在614、616、618確定的脈沖/感測長度來作出關于操作窗口是否可用的確定。如果在步驟614檢測到的照明具有一個操作窗口(即,圖7B中的窗口X1)的長度,則在620操作窗口將可用。如果在步驟614檢測到的脈沖具有兩個操作窗口(即,圖7B中的窗口X1+X2(或2X1))的長度,則在620操作窗口將可用。任何數目的操作窗口(nX1)可基于在循環窗口內發生的操作窗口的數目來計算。在以上33ms的循環窗口和9ms的操作窗口的示例中,僅三個操作窗口可在循環窗口內發生。但是如果循環窗口被增加到為50ms,則可確定例如五個操作窗口。
如果在620操作窗口可用,則在622確定下一可用操作窗口。下一可用窗口在檢測到的任何照明序列的結束處開始。在626可通過以下方式來確定下一可用操作窗口:計算在循環窗口內檢測到的照明所占用的總時間以及隔離當前設備的下一可用脈沖時間。例如,如果對于具有33ms循環窗口的設備而言,重復的檢測到照明的總脈沖時間為9ms,則新操作窗口可被設為在10ms處的檢測到的脈沖的結束處立即開始。類似地,如果重復的檢測到照明的總脈沖時間為18ms,則新操作窗口可被設為在19ms處的檢測到脈沖的結束處立即開始。
在進一步替換例中,應當理解,612處的采樣以及620處的確定不需要嚴格地測量照明的周期,但還可或可替換地測量非照明的重復周期。如果在620識別到照明(以及非照明)的重復模式,則新操作窗口可在626被設為固化任何這樣的非照明的周期,因為執行圖6的方法的捕捉設備可將那個窗口用于其自己的脈沖和感測序列。
通過這種方式,執行初始化或校準的設備為所有設備使用在彼此的物理視圖內的任何下一可用操作窗口—即,在所有同一物理環境內操作的所有設備可找出其自己的操作窗口,該操作窗口與在同一環境中操作的同一類型的其他捕捉設備不沖突。
在一個實施例中,在相同循環和操作窗口內操作的所有捕捉設備可由此基于各按順序循環的窗口確定要在其中操作的操作窗口。
在一個實施例中,每一設備都執行圖6的方法,以使得(1)任何環境中的第一設備都不會檢測脈沖,并開始限定循環窗口的第一操作窗口;(2)該環境中的任何第二設備都會檢測作為照明的第一設備的脈沖,并在第一操作窗口的結束處開始其自己的新操作窗口;以及(3)該環境中的任何第三設備都會檢測作為照明的第一和第二設備脈沖,并在第二操作窗口的結束處開始其自己的新操作窗口。在另一替換例中,第二設備可在循環窗口內沒有被第一設備的照明占用的任何時間點處開始。在這樣的替換例中,任何第三(或后續設備)將被保留以確定是否發生足夠的其中供自己操作的非照明周期。在該技術下,設備甚至可直接指向彼此,并進行操作而沒有操作窗口的沖突。
圖7A示出了循環窗口內的第一操作窗口。圖7B示出了循環窗口內的第一和第二操作窗口。圖7B中的第二操作窗口可包括與第一操作窗口相同的脈沖照明和感測序列。在其他實施例中,這些操作窗口的定時可以是不同的,并且在步驟608的確定可使得通過感測步驟來確定環境中的其他設備的操作窗口的指示。如圖7B中所示出的,兩個操作窗口具有相同或同樣的時間長度—在該實施例中為9ms。操作窗口包括一系列脈沖和感測周期。在圖7A和7B中,脈沖用黑線來表示,而感測周期用白間隙來示出。應當理解,這些脈沖和感測周期并不是按比例的。如所示出的,每一操作窗口都在與循環窗口相同的周期上循環。即,如圖7B所示,第一設備的操作窗口(操作窗口A)在第二循環窗口中與第二設備的操作窗口(操作窗口B)同樣地重復。示出了兩個循環窗口,但應當理解,循環窗口在與捕捉設備進行掃描一樣長的時間內重復。
圖8是可用于實現像圖1A和1B中的中樞計算系統之類的中樞計算系統的計算系統的一個實施例的框圖。在這一實施例中,計算系統是多媒體控制臺800,諸如游戲控制臺等。如圖8所示,多媒體控制臺800具有中央處理單元(CPU)801以及便于處理器訪問各種類型存儲器的存儲器控制器802,各種類型存儲器包括閃速只讀存儲器(ROM)803、隨機存取存儲器(RAM)806、硬盤驅動器808、以及便攜式媒體驅動器806。在一種實現中,CPU801包括1級高速緩存810和2級高速緩存812,這些高速緩存用于臨時存儲數據并因此減少對硬盤驅動器808進行的存儲器訪問周期的數量,從而提高了處理速度和吞吐量。
CPU801、存儲器控制器802、以及各種存儲器設備經由一個或多個總線(未示出)互連。在此實現中所使用的總線的細節對理解此處所討論的關注主題不是特別相關。然而,應該理解,這樣的總線可以包括串行和并行總線、存儲器總線、外圍總線、使用各種總線體系結構中的任何一種的處理器或局部總線中的一個或多個。作為示例,這樣的架構可以包括工業標準體系結構(ISA)總線、微通道體系結構(MCA)總線、增強型ISA(EISA)總線、視頻電子標準協會(VESA)局部總線、以及也稱為夾層總線的外圍部件互連(PCI)總線。
在一個實現中,CPU801、存儲器控制器802、ROM803、以及RAM806被集成到公用模塊814上。在此實現中,ROM803被配置為通過PCI總線和ROM總線(兩者都沒有示出)連接到存儲器控制器802的閃存ROM。RAM806被配置為多個雙倍數據速率同步動態RAM(DDRSDRAM)模塊,它們被存儲器控制器802通過分開的總線(未示出)獨立地進行控制。硬盤驅動器808和便攜式媒體驅動器805被示為通過PCI總線和AT附加(ATA)總線816連接到存儲器控制器802。然而,在其他實現中,也可以備選地應用不同類型的專用數據總線結構。
圖形處理單元820和視頻編碼器822構成了用于進行高速度和高分辨率(例如,高清)的圖形處理的視頻處理流水線。數據通過數字視頻總線(未示出)從圖形處理單元(GPU)820傳輸到視頻編碼器822。由系統應用生成的輕量消息(例如,彈出窗口)通過使用GPU820中斷來調度代碼以將彈出窗口呈現為覆蓋圖來顯示。覆蓋圖所使用的存儲器量取決于覆蓋區域大小,并且覆蓋圖優選地與屏幕分辨率成比例縮放。在并發系統應用使用完整用戶界面的情況下,優選使用獨立于應用分辨率的分辨率。定標器(scaler)可用于設置該分辨率,從而消除了對改變頻率并引起TV重新同步的需求。
音頻處理單元824和音頻編解碼器(編碼器/解碼器)826構成了對應的音頻處理流水線,用于對各種數字音頻格式進行多通道音頻處理。通過通信鏈路(未示出)在音頻處理單元824和音頻編解碼器826之間傳送音頻數據。視頻和音頻處理流水線向A/V(音頻/視頻)端口828輸出數據,以便傳輸到電視機或其它顯示器。在所示出的實現中,視頻和音頻處理組件820-828安裝在模塊 214上。
圖8示出了包括USB主控制器830和網絡接口832的模塊814。USB主控制器830被示為通過總線(例如,PCI總線)與CPU801和存儲器控制器802進行通信,并作為外圍控制器804(1)-804(4)的主機。網絡接口832提供對網絡(例如因特網、家庭網絡等)的訪問,并且可以是包括以太網卡、調制解調器、無線接入卡、藍牙模塊、電纜調制解調器等各種有線或無線接口組件中的任一種。
在圖8中所描繪的實現中,控制臺800包括用于支持四個控制器804(1)-804(4)的控制器支持子部件840。控制器支持子部件840包括支持與諸如,例如,媒體和游戲控制器之類的外部控制設備的有線和無線操作所需的任何硬件和軟件組件。前面板I/O子組件842支持電源按鈕812、彈出按鈕813,以及任何LED(發光二極管)或暴露在控制臺802的外表面上的其它指示器等多個功能。子部件840和842通過一個或多個電纜部件844與模塊814進行通信。在其它實現中,控制臺800可以包括另外的控制器子部件。所示出的實現還示出了被配置成發送和接收可以傳遞到模塊814的信號的光學I/O接口835。
MU840(1)和840(2)被示為可分別連接到MU端口“A”830(1)和“B”830(2)。附加的MU(例如,MU840(3)-840(6))被示為可連接到控制器804(1)和804(3),即,每一控制器兩個MU。控制器804(2)和804(4)也可以被配置成接納MU(未示出)。每一個MU840都提供附加存儲,在其上面可以存儲游戲、游戲參數、及其它數據。在一些實現中,其它數據可以包括數字游戲組件、可執行的游戲應用,用于擴展游戲應用的指令集、以及媒體文件中的任何一種。當被插入到控制臺800或控制器中時,MU840可以被存儲器控制器802訪問。系統供電模塊850向游戲系統800的組件供電。風扇852冷卻控制臺800內的電路。還提供微控制器單元854。
包括機器指令的應用860被存儲在硬盤驅動器808上。當控制臺800被接通電源時,應用860的各個部分被加載到RAM806、和/或高速緩存810以及812中以在CPU801上執行,其中應用860是一個這樣的示例。各種應用可以存儲在硬盤驅動器808上以用于在CPU801上執行。
通過簡單地將游戲和媒體系統800連接到監視器16(圖1)、電視機、視 頻投影儀或其他顯示設備,該系統200就可以作為獨立系統來操作。在此獨立模式下,游戲和媒體系統800允許一個或多個玩家玩游戲或欣賞數字媒體,例如觀看電影或欣賞音樂。然而,隨著寬帶連接的集成通過網絡接口832而成為可能,游戲和媒體系統800還可以作為更大的網絡游戲社區的參與者來操作。
上述系統可被用于將虛擬圖像添加到用戶的視圖,使得虛擬圖像與用戶看到的現實圖像相混合。在一個示例中,虛擬圖像是以它們看上去為原始場景的一部分的方式被添加。添加虛擬圖像的示例可在2011年5月20日提交的名為“EventAugmentationWithReal-TimeInformation”(具有實時信息的事件增強)的美國專利申請13/112919;以及2010年10月15日提交的名為“FusingVirtualContentIntoRealContent”(將虛擬內容合并到現實內容中)的美國專利申請12/905952中找到。
圖9示出了計算系統420的另一示例實施例,該計算系統可以是圖1A-2B所示的用于跟蹤應用所顯示的化身或其他屏幕上對象的運動和/或動畫化(或以其他方式更新化身或其他屏幕上對象)的計算系統112。計算系統環境420只是合適的計算系統的一個示例,并且不旨在對當前公開的主題的使用范圍或功能提出任何限制。也不應該將計算系統420解釋為對示例性操作系統420中示出的任一組件或其組合有任何依賴性或要求。在某些實施例中,所描繪的各種計算元素可包括被配置成實例化本發明的各具體方面的電路。例如,本公開中使用的術語電路可包括被配置成通過固件或開關來執行功能的專用硬件組件。其他示例中,術語電路可包括由實施可用于執行功能的邏輯的軟件指令配置的通用處理單元、存儲器等。在電路包括硬件和軟件的組合的示例實施例中,實施者可以編寫體現邏輯的源代碼,且源代碼可以被編譯為可以由通用處理單元處理的機器可讀代碼。因為本領域技術人員可以明白現有技術已經進化到硬件、軟件或硬件/軟件組合之間幾乎沒有差別的地步,因而選擇硬件或是軟件來實現具體功能是留給實現者的設計選擇。更具體地,本領域技術人員可以明白軟件進程可被變換成等價的硬件結構,而硬件結構本身可被變換成等價的軟件進程。由此,對于硬件實現還是軟件實現的選擇是設計選擇之一并留給實現者。
計算系統420包括計算機441,計算機441通常包括各種計算機可讀介質。計算機可讀介質可以是能由計算機441訪問的任何可用介質,而且包含易失性 和非易失性介質、可移動和不可移動介質。系統存儲器422包括易失性和/或非易失性存儲器形式的計算機存儲介質,如只讀存儲器(ROM)423和隨機存取存儲器(RAM)460。包含諸如在啟動期間幫助在計算機441內的元件之間傳輸信息的基本例程的基本輸入/輸出系統424(BIOS)通常存儲在ROM423中。RAM460通常包含處理單元459可立即訪問和/或當前正在操作的數據和/或程序模塊。作為示例而非限制,圖9示出了操作系統425、應用程序426、其他程序模塊427和程序數據428。
計算機441也可以包括其他可移動/不可移動、易失性/非易失性計算機存儲介質。僅作為示例,圖9示出了從不可移動、非易失性磁介質中讀取或向其寫入的硬盤驅動器438,從可移動、非易失性磁盤454中讀取或向其寫入的磁盤驅動器439,以及從諸如CDROM或其他光學介質等可移動、非易失性光盤453中讀取或向其寫入的光盤驅動器440。可在示例性操作環境中使用的其它可移動/不可移動、易失性/非易失性計算機存儲介質包括但不限于,磁帶盒、閃存卡、數字多功能盤、數字錄像帶、固態RAM、固態ROM等。硬盤驅動器438通常通過諸如接口434之類的不可移動存儲器接口連接到系統總線421,并且磁盤驅動器439和光盤驅動器440通常通過諸如接口435之類的可移動存儲器接口連接到系統總線421。
以上討論并在圖9中示出的驅動器及其相關聯的計算機存儲介質為計算機441提供了對計算機可讀指令、數據結構、程序模塊和其他數據的存儲。在圖9中,例如,硬盤驅動器438被示為存儲操作系統458、應用程序457、其他程序模塊456和程序數據455。注意,這些組件可與操作系統425、應用程序426、其它程序模塊427和程序數據428相同,也可與它們不同。在此操作系統458、應用程序457、其它程序模塊456以及程序數據455被給予了不同的編號,以至少說明它們是不同的副本。用戶可以通過輸入設備,例如鍵盤451和定點設備452(通常稱為鼠標、跟蹤球或觸摸墊)向計算機441輸入命令和信息。其它輸入設備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛星天線、掃描儀等。這些以及其它輸入設備通常通過耦合到系統總線的用戶輸入接口436連接到處理單元459,但也可通過諸如并行端口、游戲端口或通用串行總線(USB)之類的其它接口和總線結構來連接。相機226、228和捕捉設備120 可經由用戶輸入接口436來定義計算系統420的附加輸入設備。監視器442或其他類型的顯示設備也經由諸如視頻接口432之類的接口連接至系統總線421。除了監視器以外,計算機還可包括諸如揚聲器444和打印機443之類的其它外圍輸出設備,它們可通過輸出外圍接口433來連接。捕捉環境120可經由輸出外圍接口433、網絡接口437或其他接口連接到計算系統420。
計算機441可使用到一個或多個遠程計算機(諸如,遠程計算機446)的邏輯連接而在聯網環境中操作。遠程計算機446可以是個人計算機、服務器、路由器、網絡PC、對等設備或其他常見網絡節點,并且通常包括許多或所有以上相對計算機441所描述的元件,但在圖9中僅示出了存儲器存儲設備447。所描繪的邏輯連接包括局域網(LAN)445和廣域網(WAN)449,但也可以包括其它網絡。此類聯網環境在辦公室、企業范圍的計算機網絡、內聯網和因特網中是常見的。
當在LAN聯網環境中使用時,計算機441通過網絡接口或適配器437連接到LAN445。當在WAN聯網環境中使用時,計算機441通常包括調制解調器450或用于通過諸如因特網等WAN449建立通信的其它手段。調制解調器450可以是內置的或外置的,可經由用戶輸入接口436或其它適當的機制連接到系統總線421。在聯網環境中,相關于計算機441所示的程序模塊或其部分可被存儲在遠程存儲器存儲設備中。作為示例而非局限,圖9示出應用程序448駐留在存儲器設備447上。應當理解,所示的網絡連接是示例性的,并且可使用在計算機之間建立通信鏈路的其它手段。
盡管用結構特征和/或方法動作專用的語言描述了本主題,但可以理解,所附權利要求書中定義的主題不必限于上述具體特征或動作。相反,上述具體特征和動作是作為實現權利要求的示例形式公開的。

關 鍵 詞:
自主 NUI 設備 發現
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:自主NUI設備的自發現.pdf
鏈接地址:http://www.rgyfuv.icu/p-6409696.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图