• / 9
  • 下載費用:30 金幣  

一種藍牙控制顯示內容同步的方法.pdf

關 鍵 詞:
一種 藍牙 控制 顯示 內容 同步 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
摘要
申請專利號:

CN201610789956.3

申請日:

2016.08.31

公開號:

CN106331426A

公開日:

2017.01.11

當前法律狀態:

實審

有效性:

審中

法律詳情: 實質審查的生效IPC(主分類):H04N 5/04申請日:20160831|||公開
IPC分類號: H04N5/04; H04N5/06; H04W4/00(2009.01)I; G06F3/14 主分類號: H04N5/04
申請人: 成都炫境科技有限公司
發明人: 劉亞博; 代波; 王強
地址: 610041 四川省成都市高新區天華一路99號7棟1單元3層308
優先權:
專利代理機構: 北京天奇智新知識產權代理有限公司 11340 代理人: 楊春
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201610789956.3

授權公告號:

|||

法律狀態公告日:

2017.02.08|||2017.01.11

法律狀態類型:

實質審查的生效|||公開

摘要

本發明提供了一種藍牙控制顯示內容同步的方法,該方法包括:發送端的AR設備A與接收端的AR設備B分別與一組轉發設備C建立藍牙傳輸網絡連接,根據設備A、B與每個轉發設備之間的傳輸性能參數選定轉發設備,向設備B進行屏幕畫面的轉發。本發明提出了一種藍牙控制顯示內容同步的方法,減少AR設備直接鏈路的壓力的對視頻流暢效果影響。

權利要求書

1.一種藍牙控制顯示內容同步的方法,用于在多個AR設備中進行畫面同步傳輸和顯
示,其特征在于,包括:
發送端的AR設備A與接收端的AR設備B分別與一組轉發設備C建立藍牙傳輸網絡連接,
根據設備A、B與每個轉發設備之間的傳輸性能參數選定轉發設備,向設備B進行屏幕畫面的
轉發。
2.根據權利要求1所述的方法,其特征在于,所述轉發設備C包括多個設備C1…Cn,所述
方法還包括:
設備A發送握手信號到轉發設備C,轉發設備C接收數據并計算設備A與轉發設備C之間
數據傳輸鏈路的丟包率和傳輸速率組成的傳輸性能參數;設備C發送握手信號到設備B,設
備B回傳數據到轉發設備C,轉發設備C計算轉發設備C與設備B之間數據傳輸鏈路的丟包率
和傳輸速率組成的傳輸性能參數;轉發設備C將其自身的計算速度、與設備A之間以及與設
備B之間的傳輸性能參數一同發送回發送端的設備A;
設備A根據備選轉發設備C的傳輸性能參數,將此參數相似的轉發設備C分為一組,作為
轉發設備組;對同一轉發設備C而言,計算設備A與轉發設備C、轉發設備C與設備B之間的傳
輸速率,并以其中較小的傳輸速率值為參考進行分組;設備A根據其傳輸時的基本傳輸數據
速率和轉發設備組的傳輸性能參數選中一組轉發性能滿足預定義傳輸要求的轉發設備組
作為選定轉發設備組,即選擇傳輸速率大于基本傳輸數據速率的備選轉發設備組中傳輸速
率最大的一組作為選定轉發設備組,并建立中繼鏈路;
設備A對自身畫面信息進行抓取,將所抓取的畫面信息和抓取時的時間以及設備標識
號等參數一并封裝到傳輸數據幀中,并通過藍牙傳輸網絡向設備B和已經建立鏈路鏈接的
選定轉發設備組發送同一幀傳輸數據;與設備A和設備B建立鏈接的選定轉發設備組將接收
的傳輸數據通過藍牙傳輸網絡向設備B轉發;當設備B接收到設備A或者選定轉發設備組中
任意一個設備傳輸的數據后開始計時,并等待其他設備傳來的數據;計時時間超過預設的
最大延遲時,設備B通知尚未將傳輸數據傳輸給設備B的鏈路所對應的設備A或轉發設備C丟
棄超時的傳輸數據;然后設備B將已經接收到的傳輸數據進行選擇合并;設備B將處理后的
傳輸數據進行屏幕顯示;
在對某一時刻從設備A和設備C接收的傳輸數據進行同步性檢測時,計算前一時刻各路
畫面傳輸信息的終端反饋不同步次數,將其與設置的終端反饋不同步次數的可接受閾值、
終端反饋不同步次數的不接受閾值進行比較,若各路傳輸數據中最小終端反饋不同步次數
小于終端反饋不同步次數的可接受閾值或者大于終端反饋不同步次數的不接受閾值,則選
擇終端反饋不同步次數最低的一路傳輸數據為設備B的顯示數據;若各路傳輸數據中最小
不同步次數介于終端反饋不同步次數的可接受閾值和終端反饋不同步次數的不接受閾值
之間,則選取設備B接收到的傳輸數據中出現次數最多的傳輸數據為設備B的顯示數據,若
存在出現次數相同的傳輸數據,則選取其中終端反饋不同步次數低的傳輸數據為設備B的
顯示數據。

說明書

一種藍牙控制顯示內容同步的方法

技術領域

本發明涉及屏幕顯示,特別涉及一種藍牙控制顯示內容同步的方法。

背景技術

人們工作生活中的多媒體設備己經從傳統的以單個智能設備,轉變成桌面電腦、
智能手機、平板電腦和電視機以及虛擬現實、增強現實設備共同存在。因此從單獨的設備,
逐漸轉變成同步、綜合使用這些設備,能夠獲得更好的用戶體驗。傳統的計算機同步顯示平
臺通常是為有線局域網環境設計的。但是,在云計算的場景中,用戶可能處于各種各樣的網
絡環境,例如藍牙、3G網絡、WiFi。現有的同步顯示平臺尚未考慮多種網絡場景的可擴展性,
在帶寬,延遲和圖像質量上成為瓶頸。例如,有些方法將畫面像素劃分到不同的位圖層之
中,通常這會導致較高的編碼復雜度;畫面流媒體壓縮效率不夠理想。

發明內容

為解決上述現有技術所存在的問題,本發明提出了一種藍牙控制顯示內容同步的
方法,包括:

發送端的AR設備A與接收端的AR設備B分別與一組轉發設備C建立藍牙傳輸網絡連
接,根據設備A、B與每個轉發設備之間的傳輸性能參數選定轉發設備,向設備B進行屏幕畫
面的轉發。

優選地,所述轉發設備C包括多個設備C1…Cn,所述方法還包括:

設備A發送握手信號到轉發設備C,轉發設備C接收數據并計算設備A與轉發設備C
之間數據傳輸鏈路的丟包率和傳輸速率組成的傳輸性能參數;設備C發送握手信號到設備
B,設備B回傳數據到轉發設備C,轉發設備C計算轉發設備C與設備B之間數據傳輸鏈路的丟
包率和傳輸速率組成的傳輸性能參數;轉發設備C將其自身的計算速度、與設備A之間以及
與設備B之間的傳輸性能參數一同發送回發送端的設備A;

設備A根據備選轉發設備C的傳輸性能參數,將此參數相似的轉發設備C分為一組,
作為轉發設備組;對同一轉發設備C而言,計算設備A與轉發設備C、轉發設備C與設備B之間
的傳輸速率,并以其中較小的傳輸速率值為參考進行分組;設備A根據其傳輸時的基本傳輸
數據速率和轉發設備組的傳輸性能參數選中一組轉發性能滿足預定義傳輸要求的轉發設
備組作為選定轉發設備組,即選擇傳輸速率大于基本傳輸數據速率的備選轉發設備組中傳
輸速率最大的一組作為選定轉發設備組,并建立中繼鏈路;

設備A對自身畫面信息進行抓取,將所抓取的畫面信息和抓取時的時間以及設備
標識號等參數一并封裝到傳輸數據幀中,并通過藍牙傳輸網絡向設備B和已經建立鏈路鏈
接的選定轉發設備組發送同一幀傳輸數據;與設備A和設備B建立鏈接的選定轉發設備組將
接收的傳輸數據通過藍牙傳輸網絡向設備B轉發;當設備B接收到設備A或者選定轉發設備
組中任意一個設備傳輸的數據后開始計時,并等待其他設備傳來的數據;計時時間超過預
設的最大延遲時,設備B通知尚未將傳輸數據傳輸給設備B的鏈路所對應的設備A或轉發設
備C丟棄超時的傳輸數據;然后設備B將已經接收到的傳輸數據進行選擇合并;設備B將處理
后的傳輸數據進行屏幕顯示;

在對某一時刻從設備A和設備C接收的傳輸數據進行同步性檢測時,計算前一時刻
各路畫面傳輸信息的終端反饋不同步次數,將其與設置的終端反饋不同步次數的可接受閾
值、終端反饋不同步次數的不接受閾值進行比較,若各路傳輸數據中最小終端反饋不同步
次數小于終端反饋不同步次數的可接受閾值或者大于終端反饋不同步次數的不接受閾值,
則選擇終端反饋不同步次數最低的一路傳輸數據為設備B的顯示數據;若各路傳輸數據中
最小不同步次數介于終端反饋不同步次數的可接受閾值和終端反饋不同步次數的不接受
閾值之間,則選取設備B接收到的傳輸數據中出現次數最多的傳輸數據為設備B的顯示數
據,若存在出現次數相同的傳輸數據,則選取其中終端反饋不同步次數低的傳輸數據為設
備B的顯示數據。

本發明相比現有技術,具有以下優點:

本發明提出了一種藍牙控制顯示內容同步的方法,減少AR設備直接鏈路的壓力的
對視頻流暢效果影響。

附圖說明

圖1是根據本發明實施例的一種藍牙控制顯示內容同步的方法的流程圖。

具體實施方式

下文與圖示本發明原理的附圖一起提供對本發明一個或者多個實施例的詳細描
述。結合這樣的實施例描述本發明,但是本發明不限于任何實施例。本發明的范圍僅由權利
要求書限定,并且本發明涵蓋諸多替代、修改和等同物。在下文描述中闡述諸多具體細節以
便提供對本發明的透徹理解。出于示例的目的而提供這些細節,并且無這些具體細節中的
一些或者所有細節也可以根據權利要求書實現本發明。

本發明的一方面提供了一種藍牙控制顯示內容同步的方法。圖1是根據本發明實
施例的一種藍牙控制顯示內容同步的方法流程圖。

本發明首先在畫面壓縮過程中,將輸入的顯示幀以固定大小劃分為塊,基于幀序
列的幀內相關性和幀間相關性壓縮編碼;基于內容自適應的編碼方法,即利用位圖區域特
征將畫面分類為位圖區域和文字區域;位圖區域和文字區域分別置于位圖層和文字層中,
位圖區域采用圖像編碼進行處理,對文字區域進行顏色描述和量化以及利用光強度和飽和
度的通道相關性編碼。在畫面同步傳輸過程中,根據畫面內容而劃分為多個區塊進行獨立
的編碼和傳輸;根據以上壓縮方法的特性,利用改進的延遲降低方法來傳輸畫面。

本發明利用多AR設備協同畫面同步顯示平臺,基于遠程Agent而在AR終端部署同
步顯示平臺。Agent維護了一個虛擬同步顯示平臺用于解析、排版和繪制顯示畫面,繪制出
來的畫面圖像在編碼后傳輸到AR終端。AR終端接收并且解碼碼流,然后將畫面圖像顯示出
來。在基于Agent的AR終端同步顯示平臺的基礎上,利用顯示畫面播放進度同步機制,實現
播放進度的無縫銜接。

輸入的畫面圖像首先以64×64的大小分塊。然后通過在相鄰幀之間進行差別檢
測,找出內容和位置均不變的塊,本發明稱之為時移塊。通過聯合熵編碼來壓縮每一個時移
塊的類型,在其余的塊中執行基于塊邊界對齊的運動檢測來找出內容不變但是發生位移的
區域。對于每一個運動塊,將其類型和運動向量進行編碼。在檢測出相鄰幀之間的不變內容
之后,將其余的塊分類為位圖區域和文字區域,然后分別采用不同的方法進行壓縮。

本發明在分類時,對于一個塊i,令XP(i)和YP(i)分別表示當前梯度系數下將當前
區域分類為位圖區域進行編碼時的失真率以及比特率,XT(i)和YT(i)分別表示當前梯度系
數下將當前區域分類為文字區域進行編碼時的失真率以及比特率。如果滿足以下條件:

XT(i)≤XP(i),并且YT(i)<YP(i)

則當前區域被分類為文字區域。

如果滿足以下條件:

XP(i)<XT(i),并且YP(i)≤YT(i)

則當前區域被分類為位圖區域。

否則,當前區域將以拉格朗日失真率優化算法進行分類。

分類完成后,首先進行像素級的量化,將一個塊中出現頻率最高的四種顏色確定
為基礎色。采用的量化函數表示如下:


其中x是要量化的顏色,BCk,是4個基礎色,k=0,...,3,Δ1和Δ2是由兩個預設量
化增量。

如果|x-BCk|≥Δ1,則這個顏色x被稱為非基礎色。文字內容的三個顏色通道各自
獨立進行量化。經過量化后,輸入的畫面圖像的每一個塊S(i,j)(0≤i≤w-l,0≤j≤i-1,w
和h分別是塊的寬度和高度)的各個顏色通道都可以用一個灰度矩陣I(i,j)以及基礎色、非
基礎色來描述。I(i,j)的定義如下,

如果S(i,j)-BCk<Δ1,則I(i,j)=k,否則I(i,j)=4

在壓縮文字內容時,如果某個塊中文字像素占最大比例,則方法優先將其分類為
文字區域進行壓縮。利用基礎色壓縮文字像素而利用非基礎色壓縮位圖像素可以保持壓縮
文字像素時的高效率。

然后采用如下的方法將灰度矩陣I(i,j)轉換成為二維關聯圖P(i,j)來表示文字
內容的二維相關性。


這樣對二維關聯圖做一維掃描就可以利用文字內容的二維相關性。當P(i,j)=0
時,進一步編碼索引值I(i,j)。

對于要編碼的塊中的每一行,首先嘗試以整行模式對其匹配編碼。如果沒有整行
模式可以匹配,則將該行分解為若干個像素組,并對每一個像素組進行模式匹配。像素二維
關聯圖數值代表了像素域的模式。將每L個像素二維關聯圖數值組成一個像素組二維符號,
然后根據像素組模式的概率分布對其進行聯合熵編碼。像素組二維符號可以進一步轉換為
簡單的符號0和1,如下:


其中k=0,…,w/L-1,j=0,…,h-1;m取[0,L-1]

如果G(i,j)=0則進一步對像素組二維符號進行編碼。

對于位圖層,在編碼后分別生成個各自獨立的JPEG流,對應于位圖區域位置的內
容以附近編碼塊顏色的平均值填充。統計一幅圖像上的所有位圖區域的顏色分布,然后將
所有顏色量化為512個顏色。將位圖區域量化的質量參數映射為量化增量。令QS1…,QSn表示
n個基礎色量化中的每個量化增量。以量化增量對圖像中的位圖區域進行量化時,將使均方
差和比特率之和最小化的QSk確定為最優量化增量值。

為減小畫面傳輸的延遲,本發明首先將抓取到的畫面圖像劃分為多個區塊,各個
區塊獨立進行編碼。編碼產生的比特結果打包之后送入傳輸隊列,然后通過UDP通道傳輸到
AR終端。AR終端接收到這些包,解碼出各個區塊并將其顯示在屏幕上。當傳輸隊列滿時,編
碼控制模塊停止屏幕編碼過程,直到傳輸隊列中有足夠的空間容納下一個編碼幀。然后利
用改進的傳輸方法來減少不必要的重傳,從而降低傳輸延遲。

首先仍然將畫面圖像以固定大小劃分為塊進行編碼,并且顯示屏幕以幀為單位進
行解碼。構造一個幀更新表U(x,y)(0<x<W/w,0<y<H/h)其中x,y表示圖像中的一個塊的位
置。W和H分別是畫面圖像的寬度和高度,w和h分別是圖像中一個塊的寬度和高度。對于第n
幀,以S(x,y,n)表示其中位于(x,y)的塊的內容是否和前一幀對應位置的塊完全相同(即時
移塊)。如果S(x,y,n)=1,則內容相同。當接收到第n幀數據時,如果S(x,y,n)=0并且n大于
U(x,y),則將第n幀解碼結果中位于(x,y)的塊復制到當前幀的緩沖區,然后更新U(x,y)為
n。

為在畫面同步傳輸環境下降低傳輸延遲,本發明采用以下方法,如果某一幀中的
一個非時移塊的數據已經接收并且狀態更新,則之前幀中同一個位置的塊的數據標識為過
期,不再重傳這些數據。具體地,在主機端構造每個數據塊的狀態表,對于每個數據包,獲取
包中數據塊集合,將當前集合中的每個數據塊的索引設置為i,如果當前塊的類型不是時移
塊并且所在幀的編號大于i在狀態表中的狀態Ai,則將所在幀的編號作為狀態Ai。每當接收
到AR終端的更新消息,狀態表都會進行更新。

接收終端每隔預設周期都會向發送終端反饋一個狀態包,包含該時間段內數據包
接收的相關信息。若發送終端在預設時間內沒接收到狀態包,則判定當前網絡為過載狀態;
若當前丟包率低于固定閾值,則判定當前網絡為空閑狀態;其他情況判定為正常狀態。

若判定網絡為過載,使用衰減系數λ降低當前比特率參數Bx:

Bx=max(λ×Bx,Bmin}(0<λ<1)

若判定網絡為欠載,使用增長系數θ增加當前比特率參數Bx:

Bx=min{Bx+θ,Bmax}(θ<<Bx)

發送端若判定網絡為正常狀態下逼近過載時,使用衰減系數δ小幅度調整當前比
特率參數Bx:

Bx=max(Bx-δ,Bmin}(δ<<Bx)

其中Bmax和Bmin分別代表比特率參數的最小值和最大值。

如果編碼器輸出碼率達到設定的最小值時,網絡依然處于過載狀態,則采用以下
方法進一步降低輸送到網絡的數據量:當Bx等于Bmin且出現次數達到p次時,將I幀和P幀全
部丟棄,只發送B幀,控制更少的數據量輸出。在當連續q(q>p)個周期網絡仍然過載,發送
端繼續丟棄部分B幀;當Bx大于Bmin時,發送終端發送所有類型的視頻幀。在出現丟包率降低
至正常狀態時,發送端首先仍將I幀和P幀全部丟棄,繼續判斷Bx等于Bmin出現的次數是否達
到p次,若不超過p次,才發送所有幀,保證視頻實時流式傳輸。

在基于Agent的播放進度銜接方面,當一個認證用戶的一臺AR設備連接到Agent
時,Agent的終端管理器識別出該用戶并且為這個設備創建一個新的虛擬顯示實例,執行畫
面引擎的邏輯,并且維護所有的顯示畫面播放中的狀態;在設備成功連接后,Agent通知相
同用戶的所有其他AR設備可以和這個設備之間進行播放進度保持一致。

畫面播放進度銜接是通過更改虛擬顯示實例和AR終端設備之間的對應關系而實
現的。當AR設備B發送一個帶有目標AR設備A的同步請求到Agent時,Agent將其播放進度和
目標設備對應起來,將設備B中繪制出的畫面圖像發送到設備A,同時設備A的用戶輸入也發
送給設備B。所有的顯示畫面播放狀態都由虛擬顯示實例維護,這種機制可以保持所有的顯
示畫面播放狀態;

所述Agent根據預先設定的模式進行畫面播放進度銜接,在遷移模式下,設備B的
播放進度銜接到設備A,而設備A的播放進度將被釋放掉。在共享模式下,設備B的播放進度
會銜接到設備A,同時,為設備B創建一個新的擁有相同狀態的播放實例,設備B原來的播放
進度中的狀態,用來構建這個新的實例。在互換模式下,設備B的播放進度和設備A的播放進
度相互交換。

在另一優選的實施例中,為減少設備A和B直接鏈路的壓力的影響,發送端的AR設
備A與接收端的AR設備B通過轉發設備C進行藍牙傳輸。轉發設備C可包括多個設備C1…Cn。首
先設備A發送握手信號到轉發設備C,轉發設備C接收數據并計算設備A與轉發設備C之間數
據傳輸鏈路的丟包率和傳輸速率組成的傳輸性能參數;設備C發送握手信號到設備B,設備B
回傳數據到轉發設備C,轉發設備C計算轉發設備C與設備B之間數據傳輸鏈路的丟包率和傳
輸速率組成的傳輸性能參數。轉發設備C將其自身的計算速度、與設備A之間以及與設備B之
間的傳輸性能參數一同發送回發送端的設備A。

設備A根據備選轉發設備C的傳輸性能參數,將此參數相似的轉發設備C分為一組,
作為轉發設備組。對同一轉發設備C而言,計算設備A與轉發設備C、轉發設備C與設備B之間
的傳輸速率,并以其中較小的傳輸速率值為參考進行分組。設備A根據其傳輸時的基本傳輸
數據速率和轉發設備組的傳輸性能參數選中一組轉發性能滿足預定義傳輸要求的轉發設
備組作為選定轉發設備組,即選擇傳輸速率大于基本傳輸數據速率的備選轉發設備組中傳
輸速率最大的一組作為選定轉發設備組,并建立中繼鏈路。

設備A對自身畫面信息進行抓取,將所抓取的畫面信息和抓取時的時間以及設備
標識號等參數一并封裝到傳輸數據幀中,并通過藍牙傳輸網絡向設備B和已經建立鏈路鏈
接的選定轉發設備組發送同一幀傳輸數據;與設備A和設備B建立鏈接的選定轉發設備組將
接收的傳輸數據通過藍牙傳輸網絡向設備B轉發。當設備B接收到設備A或者選定轉發設備
組中任意一個設備傳輸的數據后開始計時,并等待其他設備傳來的數據。計時時間超過預
設的最大延遲時,設備B通知尚未將傳輸數據傳輸給設備B的鏈路所對應的設備A或轉發設
備C丟棄超時的傳輸數據;然后設備B將已經接收到的傳輸數據進行選擇合并。設備B將處理
后的傳輸數據進行屏幕顯示。

在對某一時刻從設備A和設備C接收的傳輸數據進行同步性檢測時,計算前一時刻
各路畫面傳輸信息的終端反饋不同步次數,將其與設置的終端反饋不同步次數的可接受閾
值、終端反饋不同步次數的不接受閾值進行比較,若各路傳輸數據中最小終端反饋不同步
次數小于終端反饋不同步次數的可接受閾值或者大于終端反饋不同步次數的不接受閾值,
則選擇終端反饋不同步次數最低的一路傳輸數據為設備B的顯示數據。若各路傳輸數據中
最小不同步次數介于終端反饋不同步次數的可接受閾值和終端反饋不同步次數的不接受
閾值之間,則選取設備B接收到的傳輸數據中出現次數最多的傳輸數據為設備B的顯示數
據,若存在出現次數相同的傳輸數據,則選取其中終端反饋不同步次數低的傳輸數據為設
備B的顯示數據。

綜上所述,本發明提出了一種藍牙控制顯示內容同步的方法,減少AR設備直接鏈
路的壓力的對視頻流暢效果影響。

顯然,本領域的技術人員應該理解,上述的本發明的各模塊或各步驟可以用通用
的計算系統來實現,它們可以集中在單個的計算系統上,或者分布在多個計算系統所組成
的網絡上,可選地,它們可以用計算系統可執行的程序代碼來實現,從而,可以將它們存儲
在存儲系統中由計算系統來執行。這樣,本發明不限制于任何特定的硬件和軟件結合。

應當理解的是,本發明的上述具體實施方式僅僅用于示例性說明或解釋本發明的
原理,而不構成對本發明的限制。因此,在不偏離本發明的精神和范圍的情況下所做的任何
修改、等同替換、改進等,均應包含在本發明的保護范圍之內。此外,本發明所附權利要求旨
在涵蓋落入所附權利要求范圍和邊界、或者這種范圍和邊界的等同形式內的全部變化和修
改例。

關于本文
本文標題:一種藍牙控制顯示內容同步的方法.pdf
鏈接地址:http://www.rgyfuv.icu/p-6100872.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图