• / 33
  • 下載費用:30 金幣  

視頻查詢方法和裝置.pdf

摘要
申請專利號:

CN201510964476.1

申請日:

2015.12.21

公開號:

CN105468781A

公開日:

2016.04.06

當前法律狀態:

實審

有效性:

審中

法律詳情: 實質審查的生效IPC(主分類):G06F 17/30申請日:20151221|||公開
IPC分類號: G06F17/30 主分類號: G06F17/30
申請人: 小米科技有限責任公司
發明人: 張濤; 汪平仄; 張勝凱
地址: 100085北京市海淀區清河中街68號華潤五彩城購物中心二期13層
優先權:
專利代理機構: 北京三高永信知識產權代理有限責任公司11138 代理人: 鞠永善
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510964476.1

授權公告號:

|||

法律狀態公告日:

2016.05.04|||2016.04.06

法律狀態類型:

實質審查的生效|||公開

摘要

本公開是關于視頻查詢方法和裝置,該方法包括:提取待查詢視頻片段的各關鍵幀的圖像特征;分別匹配各關鍵幀的圖像特征對應的聚類中心節點;其中,每個聚類中心節點關聯了多個視頻圖像幀的圖像特征的聚類中心特征;根據匹配到的各聚類中心節點所關聯的視頻圖像幀標識,確定待查詢視頻片段對應的目標視頻集合。僅需要對提取到的各關鍵幀進行聚類中心節點數量級的匹配處理,顯著降低了匹配處理所需的時間和計算量,提高了視頻查詢處理效率。

權利要求書

1.一種視頻查詢方法,其特征在于,包括:
提取待查詢視頻片段的各關鍵幀的圖像特征;
分別匹配各關鍵幀的圖像特征對應的聚類中心節點;其中,每個聚類中心節點關聯了
多個視頻圖像幀的圖像特征的聚類中心特征;
根據匹配到的各聚類中心節點所關聯的視頻圖像幀標識,確定所述待查詢視頻片段對
應的目標視頻集合。
2.根據權利要求1所述的方法,其特征在于,所述提取待查詢視頻片段的各關鍵幀
的圖像特征,包括:
提取所述待查詢視頻片段的各關鍵幀;
采用特征提取模型分別提取所述各關鍵幀的圖像特征;
所述分別匹配各關鍵幀的圖像特征對應的聚類中心節點,包括:
根據預先建立的視頻倒排索引樹,分別匹配所述各關鍵幀的圖像特征對應的目標葉子
節點;其中,所述視頻倒排索引樹中的每個葉子節點關聯了多個視頻圖像幀標識,每個葉
子節點表征了多個視頻圖像幀對應的圖像特征的聚類中心特征;
所述根據匹配到的各聚類中心節點所關聯的視頻圖像幀標識,確定所述待查詢視頻片
段對應的目標視頻集合,包括:
根據各所述目標葉子節點所關聯的視頻圖像幀標識,確定所述待查詢視頻片段對應的
目標視頻集合。
3.根據權利要求2所述的方法,其特征在于,所述分別匹配所述各關鍵幀的圖像特
征對應的目標葉子節點,包括:
針對每個所述關鍵幀,按照從根節點到葉子節點的層次順序,進行所述關鍵幀的圖像
特征與所述視頻倒排索引樹的各節點對應的聚類中心特征的相似性度量;
將聚類中心特征與所述關鍵幀的圖像特征間的相似度小于預設閾值的葉子節點確定
為所述關鍵幀的圖像特征所匹配到目標葉子節點。
4.根據權利要求2所述的方法,其特征在于,所述根據各所述目標葉子節點所關聯
的視頻圖像幀標識,確定所述待查詢視頻片段對應的目標視頻集合,包括:
根據各所述目標葉子節點所關聯的視頻圖像幀標識,確定每個所述視頻圖像幀標識對
應的視頻;
確定所述目標視頻集合中包括各所述視頻。
5.根據權利要求2所述的方法,其特征在于,所述根據各所述目標葉子節點所關聯
的視頻圖像幀標識,確定所述待查詢視頻片段對應的目標視頻集合,包括:
根據每個所述目標葉子節點被匹配到的次數,確定每個所述目標葉子節點所關聯的視
頻圖像幀標識的統計次數;
根據各所述視頻圖像幀標識的統計次數,確定每個視頻圖像幀標識對應的視頻的統計
次數;
確定所述目標視頻集合中包括所述視頻的統計次數最多的前n個視頻,n為大于或等
于1的整數。
6.根據權利要求1至5中任一項所述的方法,其特征在于,所述方法還包括:
獲取第一訓練樣本集,所述第一訓練樣本集中包含多個樣本圖像;
根據所述第一訓練樣本集對卷積神經網絡進行分類訓練,獲得所述特征提取模型。
7.根據權利要求6所述的方法,其特征在于,所述方法還包括:
獲取第二訓練樣本集,所述第二訓練樣本集中包含多個樣本視頻;
對每個所述樣本視頻進行隨機圖像幀提取,獲得各樣本圖像幀;
采用所述特征提取模型提取所述各樣本圖像幀的圖像特征;
根據所述各樣本圖像幀的圖像特征構建視頻特征聚類樹。
8.根據權利要求7所述的方法,其特征在于,所述根據所述各樣本圖像幀的圖像特
征構建視頻特征聚類樹,包括:
對所述各樣本圖像幀的圖像特征進行k均值聚類處理,獲得所述視頻特征聚類樹,所
述視頻特征聚類樹中的每個節點表征了屬于同一聚類簇中的各圖像特征的聚類中心特征。
9.根據權利要求8所述的方法,其特征在于,所述方法還包括:
獲取視頻數據庫,所述視頻數據庫中包括各源視頻;
分別提取所述各源視頻的各關鍵幀;
采用所述特征提取模型分別提取所述各關鍵幀的圖像特征;
將所述各關鍵幀的圖像特征與所述視頻特征聚類樹中各節點對應的聚類中心特征進
行相似性度量,確定所述各關鍵幀的圖像特征分別對應的葉子節點;
將所述各關鍵幀的標識關聯記錄到對應的葉子節點上,以構建所述視頻倒排索引樹。
10.根據權利要求9所述的方法,其特征在于,所述方法還包括:
分別對所述各源視頻的各關鍵幀進行歸一化處理。
11.根據權利要求1所述的方法,其特征在于,所述方法還包括:
對所述待查詢視頻片段的各關鍵幀進行歸一化處理。
12.一種視頻查詢裝置,其特征在于,包括:
提取模塊,被配置為提取待查詢視頻片段的各關鍵幀的圖像特征;
匹配模塊,被配置為分別匹配各關鍵幀的圖像特征對應的聚類中心節點;其中,每個
聚類中心節點關聯了多個視頻圖像幀的圖像特征的聚類中心特征;
確定模塊,被配置為根據匹配到的各聚類中心節點所關聯的視頻圖像幀標識,確定所
述待查詢視頻片段對應的目標視頻集合。
13.根據權利要求12所述的裝置,其特征在于,所述提取模塊包括:
第一提取子模塊,被配置為提取所述待查詢視頻片段的各關鍵幀;
第二提取子模塊,被配置為采用特征提取模型分別提取所述各關鍵幀的圖像特征;
所述匹配模塊,被配置為根據預先建立的視頻倒排索引樹,分別匹配所述各關鍵幀的
圖像特征對應的目標葉子節點;其中,所述視頻倒排索引樹中的每個葉子節點關聯了多個
視頻圖像幀標識,每個葉子節點表征了多個視頻圖像幀對應的圖像特征的聚類中心特征;
所述確定模塊,被配置為根據各所述目標葉子節點所關聯的視頻圖像幀標識,確定所
述待查詢視頻片段對應的目標視頻集合。
14.根據權利要求13所述的裝置,其特征在于,所述匹配模塊包括:
計算子模塊,被配置為針對每個所述關鍵幀,按照從根節點到葉子節點的層次順序,
進行所述關鍵幀的圖像特征與所述視頻倒排索引樹的各節點對應的聚類中心特征的相似
性度量;
第一確定子模塊,被配置為將聚類中心特征與所述關鍵幀的圖像特征間的相似度小于
預設閾值的葉子節點確定為所述關鍵幀的圖像特征所匹配到目標葉子節點。
15.根據權利要求13所述的裝置,其特征在于,所述確定模塊包括:
第二確定子模塊,被配置為根據各所述目標葉子節點所關聯的視頻圖像幀標識,確定
每個所述視頻圖像幀標識對應的視頻;
第三確定子模塊,被配置為確定所述目標視頻集合中包括各所述視頻。
16.根據權利要求13所述的裝置,其特征在于,所述確定模塊包括:
第四確定子模塊,被配置為根據每個所述目標葉子節點被匹配到的次數,確定每個所
述目標葉子節點所關聯的視頻圖像幀標識的統計次數;
第五確定子模塊,被配置為根據各所述視頻圖像幀標識的統計次數,確定每個視頻圖
像幀標識對應的視頻的統計次數;
第六確定子模塊,被配置為確定所述目標視頻集合中包括所述視頻的統計次數最多的
前n個視頻,n為大于或等于1的整數。
17.根據權利要求12至16中任一項所述的裝置,其特征在于,所述裝置還包括:
第一獲取模塊,被配置為獲取第一訓練樣本集,所述第一訓練樣本集中包含多個樣本
圖像;
訓練模塊,被配置為根據所述第一訓練樣本集對卷積神經網絡進行分類訓練,獲得所
述特征提取模型。
18.根據權利要求17所述的裝置,其特征在于,所述裝置還包括:
第二獲取模塊,被配置為獲取第二訓練樣本集,所述第二訓練樣本集中包含多個樣本
視頻;
第三提取模塊,被配置為對每個所述樣本視頻進行隨機圖像幀提取,獲得各樣本圖像
幀;
第四提取模塊,被配置為采用所述特征提取模型提取所述各樣本圖像幀的圖像特征;
第一建立模塊,被配置為根據所述各樣本圖像幀的圖像特征構建視頻特征聚類樹。
19.根據權利要求18所述的裝置,其特征在于,所述第一建立模塊被配置為:
對所述各樣本圖像幀的圖像特征進行k均值聚類處理,獲得所述視頻特征聚類樹,所
述視頻特征聚類樹中的每個節點表征了屬于同一聚類簇中的各圖像特征的聚類中心特征。
20.根據權利要求19所述的裝置,其特征在于,所述裝置還包括:
第三獲取模塊,被配置為獲取視頻數據庫,所述視頻數據庫中包括各源視頻;
第五提取模塊,被配置為分別提取所述各源視頻的各關鍵幀;
第六提取模塊,被配置為采用所述特征提取模型分別提取所述各關鍵幀的圖像特征;
計算模塊,被配置為將所述各關鍵幀的圖像特征與所述視頻特征聚類樹中各節點對應
的聚類中心特征進行相似性度量,確定所述各關鍵幀的圖像特征分別對應的葉子節點;
第二建立模塊,被配置為將所述各關鍵幀的標識關聯記錄到對應的葉子節點上,以構
建所述視頻倒排索引樹。
21.根據權利要求20所述的裝置,其特征在于,所述裝置還包括:
第一歸一化模塊,被配置為分別對所述各源視頻的各關鍵幀進行歸一化處理。
22.根據權利要求12所述的裝置,其特征在于,所述裝置還包括:
第二歸一化模塊,被配置為對所述待查詢視頻片段的各關鍵幀進行歸一化處理。
23.一種視頻查詢裝置,其特征在于,包括:
存儲器;
用于存儲處理器可執行指令的存儲器;
其中,所述處理器被配置為:
提取待查詢視頻片段的各關鍵幀的圖像特征;
分別匹配各關鍵幀的圖像特征對應的聚類中心節點;其中,每個聚類中心節點關聯了
多個視頻圖像幀的圖像特征的聚類中心特征;
根據匹配到的各聚類中心節點所關聯的視頻圖像幀標識,確定所述待查詢視頻片段對
應的目標視頻集合。

說明書

視頻查詢方法和裝置

技術領域

本公開涉及視頻圖像處理領域,尤其涉及視頻查詢方法和裝置。

背景技術

在實際生活中,往往有這樣的需求:在某處看到一個視頻片段,想要找到該視頻片段
對應的完整視頻進行觀看;對于一個視頻廣告,想要知道這個視頻廣告都在哪些正式視頻
數據前進行了播放,等等。這些需求即為本公開中涉及的視頻查詢需求。

對于該視頻查詢需求,相關技術中一般采用的方式是:從待查詢視頻片段中提取出一
些關鍵幀,進而在視頻數據庫中,針對每個視頻,進行提取到的關鍵幀與每個視頻的匹配
處理,從而確定待查詢視頻片段所對應的視頻。

公開內容

為克服相關技術中存在的問題,本公開提供一種視頻查詢方法和裝置,用以提高視頻
查詢處理效率。

根據本公開實施例的第一方面,提供一種視頻查詢方法,包括:

提取待查詢視頻片段的各關鍵幀的圖像特征;

分別匹配各關鍵幀的圖像特征對應的聚類中心節點;其中,每個聚類中心節點關聯了
多個視頻圖像幀的圖像特征的聚類中心特征;

根據匹配到的各聚類中心節點所關聯的視頻圖像幀標識,確定所述待查詢視頻片段對
應的目標視頻集合。

該方案可以包括以下有益效果:在提取到待查詢視頻片段的各關鍵幀的圖像特征后,
進行各圖像特征與各聚類中心節點特征的匹配處理,以確定各圖像特征對應的聚類中心節
點。由于每個聚類中心節點上已經關聯了視頻圖像幀標識即已經關聯了視頻索引,因此,
可以基于匹配到的各聚類中心節點所關聯的視頻索引,確定待查詢視頻片段對應的目標視
頻集合中應包含的視頻索引。僅需要對提取到的各關鍵幀進行與各聚類中心節點數量級的
匹配處理,顯著降低了匹配處理所需的時間和計算量,提高了視頻查詢處理效率。

PF156007CN

結合第一方面,在第一方面的第一種可能的實現方式中,所述提取待查詢視頻片段的
各關鍵幀的圖像特征,包括:

提取所述待查詢視頻片段的各關鍵幀;

采用特征提取模型分別提取所述各關鍵幀的圖像特征;

所述分別匹配各關鍵幀的圖像特征對應的聚類中心節點,包括:

根據預先建立的視頻倒排索引樹,分別匹配所述各關鍵幀的圖像特征對應的目標葉子
節點;其中,所述視頻倒排索引樹中的每個葉子節點關聯了多個視頻圖像幀標識,每個葉
子節點表征了多個視頻圖像幀對應的圖像特征的聚類中心特征;

所述根據匹配到的各聚類中心節點所關聯的視頻圖像幀標識,確定所述待查詢視頻片
段對應的目標視頻集合,包括:

根據各所述目標葉子節點所關聯的視頻圖像幀標識,確定所述待查詢視頻片段對應的
目標視頻集合。

該方案可以包括以下有益效果:在提取到待查詢視頻片段的各關鍵幀的圖像特征后,
進行各圖像特征與預先建立的視頻倒排索引樹的各葉子節點所對應的聚類中心特征的匹
配處理,以確定各圖像特征即各關鍵幀對應的目標葉子節點。由于視頻倒排索引樹的各葉
子節點上已經關聯了視頻圖像幀標識即已經關聯了視頻索引,因此,可以基于匹配到的各
目標葉子節點所關聯的視頻索引,確定待查詢視頻片段對應的目標視頻集合中應包含的視
頻索引。通過建立視頻倒排索引樹,僅需要對提取到的各關鍵幀進行樹中節點數量級的匹
配處理,顯著降低了匹配處理所需的時間和計算量,提高了視頻查詢處理效率。

結合第一方面的第一種可能的實現方式,在第一方面的第二種可能的實現方式中,所
述分別匹配所述各關鍵幀的圖像特征對應的目標葉子節點,包括:

針對每個所述關鍵幀,按照從根節點到葉子節點的層次順序,進行所述關鍵幀的圖像
特征與所述視頻倒排索引樹的各節點對應的聚類中心特征的相似性度量;

將聚類中心特征與所述關鍵幀的圖像特征間的相似度小于預設閾值的葉子節點確定
為所述關鍵幀的圖像特征所匹配到目標葉子節點。

結合第一方面的第一種可能的實現方式,在第一方面的第三種可能的實現方式中,所
述根據各所述目標葉子節點所關聯的視頻圖像幀標識,確定所述待查詢視頻片段對應的目
標視頻集合,包括:

根據各所述目標葉子節點所關聯的視頻圖像幀標識,確定每個所述視頻圖像幀標識對
應的視頻;

確定所述目標視頻集合中包括各所述視頻。

結合第一方面的第一種可能的實現方式,在第一方面的第四種可能的實現方式中,所
述根據各所述目標葉子節點所關聯的視頻圖像幀標識,確定所述待查詢視頻片段對應的目
標視頻集合,包括:

根據每個所述目標葉子節點被匹配到的次數,確定每個所述目標葉子節點所關聯的視
頻圖像幀標識的統計次數;

根據各所述視頻圖像幀標識的統計次數,確定每個視頻圖像幀標識對應的視頻的統計
次數;

確定所述目標視頻集合中包括所述視頻的統計次數最多的前n個視頻,n為大于或等
于1的整數。

該方案可以包括以下有益效果:在根據各目標葉子節點所關聯的視頻圖像幀標識確定
待查詢視頻片段對應的目標視頻集合時,既可以簡單地將所關聯的各視頻圖像幀標識對應
的視頻確定包含于目標視頻集合中,也可以基于各視頻圖像幀標識對應的視頻的統計次
數,即被匹配到的次數,對全部匹配到的視頻進行排序,匹配到的次數最多的n個視頻包
含于目標視頻集合中,在快速查詢到目標視頻的同時,也使得目標視頻與待查詢視頻片段
的相關性更強。

結合第一方面、第一方面的第一種、第二種、第三種或第四種可能的實現方式,在第
一方面的第五種可能的實現方式中,所述方法還包括:

獲取第一訓練樣本集,所述第一訓練樣本集中包含多個樣本圖像;

根據所述第一訓練樣本集對卷積神經網絡進行分類訓練,獲得所述特征提取模型。

該方案可以包括以下有益效果:采用基于對卷積神經網絡進行分類識別訓練獲得的特
征提取模型對樣本圖像進行特征提取,由于基于深度學習的卷積神經網絡能夠獲取到更加
豐富、精細的特征信息,從而保證了查詢結果的準確性。

結合第一方面的第五種可能的實現方式,在第一方面的第六種可能的實現方式中,所
述方法還包括:

獲取第二訓練樣本集,所述第二訓練樣本集中包含多個樣本視頻;

對每個所述樣本視頻進行隨機圖像幀提取,獲得各樣本圖像幀;

采用所述特征提取模型提取所述各樣本圖像幀的圖像特征;

根據所述各樣本圖像幀的圖像特征構建視頻特征聚類樹。

結合第一方面的第六種可能的實現方式,在第一方面的第七種可能的實現方式中,所
述根據所述各樣本圖像幀的圖像特征構建視頻特征聚類樹,包括:

對所述各樣本圖像幀的圖像特征進行k均值聚類處理,獲得所述視頻特征聚類樹,所
述視頻特征聚類樹中的每個節點表征了屬于同一聚類簇中的各圖像特征的聚類中心特征。

該方案可以包括以下有益效果:通過對大量樣本視頻中隨機提取的各樣本圖像進行特
征提取,進行對提取的各圖像特征進行聚類分析處理,以構建視頻特征聚類樹,為后續進
行視頻查詢時,降低計算量、提高查詢處理效率提供了前提保證。

結合第一方面的第七種可能的實現方式,在第一方面的第八種可能的實現方式中,所
述方法還包括:

獲取視頻數據庫,所述視頻數據庫中包括各源視頻;

分別提取所述各源視頻的各關鍵幀;

采用所述特征提取模型分別提取所述各關鍵幀的圖像特征;

將所述各關鍵幀的圖像特征與所述視頻特征聚類樹中各節點對應的聚類中心特征進
行相似性度量,確定所述各關鍵幀的圖像特征分別對應的葉子節點;

將所述各關鍵幀的標識關聯記錄到對應的葉子節點上,以構建所述視頻倒排索引樹。

該方案可以包括以下有益效果:在構建了視頻特征聚類樹的基礎上,通過對視頻數據
中各源視頻的關鍵幀的圖像特征到視頻特征聚類樹中各葉子節點的關聯處理,構建視頻倒
排索引樹,相當于將各源視頻的關鍵幀標識即視頻索引掛到了各葉子節點上。從而在匹配
到待查詢視頻片段中各關鍵幀對應的目標葉子節點后,可以基于各目標葉子節點的視頻索
引關聯情況,快速查詢到對應的目標視頻。

結合第一方面的第八種可能的實現方式,在第一方面的第九種可能的實現方式中,所
述方法還包括:

分別對所述各源視頻的各關鍵幀進行歸一化處理。

結合第一方面,在第一方面的第十種可能的實現方式中,所述方法還包括:

對所述待查詢視頻片段的各關鍵幀進行歸一化處理。

根據本公開實施例的第二方面,提供一種視頻查詢裝置,包括:

提取模塊,被配置為提取待查詢視頻片段的各關鍵幀的圖像特征;

匹配模塊,被配置為分別匹配各關鍵幀的圖像特征對應的聚類中心節點;其中,每個
聚類中心節點關聯了多個視頻圖像幀的圖像特征的聚類中心特征;

確定模塊,被配置為根據匹配到的各聚類中心節點所關聯的視頻圖像幀標識,確定所
述待查詢視頻片段對應的目標視頻集合。

該方案可以包括以下有益效果:在提取到待查詢視頻片段的各關鍵幀的圖像特征后,
進行各圖像特征與各聚類中心節點特征的匹配處理,以確定各圖像特征對應的聚類中心節
點。由于每個聚類中心節點上已經關聯了視頻圖像幀標識即已經關聯了視頻索引,因此,
可以基于匹配到的各聚類中心節點所關聯的視頻索引,確定待查詢視頻片段對應的目標視
頻集合中應包含的視頻索引。僅需要對提取到的各關鍵幀進行與各聚類中心節點數量級的
匹配處理,顯著降低了匹配處理所需的時間和計算量,提高了視頻查詢處理效率。

結合第二方面,在第二方面的第一種可能的實現方式中,所述提取模塊包括:

第一提取子模塊,被配置為提取所述待查詢視頻片段的各關鍵幀;

第二提取子模塊,被配置為采用特征提取模型分別提取所述各關鍵幀的圖像特征;

所述匹配模塊,被配置為根據預先建立的視頻倒排索引樹,分別匹配所述各關鍵幀的
圖像特征對應的目標葉子節點;其中,所述視頻倒排索引樹中的每個葉子節點關聯了多個
視頻圖像幀標識,每個葉子節點表征了多個視頻圖像幀對應的圖像特征的聚類中心特征;

所述確定模塊,被配置為根據各所述目標葉子節點所關聯的視頻圖像幀標識,確定所
述待查詢視頻片段對應的目標視頻集合。

該方案可以包括以下有益效果:在提取到待查詢視頻片段的各關鍵幀的圖像特征后,
進行各圖像特征與預先建立的視頻倒排索引樹的各葉子節點所對應的聚類中心特征的匹
配處理,以確定各圖像特征即各關鍵幀對應的目標葉子節點。由于視頻倒排索引樹的各葉
子節點上已經關聯了視頻圖像幀標識即已經關聯了視頻索引,因此,可以基于匹配到的各
目標葉子節點所關聯的視頻索引,確定待查詢視頻片段對應的目標視頻集合中應包含的視
頻索引。通過建立視頻倒排索引樹,僅需要對提取到的各關鍵幀進行樹中節點數量級的匹
配處理,顯著降低了匹配處理所需的時間和計算量,提高了視頻查詢處理效率。

結合第二方面的第一種可能的實現方式,在第二方面的第二種可能的實現方式中,所
述匹配模塊包括:

計算子模塊,被配置為針對每個所述關鍵幀,按照從根節點到葉子節點的層次順序,
進行所述關鍵幀的圖像特征與所述視頻倒排索引樹的各節點對應的聚類中心特征的相似
性度量;

第一確定子模塊,被配置為將聚類中心特征與所述關鍵幀的圖像特征間的相似度小于
預設閾值的葉子節點確定為所述關鍵幀的圖像特征所匹配到目標葉子節點。

結合第二方面的第一種可能的實現方式,在第二方面的第三種可能的實現方式中,所
述確定模塊包括:

第二確定子模塊,被配置為根據各所述目標葉子節點所關聯的視頻圖像幀標識,確定
每個所述視頻圖像幀標識對應的視頻;

第三確定子模塊,被配置為確定所述目標視頻集合中包括各所述視頻。

結合第二方面的第一種可能的實現方式,在第二方面的第四種可能的實現方式中,所
述確定模塊包括:

第四確定子模塊,被配置為根據每個所述目標葉子節點被匹配到的次數,確定每個所
述目標葉子節點所關聯的視頻圖像幀標識的統計次數;

第五確定子模塊,被配置為根據各所述視頻圖像幀標識的統計次數,確定每個視頻圖
像幀標識對應的視頻的統計次數;

第六確定子模塊,被配置為確定所述目標視頻集合中包括所述視頻的統計次數最多的
前n個視頻,n為大于或等于1的整數。

該方案可以包括以下有益效果:在根據各目標葉子節點所關聯的視頻圖像幀標識確定
待查詢視頻片段對應的目標視頻集合時,既可以簡單地將所關聯的各視頻圖像幀標識對應
的視頻確定包含于目標視頻集合中,也可以基于各視頻圖像幀標識對應的視頻的統計次
數,即被匹配到的次數,對全部匹配到的視頻進行排序,匹配到的次數最多的n個視頻包
含于目標視頻集合中,在快速查詢到目標視頻的同時,也使得目標視頻與待查詢視頻片段
的相關性更強。

結合第二方面、第二方面的第一種、第二種、第三種或第四種可能的實現方式,在第
二方面的第五種可能的實現方式中,所述裝置還包括:

第一獲取模塊,被配置為獲取第一訓練樣本集,所述第一訓練樣本集中包含多個樣本
圖像;

訓練模塊,被配置為根據所述第一訓練樣本集對卷積神經網絡進行分類訓練,獲得所
述特征提取模型。

該方案可以包括以下有益效果:采用基于對卷積神經網絡進行分類識別訓練獲得的特
征提取模型對樣本圖像進行特征提取,由于基于深度學習的卷積神經網絡能夠獲取到更加
豐富、精細的特征信息,從而保證了查詢結果的準確性。

結合第二方面的第五種可能的實現方式,在第二方面的第六種可能的實現方式中,所
述裝置還包括:

第二獲取模塊,被配置為獲取第二訓練樣本集,所述第二訓練樣本集中包含多個樣本
視頻;

第三提取模塊,被配置為對每個所述樣本視頻進行隨機圖像幀提取,獲得各樣本圖像
幀;

第四提取模塊,被配置為采用所述特征提取模型提取所述各樣本圖像幀的圖像特征;

第一建立模塊,被配置為根據所述各樣本圖像幀的圖像特征構建視頻特征聚類樹。

結合第二方面的第六種可能的實現方式,在第二方面的第七種可能的實現方式中,所
述第一建立模塊被配置為:

對所述各樣本圖像幀的圖像特征進行k均值聚類處理,獲得所述視頻特征聚類樹,所
述視頻特征聚類樹中的每個節點表征了屬于同一聚類簇中的各圖像特征的聚類中心特征。

該方案可以包括以下有益效果:通過對大量樣本視頻中隨機提取的各樣本圖像進行特
征提取,進行對提取的各圖像特征進行聚類分析處理,以構建視頻特征聚類樹,為后續進
行視頻查詢時,降低計算量、提高查詢處理效率提供了前提保證。

結合第二方面的第七種可能的實現方式,在第二方面的第八種可能的實現方式中,

所述裝置還包括:

第三獲取模塊,被配置為獲取視頻數據庫,所述視頻數據庫中包括各源視頻;

第五提取模塊,被配置為分別提取所述各源視頻的各關鍵幀;

第六提取模塊,被配置為采用所述特征提取模型分別提取所述各關鍵幀的圖像特征;

計算模塊,被配置為將所述各關鍵幀的圖像特征與所述視頻特征聚類樹中各節點對應
的聚類中心特征進行相似性度量,確定所述各關鍵幀的圖像特征分別對應的葉子節點;

第二建立模塊,被配置為將所述各關鍵幀的標識關聯記錄到對應的葉子節點上,以構
建所述視頻倒排索引樹。

該方案可以包括以下有益效果:在構建了視頻特征聚類樹的基礎上,通過對視頻數據
中各源視頻的關鍵幀的圖像特征到視頻特征聚類樹中各葉子節點的關聯處理,構建視頻倒
排索引樹,相當于將各源視頻的關鍵幀標識即視頻索引掛到了各葉子節點上。從而在匹配
到待查詢視頻片段中各關鍵幀對應的目標葉子節點后,可以基于各目標葉子節點的視頻索
引關聯情況,快速查詢到對應的目標視頻。

結合第二方面的第八種可能的實現方式,在第二方面的第九種可能的實現方式中,
所述裝置還包括:

第一歸一化模塊,被配置為分別對所述各源視頻的各關鍵幀進行歸一化處理。

結合第二方面,在第二方面的第十種可能的實現方式中,所述裝置還包括:

第二歸一化模塊,被配置為對所述待查詢視頻片段的各關鍵幀進行歸一化處理。

根據本公開實施例的第三方面,提供一種視頻查詢裝置,包括:

存儲器;

用于存儲處理器可執行指令的存儲器;

其中,所述處理器被配置為:

提取待查詢視頻片段的各關鍵幀的圖像特征;

分別匹配各關鍵幀的圖像特征對應的聚類中心節點;其中,每個聚類中心節點關聯了
多個視頻圖像幀的圖像特征的聚類中心特征;

根據匹配到的各聚類中心節點所關聯的視頻圖像幀標識,確定所述待查詢視頻片段對
應的目標視頻集合。

應當理解的是,以上的一般描述和后文的細節描述僅是示例性和解釋性的,并不能限
制本公開。

附圖說明

此處的附圖被并入說明書中并構成本說明書的一部分,示出了符合本發明的實施例,
并與說明書一起用于解釋本發明的原理。

圖1是根據一示例性實施例示出的一種視頻查詢方法實施例一的流程圖;

圖2是根據一示例性實施例示出的一種視頻查詢方法實施例二的流程圖

圖3是根據一示例性實施例示出的一種視頻查詢方法實施例三的流程圖;

圖4是根據一示例性實施例示出的一種視頻查詢方法實施例四的流程圖;

圖5為深度卷積神經網絡Alex網絡圖;

圖6是根據一示例性實施例示出的一種視頻查詢方法實施例五的流程圖;

圖7為本公開示出的一種視頻特征聚類樹的結構示意圖;

圖8是根據一示例性實施例示出的一種視頻查詢方法實施例六的流程圖;

圖9為本公開示出的一種視頻倒排索引樹的結構示意圖;

圖10是根據一示例性實施例示出的一種視頻查詢裝置實施例一的框圖;

圖11是根據一示例性實施例示出的一種視頻查詢裝置實施例二的框圖;

圖12是根據一示例性實施例示出的一種視頻查詢裝置實施例三的框圖;

圖13是根據一示例性實施例示出的一種視頻查詢裝置實施例四的框圖;

圖14是根據一示例性實施例示出的一種視頻查詢裝置實施例五的框圖;

圖15是根據一示例性實施例示出的一種視頻查詢裝置實施例六的框圖;

圖16是根據一示例性實施例示出的一種視頻查詢裝置的框圖;

圖17是根據一示例性實施例示出的另一種視頻查詢裝置的框圖。

具體實施方式

這里將詳細地對示例性實施例進行說明,其示例表示在附圖中。下面的描述涉及附圖
時,除非另有表示,不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中
所描述的實施方式并不代表與本發明相一致的所有實施方式。相反,它們僅是與如所附權
利要求書中所詳述的、本發明的一些方面相一致的裝置和方法的例子。

圖1是根據一示例性實施例示出的一種視頻查詢方法實施例一的流程圖,如圖1所示,
本實施例涉及的視頻查詢方法可以用于服務器中,該視頻查詢方法包括以下步驟:

在步驟101中,接收待查詢視頻片段。

在步驟102中,提取待查詢視頻片段的各關鍵幀。

在步驟103中,分別提取各關鍵幀的圖像特征。

在步驟104中,分別匹配各關鍵幀的圖像特征對應的聚類中心節點;其中,每個聚類
中心節點關聯了多個視頻圖像幀的圖像特征的聚類中心特征。

在步驟105中,根據匹配到的各聚類中心節點所關聯的視頻圖像幀標識,確定所述待
查詢視頻片段對應的目標視頻集合。

本實施例中視頻查詢的目的是:查詢包括待查詢視頻片段的完整視頻。

當用戶觸發了對上述待查詢視頻片段的查詢處理后,首先,服務器從接收到的該視頻
片段中提取出其中包括的關鍵幀。具體的,可以先對待查詢視頻片段進行圖像幀的拆分,
進而根據幀差或者灰度變化直方圖統計等方式提取出關鍵幀,也就是提取出具有較強動態
變化趨勢的圖像幀作為各關鍵幀。

可選的,為了進一步提高后續處理的準確可靠,在獲得各關鍵幀之后,可以各關鍵幀
進行歸一化處理,比如尺寸、旋轉、坐標中心化、x-shearing、縮放等歸一化處理。

進而,本實施例中,可以采用特征提取模型分別提取各關鍵幀的圖像特征。其中,該
特征提取模型是基于對卷積神經網絡進行訓練而獲得的,能夠提取出更加豐富、多維的精
細圖像特征。具體的訓練過程將在后續實施例中說明。

本實施例中,為了在大量視頻數據中快速匹配出與待查詢視頻片段對應的視頻,采用
了聚類匹配處理方式。簡單來說,該處理方式的核心思想是:預先通過對大量視頻進行基
于圖像幀的特征提取、特征聚類處理,將各幀圖像按照圖像特征進行聚類劃分,形成多個
聚類中心節點,每個聚類中心節點標識了一個聚類簇,可以用歸屬于同一聚類簇的各幀圖
像的圖像特征中心表示。基于該各聚類中心節點能夠實現快速的匹配處理。

具體的,在將提取到的各關鍵幀的圖像特征與各聚類中心節點的聚類中心特征進行匹
配,獲得匹配到的聚類中心節點后,可以根據匹配到的各聚類中心節點所關聯的視頻圖像
幀標識,確定待查詢視頻片段對應的目標視頻集合中應該包含的視頻。

通過上述方式,僅需要對提取到的各關鍵幀進行與各聚類中心節點數量級的匹配處
理,顯著降低了匹配處理所需的時間和計算量,提高了視頻查詢處理效率。

在具體實現時,可選的,可以通過建立視頻倒排索引樹的方式進行匹配處理。也就是
說,預先通過對大量視頻進行基于圖像幀的特征提取、特征聚類處理,將圖像特征歸屬于
同一聚類簇的各幀圖像關聯在視頻倒排索引樹的一個葉子節點上,從而構建出葉子節點上
關聯了視頻索引的視頻倒排索引樹,以基于該視頻倒排索引樹能夠實現快速的匹配處理。

具體來說,針對任一關鍵幀的圖像特征來說,由于視頻倒排索引樹中每個節點表征了
一個聚類簇的聚類中心,其可以以聚類中心特征來代表,即以屬于同一聚類簇中各圖像特
征的平均值來表示。因此,在對任一關鍵幀的圖像特征進行節點匹配時,可以將該任一關
鍵幀的圖像特征與視頻倒排索引樹中各節點對應的聚類中心特征進行相似性度量,以確定
其匹配的節點。由于視頻倒排索引樹是具有層次的樹狀結構,在對任一關鍵幀的圖像特征
進行逐層匹配的過程中,最終該圖像特征會匹配到一個葉子節點上,稱該葉子節點為目標
葉子節點。

也就是說,分別匹配各關鍵幀的圖像特征對應的目標葉子節點,可以通過如下方式實
現:

針對每個關鍵幀,按照從根節點到葉子節點的層次順序,進行該關鍵幀的圖像特征與
視頻倒排索引樹的各節點對應的聚類中心特征的相似性度量;

將聚類中心特征與該關鍵幀的圖像特征間的相似度小于預設閾值的葉子節點確定為
該關鍵幀的圖像特征所匹配到目標葉子節點。

其中,相似性度量主要是通過距離度量來實現的,距離度量方式可以包括余弦距離、
歐式距離等各種距離度量方式。

在匹配到各關鍵幀對應的目標葉子節點后,由于視頻倒排索引樹構建完成時,各葉子
節點上已經關聯了視頻索引,該視頻索引可以表現為視頻中視頻圖像幀標識,比如,針對
A視頻來說,其對應的視頻圖像幀假設包括1、2、3,在分別對應的視頻圖像幀標識為
A-1,A-2,A-3。因此,可以根據各目標葉子節點所關聯的視頻圖像幀標識,確定待查詢
視頻片段對應的目標視頻集合。簡單來說,假設各關鍵幀分別對應的目標葉子節點所關聯
的視頻圖像幀標識包括A-1,B-5,D-99,則確定視頻A,B,D構成了目標視頻集合。

本實施例中,提取到待查詢視頻片段的各關鍵幀的圖像特征后,進行各圖像特征與預
先建立的視頻倒排索引樹的各葉子節點所對應的聚類中心特征的匹配處理,以確定各圖像
特征即各關鍵幀對應的目標葉子節點。由于視頻倒排索引樹的各葉子節點上已經關聯了視
頻圖像幀標識即已經關聯了視頻索引,因此,可以基于匹配到的各目標葉子節點所關聯的
視頻索引,確定待查詢視頻片段對應的目標視頻集合中應包含的視頻索引。通過建立視頻
倒排索引樹,僅需要對提取到的各關鍵幀進行樹中節點數量級的匹配處理,顯著降低了匹
配處理所需的時間和計算量,提高了視頻查詢處理效率。

圖2是根據一示例性實施例示出的一種視頻查詢方法實施例二的流程圖,如圖2所示,
可選的,該方法包括如下步驟:

在步驟201中,接收待查詢視頻片段。

在步驟202中,提取待查詢視頻片段的各關鍵幀。

在步驟203中,采用特征提取模型分別提取各關鍵幀的圖像特征。

在步驟204中,根據預先建立的視頻倒排索引樹,分別匹配各關鍵幀的圖像特征對應
的目標葉子節點。

在步驟205中,根據各目標葉子節點所關聯的視頻圖像幀標識,確定每個視頻圖像幀
標識對應的視頻。

在步驟206中,確定目標視頻集合中包括每個視頻圖像幀標識對應的視頻。

本實施例中,目標視頻集合中包含的視頻可以簡單地以匹配到的各目標葉子節點所關
聯的視頻圖像標識所對應的視頻確定。

舉例來說,假設提取到待查詢視頻片段中包括兩個關鍵幀,某個關鍵幀的圖像特征匹
配到目標葉子節點1上,該目標葉子節點1關聯的視頻圖像幀標識包括A-1,C-3,A-10。
另一關鍵幀的圖像特征匹配到目標葉子節點2上,該目標葉子節點2關聯的視頻圖像幀標
識包括A-20,D-23。則確定目標視頻集合中包括的視頻為A、C、D。

圖3是根據一示例性實施例示出的一種視頻查詢方法實施例三的流程圖,如圖3所示,
可選的,上述步驟204之后,還可以包括以下步驟:

在步驟301中,根據每個目標葉子節點被匹配到的次數,確定每個目標葉子節點所關
聯的視頻圖像幀標識的統計次數。

在步驟302中,根據各視頻圖像幀標識的統計次數,確定每個視頻圖像幀標識對應的
視頻的統計次數。

在步驟303中,確定目標視頻集合中包括視頻的統計次數最多的前n個視頻。

其中,n為大于或等于1的整數。

本實施例中,為了進一步保證最終得到的目標視頻集合與待查詢視頻具有更強的相關
性,每當匹配得到一個目標葉子節點后,可以對該目標葉子節點所關聯的全部視頻圖像幀
標識都進行加1的計數處理。最終,在所有的關鍵幀都進行了向對應的目標葉子節點的匹
配處理后,得到了全部匹配到的目標葉子節點所關聯的全部視頻圖像幀被匹配到的統計次
數。

根據屬于同一視頻的各視頻圖像幀標識的統計次數,可以加和得到對應視頻的統計次
數,表示該視頻被匹配到的次數。進而,對匹配到的全部視頻按照統計次數從多到少的順
序進行排序,將排在前n位的視頻確定為包含在目標視頻集合中的視頻,反饋給用戶。

圖2和圖3所示實施例中,在根據各目標葉子節點所關聯的視頻圖像幀標識確定待查
詢視頻片段對應的目標視頻集合時,既可以簡單地將所關聯的各視頻圖像幀標識對應的視
頻確定包含于目標視頻集合中,也可以基于各視頻圖像幀標識對應的視頻的統計次數,即
被匹配到的次數,對全部匹配到的視頻進行排序,匹配到的次數最多的n個視頻包含于目
標視頻集合中,在快速查詢到目標視頻的同時,也使得目標視頻與待查詢視頻片段的相關
性更強。

圖4是根據一示例性實施例示出的一種視頻查詢方法實施例四的流程圖,如圖4所示,
在前述各實施例的基礎上,在步驟101前,該方法包括如下步驟:

在步驟401中,獲取第一訓練樣本集,第一訓練樣本集中包含多個樣本圖像。

在步驟402中,根據第一訓練樣本集對卷積神經網絡進行分類訓練,獲得特征提取模
型。

下面對特征提取模型的訓練過程進行簡要說明。該特征提取模型是對基于深度學習的
卷積神經網絡進行分類識別訓練獲得的。

其中,Alex網絡為卷積神經網絡(ConvolutionalNeuralNetworks,簡稱CNN)的一
種,是目前比較通用的物體識別的深度卷積神經網絡圖,圖5為深度卷積神經網絡Alex
網絡圖;如圖5所示。卷積神經網絡是人工神經網絡的一種,已成為當前語音分析和圖像
識別領域的研究熱點。它的權值共享網絡結構使之更類似于生物神經網絡,降低了網絡模
型的復雜度,減少了權值的數量。該優點在網絡的輸入是多維圖像時表現的更為明顯,使
圖像可以直接作為網絡的輸入,避免了傳統識別算法中復雜的特征提取和數據重建過程。
卷積網絡是為識別二維形狀而特殊設計的一個多層感知器,這種網絡結構對平移、比例縮
放、傾斜或者共他形式的變形具有高度不變性。

在本實施例中,對特征提取模型訓練的具體過程如下:準備大量的樣本圖像,并對他
們進行類別的標定。以人臉圖像為例,其他類型的圖像類似。例如張三,李四王五,等
等,一共標定大量不同用戶的人臉圖像,每個用戶的人臉圖像數量為多個。為了保證模型
的訓練效果,可以對每個樣本圖像進行尺度、旋轉、坐標中心化等歸一化處理。然后將歸
一化后的樣本圖像和對應的類別標號輸入到卷積神經網絡中,對卷積神經網絡中的各層隱
層節點間的特征系數或者說卷積核進行分類訓練,在卷積神經網絡的分類輸出層輸出相應
的識別結果,即輸出類別標號。值得說明的是,如果輸出的類別標號與輸入的類別標號不
同,則可以調整特征系數,如此反復,直到卷積神經網絡收斂為止,此時,可以得到穩定
可靠的特征系數即卷積核。

而本實施例中的特征提取模型即是卻掉卷積神經網絡的最后一層即分類輸出層之后
的模型,用于進行輸入圖像的圖像特征提取,如圖5所示,可以輸出2048*2=4096維圖
像特征。

本實施例中,采用基于對卷積神經網絡進行分類識別訓練獲得的特征提取模型對樣本
圖像進行特征提取,由于基于深度學習的卷積神經網絡能夠獲取到更加豐富、精細的特征
信息,從而保證了查詢結果的準確性。

圖6是根據一示例性實施例示出的一種視頻查詢方法實施例五的流程圖,如圖6所示,
在前一實施例的基礎上,該方法還可以包括如下步驟:

在步驟501中,獲取第二訓練樣本集,第二訓練樣本集中包含多個樣本視頻。

在步驟502中,對每個樣本視頻進行隨機圖像幀提取,獲得各樣本圖像幀。

在步驟503中,采用特征提取模型提取各樣本圖像幀的圖像特征。

在步驟504中,根據各樣本圖像幀的圖像特征構建視頻特征聚類樹。

為了構建視頻倒排索引樹,首先,要構建視頻特征聚類樹,進而基于視頻特征聚類樹
構建視頻倒排索引樹。因此,本實施例中,對視頻特征聚類樹的構建過程進行說明。

為了構建出具有普遍適用性的視頻特征聚類樹,本實施例中,首先進行大量各種不同
類型的樣本視頻的采集。進而,對每個樣本視頻進行隨機一定數量的樣本圖像幀的提取。
具體可以是將每個樣本視頻進行幀圖像拆分處理,在得到的全部圖像幀中隨機選出一定數
量的圖像幀作為該樣本視頻的樣本圖像幀。

進而,采用已經訓練好的特征提取模型分別進行每個樣本圖像幀的圖像特征的提取,
得到如圖5所示的4096維圖像特征。

假設每個樣本視頻隨機選擇出1000個樣本圖像幀,總共采集了10萬(w)個樣本視
頻,那么總共能夠得到10w*1000個4096維圖像特征。

進而,對這些圖像特征進行聚類處理,得到各個聚類簇,并構建視頻特征聚類樹。具
體的,根據各樣本圖像幀的圖像特征構建視頻特征聚類樹的過程中,通過對各樣本圖像幀
的圖像特征進行k均值聚類處理,獲得視頻特征聚類樹。其中,視頻特征聚類樹中的每個
節點表征了屬于同一聚類簇中的各圖像特征的聚類中心特征。

也就是說,對獲得的各圖像特征進行距離相似性度量,將彼此間距離小于一定閾值的
各圖像特征劃分為一個聚類簇。從而,同一聚類簇中的各圖像特征間的距離較小,不同聚
類簇間的距離較大。對于同一聚類簇來說,在視頻特征聚類樹中,以一個節點來表示,該
節點對應的聚類中心特征以其對應的聚類簇中各圖像特征的平均值表示。

圖7為本公開示出的一種視頻特征聚類樹的結構示意圖,如圖7所示,該樹的深度為
2,為一個2層3叉樹,每個節點代表一個聚類簇的中心。在實際應用中,可以在獲得全
部聚類簇之后,根據聚類簇的個數,設置樹狀結構參數,比如幾層幾叉樹,從而生成視頻
特征聚類樹。

本實施例中,通過對大量樣本視頻中隨機提取的各樣本圖像進行特征提取,進行對提
取的各圖像特征進行聚類分析處理,以構建視頻特征聚類樹,為后續進行視頻查詢時,降
低計算量、提高查詢處理效率提供了前提保證。

圖8是根據一示例性實施例示出的一種視頻查詢方法實施例六的流程圖,如圖8所示,
在前一實施例的基礎上,該方法還可以包括如下步驟:

在步驟601中,獲取視頻數據庫,視頻數據庫中包括各源視頻。

在步驟602中,分別提取各源視頻的各關鍵幀。

在步驟603中,分別對各源視頻的各關鍵幀進行歸一化處理。

在步驟604中,采用特征提取模型分別提取各關鍵幀的圖像特征。

在步驟605中,將各關鍵幀的圖像特征與視頻特征聚類樹中各節點對應的聚類中心特
征進行相似性度量,確定各關鍵幀的圖像特征分別對應的葉子節點。

在步驟606中,將各關鍵幀的標識關聯記錄到對應的葉子節點上,以構建視頻倒排索
引樹。

本實施例對基于視頻特征聚類樹進行視頻倒排索引樹的構建過程進行說明。簡單來
說,該構建過程可以理解成是在視頻特征聚類樹的葉子節點上掛上關聯的視頻索引。

具體來說,首先確定視頻數據庫,該視頻數據庫與前述的第二訓練樣本集可以相同或
不同。

針對視頻數據庫中的每個視頻即上述源視頻來說,與對待查詢視頻片段的處理過程類
似,首先進行關鍵幀的提取,繼而可以對提取的各關鍵幀進行歸一化處理,再對歸一化處
理后的各關鍵幀進行采用特征提取模型的圖像特征提取,從而得到每個關鍵幀的圖像特
征。

進而,對每個關鍵幀的圖像特征進行與視頻特征聚類樹的各節點的相似性度量,即逐
層計算距離,確定每個關鍵幀的圖像特征所對應的葉子節點,進而將該關鍵幀關聯在對應
的葉子節點上。在對全部關鍵幀都進行了上述處理之后,得到了如圖9所示的視頻倒排索
引樹結構。

從圖9中可以看出,每個源視頻的各關鍵幀與各對應葉子節點的關聯處理,相當于將
匹配到同一葉子節點的各關鍵幀掛在該葉子節點上。圖9中填充的節點示意出了某個關鍵
幀匹配的處理過程。在實際實現中,可以建立與每個葉子節點對應的存儲空間,用于存儲
每個對應葉子節點所關聯的各關鍵幀標識,該關鍵幀標識既標識了其對應的視頻,也標識
了其在對應視頻中的幀數,如A-1代表視頻A的第一幀。

本實施例中,在構建了視頻特征聚類樹的基礎上,通過對視頻數據中各源視頻的關鍵
幀的圖像特征到視頻特征聚類樹中各葉子節點的關聯處理,構建視頻倒排索引樹,相當于
將各源視頻的關鍵幀標識即視頻索引掛到了各葉子節點上。從而在匹配到待查詢視頻片段
中各關鍵幀對應的目標葉子節點后,可以基于各目標葉子節點的視頻索引關聯情況,快速
查詢到對應的目標視頻。

以上描述了視頻查詢方法的實現過程,該過程可以由視頻查詢裝置來實現,以下將對
視頻查詢裝置的內部功能和結構進行說明。

圖10是根據一示例性實施例示出的一種視頻查詢裝置實施例一的框圖,如圖10所示,
該視頻查詢裝置包括:提取模塊11、匹配模塊12、確定模塊13。

提取模塊11,被配置為提取待查詢視頻片段的各關鍵幀的圖像特征。

匹配模塊12,被配置為分別匹配各關鍵幀的圖像特征對應的聚類中心節點;其中,
每個聚類中心節點關聯了多個視頻圖像幀的圖像特征的聚類中心特征。

確定模塊13,被配置為根據匹配到的各聚類中心節點所關聯的視頻圖像幀標識,確
定所述待查詢視頻片段對應的目標視頻集合。

具體的,所述提取模塊11包括:第一提取子模塊111、第二提取子模塊112。

第一提取子模塊111,被配置為提取所述待查詢視頻片段的各關鍵幀。

第二提取子模塊112,被配置為采用特征提取模型分別提取所述各關鍵幀的圖像特
征。

所述匹配模塊12,被配置為根據預先建立的視頻倒排索引樹,分別匹配所述各關鍵
幀的圖像特征對應的目標葉子節點;其中,所述視頻倒排索引樹中的每個葉子節點關聯了
多個視頻圖像幀標識,每個葉子節點表征了多個視頻圖像幀對應的圖像特征的聚類中心特
征。

所述確定模塊13,被配置為根據各所述目標葉子節點所關聯的視頻圖像幀標識,確定
所述待查詢視頻片段對應的目標視頻集合。

所述匹配模塊12包括:計算子模塊121、第一確定子模塊122。

計算子模塊121,被配置為針對每個所述關鍵幀,按照從根節點到葉子節點的層次順
序,進行所述關鍵幀的圖像特征與所述視頻倒排索引樹的各節點對應的聚類中心特征的相
似性度量。

第一確定子模塊122,被配置為將聚類中心特征與所述關鍵幀的圖像特征間的相似度
小于預設閾值的葉子節點確定為所述關鍵幀的圖像特征所匹配到目標葉子節點。

可選的,所述裝置還包括:第二歸一化模塊14。

第二歸一化模塊14,被配置為對所述待查詢視頻片段的各關鍵幀進行歸一化處理。

本實施例中視頻查詢的目的是:查詢包括待查詢視頻片段的完整視頻。

當用戶觸發了對上述待查詢視頻片段的查詢處理后,首先,第一提取子模塊111從該
視頻片段中提取出其中包括的關鍵幀。具體的,可以先對待查詢視頻片段進行圖像幀的拆
分,進而根據幀差或者灰度變化直方圖統計等方式提取出關鍵幀,也就是提取出具有較強
動態變化趨勢的圖像幀作為各關鍵幀。

可選的,為了進一步提高后續處理的準確可靠,在獲得各關鍵幀之后,第二歸一化模
塊14可以各關鍵幀進行歸一化處理,比如尺寸、旋轉、坐標中心化、x-shearing、縮放
等歸一化處理。

進而,第二提子模塊112采用特征提取模型分別提取各關鍵幀的圖像特征。其中,該
特征提取模型是基于對卷積神經網絡進行訓練而獲得的,能夠提取出更加豐富、多維的精
細圖像特征。具體的訓練過程將在后續實施例中說明。

本實施例中,為了在大量視頻數據中快速匹配出與待查詢視頻片段對應的視頻,采用
了聚類匹配處理方式。簡單來說,該處理方式的核心思想是:預先通過對大量視頻進行基
于圖像幀的特征提取、特征聚類處理,將各幀圖像按照圖像特征進行聚類劃分,形成多個
聚類中心節點,每個聚類中心節點標識了一個聚類簇,可以用歸屬于同一聚類簇的各幀圖
像的圖像特征中心表示。基于該各聚類中心節點能夠實現快速的匹配處理。

具體的,匹配模塊12在將提取到的各關鍵幀的圖像特征與各聚類中心節點的聚類中
心特征進行匹配,獲得匹配到的聚類中心節點后,確定模塊13可以根據匹配到的各聚類
中心節點所關聯的視頻圖像幀標識,確定待查詢視頻片段對應的目標視頻集合中應該包含
的視頻。

通過上述方式,僅需要對提取到的各關鍵幀進行與各聚類中心節點數量級的匹配處
理,顯著降低了匹配處理所需的時間和計算量,提高了視頻查詢處理效率。

在具體實現時,可選的,可以通過建立視頻倒排索引樹的方式進行匹配處理。也就是
說,預先通過對大量視頻進行基于圖像幀的特征提取、特征聚類處理,將圖像特征歸屬于
同一聚類簇的各幀圖像關聯在視頻倒排索引樹的一個葉子節點上,從而構建出葉子節點上
關聯了視頻索引的視頻倒排索引樹。匹配模塊12基于該視頻倒排索引樹能夠實現快速的
匹配處理。

具體來說,針對任一關鍵幀的圖像特征來說,由于視頻倒排索引樹中每個節點表征了
一個聚類簇的聚類中心,其可以以聚類中心特征來代表,即以屬于同一聚類簇中各圖像特
征的平均值來表示。因此,匹配模塊12在對任一關鍵幀的圖像特征進行節點匹配時,可
以將該任一關鍵幀的圖像特征與視頻倒排索引樹中各節點對應的聚類中心特征進行相似
性度量,以確定其匹配的節點。由于視頻倒排索引樹是具有層次的樹狀結構,在匹配模塊
14對任一關鍵幀的圖像特征進行逐層匹配的過程中,最終該圖像特征會匹配到一個葉子
節點上,稱該葉子節點為目標葉子節點。

也就是說,匹配模塊12分別匹配各關鍵幀的圖像特征對應的目標葉子節點,可以通
過如下方式實現:

針對每個關鍵幀,計算子模塊121按照從根節點到葉子節點的層次順序,進行該關鍵
幀的圖像特征與視頻倒排索引樹的各節點對應的聚類中心特征的相似性度量;

第一確定子模塊122將聚類中心特征與該關鍵幀的圖像特征間的相似度小于預設閾
值的葉子節點確定為該關鍵幀的圖像特征所匹配到目標葉子節點。

其中,相似性度量主要是通過距離度量來實現的,距離度量方式可以包括余弦距離、
歐式距離等各種距離度量方式。

在匹配到各關鍵幀對應的目標葉子節點后,由于視頻倒排索引樹構建完成時,各葉子
節點上已經關聯了視頻索引,該視頻索引可以表現為視頻中視頻圖像幀標識,比如,針對
A視頻來說,其對應的視頻圖像幀假設包括1、2、3,在分別對應的視頻圖像幀標識為
A-1,A-2,A-3。因此,確定模塊15可以根據各目標葉子節點所關聯的視頻圖像幀標識,
確定待查詢視頻片段對應的目標視頻集合。簡單來說,假設各關鍵幀分別對應的目標葉子
節點所關聯的視頻圖像幀標識包括A-1,B-5,D-99,則確定視頻A,B,D構成了目標視
頻集合。

本實施例中,提取到待查詢視頻片段的各關鍵幀的圖像特征后,進行各圖像特征與預
先建立的視頻倒排索引樹的各葉子節點所對應的聚類中心特征的匹配處理,以確定各圖像
特征即各關鍵幀對應的目標葉子節點。由于視頻倒排索引樹的各葉子節點上已經關聯了視
頻圖像幀標識即已經關聯了視頻索引,因此,可以基于匹配到的各目標葉子節點所關聯的
視頻索引,確定待查詢視頻片段對應的目標視頻集合中應包含的視頻索引。通過建立視頻
倒排索引樹,僅需要對提取到的各關鍵幀進行樹中節點數量級的匹配處理,顯著降低了匹
配處理所需的時間和計算量,提高了視頻查詢處理效率。

圖11是根據一示例性實施例示出的一種視頻查詢裝置實施例二的框圖,如圖11所示,
在圖10所示實施例的基礎上,所述確定模塊13包括:第二確定子模塊131、第三確定子
模塊132。

第二確定子模塊131,被配置為根據各所述目標葉子節點所關聯的視頻圖像幀標識,
確定每個所述視頻圖像幀標識對應的視頻。

第三確定子模塊132,被配置為確定所述目標視頻集合中包括各所述視頻。

本實施例中,第三確定子模塊132可以簡單地確定目標視頻集合中包含的視頻以匹配
到的各目標葉子節點所關聯的視頻圖像標識所對應的視頻確定。

舉例來說,假設提取到待查詢視頻片段中包括兩個關鍵幀,某個關鍵幀的圖像特征匹
配到目標葉子節點1上,第二確定子模塊131確定該目標葉子節點1關聯的視頻圖像幀標
識包括A-1,C-3,A-10。另一關鍵幀的圖像特征匹配到目標葉子節點2上,第二確定子
模塊131確定該目標葉子節點2關聯的視頻圖像幀標識包括A-20,D-23。則第三確定子
模塊132確定目標視頻集合中包括的視頻為A、C、D。

圖12是根據一示例性實施例示出的一種視頻查詢裝置實施例三的框圖,如圖12所示,
在圖10所示實施例的基礎上,所述確定模塊13包括:第四確定子模塊133、第五確定子
模塊134、第六確定子模塊135。

第四確定子模塊133,被配置為根據每個所述目標葉子節點被匹配到的次數,確定每
個所述目標葉子節點所關聯的視頻圖像幀標識的統計次數。

第五確定子模塊134,被配置為根據各所述視頻圖像幀標識的統計次數,確定每個視
頻圖像幀標識對應的視頻的統計次數。

第六確定子模塊135,被配置為確定所述目標視頻集合中包括所述視頻的統計次數最
多的前n個視頻,n為大于或等于1的整數。

本實施例中,為了進一步保證最終得到的目標視頻集合與待查詢視頻具有更強的相關
性,每當匹配得到一個目標葉子節點后,可以對該目標葉子節點所關聯的全部視頻圖像幀
標識都進行加1的計數處理。最終,在所有的關鍵幀都進行了向對應的目標葉子節點的匹
配處理后,第四確定子模塊133得到了全部匹配到的目標葉子節點所關聯的全部視頻圖像
幀被匹配到的統計次數。

進而,第五確定子模塊134根據屬于同一視頻的各視頻圖像幀標識的統計次數,可以
加和得到對應視頻的統計次數,表示該視頻被匹配到的次數。進而,第六確定子模塊135
對匹配到的全部視頻按照統計次數從多到少的順序進行排序,將排在前n位的視頻確定為
包含在目標視頻集合中的視頻,反饋給用戶。

圖11和圖12所示實施例中,在根據各目標葉子節點所關聯的視頻圖像幀標識確定待
查詢視頻片段對應的目標視頻集合時,既可以簡單地將所關聯的各視頻圖像幀標識對應的
視頻確定包含于目標視頻集合中,也可以基于各視頻圖像幀標識對應的視頻的統計次數,
即被匹配到的次數,對全部匹配到的視頻進行排序,匹配到的次數最多的n個視頻包含于
目標視頻集合中,在快速查詢到目標視頻的同時,也使得目標視頻與待查詢視頻片段的相
關性更強。

圖13是根據一示例性實施例示出的一種視頻查詢裝置實施例四的框圖,如圖13所示,
在以上各實施例的基礎上,該裝置還包括:第一獲取模塊21、訓練模塊22。

第一獲取模塊21,被配置為獲取第一訓練樣本集,所述第一訓練樣本集中包含多個
樣本圖像。

訓練模塊22,被配置為根據所述第一訓練樣本集對卷積神經網絡進行分類訓練,獲
得所述特征提取模型。

下面對特征提取模型的訓練過程進行簡要說明。該特征提取模型是對基于深度學習的
卷積神經網絡進行分類識別訓練獲得的。

其中,Alex網絡為卷積神經網絡(ConvolutionalNeuralNetworks,簡稱CNN)的一
種,是目前比較通用的物體識別的深度卷積神經網絡圖,圖5為深度卷積神經網絡Alex
網絡圖;如圖5所示。卷積神經網絡是人工神經網絡的一種,已成為當前語音分析和圖像
識別領域的研究熱點。它的權值共享網絡結構使之更類似于生物神經網絡,降低了網絡模
型的復雜度,減少了權值的數量。該優點在網絡的輸入是多維圖像時表現的更為明顯,使
圖像可以直接作為網絡的輸入,避免了傳統識別算法中復雜的特征提取和數據重建過程。
卷積網絡是為識別二維形狀而特殊設計的一個多層感知器,這種網絡結構對平移、比例縮
放、傾斜或者共他形式的變形具有高度不變性。

在本實施例中,對特征提取模型訓練的具體過程如下:第一獲取模塊21獲取大量的
樣本圖像,并對他們進行類別的標定。以人臉圖像為例,其他類型的圖像類似。例如張三,
李四王五,等等,一共標定大量不同用戶的人臉圖像,每個用戶的人臉圖像數量為多個。
為了保證模型的訓練效果,可以對每個樣本圖像進行尺度、旋轉、坐標中心化等歸一化處
理。然后將歸一化后的樣本圖像和對應的類別標號輸入到卷積神經網絡中,訓練模塊22
對卷積神經網絡中的各層隱層節點間的特征系數或者說卷積核進行分類訓練,在卷積神經
網絡的分類輸出層輸出相應的識別結果,即輸出類別標號。值得說明的是,如果輸出的類
別標號與輸入的類別標號不同,則可以調整特征系數,如此反復,直到卷積神經網絡收斂
為止,此時,可以得到穩定可靠的特征系數即卷積核。

而本實施例中的特征提取模型即是卻掉卷積神經網絡的最后一層即分類輸出層之后
的模型,用于進行輸入圖像的圖像特征提取,如圖5所示,可以輸出2048*2=4096維圖
像特征。

本實施例中,采用基于對卷積神經網絡進行分類識別訓練獲得的特征提取模型對樣本
圖像進行特征提取,由于基于深度學習的卷積神經網絡能夠獲取到更加豐富、精細的特征
信息,從而保證了查詢結果的準確性。

圖14是根據一示例性實施例示出的一種視頻查詢裝置實施例五的框圖,如圖14所示,
在前一實施例的基礎上,該裝置還包括:第二獲取模塊31、第三提取模塊32、第四提取模
塊33、第一建立模塊34

第二獲取模塊31,被配置為獲取第二訓練樣本集,所述第二訓練樣本集中包含多個
樣本視頻。

第三提取模塊32,被配置為對每個所述樣本視頻進行隨機圖像幀提取,獲得各樣本
圖像幀。

第四提取模塊33,被配置為采用所述特征提取模型提取所述各樣本圖像幀的圖像特
征。

第一建立模塊34,被配置為根據所述各樣本圖像幀的圖像特征構建視頻特征聚類樹。

所述第一建立模塊34被配置為:對所述各樣本圖像幀的圖像特征進行k均值聚類處
理,獲得所述視頻特征聚類樹,所述視頻特征聚類樹中的每個節點表征了屬于同一聚類簇
中的各圖像特征的聚類中心特征。

為了構建視頻倒排索引樹,首先,要構建視頻特征聚類樹,進而基于視頻特征聚類樹
構建視頻倒排索引樹。因此,本實施例中,對視頻特征聚類樹的構建過程進行說明。

為了構建出具有普遍適用性的視頻特征聚類樹,本實施例中,首先第二獲取模塊31
進行大量各種不同類型的樣本視頻的采集。進而,第三提取模塊32對每個樣本視頻進行
隨機一定數量的樣本圖像幀的提取。具體可以是將每個樣本視頻進行幀圖像拆分處理,在
得到的全部圖像幀中隨機選出一定數量的圖像幀作為該樣本視頻的樣本圖像幀。

進而,第四提取模塊33采用已經訓練好的特征提取模型分別進行每個樣本圖像幀的
圖像特征的提取,得到如圖5所示的4096維圖像特征。

假設每個樣本視頻隨機選擇出1000個樣本圖像幀,總共采集了10萬(w)個樣本視
頻,那么總共能夠得到10w*1000個4096維圖像特征。

進而,對這些圖像特征進行聚類處理,得到各個聚類簇,并構建視頻特征聚類樹。具
體的,第一建立模塊34根據各樣本圖像幀的圖像特征構建視頻特征聚類樹的過程中,通
過對各樣本圖像幀的圖像特征進行k均值聚類處理,獲得視頻特征聚類樹。其中,視頻特
征聚類樹中的每個節點表征了屬于同一聚類簇中的各圖像特征的聚類中心特征。

也就是說,對獲得的各圖像特征進行距離相似性度量,將彼此間距離小于一定閾值的
各圖像特征劃分為一個聚類簇。從而,同一聚類簇中的各圖像特征間的距離較小,不同聚
類簇間的距離較大。對于同一聚類簇來說,在視頻特征聚類樹中,以一個節點來表示,該
節點對應的聚類中心特征以其對應的聚類簇中各圖像特征的平均值表示。

圖7為本公開示出的一種視頻特征聚類樹的結構示意圖,如圖7所示,該樹的深度為
2,為一個2層3叉樹,每個節點代表一個聚類簇的中心。在實際應用中,可以在獲得全
部聚類簇之后,根據聚類簇的個數,設置樹狀結構參數,比如幾層幾叉樹,從而生成視頻
特征聚類樹。

本實施例中,通過對大量樣本視頻中隨機提取的各樣本圖像進行特征提取,進行對提
取的各圖像特征進行聚類分析處理,以構建視頻特征聚類樹,為后續進行視頻查詢時,降
低計算量、提高查詢處理效率提供了前提保證。

圖15是根據一示例性實施例示出的一種視頻查詢裝置實施例六的框圖,如圖15所示,
在前一實施例的基礎上,該裝置還包括:第三獲取模塊41、第五提取模塊42、第六提取模
塊43、計算模塊44、第二建立模塊45。

第三獲取模塊41,被配置為獲取視頻數據庫,所述視頻數據庫中包括各源視頻。

第五提取模塊42,被配置為分別提取所述各源視頻的各關鍵幀。

第六提取模塊43,被配置為采用所述特征提取模型分別提取所述各關鍵幀的圖像特
征。

計算模塊44,被配置為將所述各關鍵幀的圖像特征與所述視頻特征聚類樹中各節點
對應的聚類中心特征進行相似性度量,確定所述各關鍵幀的圖像特征分別對應的葉子節
點。

第二建立模塊45,被配置為將所述各關鍵幀的標識關聯記錄到對應的葉子節點上,以
構建所述視頻倒排索引樹。

所述裝置還包括:第一歸一化模塊46。

第一歸一化模塊46,被配置為分別對所述各源視頻的各關鍵幀進行歸一化處理。

本實施例對基于視頻特征聚類樹進行視頻倒排索引樹的構建過程進行說明。簡單來
說,該構建過程可以理解成是在視頻特征聚類樹的葉子節點上掛上關聯的視頻索引。

具體來說,首先第三獲取模塊41獲取視頻數據庫,該視頻數據庫與前述的第二訓練
樣本集可以相同或不同。

針對視頻數據庫中的每個視頻即上述源視頻來說,與對待查詢視頻片段的處理過程類
似,首先第五提取模塊42進行關鍵幀的提取,繼而第一歸一化模塊46可以對提取的各關
鍵幀進行歸一化處理,第六提取模塊43再對歸一化處理后的各關鍵幀進行采用特征提取
模型的圖像特征提取,從而得到每個關鍵幀的圖像特征。

進而,計算模塊44對每個關鍵幀的圖像特征進行與視頻特征聚類樹的各節點的相似
性度量,即逐層計算距離,確定每個關鍵幀的圖像特征所對應的葉子節點,進而第二建立
模塊45將該關鍵幀關聯在對應的葉子節點上。在對全部關鍵幀都進行了上述處理之后,
得到了如圖9所示的視頻倒排索引樹結構。

從圖9中可以看出,每個源視頻的各關鍵幀與各對應葉子節點的關聯處理,相當于將
匹配到同一葉子節點的各關鍵幀掛在該葉子節點上。圖9中填充的節點示意出了某個關鍵
幀匹配的處理過程。在實際實現中,可以建立與每個葉子節點對應的存儲空間,用于存儲
每個對應葉子節點所關聯的各關鍵幀標識,該關鍵幀標識既標識了其對應的視頻,也標識
了其在對應視頻中的幀數,如A-1代表視頻A的第一幀。

本實施例中,在構建了視頻特征聚類樹的基礎上,通過對視頻數據中各源視頻的關鍵
幀的圖像特征到視頻特征聚類樹中各葉子節點的關聯處理,構建視頻倒排索引樹,相當于
將各源視頻的關鍵幀標識即視頻索引掛到了各葉子節點上。從而在匹配到待查詢視頻片段
中各關鍵幀對應的目標葉子節點后,可以基于各目標葉子節點的視頻索引關聯情況,快速
查詢到對應的目標視頻。

以上描述了視頻查詢裝置的內部功能和結構,如圖16所示,圖16是根據一示例性實施
例示出的一種視頻查詢裝置的框圖;該視頻查詢裝置可實現為:

存儲器;

用于存儲處理器可執行指令的存儲器;

其中,所述處理器被配置為:

提取待查詢視頻片段的各關鍵幀的圖像特征;

分別匹配各關鍵幀的圖像特征對應的聚類中心節點;其中,每個聚類中心節點關聯了
多個視頻圖像幀的圖像特征的聚類中心特征;

根據匹配到的各聚類中心節點所關聯的視頻圖像幀標識,確定所述待查詢視頻片段對
應的目標視頻集合。

本實施例中,在提取到待查詢視頻片段的各關鍵幀的圖像特征后,進行各圖像特征與
各聚類中心節點特征的匹配處理,以確定各圖像特征對應的聚類中心節點。由于每個聚類
中心節點上已經關聯了視頻圖像幀標識即已經關聯了視頻索引,因此,可以基于匹配到的
各聚類中心節點所關聯的視頻索引,確定待查詢視頻片段對應的目標視頻集合中應包含的
視頻索引。僅需要對提取到的各關鍵幀進行與各聚類中心節點數量級的匹配處理,顯著降
低了匹配處理所需的時間和計算量,提高了視頻查詢處理效率。

圖17是根據一示例性實施例示出的一種視頻查詢裝置1900的框圖。例如,裝置1900
可以被提供為一服務器。該服務器可以是音視頻服務器等類型的服務器。參照圖17,裝
置1900包括處理組件1922,其進一步包括一個或多個處理器,以及由存儲器1932所代
表的存儲器資源,用于存儲可由處理組件1922的執行的指令,例如應用程序。存儲器1932
中存儲的應用程序可以包括一個或一個以上的每一個對應于一組指令的模塊。此外,處理
組件1922被配置為執行指令,以執行上述視頻查詢方法,所述方法包括:

提取待查詢視頻片段的各關鍵幀的圖像特征;

分別匹配各關鍵幀的圖像特征對應的聚類中心節點;其中,每個聚類中心節點關聯了
多個視頻圖像幀的圖像特征的聚類中心特征;

根據匹配到的各聚類中心節點所關聯的視頻圖像幀標識,確定所述待查詢視頻片段對
應的目標視頻集合。

裝置1900還可以包括一個電源組件1926被配置為執行裝置1900的電源管理,一個
有線或無線網絡接口1950被配置為將裝置1900連接到網絡,和一個輸入輸出(I/O)接
口1958。裝置1900可以操作基于存儲在存儲器1932的操作系統,例如WindowsServerTM,
MacOSXTM,UnixTM,LinuxTM,FreeBSDTM或類似。

本領域技術人員在考慮說明書及實踐這里公開的發明后,將容易想到本發明的其它實
施方案。本申請旨在涵蓋本發明的任何變型、用途或者適應性變化,這些變型、用途或者
適應性變化遵循本發明的一般性原理并包括本公開未公開的本技術領域中的公知常識或
慣用技術手段。說明書和實施例僅被視為示例性的,本發明的真正范圍和精神由下面的權
利要求指出。

應當理解的是,本發明并不局限于上面已經描述并在附圖中示出的精確結構,并且可
以在不脫離其范圍進行各種修改和改變。本發明的范圍僅由所附的權利要求來限制。

關 鍵 詞:
視頻 查詢 方法 裝置
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:視頻查詢方法和裝置.pdf
鏈接地址:http://www.rgyfuv.icu/p-6341605.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图