• / 14
  • 下載費用:30 金幣  

基于用戶搜索意圖定位的圖像檢索方法及系統.pdf

摘要
申請專利號:

CN201510933574.9

申請日:

2015.12.15

公開號:

CN105426529A

公開日:

2016.03.23

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):G06F 17/30申請日:20151215|||公開
IPC分類號: G06F17/30 主分類號: G06F17/30
申請人: 中南大學
發明人: 郭克華; 張瑞芳
地址: 410000湖南省長沙市岳麓區岳麓山左家垅
優先權:
專利代理機構: 長沙朕揚知識產權代理事務所(普通合伙)43213 代理人: 胡慧
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510933574.9

授權公告號:

||||||

法律狀態公告日:

2017.02.22|||2016.04.20|||2016.03.23

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本發明公開了一種基于用戶搜索意圖定位的圖像檢索方法及系統,該方法包括步驟:根據用戶輸入的檢索關鍵字,使用任意一個圖像檢索平臺進行檢索獲取圖像結果集;根據圖像結果集中的圖像的文本信息,對圖像結果集中的圖像進行分類后返回給用戶,引導用戶在分類后的圖像中選取一個類別中的至少一個圖像;將被選取的圖像及與被選取的圖像相關的文本信息作為檢索條件,進行二次檢索。該系統包括一次檢索模塊、分類模塊、用戶交互模塊和二次檢索模塊。本發明通過較小的計算量、消耗更少的時間達到較高精確度的效果,節省了計算資源,提高了計算效率。

權利要求書

1.一種基于用戶搜索意圖定位的圖像檢索方法,其特征在于,包括以下步驟:
S2:根據用戶輸入的檢索關鍵字,使用任意一個圖像檢索平臺進行檢索獲取圖像結果集;
S4:根據所述圖像結果集中的圖像的文本信息,對所述圖像結果集中的圖像進行分類;
S6:將所述分類后的圖像返回給用戶,并引導用戶在所述分類后的圖像中選取一個類別
中的至少一個圖像;
S8:將所述被選取的圖像及與所述被選取的圖像相關的文本信息作為檢索條件,進行二
次檢索。
2.根據權利要求1所述的圖像檢索方法,其特征在于,所述對所述圖像結果集中的圖像
進行分類,包括以下步驟:
S401:根據所述圖像結果集中的圖像的文本信息,將每個所述圖像在維基百科分類索引
中所屬的二級類目作為所述圖像的類別;
S402:并將所述圖像的類別對應的所有三級類目作為所述類別的同義詞保存到關系型數
據庫中。
3.根據權利要求2所述的圖像檢索方法,其特征在于,所述步驟S401,包括以下步驟:
S4011:根據所述圖像結果集中的圖像的文本信息,建立如下的信息矩陣:
I = I 1 , I 2 , ... , I N T 1 , T 2 , ... , T N C 1 , C 2 , ... , C N T ]]>
其中,N表示圖像結果集中的圖像的圖像數目,Ii表示圖像結果集中的一張圖像,其中
0<=i<=N;Ti表示所述圖像的文本信息,其中0<=i<=N;Ci表示與所述圖像相關的類別名,其
中0<=i<=N;
S4012:根據維基百科分類索引定義分類圖G,遍歷圖像結果集中的N個圖像,將圖像中
圖像的文本信息中包含的每個詞語或短語作為一個文本結點,對于每個所述圖像中的每個文
本結點,如果所述文本結點與所述分類圖G中的結點相匹配,則計算該文本結點出現在所述
圖像的文本信息Ti中的頻率,最后將出現頻率最大的文本結點所對應的分類圖G中的分類名
稱作為該圖像的分類。
4.根據權利要求1至3中任一項所述的圖像檢索方法,其特征在于,所述步驟S8中的
與所述被選取的圖像相關的文本信息,包括:所述被選取的圖像的類別名稱、用戶輸入的檢
索關鍵字和\或HTML中的圖像描述信息。
5.根據權利要求4所述的圖像檢索方法,其特征在于,所述步驟S8中,所述進行二次
檢索,包括以下步驟:
S801:根據與所述被選取的圖像相關的文本信息的文本內容,在所述圖像結果集中所述
被選取的圖像所在的分類中進行基于文本的圖像檢索;
S802:提取所述被選取的圖像的視覺特征,采用感知哈希算法計算被選取的圖像以及所
述圖像結果集中所述被選取的圖像所在的分類中的圖像的圖像相似度,在所述圖像結果集中
所述被選取的圖像所在的分類中進行圖像檢索。
6.根據權利要求5所述的圖像檢索方法,其特征在于,所述步驟S802中,采用感知哈
希算法計算被選取的圖像以及圖像結果集中所述被選取的圖像所在的分類中的圖像的圖像相
似度,包括以下步驟:
S8021:將圖像轉化為灰度圖像,轉化公式如下:
Gray=R×0.299+G×0.587+B×0.114(1)
其中,Gray表示灰度值,R、G和B分別表示原始像素中的紅、綠和藍的分量;
S8022:將所述灰度圖像分為8×8塊,將每個塊的灰度設置為該塊的灰度平均值,使用
Gray[8,8]矩陣來存儲每個塊的灰度值,生成一個感知哈希矩陣H[8,8],滿足以下條件:
H [ i , j ] = 1 G r a y [ i , j ] > = a v g 0 o t h e r s - - - ( 2 ) ]]>
其中,avg是整張所述灰度圖像的灰度平均值,Gray[i,j]是圖像被劃分后,第i行、第j
列個塊的灰度值,others是指第i行、第j列個塊的灰度值小于avg時的情況,H[i,j]是由第i
行、第j列個塊的灰度值得到的感知哈希矩陣H[8,8]的第i行、第j列個元素的值,并滿足以下
條件:
a v g = 1 M × N Σ i = 1 M Σ j = 1 N G r a y [ i , j ] - - - ( 3 ) ]]>
其中,M是指圖像劃分后的行數且M=8,N是指圖像劃分后的列數且N=8,將獲得的
64位的二進制數值作為所述圖像的感知哈希值;
S8023:采用步驟S8021至步驟S8022分別提取所述被選取的圖像以及檢索結果所對應的圖
像的感知哈希值,采用按位異或方式計算兩張圖像的相似度,圖像H1和圖像H2的相似度
p(H1,H2)可以表示為位0的異或結果的百分比,公式如下:
p ( H 1 , H 2 ) = 100 M × N C 0 ( H 1 H 2 ) % - - - ( 4 ) ]]>
其中,C0是一個計算0異或結果的函數。
7.根據權利要求6所述的圖像檢索方法,其特征在于,所述步驟S801完成后,在所述
步驟S801所獲得的結果集中,采用步驟S802進行檢索排序,將排序后的結果集返回給用戶。
8.一種基于用戶搜索意圖定位的圖像檢索系統,其特征在于,包括:
一次檢索模塊,用于根據用戶輸入的檢索關鍵字,使用任意一個圖像檢索平臺進行檢索
獲取圖像結果集;
分類模塊,用于根據所述圖像結果集中的圖像的文本信息,對所述圖像結果集中的圖像
進行分類;
用戶交互模塊,用于將所述分類后的圖像返回給用戶,并引導用戶在所述分類后的圖像
中選取一個類別中的至少一個圖像;
二次檢索模塊,用于將所述被選取的圖像及與所述被選取的圖像相關的文本信息作為檢
索條件,進行二次檢索。
9.根據權利要求8所述的圖像檢索系統,其特征在于,所述二次檢索模塊包括:
文本檢索單元,用于根據與所述被選取的圖像相關的文本信息的文本內容,在所述圖像
結果集中所述被選取的圖像所在的分類中進行基于文本的圖像檢索;
圖像檢索單元,用于提取所述被選取的圖像的視覺特征,采用感知哈希算法計算被選取
的圖像以及所述圖像結果集中所述被選取的圖像所在的分類中的圖像的圖像相似度,在所述
圖像結果集中所述被選取的圖像所在的分類中進行圖像檢索。
10.根據權利要求8或9所述的圖像檢索系統,其特征在于,所述系統還包括:
排序模塊,用于在文本檢索單元完成后,在所述文本檢索單元所獲得的結果集中,采用
所述圖像檢索單元進行檢索排序,將排序后的結果集返回給用戶。

說明書

基于用戶搜索意圖定位的圖像檢索方法及系統

技術領域

本發明涉及數據庫檢索領域,尤其涉及一種基于用戶搜索意圖定位的圖像檢索方法及系
統。

背景技術

網絡圖像的爆炸式增長,衍生了很多圖像檢索方法。例如,用戶可使用如谷歌(Google)
和必應(Bing)等搜索引擎來從互聯網上檢索圖像。

目前的圖像檢索方法主要有以下幾種:

①基于關鍵字的檢索方法:將查詢關鍵字與圖像數據庫中存儲的描述關鍵字來進行匹配,
并返回匹配成功的圖像。這種方法廣泛應用于傳統的圖像檢索中。基于此方法的改進有,找
到查詢關鍵字的同義詞或者具有與之相關性的文本來檢索,或者為用戶提供更加詳細的文本
關鍵字的選擇項。

②基于圖像的檢索方法:通過提取圖像的固有特征(顏色、紋理等圖像特征)來進行檢
索。當用戶上傳一張圖像后,利用基于內容的圖像檢索(CBIR,Content-basedimage
retrieval,基于圖像內容的檢索——改為:基于內容的圖像檢索),圖像搜索引擎可以檢索
出與之相似的圖像。

③基于語義的檢索方法:將圖像的本體描述作為語義標注,并將這些標注保存到數據庫
中,搜索引擎將會基于這些標注來進行圖像檢索。圖像的本體描述是指圖像作為一個對象,
其本身包含的特征和屬性。

以上三類檢索方法分別存在以下缺陷:

對于方法①,需要監管培訓并消耗大量的計算資源,此外,它并不能保證在圖像的擴展
列表中包含用戶的理想的關鍵字。

對于方法②,基于內容的圖像檢索方法中,提取圖像特征需要消耗計算資源,而尋找圖
像特征提取的精確度和計算時間之間的一個平衡點尤為重要。此外,這種方法忽略了對用戶
的意圖的理解,導致無法搜索到滿足用戶意圖的相似結果。

對于方法③,在基于語義的方法中,對圖像進行標注工作量大,同時,無法保證所有圖
像都被標注正確,此外,如果圖像被復制或移動到其它位置,重建它們的語義信息是一個非
常復雜的工作。

發明內容

本發明目的在于提供一種基于用戶搜索意圖定位的圖像檢索方法及系統,以解決網絡圖
像搜索技術消耗大且不能準確貼合用戶搜索意圖的技術問題。

為實現上述目的,本發明提供了一種基于用戶搜索意圖定位的圖像檢索方法,包括以下
步驟:

S2:根據用戶輸入的檢索關鍵字,使用任意一個圖像檢索平臺進行檢索獲取圖像結果集;

S4:根據圖像結果集中的圖像的文本信息,對圖像結果集中的圖像進行分類;

S6:將分類后的圖像返回給用戶,并引導用戶在分類后的圖像中選取一個類別中的至少
一個圖像;

S8:將被選取的圖像及與被選取的圖像相關的文本信息作為檢索條件,進行二次檢索。

作為本發明的方法的進一步改進:

對圖像結果集中的圖像進行分類,包括以下步驟:

S401:根據圖像結果集中的圖像的文本信息,將每個圖像在維基百科分類索引中所屬的
二級類目作為圖像的類別;

S402:并將圖像的類別對應的所有三級類目作為類別的同義詞保存到關系型數據庫中。

步驟S401,包括以下步驟:

S4011:根據圖像結果集中的圖像的文本信息,建立如下的信息矩陣:

I = I 1 , I 2 , ... , I N T 1 , T 2 , ... , T N C 1 , C 2 , ... , C N T ]]>

其中,N表示圖像結果集中的圖像的圖像數目,Ii表示圖像結果集中的一張圖像,其中
0<=i<=N,Ti表示圖像的文本信息,其中0<=i<=N,Ci表示與圖像相關的類別名,其中0<=i<=N;

S4012:根據維基百科分類索引定義分類圖G,遍歷圖像結果集中的N個圖像,將圖像中
圖像的文本信息中包含的每個詞語或短語作為一個文本結點,對于每個圖像中的每個文本結
點,如果文本結點與分類圖G中的結點相匹配,則計算該文本結點出現在圖像的文本信息Ti中
的頻率,最后將出現頻率最大的文本結點所對應的分類圖G中的分類名稱作為該圖像的分類。

步驟S8中的與被選取的圖像相關的文本信息,包括:被選取的圖像的類別名稱、用戶輸
入的檢索關鍵字和\或HTML中的圖像描述信息。

步驟S8中,進行二次檢索,包括以下步驟:

S801:根據與被選取的圖像相關的文本信息的文本內容,在圖像結果集中被選取的圖像
所在的分類中進行基于文本的圖像檢索;

S802:提取被選取的圖像的視覺特征,采用感知哈希算法計算被選取的圖像以及圖像結
果集中被選取的圖像所在的分類中的圖像的圖像相似度,在圖像結果集中被選取的圖像所在
的分類中進行圖像檢索。

步驟S802中,采用感知哈希算法計算被選取的圖像以及圖像結果集中被選取的圖像所在
的分類中的圖像的圖像相似度,包括以下步驟:

S8021:將圖像轉化為灰度圖像,轉化公式如下:

Gray=R×0.299+G×0.587+B×0.114(1)

其中,Gray表示灰度值,R、G和B分別表示原始像素中的紅、綠和藍的分量;

S8022:將灰度圖像分為8×8塊,將每個塊的灰度設置為該塊的灰度平均值,使用
Gray[8,8]矩陣來存儲每個塊的灰度值,生成一個感知哈希矩陣H[8,8],滿足以下條件:

H [ i , j ] = 1 G r a y [ i , j ] > = a v g 0 o t h e r s - - - ( 2 ) ]]>

其中,avg是整張灰度圖像的灰度平均值,Gray[i,j]是圖像被劃分后,第i行、第j列個
塊的灰度值,others是指第i行、第j列個塊的灰度值小于avg時的情況,H[i,j]是由第i行、
第j列個塊的灰度值得到的感知哈希矩陣H[8,8]的第i行、第j列個元素的值,并滿足以下條件:

a v g = 1 M × N Σ i = 1 M Σ j = 1 N G r a y [ i , j ] - - - ( 3 ) ]]>

其中,M是指圖像劃分后的行數且M=8,N是指圖像劃分后的列數且N=8,將獲得的
64位的二進制數值作為圖像的感知哈希值;

S8023:采用步驟S8021至步驟S8022分別提取被選取的圖像以及檢索結果所對應的圖像的
感知哈希值,采用按位異或方式計算兩張圖像的相似度,圖像H1和圖像H2的相似度p(H1,H2)可
以表示為位0的異或結果的百分比,公式如下:

p ( H 1 , H 2 ) = 100 M × N C 0 ( H 1 H 2 ) % - - - ( 4 ) ]]>

其中,C0是一個計算0異或結果的函數。

步驟S801完成后,在步驟S801所獲得的結果集中,采用步驟S802進行檢索排序,將排
序后的結果集返回給用戶。

作為一個總的技術構思,本發明還提供了一種基于用戶搜索意圖定位的圖像檢索系統,
包括:

一次檢索模塊,用于根據用戶輸入的檢索關鍵字,使用任意一個圖像檢索平臺進行檢索
獲取圖像結果集;

分類模塊,用于根據圖像結果集中的圖像的文本信息,對圖像結果集中的圖像進行分類;

用戶交互模塊,用于將分類后的圖像返回給用戶,并引導用戶在分類后的圖像中選取一
個類別中的至少一個圖像;

二次檢索模塊,用于將被選取的圖像及與被選取的圖像相關的文本信息作為檢索條件,
進行二次檢索。

作為本發明的系統的進一步改進:

二次檢索模塊包括:

文本檢索單元,用于根據與被選取的圖像相關的文本信息的文本內容,在圖像結果集中
被選取的圖像所在的分類中進行基于文本的圖像檢索;

圖像檢索單元,用于提取被選取的圖像的視覺特征,采用感知哈希算法計算被選取的圖
像以及圖像結果集中被選取的圖像所在的分類中的圖像的圖像相似度,在圖像結果集中被選
取的圖像所在的分類中進行圖像檢索。

系統還包括排序模塊,用于在文本檢索單元完成后,在文本檢索單元所獲得的結果集中,
采用圖像檢索單元進行檢索排序,將排序后的結果集返回給用戶。

本發明具有以下有益效果:

1、本發明的基于用戶搜索意圖定位的圖像檢索方法,采用任意一個圖像檢索平臺進行檢
索獲取圖像結果集,可以首先使用戶獲得全面的檢索結果;然后根據圖像的文本信息對圖像
結果集中的圖像進行分類,并將分類結果顯示給用戶進行選擇,通過用戶對分類的選擇來大
致獲取用戶的檢索意圖,進行文本和圖像相結合的二次檢索;用戶只需進行一次額外的反饋,
就可以以此來獲取能夠反映用戶意圖的檢索結果。因而,本發明能通過較小的計算量、消耗
更少的時間達到較高精確度的效果,節省了計算資源,提高了計算效率。

2、本發明的基于用戶搜索意圖定位的圖像檢索方法,采用簡化的感知哈希算法來在基于
圖像而進行圖像檢索的過程中,計算圖像之間的相似度,可以顯著減少二次檢索的運算量,
提高檢索系統的處理速度,并能進一步提高檢索的精度。

3、本發明的基于用戶搜索意圖定位的圖像檢索系統,采用一次檢索模塊進行廣泛檢索,
采用分類模塊對廣泛檢索獲得的圖像結果集進行分類,然后通過用戶交互模塊引導用戶進行
一次反饋,根據反饋的結果進行二次檢索,可以以增加較小的計算量,使得檢索精度獲得較
大的提高。

除了上面所描述的目的、特征和優點之外,本發明還有其它的目的、特征和優點。下面
將參照附圖,對本發明作進一步詳細的說明。

附圖說明

構成本申請的一部分的附圖用來提供對本發明的進一步理解,本發明的示意性實施例及
其說明用于解釋本發明,并不構成對本發明的不當限定。在附圖中:

圖1是本發明優選實施例的基于用戶搜索意圖定位的圖像檢索方法的流程示意圖;

圖2是本發明優選實施例的步驟S802的圖像處理過程示意圖;

圖3是本發明優選實施例的維基百科分類索引的類目分級示意圖;

圖4是本發明優選實施例的基于用戶搜索意圖定位的圖像檢索的結構圖。

具體實施方式

以下結合附圖對本發明的實施例進行詳細說明,但是本發明可以由權利要求限定和覆蓋
的多種不同方式實施。

圖1是本發明實施例中基于用戶搜索意圖定位的圖像檢索方法的流程示意圖。參見圖1,
本發明的一種基于用戶搜索意圖定位的圖像檢索方法,包括以下步驟:

S2:根據用戶輸入的檢索關鍵字,使用任意一個圖像檢索平臺進行檢索獲取圖像結果集;

S4:根據圖像結果集中的圖像的文本信息,對圖像結果集中的圖像進行分類;

S6:將分類后的圖像返回給用戶,并引導用戶在分類后的圖像中選取一個類別中的至少
一個圖像;

S8:將被選取的圖像及與被選取的圖像相關的文本信息作為檢索條件,進行二次檢索。

以上步驟,采用任意一個圖像檢索平臺進行檢索獲取圖像結果集,可以首先使用戶獲得
全面的檢索結果;然后根據圖像的文本信息對圖像結果集中的圖像進行分類,并將分類結果
顯示給用戶進行選擇,通過用戶對分類的選擇來大致獲取用戶的檢索意圖,進行文本和圖像
相結合的二次檢索;用戶只需進行一次額外的反饋,就可以以此來獲取能夠反映用戶意圖的
檢索結果。因而,本發明能通過較小的計算量、消耗更少的時間達到較高精確度的效果,節
省了計算資源,提高了計算效率。

在實際應用中,在上述步驟的基礎上,本發明的基于用戶搜索意圖定位的圖像檢索方法
還可增加以下步驟進行優化:

S2:根據用戶輸入的檢索關鍵字,使用任意一個圖像檢索平臺進行檢索獲取圖像結果集。
第一次檢索的圖像檢索平臺可以在現有的眾多檢索平臺中任選一個。

S4:根據圖像結果集中的圖像的文本信息,對圖像結果集中的圖像進行分類。圖像的文
本信息包括兩個部分:(1)當從圖像檢索平臺獲取圖像結果集的網頁時,我們可以利用常見
的一些技術,如網絡爬蟲技術,獲取該網頁中的文字信息,我們可以通過文檔分析來提取其
中出現頻率高的詞語或其他信息。這里的其他信息,我們在這里舉一個例子來說明,比如,
當用百度的識圖平臺進行搜索時,在搜索結果頁面,會提供“對該圖片的最佳猜測:XXX”。
該“XXX”和上述的出現頻率高的詞語可視為具有代表性的文本信息。它們可以作為“文本信
息”的一部分;(2)當從圖像檢索平臺獲取圖像結果集網頁時,也可以獲取并分析該網頁的
HTML中的標簽,例如,從HTML中提取出“img”標簽的“src”屬性,從而可以獲取該圖像
的文件位置,通過獲取該位置的信息可以得到更多的關于圖像的文本信息,這些信息也是具
有代表性的,作為文本信息的另一個組成部分。步驟S4的具體步驟如下:

S401:根據圖像結果集中的圖像的文本信息,將每個圖像在維基百科分類索引(參見圖
3)中所屬的二級類目(或者二級深度/二級類目深度)作為圖像的類別。維基百科分類索引
采用的語言可以是中文或英文或其他語言,可以利用字典庫將中文對應的英文或其他語言進
行關聯。具體包括以下步驟:

S4011:根據圖像結果集中的圖像的文本信息,建立如下的信息矩陣:

I = I 1 , I 2 , ... , I N T 1 , T 2 , ... , T N C 1 , C 2 , ... , C N T ]]>

其中,N表示圖像結果集中的圖像的圖像數目,Ii表示圖像結果集中的一張圖像,其中
0<=i<=N;Ti表示圖像的文本信息,其中0<=i<=N;Ci表示與圖像相關的類別名,其中
0<=i<=N。

S4012:根據維基百科分類索引定義分類圖G(參見圖3),遍歷圖像結果集中的N個圖
像(遍歷分類圖G時,采用的是廣度優先算法),將圖像中圖像的文本信息中包含的每個詞
語或短語作為一個文本結點,對于每個圖像中的每個文本結點,如果文本結點與分類圖G中
的結點相匹配,則計算該文本結點出現在圖像的文本信息Ti中的頻率,最后將出現頻率最大
的文本結點所對應的分類圖G中的分類名稱作為該圖像的分類。

S402:并將圖像的類別對應的所有三級類目作為類別的同義詞保存到關系型數據庫中。
關系型數據庫中保存了二級索引與對應的三級索引的相應名稱以及關系,參見圖3,即維基
百科索引的層次結構圖,既包括該層次結構圖,也包括這種層次關系,這種關系可抽象出來,
定義為分類圖G。

S6:將分類后的圖像返回給用戶,并引導用戶在分類后的圖像中選取一個類別中的至少
一個圖像。實際應用時,一些用戶可能會希望選擇多張較滿意的圖片,那么,他們可以單擊
選取多張,服務器會對這些選取的圖像執行各自的二次檢索過程。若用戶對該頁中的所有圖
像都不滿意,他可以選擇“下一頁”查看其他圖像,處理過程同上。

S8:將被選取的圖像及與被選取的圖像相關的文本信息作為檢索條件,進行二次檢索。

與被選取的圖像相關的文本信息,包括:被選取的圖像的類別名稱、用戶輸入的檢索關
鍵字和\或HTML中的圖像描述信息(HTML,HyperTextMarkupLanguage,超文本標記語言,
HTML中的圖像描述信息是指HTML中的“alt”字段屬性信息)。其中,類別名稱,即用戶已
選擇圖像所屬類別,如果圖像屬于“其他”類型,則該字段設為空值;用戶輸入的檢索關鍵
字,若用戶是通過上傳圖像進行檢索的,則該字段為空值;HTML中的圖像描述信息即圖像的
“alt”屬性字段,在主搜索頁面的源代碼中,圖像可能會在“alt”屬性中設置圖像標簽來
描述圖像信息,若無,則該字段設為空值。

二次檢索的具體步驟如下:

S801:根據與被選取的圖像相關的文本信息的文本內容,在圖像結果集中被選取的圖像
所在的分類中進行基于文本的圖像檢索。

S802:提取被選取的圖像的視覺特征,采用感知哈希算法計算被選取的圖像以及圖像結
果集中被選取的圖像所在的分類中的圖像的圖像相似度,在圖像結果集中被選取的圖像所在
的分類中進行圖像檢索。參見圖2,圖像相似度計算的具體步驟如下:

S8021:將圖像轉化為灰度圖像,轉化公式如下:

Gray=R×0.299+G×0.587+B×0.114(1)

其中,Gray表示灰度值,R、G和B分別表示原始像素中的紅、綠和藍的分量。

S8022:將灰度圖像分為8×8塊,將每個塊的灰度設置為該塊的灰度平均值,使用
Gray[8,8]矩陣來存儲每個塊的灰度值,生成一個感知哈希矩陣H[8,8],滿足以下條件:

H [ i , j ] = 1 G r a y [ i , j ] > = a v g 0 o t h e r s - - - ( 2 ) ]]>

其中,avg是整張灰度圖像的灰度平均值,Gray[i,j]是圖像被劃分后,第i行、第j列個
塊的灰度值,others是指第i行、第j列個塊的灰度值小于avg時的情況,H[i,j]是由第i行、
第j列個塊的灰度值得到的感知哈希矩陣H[8,8]的第i行、第j列個元素的值,并滿足以下條件:

a v g = 1 M × N Σ i = 1 M Σ j = 1 N G r a y [ i , j ] - - - ( 3 ) ]]>

其中,M是指圖像劃分后的行數且M=8,N是指圖像劃分后的列數且N=8,將獲得的
64位的二進制數值作為圖像的感知哈希值。

S8023:采用步驟S8021至步驟S8022分別提取被選取的圖像以及檢索結果(即圖像結果集
中被選取的圖像所在的分類中的圖像)所對應的圖像的感知哈希值,采用按位異或方式計算
兩張圖像的相似度,圖像H1和圖像H2的相似度p(H1,H2)可以表示為位0的異或結果的百分比,
公式如下:

p ( H 1 , H 2 ) = 100 M × N C 0 ( H 1 H 2 ) % - - - ( 4 ) ]]>

其中,C0是一個計算0異或結果的函數。

采用簡化的感知哈希算法來在基于圖像而進行圖像檢索的過程中,計算圖像之間的相似
度,可以顯著減少二次檢索的運算量,提高檢索系統的處理速度,并能進一步提高檢索的精
度。

在實際應用中,為了進一步提高檢索精度,還可以進行:

S10:在步驟S801完成后,在步驟S801所獲得的結果集中,采用步驟S802進行檢索排
序,將排序后的結果集返回給用戶。具體排序方式如下:

S1001:在步驟S801完成后,二次檢索中基于文本的圖像檢索從圖像結果集中選出了一
個圖像集IS。

S1002:用p(H1,H2)公式來計算樣本圖像I與圖像集合IS中圖像的相似度,其中,樣本
圖像I指的是用戶從經過分類的圖像中選取的一張或多張圖像。具體說明如下:

首先定義一個向量P,用來保存樣本圖像I與IS中每個圖像is的相似程度,也就是
p(I,is),計算完成后,將P中的所有元素降序排列。因此,這些二次檢索所得的圖像結果就
有了一個新的排序序列,最后,我們只需要將排序結果返回給用戶即可。

本發明實施例中,同時考慮文本和內容的圖像搜索結果,而且,基于文本的搜索結果會
根據基于內容的特征來進行重排序,從而保證更相似的圖像位于重新檢索結果的頂部。經過
重排序過程后,重新檢索圖像便被重組成一個新的序列。同樣的,該過程中處理的數據量并
不大,因為我們只需要考慮從當前頁的返回結果中進行二次檢索,當用戶不滿意當前的結果
時,點擊下一頁,才進行下一頁結果集的二次檢索。

參見圖4,在上述方法的同一原理的基礎上,本發明的基于用戶搜索意圖定位的圖像檢
索系統,包括一次檢索模塊、分類模塊、用戶交互模塊以及二次檢索模塊。其中,一次檢索
模塊用于根據用戶輸入的檢索關鍵字,使用任意一個圖像檢索平臺進行檢索獲取圖像結果集;
分類模塊用于根據圖像結果集中的圖像的文本信息,對圖像結果集中的圖像進行分類;用戶
交互模塊用于將分類后的圖像返回給用戶,并引導用戶在分類后的圖像中選取一個類別中的
至少一個圖像;二次檢索模塊用于將被選取的圖像及與被選取的圖像相關的文本信息作為檢
索條件,進行二次檢索。該系統采用一次檢索模塊進行廣泛檢索,采用分類模塊對廣泛檢索
獲得的圖像結果集進行分類,然后通過用戶交互模塊引導用戶進行一次反饋,根據反饋的結
果進行二次檢索,可以以增加較小的計算量,使得檢索精度獲得較大的提高。

在實際應用中,為了進一步以較小的計算量提高檢索精度,該系統還可擴充,其中二次
檢索模塊可包括:文本檢索單元和圖像檢索單元,其中,文本檢索單元用于根據與被選取的
圖像相關的文本信息的文本內容,在圖像結果集中被選取的圖像所在的分類中進行基于文本
的圖像檢索;圖像檢索單元用于提取被選取的圖像的視覺特征,采用感知哈希算法計算被選
取的圖像以及圖像結果集中被選取的圖像所在的分類中的圖像的圖像相似度,在圖像結果集
中被選取的圖像所在的分類中進行圖像檢索。在基于圖像內容進行的圖像檢索中,采用了一
種改進的感知哈希算法。該算法提取圖像特征作為其指紋,這種指紋可用來比較。系統還可
包括排序模塊,用于在文本檢索單元完成后,在文本檢索單元所獲得的結果集中,采用圖像
檢索單元進行檢索排序,將排序后的結果集返回給用戶。

結合上述的描述,下面從搜索精確度和時間消耗兩方面,對本發明實施例的優點進行進一
步說明:

而在本發明實施例中,先將圖像進行分類,將分類結果展示給用戶讓用戶選擇,這種方式
與現在技術相比,用戶不需要面對大量圖像來選擇出一個較滿意的圖像,而是從少數量的分
類中找到一個較滿意的類,并從這個類中選擇出一個或多個較滿意的圖像,這樣可產生更好
的用戶體驗;其次,本系統對圖像重排序采用了計算量小的簡化的感知哈希算法來計算兩圖
的相似度,而現有技術采用的是更加復雜且計算量較大的算法。通過理論分析及實驗證明,
本發明實施例消耗更少的時間,不僅達到了較高精確度的效果,也節省了計算資源,提高了
計算效率。

與現有圖像搜索引擎相比,本發明優選實施例中的技術增加了四個步驟,對一次搜索結果
分類,供用戶選擇較滿意的圖像,利用此用戶選擇作為用戶搜索意圖的猜測,并進一步對搜
索結果進行重新搜索和排序,很明顯,利用本發明實施例中的技術搜索獲取的圖像更加接近
用戶的檢索意圖,因而具有更高的精確性。而對于時間消耗問題,根據實驗初步證明,當用
戶需要小數目的符合搜索意圖的圖像時,本技術沒有明顯的優勢,但當用戶的需求變大時,
該方法將會比現有的主流搜索引擎消耗更少的時間。

以上所述僅為本發明的優選實施例而已,并不用于限制本發明,對于本領域的技術人員
來說,本發明可以有各種更改和變化。凡在本發明的精神和原則之內,所作的任何修改、等
同替換、改進等,均應包含在本發明的保護范圍之內。

關 鍵 詞:
基于 用戶 搜索 意圖 定位 圖像 檢索 方法 系統
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:基于用戶搜索意圖定位的圖像檢索方法及系統.pdf
鏈接地址:http://www.rgyfuv.icu/p-6345761.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图