• / 11
  • 下載費用:30 金幣  

適用于訓練深度卷積神經網絡的圖像數據庫的構建方法.pdf

摘要
申請專利號:

CN201510248969.5

申請日:

2015.05.15

公開號:

CN104899255A

公開日:

2015.09.09

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):G06F 17/30申請日:20150515|||公開
IPC分類號: G06F17/30 主分類號: G06F17/30
申請人: 浙江大學
發明人: 何勇; 劉子毅; 楊國國
地址: 310027浙江省杭州市西湖區浙大路38號
優先權:
專利代理機構: 杭州天勤知識產權代理有限公司33224 代理人: 胡紅娟
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510248969.5

授權公告號:

||||||

法律狀態公告日:

2018.06.26|||2015.10.07|||2015.09.09

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本發明公開了一種適用于訓練深度卷積神經網絡的圖像數據庫的構建方法,包括以下步驟:收集害蟲RGB格式的原始圖像,識別、標記害蟲種類;對所述原始圖像進行顏色衰減得到RGB圖像和對應的HSV圖像;根據RGB圖像計算各顏色比例,根據HSV圖像計算顏色相似性區域,計算RGB圖像的顯著性圖;閾值化所述的顯著性圖得二值圖像,將二值圖像所指代區域作為初始區域,以GrabCut算法在該初始區域內分割害蟲目標;根據分割區域裁剪原始圖像并放縮至統一尺寸,存儲構建數據庫。解決了現有技術建立作物害蟲數據庫時采樣困難、標記模糊、尺寸大小不一的問題,也解決了深度卷積神經網絡模型訓練過程中因為樣本數量過少,姿態單一而引起的過擬合問題。

權利要求書

權利要求書
1.  適用于訓練深度卷積神經網絡的圖像數據庫的構建方法,其特征在于,包括以下步驟:
(1)收集害蟲RGB格式的原始圖像,識別、標記害蟲種類;
(2)對所述原始圖像進行顏色衰減得到RGB圖像和對應的HSV圖像;
(3)根據RGB圖像計算各顏色比例,根據HSV圖像計算顏色相似性區域,計算RGB圖像的顯著性圖;
(4)閾值化所述的顯著性圖得二值圖像,將二值圖像所指代區域作為初始區域,以GrabCut算法在該初始區域內分割害蟲目標;
(5)根據分割區域裁剪原始圖像并放縮至統一尺寸,存儲構建數據庫。

2.  根據權利要求1所述的圖像數據庫的構建方法,其特征在于,步驟(1)中,所述的害蟲為30種典型的水稻害蟲。

3.  根據權利要求1所述的圖像數據庫的構建方法,其特征在于,步驟(1)中,所述的害蟲包括:二化螟,三化螟,稻縱卷葉螟,稻苞蟲,小菜蛾,印度谷螟,玉米螟,灰飛虱,褐飛虱,白背飛虱,稻癭蚊,稻薊馬,稻螟蛉,稻棘緣蝽,稻蝽象,稻弄蝶,中華稻蝗,稻象甲,稻水象甲,水稻長腿水葉甲,粘蟲,稻桿潛蠅,稻赤斑沫蟬,黑尾葉蟬,中華稻蝗,稻潛葉蠅,稻搖蚊,螻蛄,稻水蠅,稻負泥蟲,麥鞘毛眼水蠅。

4.  根據權利要求1所述的圖像數據庫的構建方法,其特征在于,步驟(2)具體為,將所述原始圖像的標準RGB顏色空間由每個通道256種亮度均勻分割,衰減為5~15種亮度,獲取RGB圖像,并將RGB圖像轉換得到HSV圖像。

5.  根據權利要求4所述的圖像數據庫的構建方法,其特征在于,將所述原始圖像的標準RGB顏色空間由每個通道256種亮度均勻分割,衰減為10種亮度。

6.  根據權利要求1所述的圖像數據庫的構建方法,其特征在于,步驟(3)中,根據K-means方法將HSV圖像聚類成若干顏色近似區域,并 根據以下公式計算在衰減的RGB圖像的對應區域內計算各區域的顯著性值S:
S(rk)=Σrk≠riϵ1+Ds(ri,rk)A(ri)Dr(rk,ri)]]>
其中,rk為當前區域,ri為任意其它區域,Ds為兩個區域中心點的空間距離,A(ri)為任意其它區域的面積,Dr為兩個區域的RGB顏色空間距離,ε為0.3~0.5;
其中,Dr(r1,r2)=Σi=1n1Σj=1n2p(c1,i)p(c2,j)D(c1,i,c2,j),]]>其中,p(cm,n)為第m個區域中第n種顏色所占的比例,D為兩種顏色在衰減后的RGB顏色空間中的距離,n1、n2分別為r1,r2區域中顏色的總數。

7.  根據權利要求1所述的圖像數據庫的構建方法,其特征在于,步驟(4)中,通過固定閾值為40~80對顯著性圖進行閾值化。

8.  根據權利要求7所述的圖像數據庫的構建方法,其特征在于,步驟(4)中,所述固定閾值為60。

9.  根據權利要求1所述的圖像數據庫的構建方法,其特征在于,步驟(4)中,以GrabCut算法經至多4次迭代分割所述二值圖像所指代的RGB圖像區域。

10.  根據權利要求1所述的圖像數據庫的構建方法,其特征在于,步驟(5)中,放縮像素尺寸為256×256。

說明書

說明書適用于訓練深度卷積神經網絡的圖像數據庫的構建方法
技術領域
本發明涉及精細農業技術領域,尤其涉及一種適用于訓練深度卷積神經網絡的圖像數據庫的構建方法。
背景技術
水稻是我國重要的糧食作物之一,在水稻整個生長期內,有許多病、蟲等有害生物為害,特別是水稻害蟲,每年所引起的損失相當驚人,直接危害水稻產量。目前,我國水稻害蟲防治一直堅持“害蟲綜合治理(IPM)”的植保方針,以監測預報為基礎,綜合應用農業、生物、物理防治和化學防治等技術措施,有效控制害蟲危害。
水稻害蟲種類以及數量的調查,是害蟲預測預報工作的一項基本而重要的任務。如果沒有正確的調查數據,對害蟲的發生種類、數量就不可能進行準確地預測,更不能保證害蟲防治經濟閾值的正確執行。因此,防治水稻害蟲,提高水稻產量的前提是在水稻生長期內,可以正確地識別與計數水稻害蟲,從而進一步掌握其發生動態,為實時、準確的預測預報提供理論依據。
傳統方法中一般是通過有經驗的農民和昆蟲分類專家對害蟲進行識別,但人工識別勞動強度大、效率低。因此,開發一些智能化無線害蟲遠程自動監測裝置,將有助于提高昆蟲識別與計數的準確率和效率,減少蟲害帶來的損失,進而促進精準農業的實施,提高昆蟲知識的科普水平。
隨著農業逐步走向數字化、精準化和自動化,國內外學者已將數字圖像處理和模式識別技術應用到昆蟲自動識別領域。目前,害蟲圖像分類模型針對某種害蟲或者某種作物的所有害蟲的樣本數量過少,所覆蓋姿態和角度范圍不足,在建立模型時極容易出現過擬合現象,導致模型分類的泛化能力不足。所以農田害蟲識別領域的研究需要一個樣本數量足夠多,覆蓋姿態和種內變化范圍足夠廣的數據庫來減少農業中水稻大田信息化及智能化進程中大量樣本采集和處理的時間。
當前圖像識別的前沿領域為深度卷積神經網絡模型,其要求大量的圖像樣本,且輸入的圖像需具有相等邊長,而圖像樣本的尺寸變化范圍大,害蟲對象在圖像中位置隨機性強,故需要一種定位技術,來準確地獲取害蟲對象在圖像中位置,進而準確裁剪,建立合適的數據庫用于模型的訓練。
發明內容
針對現有技術存在的不足,本發明的目的在于提供一種適用于訓練深度卷積神經網絡的圖像數據庫的構建方法,該方法能將水稻害蟲對象從復雜的圖像背景中定位、提取、放縮,建立適用于訓練深度卷積神經網絡的數據庫。
為實現上述目的,本發明提供了如下技術方案:
適用于訓練深度卷積神經網絡的圖像數據庫的構建方法,包括以下步驟:
(1)收集害蟲RGB格式的原始圖像,識別、標記害蟲種類;
(2)對所述原始圖像進行顏色衰減得到RGB圖像和對應的HSV圖像;
(3)根據RGB圖像計算各顏色比例,根據HSV圖像計算顏色相似性區域,計算RGB圖像的顯著性圖;
(4)閾值化所述的顯著性圖得二值圖像,將二值圖像所指代區域作為初始區域,以GrabCut算法在該初始區域內分割害蟲目標;
(5)根據分割區域裁剪原始圖像并放縮至統一尺寸,存儲構建數據庫。
所述的害蟲為30種典型的水稻害蟲。
作為優選,所述的害蟲包括:二化螟,三化螟,稻縱卷葉螟,稻苞蟲,小菜蛾,印度谷螟,玉米螟,灰飛虱,褐飛虱,白背飛虱,稻癭蚊,稻薊馬,稻螟蛉,稻棘緣蝽,稻蝽象,稻弄蝶,中華稻蝗,稻象甲,稻水象甲,水稻長腿水葉甲,粘蟲,稻桿潛蠅,稻赤斑沫蟬,黑尾葉蟬,中華稻蝗,稻潛葉蠅,稻搖蚊,螻蛄,稻水蠅,稻負泥蟲,麥鞘毛眼水蠅。
步驟(1)中,所篩選的原始圖像的最短邊大于256像素。
其中,步驟(2)具體為,將所述原始圖像的標準RGB顏色空間由每 個通道256種亮度均勻分割,衰減為10種亮度,獲取RGB圖像,并將RGB圖像轉換得到HSV圖像。
作為優選,步驟(3)中,根據K-means方法將HSV圖像聚類成若干顏色近似區域,并根據以下公式計算在衰減的RGB圖像的對應區域內計算各區域的顯著性值S:
S(rk)=Σrk≠riϵ1+Ds(ri,rk)A(ri)Dr(rk,ri)]]>
其中,rk為當前區域,ri為任意其它區域,Ds為兩個區域中心點的空間距離,A(ri)為任意其它區域的面積,Dr為兩個區域的RGB顏色空間距離,ε為常數;ε大小可控制空間權重的影響,適當的ε值可使距離較遠的區域能夠為當前區域貢獻更多的顯著性值。
作為優選,ε為0.3~0.5。
最優選的,ε為0.45。
其中,Dr(r1,r2)=Σi=1n1Σj=1n2p(c1,i)p(c2,j)D(c1,i,c2,j),]]>其中,p(cm,n)為第m個區域中第n種顏色所占的比例,D為兩種顏色在衰減后的RGB顏色空間中的距離,n1、n2分別為r1,r2區域中顏色的總數。
上述顏色衰減過程,可有效增加K-means聚類的效率,提高聚類的效果。
作為優選,步驟(4)中,通過固定閾值為40~80對顯著性圖進行閾值化;最優選的,固定閾值為60。
作為優選,步驟(4)中,以GrabCut算法經至多4次迭代分割所述二值圖像所指代的RGB圖像區域。
對顯著性圖進行閾值化,得到顯著性值高的害蟲對象區域,并以該區域作為GrabCut算法的初始化區域,分割得到原始圖像上害蟲對象的精確區域,并獲取該區域的最小外接矩形的各頂點坐標。依據最小外接矩形的各頂點坐標,將最小外接矩形短邊長度擴展為與長邊相等,獲得正方形區域,記錄正方形各頂點坐標,依據正方形坐標裁剪原始圖像,并將裁剪區域放縮為256×256(像素),存儲入數據庫,構建得到水稻害蟲圖像數據庫。其中各害蟲種類圖像中樣本覆蓋范圍包括害蟲頭部,側面,尾部,腹部。
本發明的有益效果為:
本發明適用于深度卷積神經網絡訓練的圖像數據庫及建立方法,基于顯著性分析和GrabCut分割方法,對尺寸變化大、害蟲對象位置隨機性強的樣本圖像進行定位、裁剪和放縮,并建立了一個昆蟲種類多,數量大,姿態變化多、種類覆蓋廣的水稻害蟲圖像數據庫,能夠有效地對深度卷積神經網絡模型進行訓練。解決了現有技術建立作物害蟲數據庫時采樣困難、標記模糊、尺寸大小不一的問題,也解決了深度卷積神經網絡模型訓練過程中因為樣本數量過少,姿態單一而引起的過擬合問題。
附圖說明
圖1為本發明圖像數據庫的構建方法流程圖;
圖2(a)為原始圖像樣本圖;
圖2(b)為原始圖像樣本顏色衰減后的RGB圖像;
圖2(c)為原始圖像樣本顏色衰減后的HSV圖像;
圖3(a)為圖像樣本的顏色比例圖;
圖3(b)為各個顏色相似區域分類圖;
圖3(c)為計算得到的顯著性圖;
圖3(d)為對顯著性圖閾值化得到的二值圖像;
圖4(a)為GrabCut算法擬合包含害蟲對象最小外接矩形圖;
圖4(b)為適用于訓練深度卷積神經網絡的害蟲圖像。
具體實施方式
下面結合附圖和實施例對本發明作進一步詳細描述,需要指出的是,以下所述實施例旨在便于對本發明的理解,而對其不起任何限定作用。
本發明的流程如圖1所示,主要包括以下幾個步驟:
實施例以圖2(a)所示的原始圖像為例,對本發明對原始圖像的處理方法進行詳細描述。
步驟一:
互聯網檢索30種典型的水稻害蟲圖像,人工篩選尺寸過小樣本,并由專家標記合格樣本所屬害蟲類別。
所選定的30種水稻害蟲包括:二化螟,三化螟,稻縱卷葉螟,稻苞 蟲,小菜蛾,印度谷螟,玉米螟,灰飛虱,褐飛虱,白背飛虱,稻癭蚊,稻薊馬,稻螟蛉,稻棘緣蝽,稻蝽象,稻弄蝶,中華稻蝗,稻象甲,稻水象甲,水稻長腿水葉甲,粘蟲,稻桿潛蠅,稻赤斑沫蟬,黑尾葉蟬,中華稻蝗,稻潛葉蠅,稻搖蚊,螻蛄,稻水蠅,稻負泥蟲,麥鞘毛眼水蠅。
下載后,人工篩選最短邊小于256(像素)的圖像,刪除。并由專家對所有尺寸合格的圖像樣本依據類別進行標記,分別歸納至30個類別中。
步驟二:
將合格圖像樣本(原始為RGB格式)進行顏色衰減,并獲取衰減后圖像的RGB圖像(圖2(b)所示),同時將RGB圖像轉換得到HSV圖像(圖2(c)所示)。
計算RGB圖像中各種顏色所占的比例。
由專家分類后的所有圖像樣本,首先對其RGB顏色空間進行顏色衰減,R、G、B通道各自原始的256種亮度分別被均勻劃分為10個范圍,并以每個范圍中的平均值代表該區域,即將RGB顏色空間由2563種顏色衰減為103種。利用衰減后的RGB顏色空間來表達所有合格的圖像樣本,計算每一個圖像樣本中各個顏色所占的比例(如圖3(a)所示),同時,獲取進行顏色衰減后的HSV圖像。
步驟三:
依據HSV圖像、RGB圖像及各個顏色所占比例計算顯著性圖(如圖3(c)所示),如圖3所示。
對于HSV通道圖像,利用K-means聚類方法,將圖像中各個顏色相似區域進行分類得到多個區域(如圖3(b)所示),記錄各區域中所有像素點的坐標信息。前述顏色衰減過程,可有效增加K-means聚類的效率,提高聚類的效果。
將各區域的坐標指定到RGB圖像中,即將RGB圖像分成多個區域,基于RGB圖像中各個顏色所占比例,對RGB圖像上各個區域計算顯著性值S:
S(rk)=Σrk≠riϵ1+Ds(ri,rk)A(ri)Dr(rk,ri)]]>
其中,rk為當前區域,ri為任意其它區域,Ds為兩個區域中心點的空間距 離,A(ri)為任意其它區域的面積,Dr為兩個區域的RGB顏色空間距離,ε為常數,ε大小可控制空間權重的影響,適當的ε值可使距離較遠的區域能夠為當前區域貢獻更多的顯著性值。本實施例的ε為0.45。
Dr值由兩個區域中的主導顏色所占比例p控制,p由顏色直方圖計算得到。Dr的具體計算公式如下:
Dr(r1,r2)=Σi=1n1Σj=1n2p(c1,i)p(c2,j)D(c1,i,c2,j)]]>
其中,p(cm,n)為第m個區域中第n種顏色所占的比例,D為兩種顏色在衰減后的RGB顏色空間中的距離,n1、n2分別為r1,r2區域中顏色的總數。
步驟四:
對顯著性圖進行閾值化,獲取顯著性圖的二值圖像(如圖3(d)所示)。
計算得到的顯著性圖代表了各個區域的顯著性值,由于害蟲對象與農田背景的特殊性,害蟲對象會獲得很高的顯著性值,故可設定一個較高的閾值,將顯著性圖像進行閾值化,得到粗略的害蟲對象區域,將此區域作為GrabCut算法的初始化區域在原始樣本圖像中分割害蟲對象,并依據此區域坐標在原始樣本圖像上擬合包含該區域的最小外接矩形(如圖4(a)所示)。
本步驟中閾值設定為T=60,經過實驗,可保證90%的害蟲對象被準確定位到。
步驟五:
如圖4所示,獲取最小外接矩形的各頂點坐標。依據最小外接矩形的各頂點坐標,將最小外接矩形短邊長度擴展為與長邊相等,獲得正方形區域,記錄正方形各頂點坐標,依據正方形坐標裁剪原始圖像,并將裁剪區域放縮為256×256(像素),得適用于訓練深度卷積神經網絡的害蟲圖像(如圖4(b)所示),存儲入數據庫,構建得到水稻害蟲圖像數據庫。
其中各害蟲種類圖像中樣本覆蓋范圍包括害蟲頭部,側面,尾部,腹部。
利用上述所構建的圖像數據庫訓練深度卷積神經網絡的方法為:
(1)構造深度卷積神經網絡。
具體為:構造深度卷積神經網絡,包括一個輸入層、五個卷積層、三個最大池化層、兩個全連接層和一個輸出層。
三個池化層分別設定在第一個、第二個、第五個卷積層之后,兩個全連接層置于第三個池化層之后。
五個卷積層中,卷積濾波器的大小分別為13×13、5×5、3×3、、3×3、6×6,各卷積層中卷積濾波器的數目分別為128、256、512、512、256,卷積步長為4。
三個最大池化層中,池化區域大小均為3×3,池化步長為2。
全連接層結點數均為4096。
輸出層結點數依據待識別害蟲類別數而定,即根據應用場景實際情況的經驗或歷史數據而定。例如,根據經驗,水稻田間的害蟲種類約為30種,則應用于水稻害蟲圖像自動識別時,輸出層接點數定為30。
(2)隨機采集訓練集中訓練樣本的子圖像塊,利用稀疏自編碼器對深度卷積神經網絡進行預訓練,計算出各卷積層的初始權值和偏執項,以保證神經網絡模型的初始權重在一個較好的局部極值附近,包括以下步驟:
(2-1)隨機采用的圖像塊大小為13×13,與第一層卷積濾波器的大小相同,從訓練集的正方形區域中隨機取。
(2-2)依次預訓練五個卷積層,每次訓練完成前一個卷積層后,固定該層的權值和偏執項,并以該層的輸出訓練下一個卷積層。
(3)采用Hinge損失函數、基于mini-batch的隨機梯度下降算法,并結合dropout子模型融合算法(參考文獻:Hinton,G.E.,Srivastava,N.,Krizhevsky,A.,Sutskever,I.&Salakhutdinov,R.R.Improving neural networks by preventing co-adaptation of feature detectors.arXiv preprint arXiv:1207.0580(2012)),對整個模型進行訓練,包括:
(3-1)采用Hinge損失函數作為整個深度卷積神經網絡的損失函數;
(3-2)將訓練樣本隨機劃分為大小為256的mini-batch;
(3-3)利用隨機梯度下降算法,結合dropout子模型融合算法,在不同的mini-batch上訓練不同的子模型,最終完成對整個深度卷積神經網絡模型的訓練。
在實驗中,dropout子模型融合算法以0.7的概率隱藏全連接層的輸出; 基于mini-batch的隨機梯度下降算法是:每次隨機采樣256個訓練樣本時,在訓練過程中,每次從一個訓練樣本上(256×256)隨機采樣5個不同位置大小為的227×227子圖像塊,再將5個子圖像塊分別作鏡像反轉,得到10個子圖像塊,這10個子圖像塊作為深度卷積神經網絡的輸入。
在實驗中,與用原始圖像訓練的深度卷積神經網絡相比,用本發明中所構建的數據庫訓練的深度卷積神經網絡的分類準確率可提高23%,達到91.2%。
以上所述的實施例對本發明的技術方案和有益效果進行了詳細說明,應理解的是以上所述僅為本發明的具體實施例,并不用于限制本發明,凡在本發明的原則范圍內所做的任何修改、補充和等同替換等,均應包含在本發明的保護范圍之內。

關 鍵 詞:
適用于 訓練 深度 卷積 神經網絡 圖像 數據庫 構建 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:適用于訓練深度卷積神經網絡的圖像數據庫的構建方法.pdf
鏈接地址:http://www.rgyfuv.icu/p-6373757.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图