• / 19
  • 下載費用:30 金幣  

統一資源定位符URL的過濾方法及裝置.pdf

摘要
申請專利號:

CN201210022574.X

申請日:

2012.02.01

公開號:

CN102624703B

公開日:

2015.01.21

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||著錄事項變更IPC(主分類):H04L 29/06變更事項:申請人變更前:成都市華為賽門鐵克科技有限公司變更后:華為數字技術(成都)有限公司變更事項:地址變更前:611731 四川省成都市高新區西部園區清水河片區變更后:611731 四川省成都市高新區西部園區清水河片區|||實質審查的生效IPC(主分類):H04L 29/06申請日:20120201|||公開
IPC分類號: H04L29/06; H04L12/66; G06F17/30 主分類號: H04L29/06
申請人: 華為數字技術(成都)有限公司
發明人: 蔣武; 薛智慧; 李世光; 萬時光
地址: 611731 四川省成都市高新區西部園區清水河片區
優先權: 2011.12.31 CN 201110459686.7
專利代理機構: 深圳市深佳知識產權代理事務所(普通合伙) 44285 代理人: 唐華明
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201210022574.X

授權公告號:

102624703B|||||||||

法律狀態公告日:

2015.01.21|||2013.01.23|||2012.09.26|||2012.08.01

法律狀態類型:

授權|||著錄事項變更|||實質審查的生效|||公開

摘要

本發明公開了一種統一資源定位符URL的過濾方法及裝置,該方法能夠從預存的類別信息表中查找到URL連接請求對應的第一類別,并將第一類別符合預設的URL通行策略的URL連接請求放行,轉發至相應的服務器,并根據所述服務器返回的網頁內容確定所述URL對應的第二類別,再判斷第二類別是否符合預設的URL通行策略,若第二類別符合所述預設的URL通行策略,將所述網頁內容發往客戶端;否則,阻斷所述網頁內容。通過本發明公開的URL過濾方法和裝置,能夠實時確定URL所屬分類,保證在分類更新不及時的情況下,依然能夠對放行的,但實際上應該阻斷的URL連接請求及時阻斷,實現準確分類過濾的功能。

權利要求書

1: 一種統一資源定位符 URL 的過濾方法, 其特征在于, 包括 : 接收客戶端發起的 URL 連接請求 ; 從預存的類別信息表中的每個 URL 對應的網頁類別中, 查找到所述 URL 連接請求中攜 帶的 URL 對應的第一類別 ; 判斷所述第一類別是否符合預設的 URL 通行策略, 所述 URL 通行策略中包含允許通過 的網頁類別 ; 若符合, 則將所述 URL 連接請求發往與其對應的服務器, 并接收所述服務器返回的網 頁內容 ; 根據所述網頁內容, 確定所述 URL 對應的第二類別, 判斷所述第二類別是否符合所述 預設的 URL 通行策略 ; 若第二類別符合所述預設的 URL 通行策略, 將所述網頁內容發往所述 客戶端 ; 否則, 阻斷所述網頁內容。
2: 根據權利要求 1 所述的方法, 其特征在于, 所述根據所述網頁內容, 確定所述 URL 對 應的第二類別, 包括 : 對所述網頁內容進行解碼, 提取出所述網頁內容的識別關鍵詞 ; 根據本地詞庫列表中存儲的識別關鍵詞與網頁類別的對應關系, 確定所述 URL 對應的 第二類別為提取到的識別關鍵詞對應的網頁類別。
3: 根據權利要求 1 所述的方法, 其特征在于, 所述從預存的類別信息表中的每個 URL 對 應的網頁類別中, 查找到所述 URL 連接請求中攜帶的 URL 對應的第一類別, 包括 : 從遠程分類服務器獲取預存的類別信息表緩存至本地 ; 根據所述類別信息表中 URL 與網頁類別的對應關系, 查找出所述 URL 連接請求中攜帶 的 URL 對應的第一類別。
4: 根據權利要求 1 所述的方法, 其特征在于, 若識別分類不符合所述預設的 URL 通行策 略, 還包括 : 將所述預存的類別信息表中所述 URL 連接請求中攜帶的 URL 對應的網頁類別, 更新為 所述第二類別。
5: 根據權利要求 1-4 任一項所述的方法, 其特征在于, 若所述第一類別不符合預設的 URL 通行策略, 還包括 : 阻斷所述 URL 連接請求 ; 從阻斷的 URL 連接請求中, 過濾得到帶有預設標識的 URL 連接請求, 將過濾得到的 URL 連接請求發往與其對應的服務器, 并接收所述服務器返回的網頁內 容; 根據返回的網頁內容, 確定所述 URL 對應的第二類別, 判斷所述第二類別是否符合所 述預設的 URL 通行策略 ; 若識別分類符合所述預設的 URL 通行策略, 將所述網頁內容發往所 述客戶端 ; 否則, 阻斷所述網頁內容。
6: 根據權利要求 1-4 任一項所述的方法, 其特征在于, 若所述第一類別不符合預設的 URL 通行策略, 還包括 : 判斷所述 URL 連接請求中是否帶有預設標識 ; 若帶有預設標識, 則將所述 URL 連接請求發往與其對應的服務器, 并接收所述服務器 返回的網頁內容 ; 根據所述網頁內容, 確定所述 URL 對應的第二類別, 判斷所述第二類別是 2 否符合所述預設的 URL 通行策略 ; 若識別分類符合所述預設的 URL 通行策略, 將所述網頁內 容發往所述客戶端 ; 否則, 阻斷所述網頁內容 ; 若未帶有預設標識, 則阻斷所述 URL 連接請求。
7: 一種統一資源定位符 URL 的過濾裝置, 其特征在于, 包括 : 請求接收模塊, 用于接收客戶端發起的 URL 連接請求 ; 第一類別獲取模塊, 用于從預存的類別信息表中的每個 URL 對應的網頁類別中, 查找 到所述 URL 連接請求中攜帶的 URL 對應的第一類別 ; 通行判斷模塊, 用于判斷所述第一類別是否符合預設的 URL 通行策略, 所述 URL 通行策 略中包含允許通過的網頁類別 ; 請求發送模塊, 用于在所述通行判斷模塊的判斷結果為是時, 將所述 URL 連接請求發 往與其對應的服務器, 并接收所述服務器返回的網頁內容 ; 類別判斷模塊, 用于根據所述網頁內容, 確定所述 URL 對應的第二類別, 判斷所述第二 類別是否符合所述預設的 URL 通行策略 ; 內容返回模塊, 用于在所述類別判斷模塊的判斷結果為是時, 將所述網頁內容發往客 戶端 ; 阻斷模塊, 用于在所述類別判斷模塊的判斷結果為否時, 阻斷所述網頁內容。
8: 根據權利要求 7 所述的裝置, 其特征在于, 所述類別判斷模塊包括 : 網頁解碼子模塊, 用于對所述網頁內容進行解碼, 提取出所述網頁內容的識別關鍵 詞; 第二類別確定子模塊, 用于根據本地詞庫列表中存儲的識別關鍵詞與網頁類別的對應 關系, 確定所述 URL 對應的第二類別為提取到的識別關鍵詞對應的網頁類別 ; 類別判斷子模塊, 用于判斷所述第二類別確定子模塊識別出的第二類別是否符合 URL 通行策略。
9: 根據權利要求 7 所述的裝置, 其特征在于, 所述第一類別獲取模塊具體包括 : 信息表獲取子模塊, 用于從遠程分類服務器獲取預存的類別信息表緩存至本地 ; 第一類別確定子模塊, 用于根據所述類別信息表中 URL 與網頁類別的對應關系, 查找 出所述 URL 連接請求中攜帶的 URL 對應的第一類別。
10: 根據權利要求 7 所述的裝置, 其特征在于, 還包括 : 分類更新模塊, 用于在類別判斷模塊判斷出識別分類不符合所述預設的 URL 通行策略 的情況下, 將所述本地緩存的類別信息表中所述 URL 連接請求中攜帶的 URL 對應的網頁類 別, 更新為所述第二類別。
11: 根據權利要求 7-10 任一項所述的裝置, 其特征在于, 所述阻斷模塊還用于 : 在所述通行判斷模塊判斷出所述第一類別不符合預設的 URL 通行策略的情況下, 阻斷 所述 URL 連接請求 ; 還包括 : 標識過濾模塊, 用于從阻斷的 URL 連接請求中, 過濾得到帶有預設標識的 URL 連接請 求; 對于過濾得到的每個 URL 連接請求, 所述請求發送模塊將所述 URL 連接請求發往與其 對應的服務器, 并接收所述服務器返回的網頁內容 ; 3 所述類別判斷模塊根據返回的網頁內容, 確定所述 URL 對應的第二類別, 判斷所述第 二類別是否符合所述預設的 URL 通行策略 ; 若識別分類符合所述預設的 URL 通行策略, 所述內容返回模塊將所述網頁內容發往所 述客戶端 ; 否則, 所述阻斷模塊阻斷所述網頁內容。
12: 根據權利要求 7-10 任一項所述的裝置, 其特征在于, 還包括 : 標識判決模塊, 用于在通行判斷模塊的判斷結果為否時, 判斷所述 URL 連接請求中是 否帶有預設標識 ; 若帶有預設標識, 則觸發所述請求發送模塊將所述 URL 連接請求發往與 其對應的服務器, 并接收所述服務器返回的網頁內容 ; 所述類別判斷模塊根據所述網頁內 容, 確定所述 URL 對應的第二類別, 判斷所述第二類別是否符合所述預設的 URL 通行策略 ; 若識別分類符合所述預設的 URL 通行策略, 所述內容返回模塊將所述網頁內容發往所述客 戶端 ; 否則, 觸發阻斷模塊阻斷所述網頁內容 ; 若未帶有預設標識, 則觸發阻斷模塊阻斷所述 URL 連接請求。

說明書


統一資源定位符 URL 的過濾方法及裝置

     本申請要求于 2011 年 12 月 31 日提交中國專利局、 申請號為 201110459686.7、 發 明名稱為 “統一資源定位符 URL 的過濾方法、 裝置及網關” 的中國專利申請的優先權, 其全 部內容通過引用結合在本申請中。技術領域
     本發明涉及數據通信領域, 更具體的說, 是涉及統一資源定位符 URL 的過濾方法 及裝置。 背景技術 URL(Uniform Resource Locator 統一資源定位符 ) 過濾技術現已廣泛的應用到通 信領域中, 成為應用內容安全領域中一種成熟的技術。該技術能夠基于網頁所屬類別的不 同, 根據用戶的需要過濾掉設定類別的網頁, 例如過濾掉新聞類的網頁。
     具備 URL 過濾功能的安全設備在檢測到有連接請求時, 根據此連接請求要求連接 的 URL, 通過遠程查詢分類服務器來獲取此 URL 所屬的類別, 然后緩存在本地存儲器中。現 有技術中, 如果已獲取一個 URL 所屬的類別, 當用戶在緩存的老化時間內再次訪問所述 URL 時, 就可以根據緩存的所述 URL 所屬的類別直接執行過濾工作 ; 而在緩存超過老化時間后, 則需要再次進行遠程查詢以獲得所述 URL 所屬的類別。
     然而在實際情況中, 很多網頁包含的內容是動態的, 也就是說, 請求訪問的網頁在 不同的時間段內, 其具體內容、 所屬的類別可能都是不同的, 而此時如果分類服務器沒有及 時發現網頁內容的變化, 或分類服務器已經更新, 但安全設備中緩存的 URL 所屬的類別還 處于老化時間內, 就使得 URL 所屬的類別不能夠得到及時的更新, 這種情況下, 一些原本應 該被過濾掉的一些 URL 連接請求很可能就會被放行, 使得 URL 分類識別不準確, 進而無法準 確實現過濾功能。
     發明內容
     有鑒于此, 本發明實施例提供了一種統一資源定位符 URL 的過濾方法及裝置, 以 克服現有技術中由于分類服務器可能不能及時更新而導致的無法準確過濾 URL 的問題。
     為實現上述目的, 本發明提供如下技術方案 :
     一種統一資源定位符 URL 的過濾方法, 包括 :
     接收客戶端發起的 URL 連接請求 ;
     從預存的類別信息表中的每個 URL 對應的網頁類別中, 查找到所述 URL 連接請求 中攜帶的 URL 對應的第一類別 ;
     判斷所述第一類別是否符合預設的 URL 通行策略, 所述 URL 通行策略中包含允許 通過的網頁類別 ;
     若符合, 則將所述 URL 連接請求發往與其對應的服務器, 并接收所述服務器返回 的網頁內容 ;根據所述網頁內容, 確定所述 URL 對應的第二類別, 判斷所述第二類別是否符合 所述預設的 URL 通行策略 ; 若第二類別符合所述預設的 URL 通行策略, 將所述網頁內容發往 所述客戶端 ; 否則, 阻斷所述網頁內容。
     一種統一資源定位符 URL 的過濾裝置, 包括 :
     請求接收模塊, 用于接收客戶端發起的 URL 連接請求 ;
     第一類別獲取模塊, 用于從預存的類別信息表中的每個 URL 對應的網頁類別中, 查找到所述 URL 連接請求中攜帶的 URL 對應的第一類別 ;
     通行判斷模塊, 用于判斷所述第一類別是否符合預設的 URL 通行策略, 所述 URL 通 行策略中包含允許通過的網頁類別 ;
     請求發送模塊, 用于在所述通行判斷模塊的判斷結果為是時, 將所述 URL 連接請 求發往與其對應的服務器, 并接收所述服務器返回的網頁內容 ;
     類別判斷模塊, 用于根據所述網頁內容, 確定所述 URL 對應的第二類別, 判斷所述 第二類別是否符合所述預設的 URL 通行策略 ;
     內容返回模塊, 用于在所述類別判斷模塊的判斷結果為是時, 將所述網頁內容發 往客戶端 ;
     阻斷模塊, 用于在所述類別判斷模塊的判斷結果為否時, 阻斷所述網頁內容。
     本發明實施例公開了一種 URL 的過濾方法和裝置, 該方法能夠從預存的類別信息 表中查找到 URL 連接請求中攜帶的 URL 對應的第一類別, 在所述 URL 連接請求符合預設的 URL 通行策略的情況下將所述 URL 連接請求轉發至相應的服務器, 并根據所述服務器返回 的網頁內容確定所述 URL 對應的第二類別, 再判斷第二類別是否符合預設的 URL 通行策略, 如果第二類別符合所述預設的 URL 通行策略, 將所述網頁內容發往所述客戶端 ; 否則, 阻斷 所述網頁內容。上述 URL 過濾方法和裝置, 能夠實時確定 URL 所屬的類別, 保證在網頁內容 發生變化或類別更新不及時的情況下, 依然能夠對放行的, 但實際上應該阻斷的 URL 連接 請求及時阻斷, 實現準確分類過濾的功能。 附圖說明
     為了更清楚地說明本發明實施例或現有技術中的技術方案, 下面將對實施例或現 有技術描述中所需要使用的附圖作簡單地介紹, 顯而易見地, 下面描述中的附圖僅僅是本 發明的實施例, 對于本領域普通技術人員來講, 在不付出創造性勞動的前提下, 還可以根據 提供的附圖獲得其他的附圖。
     圖 1 為本發明實施例公開的 URL 第一過濾方法流程圖 ;
     圖 2 為本發明實施例公開的確定網頁內容第二類別的流程圖 ;
     圖 3a 為本發明實施例公開的 URL 第二過濾方法流程圖 ;
     圖 3b 為本發明實施例公開的 URL 第三過濾方法流程圖 ;
     圖 4 為本發明實施例公開的 URL 過濾裝置的結構示意圖 ;
     圖 5 為本發明實施例公開的第一類別獲取模塊的結構示意圖 ;
     圖 6 為本發明實施例公開的類別判斷模塊的結構示意圖 ;
     圖 7 為本發明實施例公開的第二種 URL 過濾裝置的結構示意圖 ;
     圖 8 為本發明實施例公開的第三種 URL 過濾裝置的結構示意圖 ;圖 9 為本發明實施例公開的網關結構示意圖。具體實施方式
     下面將結合本發明實施例中的附圖, 對本發明實施例中的技術方案進行清楚、 完 整地描述, 顯然, 所描述的實施例僅僅是本發明一部分實施例, 而不是全部的實施例。基于 本發明中的實施例, 本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他 實施例, 都屬于本發明保護的范圍。
     實施例一
     圖 1 為本發明實施例公開的 URL 第一過濾方法流程圖, 參見圖 1 所示, 所述 URL 過 濾方法可以包括 :
     步驟 101 : 接收客戶端發起的 URL 連接請求 ;
     步驟 102 : 從預存的類別信息表中的每個 URL 對應的網頁類別中, 查找到所述 URL 連接請求中攜帶的 URL 對應的第一類別 ;
     可選地, 所述預存的類別信息表可以是本地緩存的或遠程分類服務器上預存的, 當然, 用戶也可以將已經存在的所有 URL 對應的類別信息存儲在本地, 周期性的對其進行 更新, 在一定程度下滿足 URL 連接請求過濾工作的需要 ; 預存的類別信息表的形式可以有多種, 例如, 可以采用記錄表的形式, 也可以采用 文件的形式, 當然, 存儲形式也并不僅僅局限于上述兩種, 只要是能夠指示 URL 與網頁類別 對應關系的形式, 就都可以被采用 ;
     當然, 如果本地緩存的類別信息表中沒有所述 URL 連接請求中攜帶的 URL 對應的 類別信息, 或之前緩存的類別信息已過了老化時間, 那么就需要從遠程分類服務器獲取預 存的類別信息表緩存至本地, 然后根據所述類別信息表中 URL 與網頁類別的對應關系, 查 找出所述 URL 連接請求中攜帶的 URL 對應的第一類別 ;
     步驟 103 : 判斷所述第一類別是否符合預設的 URL 通行策略, 所述 URL 通行策略中 包含允許通過的網頁類別, 如果是, 進入步驟 104 ;
     所述 URL 通行策略規定了不被過濾的 URL 符合 URL 通行策略, 被過濾出的 URL 不 符合 URL 通行策略 ; 在所述第一類別符合預設的 URL 通行策略時, 進入步驟 104 執行相應的 步驟, 在所述第一類別不符合預設的 URL 通行策略時, 阻斷所述 URL 連接請求 ;
     步驟 104 : 將所述 URL 連接請求發往與其對應的服務器, 并接收所述服務器返回的 網頁內容 ;
     在所述 URL 連接請求所要求連接的 URL 所屬的分類符合用戶設定的通行策略時, 相關裝置就會將這個 URL 連接請求發送至對應的 URL, URL 在接收到這個連接請求時, 就將 所述連接請求要求訪問的網頁內容返回給相關裝置 ;
     步驟 105 : 根據所述網頁內容, 確定所述 URL 對應的第二類別 ;
     可選地, 確定 URL 第二類別的具體方法流程可參見圖 2, 圖 2 為本發明實施例公開 的確定網頁內容第二類別的流程圖, 如圖所示, 確定網頁內容第二類別的步驟具體可以包 括:
     步驟 201 : 對所述網頁內容進行解碼, 提取出所述網頁內容的識別關鍵詞 ;
     這里提取出的識別關鍵詞例如 : 明星、 微博、 短信等, 當然也可以是一些敏感字符
     段, 如非典型肺炎、 美國總統等等 ;
     步驟 202 : 根據本地詞庫列表中存儲的識別關鍵詞與網頁類別的對應關系, 確定 所述 URL 對應的第二類別為提取到的識別關鍵詞對應的網頁類別 ;
     本地詞庫列表里對相關的一些關鍵詞或敏感字符可以有如下分類 : 休閑娛樂類別 對應的識別關鍵詞包括 : 背景、 qq 空間、 祝福短信、 搞笑短信等 ; 新聞類別對應的識別關鍵 詞包括 : 軍事、 財經、 報道、 報紙等 ; 體育類別對應的識別關鍵詞包括 : 街球、 籃球、 足球、 航 海、 健美操等。如果步驟 301 提取出的數據內容中包括 “足球” 這一關鍵字, 那么所述數據 內容對應的 URL 的網頁類別可能就被識別為體育類, 而所述 URL 過濾方法的執行主體又規 定體育類的 URL 是不允許訪問的, 那么包括所述數據內容的網頁內容就會被阻斷 ;
     當然, 根據網頁內容來確定 URL 第二類別的方法不局限于上述流程, 例如, 從網頁 內容中提取語義關系, 與預先存儲的語義庫中的語義關系模板進行匹配, 將匹配中的語義 關系模板對應的網頁類別作為第二類別, 也可以實現根據網頁內容確定第二類別的目的。 在這里不再一一列舉根據網頁內容確定第二類別的具體方式, 只要是能夠根據網頁內容確 定 URL 第二類別的方法, 都應屬于本發明的保護范圍 ;
     步驟 106 : 判斷所述第二類別是否符合所述預設的 URL 通行策略, 如果是, 進入步 驟 107, 如果否, 進入步驟 108 ; 步驟 107 : 將所述網頁內容發往所述客戶端 ;
     在步驟 106 判斷出的第二類別屬于用戶設定的通行策略中被允許通過的網頁類 別時, 返回的網頁內容即被返回客戶端, 為客戶端正常提供服務 ;
     步驟 108 : 阻斷所述網頁內容 ;
     在步驟 106 判斷出的第二類別不屬于用戶設定的通行策略中被允許通過的網頁 類別時, 就會直接被禁止通行, 無法連接到對應的 URL 上, 相關返回的網頁內容就會被阻 斷。
     本實施例中, 所述方法能夠從預存的類別信息表中查找到 URL 連接請求中攜帶的 URL 對應的第一類別, 并將第一類別符合預設的 URL 通行策略的 URL 連接請求放行, 轉發至 相應的服務器, 并根據所述服務器返回的網頁內容確定所述 URL 對應的第二類別, 再判斷 第二類別是否符合預設的 URL 通行策略, 若第二類別符合所述預設的 URL 通行策略, 將所 述網頁內容發往客戶端 ; 否則, 阻斷所述網頁內容。通過本發明公開的 URL 過濾方法, 能夠 實時確定 URL 所屬分類, 保證在網頁內容經常變化、 或分類更新不及時的情況下, 依然能夠 對放行的, 但實際上應該阻斷的 URL 連接請求及時阻斷, 實現準確分類過濾的功能, 提高了 URL 過濾的準確性。
     實施例二
     圖 3a 為本發明實施例公開的 URL 第二過濾方法流程圖, 參見圖 3a 所示, 所述 URL 過濾方法可以包括 :
     步驟 301 : 接收客戶端發起的 URL 連接請求 ;
     步驟 302 : 從預存的類別信息表中的每個 URL 對應的網頁類別中, 查找到所述 URL 連接請求中攜帶的 URL 對應的第一類別 ;
     步驟 303 : 判斷所述第一類別是否符合預設的 URL 通行策略, 如果是, 進入步驟 306, 如果否, 進入步驟 304 ;
     步驟 304 : 阻斷所述 URL 連接請求, 進入步驟 305 ;
     步驟 305 : 從已阻斷的 URL 連接請求中, 過濾得到其中帶有預設標識的 URL 連接請 求, 進入步驟 306 ;
     因為在實際情況中, 一些網頁的內容是動態變化的, 為了避免同一個 URL 在某個 時間前所屬的類別不符合 URL 通行策略, 而某個時間后實際所屬的類別符合 URL 通行策略, 且所述 URL 的分類又沒有得到及時的更新, 這樣使得原本應被允許通過的 URL 連接請求被 阻斷的情況發生, 用戶可以采用本步驟所述的方法, 所述預設標識可以為特定的關鍵詞, 也 可以為某一個固定的連接地址、 或者用戶名等等 ;
     步驟 306 : 將所述 URL 連接請求發往與其對應的服務器, 并接收所述服務器返回的 網頁內容 ;
     步驟 307 : 根據所述網頁內容, 確定所述 URL 對應的第二類別 ;
     步驟 308 : 判斷所述第二類別是否符合預設的 URL 通行策略, 如果是, 進入步驟 309, 如果否, 進入步驟 310 ;
     步驟 309 : 將所述網頁內容發往客戶端, 進入步驟 311 ;
     步驟 310 : 阻斷所述網頁內容 ; 步驟 311 : 將所述預存的類別信息表中所述 URL 連接請求中攜帶的 URL 對應的網 頁類別, 更新為所述第二類別。
     可選地, 附圖 3a 所示的流程也可以進行如下調整 : 將步驟 305 與步驟 304 的順序 互換, 即在阻斷一個 URL 連接請求之前, 先判斷所述 URL 連接請求中是否攜帶有預設標識, 若時, 再將該 URL 連接請求阻斷, 否則允許該 URL 連接請求通過, 即將批處理的方式調整為 實時處理, 具體請參照附圖 3b 所示 :
     步驟 321, 接收客戶端發起的 URL 連接請求 ;
     步驟 322 : 從預存的類別信息表中的每個 URL 對應的網頁類別中, 查找到所述 URL 連接請求中攜帶的 URL 對應的第一類別 ;
     步驟 323 : 判斷所述第一類別是否符合預設的 URL 通行策略, 如果是, 進入步驟 326, 如果否, 進入步驟 324 ;
     步驟 324, 判斷所述 URL 連接請求中是否攜帶有預設標識, 若是進入步驟 326, 否 則, 進入步驟 325 ;
     步驟 325, 阻斷所述 URL 連接請求 ;
     步驟 326 : 將所述 URL 連接請求發往與其對應的服務器, 并接收所述服務器返回的 網頁內容 ;
     步驟 327 : 根據所述網頁內容, 確定所述 URL 對應的第二類別 ;
     步驟 328 : 判斷所述第二類別是否符合預設的 URL 通行策略, 如果是, 進入步驟 329, 如果否, 進入步驟 330 ;
     步驟 329 : 將所述網頁內容發往客戶端, 進入步驟 331 ;
     步驟 330 : 阻斷所述網頁內容 ;
     步驟 331 : 將所述預存的類別信息表中所述 URL 連接請求中攜帶的 URL 對應的網 頁類別, 更新為所述第二類別。
     在通過本實施例公開的方法判斷出返回的網頁內容的第二類別符合預設的 URL
     通行策略時, 即可知本地緩存的或遠程獲取的分類服務器上的相關 URL 第一類別是不準確 的, 可以將本地緩存的 URL 對應的第一類別更新為根據網頁內容判斷出的第二類別, 或給 遠程分類服務器發送 URL 分類變更請求, 以使分類服務器能夠根據所述 URL 分類變更請求 做出相關后續動作。
     本實施例中, 所述 URL 過濾方法能夠根據預存的 URL 第一類別判斷客戶端發起的 URL 連接請求是否符合預設的 URL 通行策略, 在所述 URL 連接請求滿足所述預設的 URL 過 濾策略的情況下將所述 URL 連接請求轉發至相應的服務器, 并根據所述服務器返回的網頁 內容確定第二類別, 并判斷第二類別是否符合預設的 URL 通行策略, 如果不符合, 就會阻斷 所述返回的網頁內容, 且能夠避免一些應當被放行, 但由于分類更新不及時而被阻斷的 URL 連接請求的情況。通過本發明公開的 URL 過濾方法, 能夠實時確定 URL 所屬的分類, 保證在 分類更新不及時的情況下, 依然能夠對放行的, 但實際上應該阻斷的 URL 連接請求及時阻 斷, 也能夠對一些沒有放行的, 但是實際上應該被放行的 URL 連接請求及時放行, 實現準確 分類過濾的功能。
     實施例三
     圖 4 為本發明實施例公開的 URL 過濾裝置的結構示意圖, 參見圖 4 所示。所述 URL 過濾裝置 40 可以包括 :
     請求接收模塊 401, 用于接收客戶端發起的 URL 連接請求 ;
     第一類別獲取模塊 402, 用于從預存的類別信息表中的每個 URL 對應的網頁類別 中, 查找到所述 URL 連接請求中攜帶的 URL 對應的第一類別 ;
     所述第一類別獲取模塊 402 的具體結構可以參見圖 5, 如圖所示, 所述連接判斷模 塊 402 具體可以包括 :
     信息表獲取子模塊 4021, 用于從遠程分類服務器獲取預存的類別信息表緩存至本 地;
     如果在本地緩存有 URL 連接請求對應的 URL 的類別信息表, 那么就可以直接從本 地緩存中獲取類別信息表 ;
     第一類別確定子模塊 4022, 用于根據所述類別信息表中 URL 與網頁類別的對應關 系, 查找出所述 URL 連接請求中攜帶的 URL 對應的第一類別 ;
     通行判斷模塊 403, 用于判斷所述第一類別是否符合預設的 URL 通行策略, 所述 URL 通行策略中包含允許通過的網頁類別 ;
     請求發送模塊 404, 用于在所述通行判斷模塊 403 的判斷結果為是時, 將所述 URL 連接請求發往與其對應的服務器, 并接收所述服務器返回的網頁內容 ;
     類別判斷模塊 405, 用于根據所述網頁內容, 確定所述 URL 對應的第二類別, 判斷 所述第二類別是否符合所述預設的 URL 通行策略 ;
     所述類別判斷模塊 405 具體結構可以參見圖 6, 如圖所示, 可以包括 :
     網頁解碼子模塊 4051, 用于對所述網頁內容進行解碼, 提取出所述網頁內容的識 別關鍵詞 ;
     第二類別確定子模塊 4052, 用于根據本地詞庫列表中存儲的識別關鍵詞與網頁類 別的對應關系, 確定所述 URL 對應的第二類別為提取到的識別關鍵詞對應的網頁類別 ;
     類別判斷子模塊 4053, 用于判斷所述第二類別確定子模塊 4052 識別出的第二類別是否符合 URL 通行策略 ;
     內容返回模塊 406, 用于在所述類別判斷模塊的判斷結果為是時, 將所述網頁內容 發往客戶端 ;
     阻斷模塊 407, 用于在所述類別判斷模塊的判斷結果為否時, 阻斷所述網頁內容。
     需要說明的是, 本發明實施例的 URL 過濾裝置, 并不僅限于上述一種結構, 比如, 第一類別獲取模塊 402 和通行判斷模塊 403 可以為集成于一體的一個獨立模塊, 完成 URL 連接請求的第一類別獲取及判斷所述第一類別是否符合預設的通行策略 ; 再如, 所述內容 返回模塊 406 和阻斷模塊 407 可以為一個模塊。
     在其他的實施例中, URL 過濾裝置還可以包括分類更新模塊, 用于在類別判斷模塊 405 判斷出識別分類不符合所述預設的 URL 通行策略的情況下, 將所述本地緩存的類別信 息表中所述 URL 連接請求中攜帶的 URL 對應的網頁類別, 更新為所述第二類別。
     進一步地, 參見圖 7, 在其他的實施例中, 所述阻斷模塊 407 還用于在所述通行判 斷模塊 403 判斷出所述第一類別不符合預設的 URL 通行策略的情況下, 阻斷所述 URL 連接 請求 ;
     URL 過濾裝置還可以包括標識過濾模 701, 用于從阻斷的 URL 連接請求中, 過濾得 到帶有預設標識的 URL 連接請求 ; 并觸發所述請求發送模塊 404 將所述 URL 連接請求發往 與其對應的服務器, 并接收所述服務器返回的網頁內容 ; 所述類別判斷模塊 405 根據所述 網頁內容, 確定所述 URL 對應的第二類別, 判斷所述第二類別是否符合所述預設的 URL 通行 策略 ; 若識別分類符合所述預設的 URL 通行策略, 所述內容返回模塊 406 將所述網頁內容發 往所述客戶端 ; 否則, 所述阻斷模塊 407 阻斷所述網頁內容。 進一步地, 參見圖 8, 在其他實施例中, URL 過濾裝置還可以包括標識判決模塊 702, 用于在通行判斷模塊 403 的判斷結果為否時, 判斷所述 URL 連接請求中是否帶有預設 標識 ; 若帶有預設標識, 則觸發所述請求發送模塊 404 將所述 URL 連接請求發往與其對應的 服務器, 并接收所述服務器返回的網頁內容 ; 所述類別判斷模塊 405 根據所述網頁內容, 確 定所述 URL 對應的第二類別, 判斷所述第二類別是否符合所述預設的 URL 通行策略 ; 若識別 分類符合所述預設的 URL 通行策略, 所述內容返回模塊 406 將所述網頁內容發往所述客戶 端; 否則, 觸發阻斷模塊 407 阻斷所述網頁內容 ;
     若未帶有預設標識, 則觸發阻斷模塊 407 阻斷所述 URL 連接請求。
     本實施例中, 所述裝置能夠從預存的類別信息表中查找到 URL 連接請求對應的第 一類別, 并將第一類別符合預設的 URL 通行策略的 URL 連接請求放行, 轉發至相應的服務 器, 并根據所述服務器返回的網頁內容確定所述 URL 對應的第二類別, 再判斷第二類別是 否符合預設的 URL 通行策略, 若第二類別符合所述預設的 URL 通行策略, 將所述網頁內容發 往客戶端 ; 否則, 阻斷所述網頁內容。通過本發明公開的 URL 過濾裝置, 能夠實時確定 URL 所屬分類, 保證在分類更新不及時的情況下, 依然能夠對放行的, 但實際上應該阻斷的 URL 連接請求及時阻斷, 實現準確分類過濾的功能。
     此外, 本發明實施例還公開一種網關, 如圖 9 所示, 該網關 90 包含本發明實施例公 開的 URL 過濾裝置 40, 首先能夠接收客戶端發起的 URL 連接請求 ; 然后根據獲取的 URL 第 一類別判斷所述 URL 連接請求是否符合預設的 URL 通行策略 ; 如果是 : 將所述 URL 連接請求 發往與其對應的服務器, 并接收所述服務器返回的網頁內容 ; 再確定所述網頁內容的第二
     類別, 判斷所述第二類別是否符合預設的 URL 通行策略 ; 如果是 : 將所述返回的網頁內容發 往客戶端 ; 如果否 : 阻斷所述返回的網頁內容, 所述網關能夠實時確定 URL 所屬的分類, 保 證在分類更新不及時的情況下, 依然能夠對放行的, 但實際上應該阻斷的 URL 連接請求及 時阻斷, 實現準確分類過濾的功能。
     本說明書中各個實施例采用遞進的方式描述, 每個實施例重點說明的都是與其他 實施例的不同之處, 各個實施例之間相同相似部分互相參見即可。對于實施例公開的裝置 而言, 由于其與實施例公開的方法相對應, 所以描述的比較簡單, 相關之處參見方法部分說 明即可。
     還需要說明的是, 在本文中, 諸如第一和第二等之類的關系術語僅僅用來將一個 實體或者操作與另一個實體或操作區分開來, 而不一定要求或者暗示這些實體或操作之間 存在任何這種實際的關系或者順序。而且, 術語 “包括” 、 “包含” 或者其任何其他變體意在 涵蓋非排他性的包含, 從而使得包括一系列要素的過程、 方法、 物品或者設備不僅包括那些 要素, 而且還包括沒有明確列出的其他要素, 或者是還包括為這種過程、 方法、 物品或者設 備所固有的要素。在沒有更多限制的情況下, 由語句 “包括一個 ......” 限定的要素, 并不 排除在包括所述要素的過程、 方法、 物品或者設備中還存在另外的相同要素。 結合本文中所公開的實施例描述的方法或算法的步驟可以直接用硬件、 處理器執 行的軟件模塊, 或者二者的結合來實施。 軟件模塊可以置于隨機存儲器 (RAM)、 內存、 只讀存 儲器 (ROM)、 電可編程 ROM、 電可擦除可編程 ROM、 寄存器、 硬盤、 可移動磁盤、 CD-ROM、 或技術 領域內所公知的任意其它形式的存儲介質中。
     對所公開的實施例的上述說明, 使本領域專業技術人員能夠實現或使用本發明。 對這些實施例的多種修改對本領域的專業技術人員來說將是顯而易見的, 本文中所定義的 一般原理可以在不脫離本發明的精神或范圍的情況下, 在其它實施例中實現。 因此, 本發明 將不會被限制于本文所示的這些實施例, 而是要符合與本文所公開的原理和新穎特點相一 致的最寬的范圍。
    

關 鍵 詞:
統一 資源 定位 URL 過濾 方法 裝置
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:統一資源定位符URL的過濾方法及裝置.pdf
鏈接地址:http://www.rgyfuv.icu/p-6420541.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图