• / 9
  • 下載費用:30 金幣  

歷史數據歸檔集成系統及方法.pdf

摘要
申請專利號:

CN201510744670.9

申請日:

2015.11.05

公開號:

CN105243163A

公開日:

2016.01.13

當前法律狀態:

實審

有效性:

審中

法律詳情: 實質審查的生效IPC(主分類):G06F 17/30申請日:20151105|||公開
IPC分類號: G06F17/30 主分類號: G06F17/30
申請人: 國家電網公司; 南京南瑞集團公司; 國網江蘇省電力公司信息通信分公司; 南京南瑞集團公司信息系統集成分公司
發明人: 石浩瀚; 耿佩劍; 郭耀龍; 李東輝; 俞俊; 朱廣新; 鄭磊; 黃高攀; 張明明
地址: 100031北京市西城區西長安街86號
優先權:
專利代理機構: 南京知識律師事務所32207 代理人: 汪旭東
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510744670.9

授權公告號:

|||

法律狀態公告日:

2016.02.10|||2016.01.13

法律狀態類型:

實質審查的生效|||公開

摘要

本發明提供一種歷史數據歸檔集成系統及方法,設置生產庫與在線歷史庫實時同步,所述在線歷史庫讀寫分離;分布存儲所述生產庫與所述在線歷史庫;為所述在線歷史庫設置數據庫資源池,所述數據庫資源池采用集群的方式管理。發明為客戶提供多元化組合解決方案,以達到對數據全生命周期管理,在系統開發廠商及運維方配合下合理規劃集成平臺建設。

權利要求書

權利要求書
1.  一種歷史數據歸檔集成系統,其特征在于,包括生產庫模塊、在線歷史庫模塊、離線歸檔庫模塊、高端分布式存儲模塊和高端分布式存儲模塊;
所述生產庫模塊作為寫庫,所述在線歷史庫模塊作為讀庫;
所述生產庫模塊的數據實時同步到所述在線歷史庫模塊;
所述在線歷史庫模塊根據數據的活躍情況將部分數據存儲到所述離線歸檔庫模塊;
所述高端分布式存儲模塊為所述在線歷史數據庫提供數據存儲;
所述低端分布式存儲模塊為所述離線歸檔庫模塊提供數據存儲。

2.  根據權利要求1所述的歷史數據歸檔集成系統,其特征在于,所述高端分布式存儲模塊為一高端分布式存儲一體機。

3.  根據權利要求1所述的歷史數據歸檔集成系統,其特征在于,所述低端分布式存儲模塊為一PC服務器。

4.  一種歷史數據歸檔集成方法,其特征在于,
對數據進行分類;
設置生產庫與在線歷史庫實時同步,設置生產庫為讀庫,設置在線歷史庫為寫庫,實現讀寫分離;
設置離線歸檔數據庫,存儲不活躍數據;
分布存儲所述離線歸檔數據庫與所述在線歷史庫數據。

5.  根據權利要求4所述的歷史數據歸檔集成方法,其特征在于,所述 在線歷史庫采用高端分布式存儲一體機存儲數據。

6.  根據權利要求4所述的歷史數據歸檔集成方法,其特征在于,所述離線數據歸檔庫采用PC服務器存儲數據。

7.  根據權利要求4所述的歷史數據歸檔集成方法,其特征在于,為所述在線歷史庫設置數據庫資源池,所述數據庫資源池采用集群的方式管理。

說明書

說明書歷史數據歸檔集成系統及方法
技術領域
本發明涉及一種數據歸檔系統及方法,具體涉及一種歷史數據歸檔集成系統以及方法。
背景技術
現有技術中,數據庫環境都基于單個項目獨立建設的,其特點為“煙囪式”,每套數據庫服務器都有獨立的存儲和管理工具,相互不能共享資源,形成了一大堆孤立的數據庫服務器。會導致以下問題:數據庫服務器和存儲設備規模大而分散,資源利用率低下;數據庫環境的維護難度大,難以適應業務變化的需求;服務器數量和管理的總體成本偏高。
傳統的獨立部署模式導致服務器硬件資源難以合理分配,大部分系統CPU負載在20%以下,某些業務高峰期空閑主機資源無法做到動態分配;資源利用率低的同時也導致增加更多的冗余設備。
隨著企業信息化的不斷建設,機房資源已經成為瓶頸,提升優化迫在眉睫;機房空間前期規劃不足,機房擴建成本昂貴,技術難點多。
隨著信息系統運行年限越久,業務量和數據量不斷增長,在信息化建設過程中,未考慮數據的生命周期,數據庫臃腫存在風險;數據恢復難度大,周期長,需將歷史數據下線分離。
因主機、數據庫宕機等原因造成的數據庫故障無法自動切換,部分應用業務中斷無法被及時發現;因主機層面檢修、內存擴容等需數據庫停機 操作無法在線操作,周期長,需要技術人員夜間操作,加大工作量及操作風險,且業務系統重大版本升級無環境測試。
因業務系統關聯,導致多個業務系統從生產數據庫重復抽數,接口冗余,無故增加數據庫運行風險,及維護難度;對于數據流轉無有效監控工具。
發明內容
為了解決上述問題,本發明提供一種歷史數據歸檔集成系統及方法,解決因運行年限增加而導致數據庫臃腫的業務系統來開展歷史數據歸檔處理工作,從而遏制系統數據指數級增長的趨勢,降低系統數據庫運行風險。
本發明提供了如下的技術方案:
一種歷史數據歸檔集成系統,包括生產庫模塊、在線歷史庫模塊、離線歸檔庫模塊、高端分布式存儲模塊和高端分布式存儲模塊;
所述生產庫模塊作為寫庫,所述在線歷史庫模塊作為讀庫;
所述生產庫模塊的數據實時同步到所述在線歷史庫模塊;
所述在線歷史庫模塊根據數據的活躍情況將部分數據存儲到所述離線歸檔庫模塊;
所述高端分布式存儲模塊為所述在線歷史數據庫提供數據存儲;
所述低端分布式存儲模塊為所述離線歸檔庫模塊提供數據存儲。
優選的,所述高端分布式存儲模塊為一高端分布式存儲一體機。
優選的,所述低端分布式存儲模塊為一PC服務器。
一種歷史數據歸檔集成方法,
對數據進行分類;
設置生產庫與在線歷史庫實時同步,設置生產庫為讀庫,設置在線歷史庫為寫庫,實現讀寫分離;
設置離線歸檔數據庫,存儲不活躍數據;
分布存儲所述離線歸檔數據庫與所述在線歷史庫數據。
優選的,所述在線歷史庫采用高端分布式存儲一體機存儲數據。
優選的,所述離線數據歸檔庫采用PC服務器存儲數據。
進一步的,為所述在線歷史庫設置數據庫資源池,所述數據庫資源池采用集群的方式管理。
本發明的有益效果是:
1.生產庫與在線歷史庫實時同步,在線歷史庫可用于讀寫分離,分擔生產庫負擔,一庫多用;
生產庫與在線歷史庫采用GoldenGate/Streams技術實現生產庫與在線歷史庫的實時同步,生產庫的數據變化會實時的同步到在線歷史庫,在線歷史庫可以作為讀庫,生產庫作為寫庫,實現讀寫分離,最大限度的減少生產庫的負擔。在線歷史庫的數據是生產庫數據的一個超集,在對近年的歷史數據進行查詢時,可以直接到在線歷史庫進行查詢,方便歷史數據的追溯。目前主流的歸檔解決方案一般把歸檔數據作為文件形式存放,當需要查詢歷史數據時,需要對歸檔數據進行恢復,代價較高。也有些歸檔解決方案支持直接對歸檔的文件進行查詢,例如IBMOptim,但查詢效率非常低,而且需要對查詢功能部分進行二次開發,成本較高。本發明采用在線 歷史庫和離線歸檔庫實現對數據的分級存放,既能保證歷史數據的可追溯性,同時也實現了歷史數據方便、高效的查詢。
2.分布式存儲降低硬件成本;
歷史數據的重要特點之一是數據量龐大,為了存儲這些海量級的歷史數據,需要海量級的存儲解決方案,然而傳統的存儲非常昂貴,且擴展性較差。為了解決這一問題,本發明采用分布式存儲作為存儲解決方案,分布式存儲的特點是容量巨大、擴展性較高、價格低廉。在線歷史庫和離線歸檔庫對于存儲性能的要求完全不一樣,在線歷史庫需要承擔歷史數據查詢或者讀寫分離的工作,對于存儲性能的要求較高,因此本發明采用公司自主研發的高端分布式存儲一體機,保證在線歷史庫的高效穩定運行。而離線歸檔庫對于存儲的性能要求較低,因此采用自主研發的分布式存儲技術,用普通PC服務器搭建分布式存儲,大大降低了硬件成本。
3.在線歷史庫采用數據庫資源池技術,降低在線歷史庫的硬件成本,使在線歷史庫高度集成,方便在線歷史庫的管理;
在線歷史庫能夠很好的解決歷史數據查詢問題,但是需要為每一個生產庫搭建一套在線歷史庫,對硬件的需求量較大,因此我們本發明采用數據庫資源池技術,采用池化技術充分利用硬件資源,大大降低對硬件的需要。同時數據庫采用集群的方式管理,采用集群軟件對數據庫進行管理,降低了管理的難度,提高整個平臺的可維護性。
附圖說明
附圖用來提供對本發明的進一步理解,并且構成說明書的一部分,與 本發明的實施例一起用于解釋本發明,并不構成對本發明的限制。在附圖中:
圖1是本發明一個較佳實施例的流程示意圖;
圖2是本發明一個較佳實施例數據分類示意圖;
圖3是本發明一個較佳實施例外部結構示意圖。
具體實施方式
實施例1,如圖1-3所示,本發明公開一種歷史數據歸檔集成系統及方法,在本實施例中,包括如下步驟:
1、歷史數據范圍界定與分級
根據每個系統的業務需求和審計需求對生產數據進行歷史數據范圍界定,將據最近n年的活躍業務數據定級為活躍數據,這部分數據是日常業務必須的,經常訪問和修改的數據;處于n年之前到n+m年之間數據在日常業務中不會進行訪問和修改,只有在極少的特殊業務,例如歷史查詢、歷史審計等情況才會進行訪問,但絕對不會設計修改,這部分數據定義為次活躍數據;n+m年前的數據對于系統正常的業務及審計都不會再進行任何查詢和修改,這部分數據定義為不活躍數據或者靜態數據。
2、歸檔平臺搭建
使用軟硬件資源池技術,搭建一套或多套數據庫資源池,作為在線歷史數據歸檔平臺,存儲采用高端分布式存儲。數據庫資源池能夠有效利用服務器資源,節省硬件成本;提高數據庫容錯能力,實現故障轉移;整合數據庫實例,降低維護難度。在線歷史數據歸檔平臺可用于對歷史數據庫 的查詢和讀寫分離,因此對于性能有一定要求,所以采用高端的分布式存儲,提供良好的I/O性能。
使用低端分布式存儲搭建一套離線數據歸檔平臺,支持結構化和非結構化數據歸檔,支持多種多樣的數據歸檔方式,包括離線邏輯備份、離線物理備份、離線非結構化轉儲、分布式數據庫轉儲、表空間版本庫管理等。
數據庫資源池采用Severpool、RACONENODE、EXTENDRACONENODE技術實現,其中Severpool、RACONENODE為Oracle11G現有技術,但目前大部分客戶的環境中還存在10G環境,為保證平臺的通用性和兼容性,公司自主研發了EXTENDRACONENODE(ERON),將RACONENODE擴展到10G,從而為數據庫提供了完整的池化技術。
搭建分布式存儲環境,客戶可選擇訂購分布式文件系統一體機(存放非結構化數據)及分布式存儲一體機(存放結構化數據),歷史數據歸檔集成平臺解決方案同樣提供分布式存儲環境的定制搭建,可采購自主研發的分布式軟件,利用普通兩路PC服務器結合普通硬盤、SSD盤搭建分布式存儲。
3、數據初始化階段
使用Stream或GoldenGate將生產庫數據全量同步到在線歷史歸檔平臺,后續生產庫的操作也會由Stream或GoldenGate實時同步到在線歷史歸檔平臺。
4、歷史數據下線階段
將近n年的活躍數據保留在生產庫中,n年前的數據從生產庫上刪除。 在線歷史庫保留近n+m年的活躍和次活躍數據,n+m年前的靜態數據通過RAMN備份或其他方式備份到離線數據歸檔平臺,然后從在線歷史庫中刪除n+m年前數據。
到此,生產庫中只保留了近n年的活躍數據,在線歷史數據歸檔平臺保留了近n+m年的數據,包括活躍數據和次活躍數據,離線歸檔平臺保留了n+m年前的靜態數據,實現的數據的分級存儲,歷史數據從生產庫中脫離,進行歸檔處理。
由于在線歸檔平臺是生產庫的超集,而且是實時同步的,如果生產庫負擔過重,可以將應用進行讀寫分離,生產庫作為寫庫,在線歷史庫作為讀庫,分擔生產庫負擔。另外如果偶爾會存在歷史數據與在線數據聯合查詢的情況,可以在生產庫和歷史庫直接建立DBLink或者物化視圖等方式實現聯合查詢。
5、數據交換中心搭建
結合客戶需求針對業務系統定制化修訂數據交換中心平臺管理系統并部署上線,功能包括數據流轉狀態監控、故障告警、自動故障切換、重啟、節點資源一鍵靈活調度等。提供整個歸檔平臺的可視化監控、圖像界面操作,提高平臺的易用性。
以上所述僅為本發明的優選實施例而已,并不用于限制本發明,盡管參照前述實施例對本發明進行了詳細的說明,對于本領域的技術人員來說,其依然可以對前述各實施例所記載的技術方案進行修改,或者對其中部分技術特征進行等同替換。凡在本發明的精神和原則之內,所作的任何修改、 等同替換、改進等,均應包含在本發明的保護范圍之內。

關 鍵 詞:
歷史數據 歸檔 集成 系統 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:歷史數據歸檔集成系統及方法.pdf
鏈接地址:http://www.rgyfuv.icu/p-6409463.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图