• / 7
  • 下載費用:30 金幣  

數據電商的一種高效的技術框架.pdf

摘要
申請專利號:

CN201510660596.2

申請日:

2015.10.14

公開號:

CN105260454A

公開日:

2016.01.20

當前法律狀態:

實審

有效性:

審中

法律詳情: 實質審查的生效IPC(主分類):G06F 17/30申請日:20151014|||公開
IPC分類號: G06F17/30; G06Q30/06(2012.01)I 主分類號: G06F17/30
申請人: 浪潮軟件集團有限公司
發明人: 王詩華; 王傳超; 崔樂樂
地址: 250100山東省濟南市高新區科航路2877號
優先權:
專利代理機構: 濟南信達專利事務所有限公司37100 代理人: 姜明
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510660596.2

授權公告號:

|||

法律狀態公告日:

2016.02.17|||2016.01.20

法律狀態類型:

實質審查的生效|||公開

摘要

本發明提供數據電商的一種高效的技術框架,涉及數據電商交易支付服務領域。本發明包含五個子模塊,分別為:混合數據結構的數據整理匯總(dGather)模塊、數據REST開放服務(dOpen)模塊、數據權限控制(dAuth)模塊、數據商品交易服務(dTrade)模塊和數據服務計費(dCharge)模塊。本發明解決了互聯網混合結構數據整理與匯總、面向大眾的數據開放、數據交易支付、數據權限控制、以及數據服務計費等難題。

權利要求書

1.數據電商的一種高效的技術框架,其特征在于,包含五個子模塊,分別為:混合數據結構的數據整理匯總模塊dGather、數據REST開放服務模塊dOpen、數據權限控制模塊dAuth、數據商品交易服務模塊dTrade和數據服務計費模塊dCharge;其中,dGather數據整理匯總模塊、dOpen開放模塊和dAuth數據權限控制三部分被定義為DataMall框架數據端dmall-Data:負責數據電商數據整合,并提供給用戶可以使用數據的方式;dTrade模塊和dCharge模塊統稱定義為DataMall框架銷售端dmall-Sale:負責將可以使用的數據銷售給大眾用戶,并且對數據的使用方式進行計費。2.根據權利要求1所述的技術框架,其特征在于,將客戶定義的一個數據需求,進行智能的匹配采;將定義好的一個需求主題經過dmall-data系統進行多任務化為任務集合,集合中任意一個任務可再按維度細化成子任務,按照主從心跳模式由調度節點分配給執行節點執行匯總,對于執行完采集的節點,調度節點主動進行整理,采取分布式存儲,并與行業內部組織數據進行整合分析的技術;同時,將采集到的互聯網數據通過dOpen系統結合dAuth權限方式以輕量級方式分享給用戶,以可度量的dCharge服務方式對外提供dTrade支付交易。3.根據權利要求2所述的技術框架,其特征在于,具體實現分如下步驟:步驟1、dGather根據配置參數,自動匹配行業模板及其匯總方法,并回饋給客戶以驗證是否符合要求;如果不符合,提供給用戶自定義數據管理和匯總方法;步驟2:確定匯總任務模板,dGather中<適配功能>首先接收到這個模板,將模板分解為多個匯總任務,并將每個任務分配給調度監控集群;步驟3:匯總整理調度節點根據任務進行按維度劃分,并負責將各個子任務分配給執行節點,同時監控執行情況;對于異常進行動態遷移到正常執行節點;調度節點與執行節點依賴MapReduce計算模型;步驟4:第三方用戶如果想獲取DMall的數據服務請求,首先通過dAuth進行權限認證,驗證是否為合法用戶,是否有相應的數據權限;步驟5:通過dAdapter將用戶的請求分解并適配到對應主題所在的節點上,系統將匯總后的結構反饋給用戶;步驟6:匯總到開放庫的數據通過dOpen模塊開放為第三方接口,同時接入dTrade在線商城交易,完成數據商品推送到用戶;步驟7:用戶拿到交易數據商品以后,可以通過API接口的方式訪問數據,數據將以json、dmp文件、sql文件等方式返回;同時,系統通過dCharge計費模塊實現數據商品的流量付費功能。

說明書

數據電商的一種高效的技術框架

技術領域

本發明涉及異構非結構化數據融合、大數據分類標準化、RESTAPI接口與權限、數據電商交易支付服務和數據接口流量計費5個技術領域,具體是數據電商的一種高效的技術框架。

背景技術

當今已經是數據大爆炸的時代,各個行業面臨著大部分的問題:

1、集中管理互聯網數據。從無規則、無行業分類的互聯網獲取到針對性的行業價值的信息。

2、海量數據的存儲,快速讀寫與容災。

3、集群管理維護難。原有系統沒有一個從硬件到軟件到服務狀態的整體監控和管理系統。

4、數據分享。通過文件方式、數據庫等重型方式分享數據,并且需要用戶自己開發實現數據API調用。

5、數據交易。數據資源雷同于礦產資源是可以被交易買賣的,需要將數據以可度量的服務方式對外提供支付功能。

6、數據接口計費。傳統的模式只是按文件的形式給第三方提供數據,一次性付費,無法實施更新客戶已交付的數據。

發明內容

為了解決以上的問題,本發明提出了數據電商的一種高效的技術框架;本發明是以大數據開放技術和電商交易技術為基礎,以互聯網模式為第三方和大眾用戶提供數據服務的一種技術框架(稱DataMall框架),該方法用以填補了市面互聯網大數據分享和交易平臺數據成果使用的部分短板。解決了互聯網混合結構數據整理與匯總、面向大眾的數據開放、數據交易支付、數據權限控制、以及數據服務計費等難題。

這種數據電商所依賴的技術框架包含五個子模塊,分別為:混合數據結構的數據整理匯總(dGather)模塊、數據REST開放服務(dOpen)模塊、數據權限控制(dAuth)模塊、數據商品交易服務(dTrade)模塊和數據服務計費(dCharge)模塊。其中,dGather數據整理匯總模塊、dOpen開放模塊和dAuth數據權限控制三部分被定義為DataMall框架數據端(dmall-Data):負責數據電商數據整合,并提供給用戶可以使用數據的方式;dTrade模塊和dCharge模塊統稱定義為DataMall框架銷售端(dmall-Sale):負責將可以使用的數據銷售給大眾用戶,并且對數據的使用方式進行計費。

本發明目的是基于“大數據數據工廠、開放數據接口、電商模式交易數據、按實際使用付費”的思路完成大數據的數據交易。將客戶定義的一個數據需求,進行智能的匹配采;將定義好的一個需求主題經過本發明的dmall-data系統進行多任務化為任務集合,集合中任意一個任務可再按維度細化成子任務,按照主從心跳模式由調度節點分配給執行節點執行匯總,對于執行完采集的節點,調度節點主動進行整理,采取分布式存儲,并與行業內部組織數據進行整合分析的技術。同時,將采集到的互聯網數據通過dOpen系統結合dAuth權限方式以輕量級方式分享給用戶,以可度量的dCharge服務方式對外提供dTrade支付交易。

DataMall框架技術實現思路分如下步驟:

步驟1、dGather根據配置參數,自動匹配行業模板及其匯總方法,并回饋給客戶以驗證是否符合要求。如果不符合,提供給用戶自定義數據管理和匯總方法。

步驟2:確定匯總任務模板,dGather中<適配功能>首先接收到這個模板,將模板分解為多個匯總任務,并將每個任務分配給調度監

控集群。

步驟3:匯總整理調度節點根據任務進行按維度劃分,并負責將各個子任務分配給執行節點,同時監控執行情況。對于異常進行動態遷移到正常執行節點。調度節點與執行節點依賴MapReduce計算模型。

步驟4:第三方用戶如果想獲取DMall的數據服務請求,首先通過dAuth進行權限認證,驗證是否為合法用戶,是否有相應的數據權限。

步驟5:通過dAdapter將用戶的請求分解并適配到對應主題所在的節點上,系統將匯總后的結構反饋給用戶。

步驟6:匯總到開放庫的數據通過dOpen模塊開放為第三方接口,同時接入dTrade在線商城交易,完成數據商品推送到用戶。

步驟7:用戶拿到交易數據商品以后,可以通過API接口的方式訪問數據,數據將以json、dmp文件、sql文件等方式返回。同時,系統通過dCharge計費模塊實現數據商品的流量付費功能。

本發明的有益效果是:

數據商品交易

大數據獲取到有價值的數據不在沉睡在數據庫中,而是給予商品的行業,像其他實體商品一樣,通過價格、計量、服務方式、配送方式、有效期等進行標識。購買的數據商品也是可以真實感受到,并且可以通過數據商品交付的API接口應用到客戶的業務環境中。

數據開放接口

通用數據之間的傳遞主要是通過硬件(物理)介質,而且是一對一的方式。本方案可以通過結合權限的API接口,做到發布一次到處分享;通過API可以快速進行開放與交易支付的定制。

例如:數據商品接口地址:

http://{ip}{:port}/DataMall/{service_type}/{data_describe}?response_service=json。

附圖說明

圖1是DMall銷售端dmall-sale系統核心流程圖;

圖2是DMall數據端dmall-data系統核心流程圖。

具體實施方式

下面對本發明的內容進行更加詳細的闡述:

數據電商這種技術框架分為兩部分交付:銷售端和數據端。其中,銷售端產品名稱為數據商城,它是一個直面大眾用戶的商城網站,通過用戶進行商品選擇和支付的業務場景,而數據端是一個面向管理員的產品,它需要考慮和兼容不同的數據庫、操作系統、數據采集庫。因此我們給客戶端提供了各個行業的匯總模板口徑,匯總系統和接口服務系統是部署在云服務器上。

數據端和開放接口分以下兩步搭建該平臺:

第三步,搭建dmall-data系統。在相應規劃的機器上部署:a、執行節點程序和收割模塊、b、調度節點程序、c、dmall-data適配程序。

第四步,搭建dOpen服務接口模塊系統。dOpen節點程序分機器負責部署,將dAdapter適配匯總模塊和oAuth權限認證系統分別部署到獨立的節點。獨立部署dNoSQL模塊,同時需要內存數據庫的配置文件指向該模塊。

數據商城的銷售端和互聯網通用的垂直商城平臺技術框架是類似的,有3部分組成:

第一部分、商城運行所需數據庫。部署到centos的分布式mysql數據上,采用數據緩存和訪問平行加速的技術。

第二部分、商城JAVA服務。部署到分布式TOMCAT服務集群上,采用了負載均衡,為請求進行分壓。

第三部分、商城PHP動態頁面。主要部署到到redhat的5個節點apache集群上,使用thinkphp內核,基于f5進行分流。

關 鍵 詞:
數據 一種 高效 技術 框架
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:數據電商的一種高效的技術框架.pdf
鏈接地址:http://www.rgyfuv.icu/p-6345548.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图