國(guó)土資源大數(shù)據(jù)存儲(chǔ)技術(shù)研究及實(shí)現(xiàn)范文

本站小編為你精心準(zhǔn)備了國(guó)土資源大數(shù)據(jù)存儲(chǔ)技術(shù)研究及實(shí)現(xiàn)參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫(xiě)作靈感。歡迎深入閱讀并收藏。

摘要：本文對(duì)國(guó)土資源數(shù)據(jù)結(jié)構(gòu)、云存儲(chǔ)、海量空間數(shù)據(jù)管理等方面進(jìn)行理論研究和關(guān)鍵技術(shù)分析，探索適合國(guó)土云環(huán)境下國(guó)土資源大數(shù)據(jù)存儲(chǔ)管理的結(jié)構(gòu)模型、組織規(guī)范、存儲(chǔ)環(huán)境和安全體系，借助云計(jì)算、大數(shù)據(jù)的新技術(shù)、新理念為國(guó)土資源一張圖云存儲(chǔ)提供技術(shù)參考和實(shí)現(xiàn)推廣。

關(guān)鍵詞：國(guó)土資源；大數(shù)據(jù)；云存儲(chǔ)；地理信息

1緒論

隨著高精度、高頻度、大范圍的超海量地理空間數(shù)據(jù)呈爆炸式增長(zhǎng),如何有效的組織和管理這些海量異構(gòu)的國(guó)土資源大數(shù)據(jù)，以便讓國(guó)土資源各業(yè)務(wù)部門(mén)能夠快捷高效的利用其數(shù)據(jù)信息，是目前急待解決的難題。與此同時(shí)，云計(jì)算和大數(shù)據(jù)技術(shù)的興起，給新一代空間信息基礎(chǔ)設(shè)施體系架構(gòu)的發(fā)展帶來(lái)了希望，其分布式存儲(chǔ)及并行計(jì)算的特征非常適合應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)以及大規(guī)模數(shù)據(jù)處理等問(wèn)題，這就為國(guó)土資源海量空間數(shù)據(jù)的存儲(chǔ)與處理提供了解決方案[1]。本文利用國(guó)土云環(huán)境，面向國(guó)土資源一張圖海量空間數(shù)據(jù)云存儲(chǔ)技術(shù)展開(kāi)研究，以提升國(guó)土資源數(shù)據(jù)存儲(chǔ)的高效性、可靠性和擴(kuò)展性，為解決超大規(guī)模海量國(guó)土資源數(shù)據(jù)存儲(chǔ)的難題，保障國(guó)土資源數(shù)據(jù)的及時(shí)更新、實(shí)現(xiàn)真正意義上的“一數(shù)一源”，為國(guó)土資源數(shù)據(jù)高效存儲(chǔ)與共享交換提供了思路。

2總體架構(gòu)分析

通過(guò)GIS數(shù)據(jù)中心集成開(kāi)發(fā)、網(wǎng)絡(luò)通信以及信息化技術(shù)，以國(guó)土資源的各類(lèi)專(zhuān)題數(shù)據(jù)為基礎(chǔ)，以數(shù)據(jù)庫(kù)管理和數(shù)據(jù)提供利用為目標(biāo)的信息化標(biāo)準(zhǔn)規(guī)范體系和各級(jí)互通、共建共享的綜合數(shù)據(jù)管理利用服務(wù)體系，建設(shè)國(guó)土資源云存儲(chǔ)管理系統(tǒng)。基于SOA架構(gòu)的數(shù)據(jù)中心集成開(kāi)發(fā)平臺(tái)，實(shí)現(xiàn)專(zhuān)題業(yè)務(wù)模塊的服務(wù)化、組件化、定制化管理；開(kāi)發(fā)整合海量土地、礦產(chǎn)、地質(zhì)災(zāi)害專(zhuān)題數(shù)據(jù)和數(shù)據(jù)應(yīng)用，實(shí)現(xiàn)多年度、多專(zhuān)題、多比例尺、全區(qū)域的空間數(shù)據(jù)庫(kù)分布式運(yùn)行和綜合管理；進(jìn)一步利用國(guó)家、省、市、縣四級(jí)的數(shù)據(jù)交換體系，實(shí)現(xiàn)系統(tǒng)內(nèi)的信息共享和效能監(jiān)督。其總體架構(gòu)圖如圖1所示。

3基礎(chǔ)設(shè)施體系研究

對(duì)于硬件設(shè)計(jì)方面采取分層設(shè)計(jì)的思想，分析硬件系統(tǒng)的組成部分，通過(guò)對(duì)系統(tǒng)分解，找到最合理的服務(wù)環(huán)境，發(fā)揮出硬件設(shè)備最優(yōu)異的性能，并提供安全服務(wù)[2]。國(guó)土云通過(guò)應(yīng)用云計(jì)算虛擬化技術(shù)，減少信息化設(shè)備的冗余數(shù)量，節(jié)省大量的空間，便于硬件資源的有效利用，根據(jù)用戶的實(shí)際需要對(duì)其進(jìn)行合理分配。國(guó)土云環(huán)境包括了數(shù)據(jù)存儲(chǔ)區(qū)域、計(jì)算服務(wù)區(qū)域、局域網(wǎng)區(qū)域以及核心網(wǎng)絡(luò)區(qū)域四大模塊。如圖2所示：

4數(shù)據(jù)存儲(chǔ)與組織模型研究

通過(guò)把結(jié)構(gòu)化與非結(jié)構(gòu)化的信息數(shù)據(jù)統(tǒng)一格式、統(tǒng)一基準(zhǔn)并空間化，導(dǎo)入到分布式文件系統(tǒng)HDFS中，導(dǎo)入完成后分布式文件系統(tǒng)自動(dòng)觸發(fā)檔案內(nèi)容提取流程，將辦公文檔、pdf、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)中的內(nèi)容提取出來(lái)，按照特定的約束方式存到HBase構(gòu)建的內(nèi)容庫(kù)中，同時(shí)將結(jié)構(gòu)化數(shù)據(jù)到GIS服務(wù)集群中，供數(shù)據(jù)管理層提取和訪問(wèn)[3]。

4.1數(shù)據(jù)組織模型大數(shù)據(jù)中心數(shù)據(jù)庫(kù)至下而上進(jìn)行劃分為物理層、邏輯層以及邏輯字庫(kù)層。邏輯字庫(kù)包含了基礎(chǔ)類(lèi)、參考系、專(zhuān)業(yè)類(lèi)以及管理類(lèi)等數(shù)據(jù)；邏輯層主要用來(lái)描述國(guó)土資源數(shù)據(jù)的專(zhuān)題圖件，細(xì)分包括防災(zāi)管理數(shù)據(jù)、地政管理數(shù)據(jù)以及礦政管理數(shù)據(jù)；物理層主要用來(lái)描述另外兩層的關(guān)鍵要素，數(shù)據(jù)邏輯設(shè)計(jì)如圖3所示：大數(shù)據(jù)中心核心庫(kù)數(shù)據(jù)需要把多種符合要求的數(shù)據(jù)按照順序入庫(kù)，由各類(lèi)不同專(zhuān)題的業(yè)務(wù)數(shù)據(jù)組織構(gòu)建。在現(xiàn)行的市縣級(jí)國(guó)土資源數(shù)據(jù)管理體系中，分為市州級(jí)和區(qū)（縣）級(jí)進(jìn)行不同級(jí)別的管理，中心數(shù)據(jù)庫(kù)把縣級(jí)數(shù)據(jù)集當(dāng)做最小的管理單元，結(jié)合業(yè)務(wù)實(shí)際需求，選擇合適的粒度有機(jī)統(tǒng)一的進(jìn)行管理。如圖4所示：大數(shù)據(jù)中心核心數(shù)據(jù)庫(kù)采用逐層管理的方式，對(duì)于不同類(lèi)型的數(shù)據(jù)使用的描述格式也有所不同，與之對(duì)應(yīng)的數(shù)據(jù)元信息也有多種格式，因此在數(shù)據(jù)元數(shù)據(jù)進(jìn)行入庫(kù)管理之前，首先應(yīng)該建立一套完整的數(shù)據(jù)標(biāo)準(zhǔn)，以此確保所有數(shù)據(jù)可以正確入庫(kù)。在核心數(shù)據(jù)庫(kù)中，每個(gè)元數(shù)據(jù)都對(duì)應(yīng)了一個(gè)數(shù)據(jù)模式，剛開(kāi)始創(chuàng)建數(shù)據(jù)集的時(shí)候，應(yīng)該先把相同的文件模式進(jìn)行解析，并把獲得的數(shù)據(jù)加入到數(shù)據(jù)元庫(kù)中。在入庫(kù)的過(guò)程中還應(yīng)該提供詳細(xì)的日志信息，對(duì)數(shù)據(jù)的類(lèi)型、格式以及時(shí)間等內(nèi)容進(jìn)行統(tǒng)計(jì)，達(dá)到大幅度提高數(shù)據(jù)錄入的效率和準(zhǔn)確性[4]。

4.2數(shù)據(jù)存儲(chǔ)模型空間大數(shù)據(jù)可考慮采用GIS平臺(tái)進(jìn)行管理，非空間大數(shù)據(jù)組織按照一定的方式和規(guī)則對(duì)多源大數(shù)據(jù)進(jìn)行歸并、存儲(chǔ)、處理的過(guò)程。根據(jù)非空間大數(shù)據(jù)種類(lèi)較多等特性，大數(shù)據(jù)中心提供多種存儲(chǔ)方式來(lái)支撐非空間大數(shù)據(jù)的存儲(chǔ)組織。非空間大數(shù)據(jù)的存儲(chǔ)主要采用Hadoop分布式文件系統(tǒng)，存儲(chǔ)策略主要包括三部分內(nèi)容：首先根據(jù)數(shù)據(jù)特點(diǎn)進(jìn)行屬性分類(lèi)，將同屬同一類(lèi)的小文件聚合成為一個(gè)大的文件，便于提高小文件的讀寫(xiě)速度；然后在合并小文件的過(guò)程中，需要建立相對(duì)應(yīng)的檢索系統(tǒng)，以此快速訪問(wèn)小文件[5]；最后建立合理的緩存的體系，對(duì)文件存放的數(shù)據(jù)塊進(jìn)行緩存，從而提高訪問(wèn)小文件的效率，大大縮短了訪問(wèn)的時(shí)間。如圖5所示，通過(guò)構(gòu)建索引文件和數(shù)據(jù)文件兩個(gè)文件，對(duì)同一檔案下的小文件進(jìn)行合并存儲(chǔ)，索引文件中存儲(chǔ)小文件的相對(duì)路徑、名稱(chēng)、大小、修改時(shí)間、數(shù)據(jù)區(qū)偏移量等基本信息，數(shù)據(jù)區(qū)存儲(chǔ)了每個(gè)小文件的二進(jìn)制數(shù)據(jù)流。針對(duì)系統(tǒng)經(jīng)常訪問(wèn)文件元數(shù)據(jù)的需求，系統(tǒng)提供緩存模塊將對(duì)索引文件緩存到內(nèi)存中，實(shí)現(xiàn)高效訪問(wèn)，當(dāng)系統(tǒng)需要讀取文件內(nèi)容時(shí)，先從檢索信息中獲取數(shù)據(jù)區(qū)偏移情況，根據(jù)偏移量從數(shù)據(jù)區(qū)中獲取文件二進(jìn)制內(nèi)容。

5安全支撐體系研究

由于網(wǎng)絡(luò)、傳感設(shè)備的開(kāi)放性，其即時(shí)在線的特征，會(huì)給信息安全帶來(lái)風(fēng)險(xiǎn)。只有通過(guò)數(shù)據(jù)源頭即數(shù)據(jù)的存儲(chǔ)方面加強(qiáng)數(shù)據(jù)安全，才能保證國(guó)土資源信息化運(yùn)行更加平穩(wěn)、安全、高效[6]。

5.1安全體系總體架構(gòu)利用國(guó)土云平臺(tái)的優(yōu)勢(shì)為用戶提供多層次、立體化、基于不同安全技術(shù)實(shí)現(xiàn)的網(wǎng)絡(luò)安全縱深防御體系，其總體架構(gòu)如下圖6所示：基于云計(jì)算安全架構(gòu)，結(jié)合省級(jí)國(guó)土資源政務(wù)信息系統(tǒng)架構(gòu)和特點(diǎn)，可按照以下原則規(guī)劃國(guó)土云的安全防護(hù)措施：

（一）內(nèi)外網(wǎng)安全隔離將國(guó)土云分為兩個(gè)大的安全區(qū)域，一個(gè)是內(nèi)部服務(wù)區(qū)域，供內(nèi)部信息系統(tǒng)使用；一個(gè)是外部服務(wù)區(qū)域，供因特網(wǎng)信息系統(tǒng)使用。兩個(gè)區(qū)域之間通過(guò)多層次的隔離技術(shù)對(duì)云服務(wù)器、數(shù)據(jù)庫(kù)和存儲(chǔ)等計(jì)算和存儲(chǔ)資源進(jìn)行安全隔離，完全不能互訪。內(nèi)部信息系統(tǒng)不分配公網(wǎng)IP，因此無(wú)法從公網(wǎng)訪問(wèn)內(nèi)部應(yīng)用。互聯(lián)網(wǎng)應(yīng)用分配公網(wǎng)IP，可以從公網(wǎng)發(fā)起訪問(wèn)。

（二）區(qū)域內(nèi)安全隔離服務(wù)區(qū)域內(nèi)的每一個(gè)信息系統(tǒng)作為一個(gè)單獨(dú)的安全域，安全域內(nèi)可以互相訪問(wèn)，安全域之間默認(rèn)無(wú)法互訪；同一服務(wù)區(qū)域內(nèi)的不同應(yīng)用之間如果有互訪需要，則可以通過(guò)安全域防火墻授權(quán)訪問(wèn)。

（三）互聯(lián)網(wǎng)應(yīng)用安全防護(hù)由阿里云盾（包括防DDoS、入侵防御、網(wǎng)站安全防護(hù)等功能模塊組成）保護(hù)互聯(lián)網(wǎng)入口。

（四）數(shù)據(jù)安全交換國(guó)土云內(nèi)部服務(wù)區(qū)通過(guò)涉密專(zhuān)線接入省電子政務(wù)內(nèi)網(wǎng)，外部服務(wù)區(qū)通過(guò)專(zhuān)線或VPN連接到網(wǎng)閘等安全設(shè)備。國(guó)土云內(nèi)部服務(wù)區(qū)與省電子政務(wù)內(nèi)網(wǎng)的其他單位、機(jī)構(gòu)網(wǎng)絡(luò)間交互數(shù)據(jù)，通過(guò)密碼機(jī)進(jìn)行數(shù)據(jù)加解密傳輸進(jìn)行。

5.2安全支撐體系框架設(shè)計(jì)國(guó)土云平臺(tái)的安全支撐平臺(tái)能夠劃分為四個(gè)層面：基礎(chǔ)設(shè)施層、數(shù)據(jù)訪問(wèn)層、信息交換層、應(yīng)用層。基礎(chǔ)設(shè)施層包括了認(rèn)證基礎(chǔ)設(shè)施以及網(wǎng)絡(luò)安全基礎(chǔ)設(shè)施。國(guó)土云是一種面向網(wǎng)絡(luò)的應(yīng)用體系架構(gòu)，所以國(guó)土云安全層中最根本、最底層的就是這兩個(gè)基礎(chǔ)設(shè)施。網(wǎng)絡(luò)安全基礎(chǔ)設(shè)施能夠給內(nèi)部工作環(huán)境給予全面、多層的安全保護(hù)，其范圍包含：終端、網(wǎng)絡(luò)設(shè)施、外設(shè)等。認(rèn)證基礎(chǔ)設(shè)施可以提供環(huán)境中基本的認(rèn)證服務(wù)，能夠?qū)崿F(xiàn)身份認(rèn)證、數(shù)據(jù)傳輸、存儲(chǔ)的安全性和可靠性。數(shù)據(jù)訪問(wèn)層的作用涵蓋數(shù)據(jù)內(nèi)容的安全性、信息調(diào)用、傳送和獲取等的安全方面。為了強(qiáng)化數(shù)據(jù)訪問(wèn)層的安全能力，需要借助安全基礎(chǔ)。通過(guò)安全基礎(chǔ)可以實(shí)現(xiàn)數(shù)據(jù)庫(kù)保存、調(diào)用各個(gè)平臺(tái)之間的數(shù)據(jù)信息[7]。同時(shí)系統(tǒng)還應(yīng)該能夠按照等級(jí)不同制定不同的應(yīng)用權(quán)限，以實(shí)現(xiàn)對(duì)各類(lèi)操作的記錄工作和開(kāi)展回溯。由于網(wǎng)絡(luò)的公開(kāi)特征和網(wǎng)絡(luò)協(xié)議的風(fēng)險(xiǎn)，黑客能夠通過(guò)在傳輸網(wǎng)絡(luò)中嵌入竊取工具，獲得網(wǎng)絡(luò)傳輸中的關(guān)鍵數(shù)據(jù)，并設(shè)法譯出其中信息，引發(fā)泄密或者數(shù)據(jù)遭到破壞等惡性事件；所以需要在信息交換層保障數(shù)據(jù)共享的安全，特別是保障數(shù)據(jù)傳輸過(guò)程中的防篡改、完整性和不可抵賴(lài)性，同時(shí)要防范數(shù)據(jù)在網(wǎng)絡(luò)傳輸時(shí)被竊取和失泄。應(yīng)用層的重要作用在于確保操作用戶的審查、信任以及不可抵賴(lài)性。應(yīng)用層還應(yīng)該包括較好的雙向認(rèn)證體系，具備不可旁路性，以保證只有授權(quán)用戶才能登錄可信任的系統(tǒng)，開(kāi)展權(quán)限范圍內(nèi)的應(yīng)用[8]；針對(duì)個(gè)人的操作開(kāi)展完整的審計(jì)日志，以實(shí)現(xiàn)個(gè)人操作的不可否認(rèn)性；保障服務(wù)器端與客戶端的數(shù)據(jù)交互的安全，確保所有應(yīng)用模塊在操作過(guò)程中的完整性和可用性。

6實(shí)現(xiàn)和展望

本文提出的理論與方法在湖南省國(guó)土資源一張圖信息系統(tǒng)建設(shè)中得到了部分應(yīng)用，也奠定了其進(jìn)一步開(kāi)展研究實(shí)現(xiàn)的基礎(chǔ)。湖南省國(guó)土資源一張圖信息系統(tǒng)是本省“金土工程二期”的重要任務(wù)，該系統(tǒng)經(jīng)過(guò)多年的建設(shè)和推廣，目前已覆蓋至12個(gè)市州、65個(gè)縣的國(guó)土資源管理部門(mén)。其部分功能展示如圖7。國(guó)土資源信息是重要的基礎(chǔ)國(guó)情信息，在國(guó)家實(shí)施網(wǎng)絡(luò)強(qiáng)國(guó)戰(zhàn)略中發(fā)揮著不可替代的重要作用。國(guó)土資源海量數(shù)據(jù)存儲(chǔ)管理又是國(guó)土資源信息化的關(guān)鍵，其研究有著非常重要的理論意義和應(yīng)用價(jià)值。云存儲(chǔ)是下一代的存儲(chǔ)模式，云存儲(chǔ)與國(guó)土資源海量數(shù)據(jù)結(jié)合的國(guó)土云研究和應(yīng)用是國(guó)土資源事業(yè)改革發(fā)展的必然要求，國(guó)土云正處于建設(shè)應(yīng)用階段，尚有許多理論、技術(shù)有待進(jìn)一步深入研究。

參考文獻(xiàn)／References

[1]國(guó)土資源信息中心.“國(guó)土云”建設(shè)總體框架.2014.

[4]吳邊，吳信才.CloudGIS關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)工程與設(shè)計(jì).2011，32(4):1342-1346.

[5]楊曉雁,基于Hadoop的海量數(shù)據(jù)的分布式存儲(chǔ)關(guān)鍵技術(shù)研究.自動(dòng)化與儀器儀表,2016(8):第166-167頁(yè).

[6]顧炳中，申世亮.“歐盟空間信息基礎(chǔ)設(shè)施”及對(duì)國(guó)土資源“一張圖”建設(shè)的啟示[J].國(guó)土資源信息化.2011(1):5-8.

[7]馮登國(guó)，張敏，李昊.大數(shù)據(jù)安全與隱私保護(hù)[J].計(jì)算機(jī)學(xué)報(bào).2014(01):246-258.

[8]羅東俊.基于可信計(jì)算的云計(jì)算安全若干關(guān)鍵問(wèn)題研究[D].廣州：華南理工大學(xué)，2014.

作者：黃弘 賀晨騁 單位：湖南省國(guó)土資源信息中心