海量地理國(guó)情普查數(shù)據(jù)存儲(chǔ)研究范文

本站小編為你精心準(zhǔn)備了海量地理國(guó)情普查數(shù)據(jù)存儲(chǔ)研究參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

摘要：針對(duì)地理國(guó)情普查成果數(shù)據(jù)量大、復(fù)雜且多樣化、管理難度大、應(yīng)用效率低等特點(diǎn)，提出了一種基于ISCSI構(gòu)建ORACLERAC數(shù)據(jù)庫(kù)和GlusterFS分布式文件系統(tǒng)來(lái)管理地理國(guó)情普查數(shù)據(jù)的方法。實(shí)驗(yàn)結(jié)果表明，該方法能夠充分利用普通的硬件和網(wǎng)絡(luò)資源來(lái)構(gòu)建數(shù)據(jù)存儲(chǔ)環(huán)境，保障地理國(guó)情普查數(shù)據(jù)庫(kù)快速穩(wěn)定地運(yùn)行，并且能夠無(wú)縫地?cái)U(kuò)展存儲(chǔ)資源。

關(guān)鍵詞：地理國(guó)情普查數(shù)據(jù)；ISCSI；ORACLERAC；分布式文件系統(tǒng)

1技術(shù)介紹

ISCSI（internetsmallcomputersysteminterface，網(wǎng)絡(luò)小型計(jì)算機(jī)系統(tǒng)接口）是一種在TCP/IP協(xié)議網(wǎng)絡(luò)上進(jìn)行數(shù)據(jù)塊傳輸?shù)臉?biāo)準(zhǔn)[1]。其目的是用IP協(xié)議將存儲(chǔ)設(shè)備連接在一起，使服務(wù)器可以與使用TCP/IP網(wǎng)絡(luò)的存儲(chǔ)設(shè)備互相交換存儲(chǔ)資料[2]，它包括發(fā)起端和目標(biāo)端，其工作原理是發(fā)起端將SCSI指令和數(shù)據(jù)封裝成ISCSI協(xié)議數(shù)據(jù)單元，提交給TCP，最后封裝成IP數(shù)據(jù)包在IP網(wǎng)絡(luò)上傳輸，到達(dá)目標(biāo)端后通過(guò)解封裝還原成SCSI指令和數(shù)據(jù)，實(shí)現(xiàn)SCSI命令和數(shù)據(jù)在IP網(wǎng)絡(luò)上的透明傳輸。ORACLERAC（ORACLErealapplicationclusters）通常稱作ORACLE真正應(yīng)用集群[3]，其實(shí)質(zhì)是使位于不同服務(wù)器系統(tǒng)的ORACLE實(shí)例可以同時(shí)訪問(wèn)同一個(gè)ORACLE數(shù)據(jù)庫(kù)。一個(gè)ORACLE集群由多臺(tái)服務(wù)器組成，每臺(tái)服務(wù)器是一個(gè)獨(dú)立的數(shù)據(jù)庫(kù)實(shí)例[4]，用于監(jiān)聽(tīng)自己的網(wǎng)絡(luò)端口；每臺(tái)服務(wù)器有自己的ORACLERAC服務(wù)，用于數(shù)據(jù)庫(kù)的集群訪問(wèn)；所有的服務(wù)器通過(guò)自己的操作系統(tǒng)訪問(wèn)一個(gè)共享的存儲(chǔ)設(shè)備，數(shù)據(jù)庫(kù)存儲(chǔ)在共享設(shè)備上。GlusterFS是一個(gè)開(kāi)源的分布式文件系統(tǒng)，能夠利用普通的存儲(chǔ)設(shè)備來(lái)部署可集中管理、橫向擴(kuò)展、虛擬化的存儲(chǔ)池，使用單一全局命名空間來(lái)管理數(shù)據(jù)，支持PB存儲(chǔ)容量[5]，支持運(yùn)行在任何標(biāo)準(zhǔn)IP網(wǎng)絡(luò)上標(biāo)準(zhǔn)應(yīng)用程序的標(biāo)準(zhǔn)客戶端。

2基于ISCSI技術(shù)的地理國(guó)情普查數(shù)據(jù)分布式存儲(chǔ)

2.1研究路線地理國(guó)情普查

數(shù)據(jù)量大，如何有效進(jìn)行管理，是必須考慮的問(wèn)題。本文利用計(jì)算資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源等構(gòu)建數(shù)據(jù)庫(kù)服務(wù)器集群和文件服務(wù)器集群，提供分布式存儲(chǔ)環(huán)境。在數(shù)據(jù)庫(kù)服務(wù)器集群和文件服務(wù)器集群上結(jié)合ISCSI技術(shù)，搭建ORACLERAC數(shù)據(jù)庫(kù)和分布式文件系統(tǒng)，其架構(gòu)如圖1所示。根據(jù)《第一次全國(guó)地理國(guó)情普查數(shù)據(jù)庫(kù)建設(shè)技術(shù)設(shè)計(jì)》的要求，將地理國(guó)情普查的地表覆蓋、地理國(guó)情要素及其元數(shù)據(jù)等矢量數(shù)據(jù)存儲(chǔ)于ORACLERAC數(shù)據(jù)庫(kù)中，地形地貌數(shù)據(jù)、遙感影像數(shù)據(jù)、遙感影像解譯樣本數(shù)據(jù)等存放在分布式文件系統(tǒng)中，實(shí)現(xiàn)海量地理國(guó)情普查數(shù)據(jù)的分布式管理，然后驗(yàn)證使用ISCSI構(gòu)建的存儲(chǔ)環(huán)境能夠滿足海量地理國(guó)情普查數(shù)據(jù)的存儲(chǔ)和讀取；最后通過(guò)對(duì)比驗(yàn)證基于ISCSI的分布式管理和普通管理方式在數(shù)據(jù)存儲(chǔ)和負(fù)載均衡方面的性能。

2.2分布式存儲(chǔ)系統(tǒng)構(gòu)建

2.2.1基于ISCSI的ORACLERAC數(shù)據(jù)庫(kù)使用相同配置的兩臺(tái)服務(wù)器部署ORACLERAC集群，集群節(jié)點(diǎn)同時(shí)作為數(shù)據(jù)存儲(chǔ)服務(wù)器，其配置信息如表1所示。基于ISCSI將服務(wù)器上的存儲(chǔ)資源通過(guò)網(wǎng)絡(luò)輸送到所有ORACLERAC節(jié)點(diǎn)，再利用ORACLE的ASM[6]（automaticstoragemanagement，自動(dòng)存儲(chǔ)管理）將這兩臺(tái)服務(wù)器上的存儲(chǔ)資源創(chuàng)建成共享存儲(chǔ)來(lái)管理地理國(guó)情普查數(shù)據(jù)，集群內(nèi)部實(shí)現(xiàn)分布式存儲(chǔ)設(shè)備的維護(hù)。構(gòu)建過(guò)程如下：1）整體部署，包括硬件和軟件環(huán)境部署，如表1。2）配置公共網(wǎng)絡(luò)和專用網(wǎng)絡(luò)。3）基于ISCSI配置共享存儲(chǔ)。在網(wǎng)絡(luò)協(xié)議的基礎(chǔ)上，在集群節(jié)點(diǎn)上配置好ISCSI協(xié)議并添加ISCSI虛擬磁盤，啟動(dòng)ISCSI發(fā)起程序，連接至虛擬磁盤，從而綁定磁盤，實(shí)現(xiàn)磁盤的本地使用，再配置成共享存儲(chǔ)。4）安裝集群軟件和數(shù)據(jù)庫(kù)。5）配置客戶端連接ORACLERAC。2.2.2基于ISCSI的GlusterFS分布式文件系統(tǒng)在GlusterFS中將服務(wù)器上剩余的存儲(chǔ)空間使用ISCSI技術(shù)虛擬成網(wǎng)絡(luò)存儲(chǔ)設(shè)備，并加載多個(gè)網(wǎng)絡(luò)存儲(chǔ)設(shè)備和本地存儲(chǔ)設(shè)備，采用兩臺(tái)配置信息如表1的服務(wù)器，搭建分布式文件系統(tǒng)環(huán)境。其構(gòu)建過(guò)程如下：1）將服務(wù)器上的空閑存儲(chǔ)資源以虛擬ISCSITarget服務(wù)的方式出來(lái)，形成私有的存儲(chǔ)區(qū)域網(wǎng)絡(luò)SAN。2）在5臺(tái)存儲(chǔ)服務(wù)器上分別安裝GlusterFS，創(chuàng)建GlusterFS集群，各臺(tái)服務(wù)器上使用GlusterFS將ISCSI存儲(chǔ)設(shè)備或本地存儲(chǔ)掛載為數(shù)據(jù)塊并納入管理。3）配置多個(gè)節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)數(shù)據(jù)塊融合成組，合并創(chuàng)建成大容量的網(wǎng)絡(luò)存儲(chǔ)卷，在網(wǎng)絡(luò)上形成NAS存儲(chǔ)網(wǎng)絡(luò)。4）主服務(wù)器節(jié)點(diǎn)，通過(guò)掛載分布式集群創(chuàng)建的NAS卷，使用Samba(Linux下的文件共享服務(wù)軟件)為選定的目錄建立網(wǎng)絡(luò)共享，將NAS卷的存儲(chǔ)空間提供出來(lái)，供網(wǎng)絡(luò)內(nèi)的其他服務(wù)器進(jìn)行共享訪問(wèn)。

2.3存儲(chǔ)性能測(cè)試

選用一臺(tái)配置為Intel(R)Core(TM)i5-2400、內(nèi)存為4GB、操作系統(tǒng)為Windows7的臺(tái)式機(jī)作為客戶端，以某地地理國(guó)情普查成果數(shù)據(jù)為實(shí)驗(yàn)數(shù)據(jù)，分別對(duì)本文提出的分布式存儲(chǔ)與普通集中式管理方式進(jìn)行了存儲(chǔ)效率和負(fù)載均衡性能的測(cè)試。2.3.1存儲(chǔ)效率性能測(cè)試1）選取記錄數(shù)目分別為3萬(wàn)條、10萬(wàn)條和100萬(wàn)條的地理國(guó)情普查矢量數(shù)據(jù)，其對(duì)應(yīng)的數(shù)據(jù)大小分別是50M、200M、1000M，比較導(dǎo)入基于ISCSI的ORACLERAC數(shù)據(jù)庫(kù)和ORACLE數(shù)據(jù)庫(kù)的耗時(shí)，從ORACLE數(shù)據(jù)庫(kù)中查詢分別需要70s、185s和354s；基于ISCSI的ORACLERAC數(shù)據(jù)庫(kù)查詢分別需要31s、93s和159s，其效率提高2.3倍，如圖2所示。2）選取數(shù)據(jù)量分別為0.1TB、1TB、5TB的地理國(guó)情普查影像數(shù)據(jù)，比較導(dǎo)入基于ISCSI的分布式文件系統(tǒng)和普通文件系統(tǒng)的耗時(shí)，導(dǎo)入普通文件系統(tǒng)分別需要4min、360min和1800min；導(dǎo)入基于ISCSI的分布式文件系統(tǒng)分別需要2min、240min和1200min，其效率提高1.5倍，如圖2所示。從圖2可以明顯看到，基于本文提出的分布式存儲(chǔ)方式具有優(yōu)勢(shì)，存儲(chǔ)效率高于普通的數(shù)據(jù)管理方式。2.3.2負(fù)載均衡性能測(cè)試在ORACLERAC集群上，首先關(guān)閉節(jié)點(diǎn)1上的數(shù)據(jù)庫(kù)實(shí)例，在節(jié)點(diǎn)2上頻繁執(zhí)行查詢操作，節(jié)點(diǎn)2的大量資源被占用，CPU利用率迅速升高，達(dá)到90%；再啟動(dòng)節(jié)點(diǎn)1上的數(shù)據(jù)庫(kù)實(shí)例，此時(shí)節(jié)點(diǎn)1的CPU利用率升高到46%左右，節(jié)點(diǎn)2的CPU利用率降低到55%左右，幾分鐘之后兩個(gè)節(jié)點(diǎn)的CPU利用率都保持在20%左右，如圖3所示。通過(guò)測(cè)試驗(yàn)證，當(dāng)集群某一節(jié)點(diǎn)的負(fù)載過(guò)高，而其他節(jié)點(diǎn)負(fù)載較小時(shí)，將請(qǐng)求分配給當(dāng)前負(fù)載較小的節(jié)點(diǎn)上，從而實(shí)現(xiàn)數(shù)據(jù)交互的均衡分配。

2.4測(cè)試結(jié)論

在反復(fù)的驗(yàn)證測(cè)試中，最終得出結(jié)論，基于ISCSI的ORACLERAC數(shù)據(jù)庫(kù)和分布式文件系統(tǒng)完全可以應(yīng)用于地理國(guó)情普查數(shù)據(jù)的管理，且具有硬件成本低、存儲(chǔ)效率高、負(fù)載能力強(qiáng)等優(yōu)勢(shì)。

3結(jié)語(yǔ)

深入研究了利用ISCSI技術(shù)構(gòu)建的ORACLERAC集群來(lái)管理地理國(guó)情普查數(shù)據(jù)，將數(shù)據(jù)分散地存儲(chǔ)在多個(gè)普通的存儲(chǔ)物理設(shè)備上，降低了硬件成本，實(shí)現(xiàn)了數(shù)據(jù)的高并發(fā)讀寫和海量數(shù)據(jù)存儲(chǔ)，提高了系統(tǒng)的響應(yīng)效率，并且系統(tǒng)具備靈活的分布式體系結(jié)構(gòu)，支持橫向伸縮；即便隨著地理國(guó)情普查后續(xù)工作的推進(jìn)造成數(shù)據(jù)量的幾何級(jí)增長(zhǎng)，也可以無(wú)縫擴(kuò)展該存儲(chǔ)系統(tǒng)以滿足需求。

參考文獻(xiàn)

[1]張立,徐學(xué)雷.ISCSI技術(shù)在數(shù)據(jù)圖書館中的應(yīng)用[J].現(xiàn)代圖書情報(bào)技術(shù),2005,128(9):14-16

[2]任建奇.基于ISCSI的虛擬存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].西安:西北工業(yè)大學(xué),2006

[3]呂元海,孫江輝,馬龍.基于ORACLERAC的校園網(wǎng)數(shù)據(jù)庫(kù)集群系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù),2016,39(4):72-75

[4]史超.基于linux的ORACLERAC集群數(shù)據(jù)庫(kù)優(yōu)化研究[D].天津:天津師范大學(xué),2014

[5]楊勇.基于GlusterFS的分布式冗余存儲(chǔ)[J].西安文理學(xué)院學(xué)報(bào)(自然科學(xué)版),2010,13(4):67-70

[6]李勇.基于ORACLERAC的海量數(shù)據(jù)管理系統(tǒng)優(yōu)化設(shè)計(jì)[D].上海:復(fù)旦大學(xué),2012

[7]趙陽(yáng).地理信息公共服務(wù)平臺(tái)集群架構(gòu)的研究與設(shè)計(jì)[D].昆明:昆明理工大學(xué),2013

作者：齊東蘭 向娟 杜鑫 魏永強(qiáng) 楊雨佳 單位：國(guó)家測(cè)繪地理信息局重慶測(cè)繪院