Lustre文件系統(tǒng)的地理環(huán)境構建范文
本站小編為你精心準備了Lustre文件系統(tǒng)的地理環(huán)境構建參考范文，愿這些范文能點燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。
Lustre文件系統(tǒng)是ClusterFileSystems公司開發(fā)的基于對象的網(wǎng)絡存儲文件系統(tǒng)，它所關注的焦點是集群文件系統(tǒng)的性能（performance）和可伸縮性（scalability）[6]。Lustre將系統(tǒng)中的節(jié)點按功能劃分為3種：Client、OST(objectstoragetargets)和MDS(meta-dataservice（)如圖1）。物理上任一節(jié)點都可充當其中一種或多種角色，如一個節(jié)點既可以是Client又可以是OST。Lustre設計采用客戶／服務器模式，即將Client的一次I／O請求分散到多個OST，各OST節(jié)點上的服務進程并行訪問本地磁盤后，再將數(shù)據(jù)返回。所有并行文件的管理由MDS節(jié)點承擔。Lustre是公開源碼的文件系統(tǒng)，遵循GNU的GPL協(xié)議，它具有以下優(yōu)勢：1）分布式元數(shù)據(jù)。NAS文件系統(tǒng)使用單一的或者集中的文件服務器作為元數(shù)據(jù)管理器，而一些SAN文件系統(tǒng)采用的是集中的鎖管理器，這些方式都會使元數(shù)據(jù)的管理成為一個瓶頸問題。Lustre文件系統(tǒng)沒有其他存儲系統(tǒng)的元數(shù)據(jù)管理器瓶頸問題，它可以將MDS分離出來，將90%左右的元數(shù)據(jù)管理工作交給OST完成，并且該文件系統(tǒng)可以支持多個OST。在Lustre1.4.2以前，最多可以支持200個OST；Lustre1.4.2就已經(jīng)可以支持512個OST。良好的元數(shù)據(jù)管理手段，也使得系統(tǒng)的性能得到了很大的提升。2）智能化。因為將傳統(tǒng)文件系統(tǒng)中的存儲管理組件下放到OST中，使得OST具有了強大的管理功能，可以簡化系統(tǒng)存儲管理的任務和數(shù)據(jù)優(yōu)化分布的任務。新增的存儲容量可以自動合并到存儲系統(tǒng)中，將負載分布到多個智能的OST中，并用網(wǎng)絡和軟件將它們有機結合起來，消除了不可擴展問題。如果Lustre文件系統(tǒng)沒有足夠的存儲處理能力，可以增加OST，確保線性增加性能。3）并行數(shù)據(jù)訪問。每個用戶通過專門的對象協(xié)議與元數(shù)據(jù)服務器和OSS進行通信，從而讀取Lustre中的文件，并允許從多個OST中進行并行讀寫，極大地提高了單個節(jié)點用戶的吞吐率，同時用戶訪問文件系統(tǒng)中的數(shù)據(jù)也相當于處理本地磁盤中的數(shù)據(jù)一樣方便。從整體上來說，單個Lustre文件系統(tǒng)支持的用戶數(shù)量已有數(shù)千個。4）安全。傳統(tǒng)的存儲系統(tǒng)通常依賴于Client的身份認證和私有的網(wǎng)絡確保系統(tǒng)安全。基于對象存儲的Lustre文件系統(tǒng)在每個級別都提供安全功能，主要包括存儲設備的身份認證、計算結點的身份認證、計算結點命令的身份認證、所有命令的完整性檢查、基于IPSec的私有數(shù)據(jù)和命令等。這些安全級別可以確保用戶使用更高效、更易獲得的網(wǎng)絡，如以太網(wǎng)等。
2分布式地理環(huán)境的構成方式
虛擬地理環(huán)境中主要包含了地形數(shù)據(jù)和紋理數(shù)據(jù)等。這些數(shù)據(jù)是所有其他內容進行顯示、交互、操作的基礎。當需要展示的地形環(huán)境范圍較大時，這部分基礎數(shù)據(jù)將占據(jù)很大一部分物理存儲空間。現(xiàn)今，對地形、紋理的現(xiàn)勢性要求越來越高，將這部分數(shù)據(jù)進行分布式存儲，就顯得十分必要。根據(jù)分布式虛擬地理環(huán)境的功能需求，將其主要劃分為如圖2所示的4個模塊。1）總體控制模塊。分布式地理環(huán)境可以根據(jù)實際應用情況，調度數(shù)據(jù)的存儲、顯示以及其他一些功能，保證分布在不同位置的服務端與客戶端能夠協(xié)調一致。一旦出現(xiàn)不一致或其他意外情況，也可以由這一模塊進行處理。2）數(shù)據(jù)存儲模塊。該部分主要應用Lustre文件系統(tǒng)對各種數(shù)據(jù)文件進行存儲。通過采用該文件系統(tǒng)進行數(shù)據(jù)的存儲，可以充分利用網(wǎng)絡的開放性，以及Lustre文件系統(tǒng)的安全和高效性，極大地方便了對虛擬地理環(huán)境的管理和使用。3）數(shù)據(jù)顯示模塊。數(shù)據(jù)顯示模塊主要側重于為用戶提供虛擬地理環(huán)境的顯示、操作等功能，并可根據(jù)用戶的不同需求進行定制。4）其他功能模塊。根據(jù)用戶的不同需求，還可以設計其他額外的功能，如數(shù)據(jù)的分析、統(tǒng)計、查詢等。在該分布式地理環(huán)境中，Lustre文件系統(tǒng)主要完成分布式地理環(huán)境中數(shù)據(jù)存儲模塊的工作，并以該文件系統(tǒng)為基礎，負責所有地理數(shù)據(jù)的輸入輸出、數(shù)據(jù)調度管理、響應客戶端的訪問請求等。其工作原理主要是在數(shù)據(jù)存儲模塊中啟動一個數(shù)據(jù)響應服務，當客戶端的數(shù)據(jù)顯示模塊向元數(shù)據(jù)服務器提出數(shù)據(jù)請求時，元數(shù)據(jù)服務器在存儲服務器中查詢數(shù)據(jù)，并控制多臺存儲服務器同時向客戶端發(fā)送數(shù)據(jù)，完成數(shù)據(jù)請求。以該方式提供數(shù)據(jù)服務的主要優(yōu)勢有以下2點：1）數(shù)據(jù)傳輸安全。數(shù)據(jù)的請求和發(fā)送都是通過元數(shù)據(jù)服務器控制完成實現(xiàn)的，使得數(shù)據(jù)發(fā)送和傳輸過程有一定的穩(wěn)定性保障，當部分存儲服務器出現(xiàn)問題時，還可以通過元數(shù)據(jù)服務器控制啟動備份的存儲服務器來完成數(shù)據(jù)傳輸工作。2）工作效率高。元數(shù)據(jù)服務器只負責數(shù)據(jù)請求響應，而數(shù)據(jù)的發(fā)送是由多臺存儲服務器完成的，這樣可以保證高效率地完成多用戶的數(shù)據(jù)請求過程，而不影響數(shù)據(jù)發(fā)送進程，提高了工作效率。
3Lustre文件系統(tǒng)實驗環(huán)境
系統(tǒng)環(huán)境：3節(jié)點架構，1臺客戶端（CLS），2臺元數(shù)據(jù)服務器（MDS）（其中1臺作為備份），2臺對象存儲服務器（OSS），設置1臺作為總控制端（如圖3）操作系統(tǒng)：3臺機器操作系統(tǒng)統(tǒng)一（RedHatEnterpriseLinuxAS4UP2，2.6.9-22.EL），選擇完全安裝。安裝Lustre相關rpm包，本次測試安裝1.60版本，嚴格按照文件系統(tǒng)規(guī)定，依次安裝文件。模塊配置：編修grub.conf文件，啟動Lustre補丁內核。可以看到，客戶端已經(jīng)掛載了Lustre文件系統(tǒng)，也可以同樣用OS服務器掛載。通過客戶端上掛載的文件系統(tǒng)創(chuàng)建一個文件夾，并在OSS服務器上掛載后也能看見相同的文件。這些操作都可以通過控制端統(tǒng)一完成。
4結語
本文分析了目前分布式地理環(huán)境發(fā)展的一些不足，通過總結Lustre文件系統(tǒng)的優(yōu)勢，將該文件系統(tǒng)引入到分布式地理環(huán)境中。應用Lustre文件系統(tǒng)，不但可以在系統(tǒng)兼容性方面帶來更多便利，而且該文件系統(tǒng)本身所具備的備份機制和安全機制，也極大地提高了整個分布式地理環(huán)境數(shù)據(jù)存儲和數(shù)據(jù)服務的穩(wěn)定性。另外，Lustre文件系統(tǒng)以開源的Linux操作系統(tǒng)為平臺開發(fā)，主要以網(wǎng)絡應用為基礎，在未來也必將有更加廣泛的應用前景。從某種角度上看，Lustre在技術發(fā)展上也存在著一些不足，主要體現(xiàn)在對Windows平臺的兼容性方面。Lustre文件系統(tǒng)從誕生開始就只應用在Linux平臺上，而目前的廣大用戶還是以Windows操作系統(tǒng)為主，因此將已開發(fā)的軟件平臺進行整合還存在一定的難度。但由于Linux無論在高性能計算還是在通用事務處理領域的發(fā)展都有明顯的上升趨勢，在未來的應用中，Lustre文件系統(tǒng)仍然有很好的發(fā)展前景。
作者：宋龍 李延杰 韓錦寧 單位：65014部隊 61206部隊