海量數據離線存儲系統研究范文

本站小編為你精心準備了海量數據離線存儲系統研究參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

《中國檔案雜志》2016年第二期

近年來，隨著檔案信息化的發展，我國各級各類檔案館所保存的數字檔案信息急劇增加，且呈持續快速增長趨勢。海量檔案信息的安全管理問題已成為各級檔案部門面臨的重要問題。隨著國家電子政務的進一步推進，該問題將愈加突出。為此，各檔案館綜合利用在線存儲、近線存儲、離線存儲等不同方式，對檔案信息進行存儲和備份。許多檔案館在制定本單位的存儲策略時，針對檔案信息安全要求高、使用頻率相對較低等特點，綜合考慮在線和離線等存儲方式的技術特點和投資情況等因素，將離線存儲方式作為本單位海量檔案信息的存儲策略之一。如何科學合理地進行海量數據的離線存儲，已成為檔案工作者在解決海量檔案信息安全存儲問題時面臨的重要課題。為此，國家檔案局檔案科學技術研究所、浙江省檔案局（館）、北京漢龍思琪數碼科技有限公司三家單位聯合開展“海量數據離線存儲系統研究”課題的研究工作。課題針對海量檔案信息的存儲和異地備份的實際需求，提出了檔案數據離線存儲整體解決方案，研制了系列硬盤離線存儲柜，開發了硬盤離線存儲管理系統，制定了檔案工作行業標準《檔案數據硬盤離線存儲管理規范》（草稿）及相關操作規程。課題研究成果將對硬盤在海量檔案信息離線存儲中的應用起到重要的指導作用。該課題榮獲2015年度國家檔案局優秀科技成果一等獎。

一、現狀與問題

海量檔案信息的長期安全保存已成為檔案部門面對的共同問題。各地檔案部門多采用在線備份、近線備份和離線備份相結合的策略，對海量檔案信息進行存儲。每種存儲方式各有其技術特點，其中，在線存儲方式具有數據更新及時、信息查詢速度快等諸多優勢，但是，其購置成本高，運行維護費用大，海量檔案數據全部進行在線存儲需要很大的經費投入。綜合考慮檔案數據具有重要程度高、安全要求高、使用頻率相對較低等特點，許多檔案館都采用了在線存儲和離線存儲相結合的存儲策略。一般將利用頻率高的數據進行在線存儲，以方便快速查詢利用。將利用頻率不高的數據進行近線或離線存儲，以實現長期保存的目標。目前，檔案部門選用的存儲載體主要為硬盤、磁帶和光盤，每種存儲載體各有技術優勢。作為主要存儲載體之一，硬盤在檔案信息存儲備份工作中得到了越來越多的應用。硬盤具有數據讀取速度快、技術發展迅速、單位存儲成本逐年快速降低、單盤介質存儲容量相對較大等優勢，硬盤在數字信息在線存儲中有著廣泛和穩定的應用。近年來，越來越多的檔案館開始將硬盤作為離線存儲載體用于海量檔案信息存儲。經過幾年的實踐，硬盤在檔案信息離線存儲中發揮重要作用的同時，由于硬盤自身的技術特性存在一定劣勢，以及保存和使用不當等原因，造成了硬盤損壞、數據丟失等問題，已成為檔案信息安全的極大隱患。

影響硬盤可靠用于離線存儲的問題主要體現在以下方面：硬磁盤需要定期進行加電和啟動運行以保證其正常運轉，而有些檔案館由于條件限制，直接將硬盤離線存放于檔案庫房中，長期無法加電；硬盤存儲對溫濕度等環境條件要求較高，有的檔案館長期將硬盤存放于后庫中，無法達到硬盤存儲所需的環境條件；硬盤的防震和抗沖擊力較弱，而硬盤用于異地備份時要經過多次搬動和長途運輸，難免引起震動；硬盤數據可擦寫、易修改，用于檔案信息保存時必須能夠防止惡意修改；單塊硬盤容量有限，用于海量檔案數據離線存儲時，為便于管理，多塊硬盤級聯的問題需要解決。解決上述問題，需要針對性地開展研究，通過科學、有效的技術手段，為離線硬盤提供多重保護、檢測和管理機制，以彌補目前硬盤用于離線存儲時所表現出的技術特性的不足，防止由于硬盤損壞帶來的數據丟失問題，為硬盤在海量檔案信息異地備份工作中的應用提供技術支撐，便于檔案部門對離線數據的有效管理，使數字檔案信息資源得以長期安全保存。

二、解決方案

課題組通過理論研究、調查研究、實驗驗證和分析歸納，研究制定了硬盤用于海量檔案數據離線存儲的整體解決方案。該方案從總體架構、系統工作流程、硬件存儲柜及軟件系統功能等方面，設計了海量數據離線硬盤存儲系統。

1.總體架構海量檔案數據離線存儲系統由硬件系統和軟件系統組成，并輔以系列化的操作規程，實現檔案數據硬盤離線存儲的科學化、規范化。該系統可以改變傳統硬盤存儲系統內設備群開、群關的管理和應用模式，可實現存儲系統內硬盤在線和休眠狀態的按需轉換；在確保硬盤存儲系統低功耗運行的同時，實現檔案數據的快速檢索應用；可解決離線設備的自動定期檢測、定期加電維護等技術問題，實現對硬盤存儲系統的保護。

2.工作流程海量檔案數據離線存儲系統功能主要包括：磁盤入庫登記、檢查磁盤在位、檢查磁盤參數、建立檔案目錄結構、目錄掛接、建立數據鏡像、檔案目錄檢索、硬盤出庫、數據利用、查看原文、導出數據、打印數據等。總體方案對所有功能進行了流程化處理，并將用戶規劃為三類角色：磁盤柜管理員。主要完成磁盤入庫登記、檢查磁盤在位、檢查磁盤參數、磁盤出庫等工作。數據管理員。主要完成建立檔案目錄結構、目錄掛接、建立數據鏡像等工作。檔案利用人員。可進行檔案目錄檢索、查看原文、導出數據、打印數據等操作。

3.軟硬件功能硬盤離線存儲柜硬件系統包括柜內硬件和柜體兩部分。柜內硬件主要分為四部分：硬盤陣列控制器模組、SATA總線交換控制模組、本地主控模組和電源模組。每個模組獨立完成特定的功能，模組之間通過控制線和總線連接，相互配合完成硬盤之間的數據傳輸、系統控制及供電控制。硬盤離線存儲柜主要實現對硬盤的集中管理，柜體具備防塵、防磁、防水、防盜、抗沖擊、承受高低溫變化等功能，可在低電壓下工作，并配備備用供電電池。軟件功能主要包括：數據快速遷移、人機交互、硬盤定期循環自檢、狀態監控、定期對硬盤進行加電維護、離線數據管理、數據快速利用等。

三、研究成果

課題組設計研發了具有SATA總線交換模塊的硬盤離線存儲柜和與之配套的管理軟件系統；制定了規范化的硬盤離線存儲操作規程；起草了《檔案數據硬盤離線存儲管理規范》，并以此為草稿申請檔案工作行業標準制定計劃；成功申請了多項技術專利。

1.硬件設備硬件設備系列成果主要為兩大類設備：數據遷移設備和硬盤離線存儲柜。通過兩類設備，可實現檔案數據遷移、檔案數據離線存儲和在線檢索、硬盤檢測和故障報警等功能。(1)移動式數據遷移設備針對許多單位進行光盤、硬盤等載體多套備份的需求，設計了數據遷移設備。利用該設備可實現硬盤間一對多的數據遷移，也可實現光盤到硬盤的一對多的數據遷移，并可根據需要制作光盤鏡像。根據數據快速采集和備份的需求，設計了移動式的數據遷移設備和便攜式數據遷移設備。(2)離線硬盤存儲柜課題組研發了多硬盤存儲的離線硬盤柜，解決了硬盤離線存儲的保存環境問題和定期低壓充電問題。根據不同應用環境和不同應用需求，將硬盤離線存儲柜設計為辦公式、機柜式、倉儲式和軍用備災式四款。每一款硬盤離線存儲柜都具有防塵、防盜、防磁、散熱好等特點，并配備了防盜門鎖，防止非法開啟柜門。實現了機柜之間的級聯及柜內多個硬盤的級聯，單個機柜可提供百塊硬盤的盤位。

2.軟件系統軟件系統主要包括數據遷移管理系統、柜內觸摸屏查詢系統和離線硬盤存儲管理系統。三個軟件系統支撐了光盤數據遷移、柜體獨立管理及控制終端管理。軟件系統可實現對離線硬盤數據的完全控制，防止硬盤數據的非法讀寫與修改；對每一塊硬盤的物理狀態進行實時監測與可視化顯示及報警；建立了整套預警機制；實現對多個硬盤和多個機柜的級聯與管理；實現對預警硬盤的備份復制。

3.操作規程為規范使用檔案數據離線硬盤存儲系統，課題組研究制定了系統操作規程，規定了離線硬盤存儲的技術要求、檢驗規則、安全控制、離線存儲、在線管理和應用的基本工作流程和基本方法。

4.檔案行業標準草稿以研究成果為基礎，課題組起草了檔案工作行業標準《檔案數據硬盤離線存儲管理規范》(草稿)，以期為檔案行業應用離線硬盤開展檔案數據備份工作提供標準化依據。該標準已由全國檔案工作標準化技術委員會審議通過，并列入檔案工作行業標準制定計劃。

5.技術專利課題研究過程中應用了大量先進技術，并進行改進、研發。課題組已將SATA硬盤矩陣的遠程訪問系統、SATA硬盤矩陣級聯系統、SATA硬盤寫保護系統三項核心技術申請了發明專利。

四、研究意義

該課題對硬盤離線存儲模式進行改進，研發硬盤離線存儲柜，為硬盤提供多重保護和檢測機制，以改變目前硬盤作為離線存儲介質時所表現的技術特性的不足，支持在數字檔案信息離線存儲工作中，對數據進行有效的離線存儲和離線管理。該項研究成果將能夠為檔案部門提供檔案信息存儲工作的實際解決方案，適用于不同地區、不同環境下檔案信息的離線存儲工作，具有良好的社會效益和經濟效益。

作者：杜琳琳 單位：國家檔案局科研所