大數(shù)據(jù)平臺(tái)下自動(dòng)化運(yùn)維及監(jiān)控技術(shù)研究范文

本站小編為你精心準(zhǔn)備了大數(shù)據(jù)平臺(tái)下自動(dòng)化運(yùn)維及監(jiān)控技術(shù)研究參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

摘要:科學(xué)技術(shù)日新月異,伴隨著信息技術(shù)的更新迭代,大數(shù)據(jù)已成為社會(huì)各行業(yè)信息技術(shù)發(fā)展的契機(jī),不斷引發(fā)熱潮。進(jìn)入2017年,作為對(duì)信息爆炸性增長(zhǎng)和描述的描述和定義詞匯,大數(shù)據(jù)一詞在多個(gè)領(lǐng)域被越來(lái)越多的提及。相應(yīng)的,作為一個(gè)一體化、綜合性應(yīng)用的平臺(tái),其功能涉及到方方面面,包括數(shù)據(jù)管理、企業(yè)資產(chǎn)管理、數(shù)據(jù)庫(kù)服務(wù)可用性監(jiān)控等,為企業(yè)提高運(yùn)行效率和服務(wù)質(zhì)量,降低運(yùn)營(yíng)成本做出貢獻(xiàn)。本文通過(guò)對(duì)大數(shù)據(jù)和運(yùn)維的概念、特征,分析了智能監(jiān)控技術(shù)與大數(shù)據(jù)運(yùn)維結(jié)合的幾個(gè)關(guān)鍵因素,提出了一套基于大數(shù)據(jù)平臺(tái)的智能監(jiān)控技術(shù)的理論。

關(guān)鍵詞:大數(shù)據(jù)；自動(dòng)化；運(yùn)維關(guān)鍵技術(shù)

1大數(shù)據(jù)平臺(tái)面臨的挑戰(zhàn)

面對(duì)領(lǐng)域大數(shù)據(jù),在全生命周期面臨著前所未有的挑戰(zhàn),具體到領(lǐng)域來(lái)看,大數(shù)據(jù)的生命周期面臨如下難題:(1)采集類問(wèn)題。如何將大數(shù)據(jù)精細(xì)化,即如何有效地處理大數(shù)據(jù);如何從單一角度的大數(shù)據(jù)中提煉出對(duì)應(yīng)知識(shí)和應(yīng)用數(shù)據(jù)。(2)大數(shù)據(jù)面臨的儲(chǔ)存問(wèn)題。對(duì)于結(jié)構(gòu)明細(xì)的數(shù)據(jù)列,海量數(shù)據(jù)的更新時(shí)間周期更長(zhǎng)、效率低下;對(duì)于非結(jié)構(gòu)化數(shù)據(jù),進(jìn)行存儲(chǔ)、分析需要轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)難度較大。

2大數(shù)據(jù)平臺(tái)涉及的關(guān)鍵技術(shù)

大數(shù)據(jù)建模、大數(shù)據(jù)分析處理等幾項(xiàng)關(guān)鍵技術(shù)在大數(shù)據(jù)平臺(tái)的有效支撐性方面有重要建樹(shù)。

2.1大數(shù)據(jù)平臺(tái)體系架構(gòu)

大數(shù)據(jù)平臺(tái)進(jìn)行系統(tǒng)的研究集成性問(wèn)題,在有針對(duì)性的分析后,對(duì)其應(yīng)用領(lǐng)域中,具有規(guī)模龐大、數(shù)據(jù)關(guān)聯(lián)性密切的特點(diǎn),大數(shù)據(jù)的作用越來(lái)越多的傾向于將其作為商業(yè)決策的重要依據(jù)。

2.2大數(shù)據(jù)的建模和存儲(chǔ)技術(shù)

(1)大數(shù)據(jù)建模技術(shù)。要解決大數(shù)據(jù)的統(tǒng)一存儲(chǔ)、管理及高效分析處理,需要解決多源、分布和異構(gòu)數(shù)據(jù)整合問(wèn)題。層次、關(guān)系網(wǎng)狀聯(lián)通和對(duì)象的面向性,是現(xiàn)行階段下數(shù)據(jù)建模的主要討論點(diǎn)。在這些應(yīng)用了本體大數(shù)據(jù)建模方法形式中,大數(shù)據(jù)管理中的困境更容易體現(xiàn)。大數(shù)據(jù)特征為出發(fā)點(diǎn),統(tǒng)一歸納,總結(jié)關(guān)系,將數(shù)據(jù)抽象畫處理,最終實(shí)現(xiàn)大數(shù)據(jù)的建模完整,是大數(shù)據(jù)統(tǒng)一建模的幾個(gè)步驟。具體有三類信息是大數(shù)據(jù)分析過(guò)后,需要被定義的三類關(guān)鍵信息:大數(shù)據(jù)的根本信息、功能性問(wèn)題信息、協(xié)調(diào)聯(lián)動(dòng)機(jī)制信息。大數(shù)據(jù)的特征不同會(huì)引起分類聚合的效果,在頂層數(shù)據(jù)信息的結(jié)構(gòu)化中,結(jié)構(gòu)化和非結(jié)構(gòu)化均有較大差異,對(duì)數(shù)據(jù)的研究一般會(huì)按照一定條件如時(shí)間、而后進(jìn)行分析應(yīng)用。

(2)自動(dòng)化運(yùn)維模型的接口。在各類分類索引、儲(chǔ)存索引和樹(shù)形索引中,統(tǒng)一接口的綜合構(gòu)成中起到?jīng)Q定性作用。用戶通過(guò)該接口能針對(duì)多源大數(shù)據(jù)建立管理和關(guān)聯(lián)。自動(dòng)化運(yùn)維管理平臺(tái)功能涉及數(shù)據(jù)中心日常巡檢、企業(yè)設(shè)備資產(chǎn)管理等,在企業(yè)運(yùn)維的日常管理中,提供了強(qiáng)有力支撐,便于提高運(yùn)行效率的同時(shí),降低了成本。并且在面向意向?qū)ο笤O(shè)計(jì)過(guò)程中,提出一種多行業(yè)信息部門均適應(yīng)的系統(tǒng)設(shè)計(jì)目標(biāo),并進(jìn)行闡述。

2.3自動(dòng)化運(yùn)維功能設(shè)計(jì)

企業(yè)級(jí)深層次信息化運(yùn)維流程中,自動(dòng)化運(yùn)維平臺(tái)會(huì)將以下三類的數(shù)據(jù)統(tǒng)一監(jiān)管并給予綜合展現(xiàn)。在運(yùn)用設(shè)計(jì)思想對(duì)運(yùn)維資源進(jìn)行對(duì)象化、功能化劃分后,在設(shè)計(jì)目標(biāo)的同時(shí),可以在細(xì)分領(lǐng)域中,將平臺(tái)分為六個(gè)功能區(qū)。

(1)巡檢管理。以表單匯總的模式下,所有數(shù)據(jù)及系統(tǒng)常規(guī)檢查工作均由中心值班人員完成。

(2)運(yùn)維監(jiān)控。以圖形化的方式實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)庫(kù)的可用性。

(3)設(shè)備管理。通過(guò)集中化的平臺(tái)和流程細(xì)化物理設(shè)備信息,在業(yè)務(wù)系統(tǒng)管理人員和服務(wù)器查詢?cè)O(shè)備的支持下,查詢服務(wù)器的信息。

(5)知識(shí)庫(kù)管理。為了供維修人員方便查閱各類技術(shù)運(yùn)維穩(wěn)當(dāng),此類知識(shí)庫(kù)需要統(tǒng)一的管理和歸檔。

(6)第三方平臺(tái)接入。依照現(xiàn)有的運(yùn)維管理工具現(xiàn)狀(比如系統(tǒng)監(jiān)控、ITSM流程監(jiān)控管理系統(tǒng)、堡壘極端服務(wù)器等),在賬戶信息簡(jiǎn)易流程配置的前提下,自動(dòng)化運(yùn)維系統(tǒng)到第三方平臺(tái)的單點(diǎn)登入嫁接通路可以便捷實(shí)現(xiàn)。

(7)信管中心?；谄髽I(yè)內(nèi)部的運(yùn)維條例、體系、信息化處理及監(jiān)控問(wèn)題經(jīng)充分結(jié)合后,精準(zhǔn)。

3數(shù)據(jù)處理因素

3.1數(shù)據(jù)的匹配安全性

對(duì)于媒體流的精準(zhǔn)控制,是數(shù)據(jù)安全度的重要實(shí)施方法,在國(guó)家密碼局對(duì)于密碼管理系統(tǒng)的前端進(jìn)行信息硬件加密,完成對(duì)網(wǎng)絡(luò)高清流媒體的加密;在后端解密時(shí),除了軟件解密,還必須通過(guò)硬件才能防止單一軟件加密方式可能被破解的風(fēng)險(xiǎn)。

3.2數(shù)據(jù)的監(jiān)控處理

對(duì)于可視化視頻的分析處理及定向信息挖掘,是大型監(jiān)控系統(tǒng)的重要指標(biāo)之一。

3.3監(jiān)控系統(tǒng)的冗余問(wèn)題

傳統(tǒng)系統(tǒng)的一大弊端便是對(duì)視頻數(shù)據(jù)的儲(chǔ)存和處理流程繁雜,過(guò)程中能量損耗較高。虛擬化計(jì)算機(jī)的精細(xì)化運(yùn)營(yíng)管理,提高可靠性和貼合度的同時(shí),減少了差錯(cuò)率,降低了繁雜度。

3.4大數(shù)據(jù)平臺(tái)的技術(shù)優(yōu)勢(shì)

高清智能視頻監(jiān)控系統(tǒng)在大數(shù)據(jù)平臺(tái)的數(shù)據(jù)支撐下,技術(shù)優(yōu)勢(shì)凸顯。

3.5大數(shù)據(jù)平臺(tái)的整體擴(kuò)展性

存儲(chǔ)架構(gòu)的分散是大數(shù)據(jù)流程的特點(diǎn)。根據(jù)這一特點(diǎn),可在系統(tǒng)后臺(tái)靈活處理各項(xiàng)任務(wù)。

3.6降低投資成本

硬件匹配性是大數(shù)據(jù)技術(shù)架構(gòu)的基礎(chǔ),可以根據(jù)價(jià)格低廉的投資成本,由系統(tǒng)軟件技術(shù)提供全方位保障。

3.7視頻的高處理度分析

視頻儲(chǔ)存渠道分布廣泛,大數(shù)據(jù)架構(gòu)是視頻分析處理的基本依據(jù)和保障,實(shí)現(xiàn)了大范圍數(shù)據(jù)的關(guān)聯(lián)挖掘,并且提高了效率。

4結(jié)語(yǔ)

本文提出的,大數(shù)據(jù)平臺(tái)能夠面向多領(lǐng)域應(yīng)用,具體而言有如下應(yīng)用:1)提出面向海量信息資源、空間信息、圖像資源以及廣泛采集的數(shù)據(jù)進(jìn)行深度整合和應(yīng)用的手段。

2)隨著web數(shù)據(jù)、PGIS等數(shù)據(jù)逐步納入大數(shù)據(jù)平臺(tái)的應(yīng)用范圍,自動(dòng)化運(yùn)維平臺(tái)為企業(yè)日常信息化運(yùn)維工作保證了高效、穩(wěn)妥等基礎(chǔ)設(shè)施監(jiān)控、預(yù)警聯(lián)動(dòng)、實(shí)時(shí)監(jiān)控等方面均發(fā)揮著積極影響。在大城小巷均遍布著監(jiān)控的平安城市范圍內(nèi),作為越來(lái)越龐大的視頻海量處理體量,處理智能化、落實(shí)高效化是視頻處理發(fā)展的必經(jīng)方向。

參考文獻(xiàn)

[1]維克托•邁爾-舍恩伯格,肯尼思•庫(kù)克耶.大數(shù)據(jù)時(shí)代:生活、工作與思維的大變革[M].盛楊燕,周濤.譯.杭州:浙江人民出版社,2012,12.

[2]萬(wàn)至臻.基于MapReduce模型的并行計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].杭州:浙江大學(xué),2008.

[3]戴炳榮,宋俊典.云計(jì)算環(huán)境下海量分布式數(shù)據(jù)處理協(xié)調(diào)機(jī)制的研究[M].上海:上海計(jì)算機(jī)軟件技術(shù)開(kāi)發(fā)中心,2013,(01).

[4]李存華,孫志輝.GridOF:面向大規(guī)模數(shù)據(jù)集的高效離群點(diǎn)檢測(cè)算法[J].計(jì)算機(jī)研究與發(fā)展,2003,40(11):1586-1592.

作者：宋躍明；謝科軍 單位：安徽繼遠(yuǎn)軟件有限公司