網(wǎng)絡(luò)勘測論文：網(wǎng)絡(luò)系統(tǒng)異樣勘測方式范文

本站小編為你精心準備了網(wǎng)絡(luò)勘測論文：網(wǎng)絡(luò)系統(tǒng)異樣勘測方式參考范文，愿這些范文能點燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

作者：向直揚朱俊平單位：西北農(nóng)林科技大學信息工程學院

改進的SOINN算法

SOINN是用于機器人工程的聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了在線的拓撲結(jié)構(gòu)學習。最初SOINN是一個雙層的競爭神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，存在著諸如難于決定何時停止第一層網(wǎng)絡(luò)的訓練，并開始第二層訓練等問題。增強的SOINN，即ESOINN引入了單層網(wǎng)絡(luò)的結(jié)構(gòu)，同時引入了新的參數(shù)。2011年Shen提出改進的SOINN（以下簡稱為ISOINN），減少了參數(shù)數(shù)目。

改進的SOINN以序列的方式讀取訓練數(shù)據(jù)，然后維持節(jié)點集合N以及一些連接這些節(jié)點的邊用來表示數(shù)據(jù)的拓撲結(jié)構(gòu)。當讀取一個新樣本時，將經(jīng)過三個步驟的處理：首先將其進行類間插入或類內(nèi)插入；然后，如果學習已經(jīng)進行了λ次，則進行噪音刪除；最后進行節(jié)點編組。

1類間插入和類內(nèi)插入在進行類內(nèi)插入之后，將連接獲勝者和其鄰居的所有邊的年齡加1，如果一條邊的年齡大于指定的最大年齡age_max時，刪掉這條邊。

2噪音刪除

在接受了λ個樣本之后，進行噪音刪除。刪除的方法是刪掉N中鄰居的數(shù)目小于2的點。在實驗的過程中發(fā)現(xiàn)，如果將算法加上額外的噪音刪除，將大大提高訓練的分類器的分類效果。具體的做法是，在最后一輪噪音刪除中，刪掉累積點數(shù)小于λ的點，理由有兩點：（1）這些點是在最后一輪訓練時候剛剛到來的，因此是孤立點；（2）這些點代表的類型的數(shù)目太少。

3節(jié)點編組

在噪音刪除之后，ISOINN算法對節(jié)點進行編組。為了表示節(jié)點的拓撲結(jié)構(gòu)，引入了一個密度的概念，節(jié)i的密度iD的計算方法如(7)式：(7)式中||iN是節(jié)點i鄰居節(jié)點的數(shù)目。根據(jù)點的密度的定義，定義邊的密度為其連接的兩個點中密度較小的點的密度。算法1總結(jié)了節(jié)點編組的方法。

4使用ISOINN訓練網(wǎng)絡(luò)數(shù)據(jù)分類器

ISOINN的訓練結(jié)果是子簇的中心點，已及這些點歸屬于哪個組的信息。從訓練結(jié)構(gòu)中構(gòu)造網(wǎng)絡(luò)數(shù)據(jù)分類器的方法為：將點的數(shù)目最多的組中所有點標記為正常，其他組中的點標記為異常。這樣做的理由是，網(wǎng)絡(luò)中的正常應用的種類和數(shù)據(jù)（對于使用入侵檢測的度量方法來說）內(nèi)容相似，且數(shù)據(jù)量較多。對于待分類的樣本，利用公式（1）來尋找其最近鄰居，將樣本用其最近鄰居的標記來標記。這樣就構(gòu)建了一個對于網(wǎng)絡(luò)數(shù)據(jù)的最近鄰分類器。

使用數(shù)據(jù)精簡的方法加速網(wǎng)絡(luò)數(shù)據(jù)的訓練

通常在網(wǎng)絡(luò)入侵檢測的數(shù)據(jù)集“10%KDDCup99”上訓練神經(jīng)網(wǎng)絡(luò)分類器的時候，需要超過一天的時間。訓練速度過慢，對于在線訓練的異常檢測系統(tǒng)是不能接受的，因為這意味著高的丟包率。因此提出使用數(shù)據(jù)精簡的方法來加速ISOINN的訓練。將要討論的數(shù)據(jù)精簡方法包括三種：隨機子集選取（RandomSubsetSelection，簡寫為RSS），基于k-means聚類的方法，和基于主成分分析（PCA）的方法。在接下來的實驗中，將比較這三種方法的加速效果。RSS方法可以看做是簡單的下采樣，另外兩種方法則要復雜一些，有更堅實的理論基礎(chǔ)。

1基于k-means聚類的數(shù)據(jù)精簡

此方法的靈感來自于用于數(shù)據(jù)流聚類的k-means。用于流聚類的k-means使用滑動窗口的方式，首先對每個窗口內(nèi)的樣本聚類，獲得聚類中心，然后再對這些聚類中心進行聚類。提出的方法與流聚類的k-means不同的是，當獲得了窗口內(nèi)的聚類中心之后，不是進行存儲，而是直接將其用于ISOINN的訓練。這樣直接用于ISOINN的訓練的樣本數(shù)目就能減少。記滑動窗口的大小為w，數(shù)據(jù)精簡率為reduct_rate，則基于k-means的數(shù)據(jù)精簡方法為：每讀取了w個樣本之后，對其進行k-means聚類，聚類中心數(shù)目為reduct_rate×w。將聚類中心作為精簡之后的數(shù)據(jù)。

2基于主成分分析的數(shù)據(jù)精簡

PCA是一種利用統(tǒng)計學理論，選取具有最大方差的數(shù)據(jù)成分的方法。它是一種通過線性變換，在盡量不損失數(shù)據(jù)中有效信息的情況下，降低數(shù)據(jù)維數(shù)的方法。

PCA目前被廣泛應用于機器學習領(lǐng)域的數(shù)據(jù)降維。在提出的方法中使用PCA進行數(shù)據(jù)精簡。精簡的方式同基于k-means的數(shù)據(jù)精簡方法一樣，使用滑動窗口的方法。每當獲得了維數(shù)為n的w個樣本之后。對數(shù)據(jù)進行一次精簡。算法2總結(jié)了使用PCA進行數(shù)據(jù)精簡的方法。這個算法可以從w個樣本中，獲得精簡率為reduct_rate的數(shù)據(jù)。

特征

選取與k-means這樣的聚類算法一樣，ISOINN需要計算樣本與樣本之間的距離。而網(wǎng)絡(luò)入侵檢測的測試數(shù)據(jù)集屬性較多，這就帶來了維度詛咒的問題。

可以采用特征選取的方法來解決維度詛咒的問題。使用Adaboost進行特征選取。Adaboost結(jié)合DecisionStump的方法，已經(jīng)被證明適合于網(wǎng)絡(luò)入侵檢測問題，這是一種貪心算法，其基本思想是將若干個弱分類器結(jié)合為一個強分類器，并采取迭代的方法實現(xiàn)這個組合，每次選取對于提高分類準確率貢獻最高的那個弱分類器。弱分類器DecisionStump是單節(jié)點的決策樹，最終權(quán)值較高的DecisionStump相對應的屬性，優(yōu)先選擇。

基于ISOINN的異常檢測框架

圖1給出了基于ISOINN的，在線無監(jiān)督學習的網(wǎng)絡(luò)入侵檢測方法框架。特征選取過程的輸入是經(jīng)過處理的用于入侵檢測的數(shù)據(jù)，輸出經(jīng)過篩選的，保留部分屬性的數(shù)據(jù)；數(shù)據(jù)精簡的過程與在線聚類的過程同時進行。在經(jīng)過適當時間的訓練之后，就可以停止訓練，并得到一個針對網(wǎng)絡(luò)數(shù)據(jù)的最近鄰分類器。利用這個分類器，對之后到達的網(wǎng)絡(luò)數(shù)據(jù)進行分類，從中發(fā)現(xiàn)網(wǎng)絡(luò)入侵。

實驗結(jié)果

實驗所使用的平臺環(huán)境為：處理器IntelCorei32.4GHz雙核，存儲器2GB，操作系統(tǒng)為64位linux。

1KDDCup99數(shù)據(jù)集

盡管KDDCup99數(shù)據(jù)集有一些不足，但是它仍被廣泛應用于入侵檢測算法的性能測試。其數(shù)據(jù)是從一個模擬的軍事網(wǎng)絡(luò)中，經(jīng)過9個星期的采集而來，其中包括24種攻擊類型。這些攻擊類型分為4類：DOS，R2L，U2R和網(wǎng)絡(luò)嗅探。實驗中采用10%KDDCup99數(shù)據(jù)集，這是個更加簡要，也更有挑戰(zhàn)性的數(shù)據(jù)集。在下載數(shù)據(jù)中，除開一條格式錯誤的記錄，總共包含了494020條記錄，其中396743條為攻擊記錄。

2特征選取結(jié)果

使用Weka作為工具。Weka中包含了Adaboost算法。實驗中使用了Weka3.6版本，Adaboost的參數(shù)為軟件默認設(shè)置。針對所有的數(shù)值類型屬性進行選取，結(jié)果選中了其中7個：count，dst_bytes，hot，src_bytes，dst_host_srv_serror_rate，dst_host_same_src_port_rate，dst_host_srv_diff_host_rate。訓練的時間為227.5秒。

3ISOINN的參數(shù)選取

實驗采用網(wǎng)格搜索的方法來進行參數(shù)選取。因為單次訓練的時間較長，往往耗時超過一天。為了縮短搜索時間，并保持較好的搜索效果，采用如下的方法：（1）將數(shù)據(jù)集進行20%的下采樣；（2）僅使用特征選取中權(quán)值最高的4個屬性；（3）在對每個參數(shù)組合進行評估時，使用2序交叉驗證。在搜索之前，需要對數(shù)據(jù)進行的對數(shù)變換，并針對每個屬性的標準化。將α設(shè)置為無窮大，最大年齡age_max的搜索范圍是100~1000，每100搜索一次；另一參數(shù)λ的搜索范圍是20~120，每10搜索一次。評估指標是分類準確率。網(wǎng)格搜索的結(jié)果如圖2所示。圖中準確率所構(gòu)成的平面有大量的平坦區(qū)域，說明將ISOINN應用于網(wǎng)絡(luò)入侵檢測的問題時，其性能是穩(wěn)定的。參數(shù)λ取值較大的時候，網(wǎng)絡(luò)的訓練耗時較長。綜合考慮準確率與訓練時間與準確率，選取參數(shù)組合為：age_max=600，λ=30，α=∞。

4實驗結(jié)果

對比入侵檢測算法的評估指標主要為兩項：檢測率與誤警率。檢測率計算方法為，檢測率=準確檢測到的入侵數(shù)目/總共的入侵數(shù)目，誤警率的計算方法為，誤警率=被誤報為入侵的數(shù)目/正常記錄數(shù)目。實驗中，數(shù)據(jù)精簡部分的參數(shù)設(shè)置為：reduct_rate=0.33，w=reduct_rate/λ=90，并且將基于PCA的數(shù)據(jù)精簡的參數(shù)k設(shè)為1。數(shù)據(jù)精簡部分與ISOINN均用python與numpy實現(xiàn)，其中k-means的實現(xiàn)使用了scipy科學計算庫。測試中使用了特征選取的7個特征，經(jīng)過了對數(shù)變換，并且針對每個屬性進行了標準化。

程序的運行沒有使用任何的硬件加速。實驗對比結(jié)果如表4所示。為了與現(xiàn)有文獻中的方法的效果對比，表3中列出了一些現(xiàn)有方法的效果。實驗結(jié)果表明，（1）在ISOINN的訓練加速方面，使用k-means進行數(shù)據(jù)精簡的方法對于加速訓練最有利。使用RSS也能達到很好的效果，其原因可能是數(shù)據(jù)集本身是過采樣的。使用PCA進行數(shù)據(jù)精簡的方法對于減少訓練時間同樣有效，但此方法由于提高了對于網(wǎng)絡(luò)入侵的靈敏度，造成了較高的誤警率。（2）總的來說基于ISOINN與數(shù)據(jù)精簡的網(wǎng)絡(luò)異常檢測方法，在保證較高檢測率的前提下，降低了訓練時間。

結(jié)論與未來工作

提出了基于改進的SOINN與數(shù)據(jù)精簡的網(wǎng)絡(luò)異常檢測方法。在該方法中，隨機子集選取，k-means聚類和主成分分析法被用于減少訓練數(shù)據(jù)樣本數(shù)目，從而減少訓練時間；改進的SOINN被用于在線地，無監(jiān)督地訓練網(wǎng)絡(luò)數(shù)據(jù)分類器。實驗結(jié)果表明，此方法達到了減少對網(wǎng)絡(luò)數(shù)據(jù)分類器進行無監(jiān)督地，在線地訓練的時間的目的。提出的方法存在的問題之一是在訓練過程中使用了特征選取，這相當于使用了有監(jiān)督的度量學習（metriclearning）。為了不使用特征選取而又能完成針對高維數(shù)據(jù)的入侵檢測，可能的改進方法是使用集成（ensemble）學習。