網(wǎng)絡(luò)規(guī)劃論文：神經(jīng)網(wǎng)絡(luò)的估量規(guī)劃與運(yùn)用范文
本站小編為你精心準(zhǔn)備了網(wǎng)絡(luò)規(guī)劃論文：神經(jīng)網(wǎng)絡(luò)的估量規(guī)劃與運(yùn)用參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。
作者：肖紅李盼池單位：東北石油大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院
為了充分模擬生物神經(jīng)元的時間累積效果，以便提高傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的逼近能力，本文提出一種基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型(sequenceinput-basedneuralnetworks,SINN)，該模型的每個輸入樣本為多維離散序列，可表述為一個矩陣。基于L-M算法設(shè)計(jì)了該模型的學(xué)習(xí)算法。以太陽黑子數(shù)年均值預(yù)測為例，仿真結(jié)果表明，當(dāng)輸入節(jié)點(diǎn)數(shù)和序列長度比較接近時，該模型的逼近和預(yù)測能力明顯優(yōu)于普通神經(jīng)網(wǎng)絡(luò)。
基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型
1基于序列輸入的神經(jīng)元模型
對于n×q矩陣式樣本，普通神經(jīng)元將每一列視為單個樣本，而將整個矩陣視為q個n維樣本。為實(shí)現(xiàn)對矩陣式樣本的整體映射，本文提出序列神經(jīng)元模型，如圖1所示。
2基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型
本文提出的序列輸入神經(jīng)網(wǎng)絡(luò)模型為三層結(jié)構(gòu)，隱層為序列神經(jīng)元，輸出層為普通神經(jīng)元，如圖3所示，圖中g(shù)為sigmoid函數(shù)。
基于序列輸入的神經(jīng)網(wǎng)絡(luò)算法
1算法原理
令輸入層n個節(jié)點(diǎn)，隱層p個節(jié)點(diǎn)，輸出層m個節(jié)點(diǎn)。給定L個學(xué)習(xí)樣本，其中第l(l=1,2,,L)個樣本可表示為若逼近誤差小于等于預(yù)先設(shè)定的限定誤差，或迭代步數(shù)帶到預(yù)先設(shè)定的最大步數(shù)，則算法終止。
2實(shí)施方案
Step1模型初始化。包括：序列長度、各層節(jié)點(diǎn)數(shù)，各層權(quán)值的迭代初值，限定誤差E，限定步數(shù)G。置當(dāng)前代數(shù)g=1。Step2按式(4-5)計(jì)算各層輸出，按式(6-15)調(diào)整網(wǎng)絡(luò)權(quán)值。Step3按式(16)計(jì)算逼近誤差maxE，若E>Emax或g<G，則g=g+1轉(zhuǎn)Step2，否則轉(zhuǎn)Step4。Step4保存各層權(quán)值，停機(jī)。
仿真對比
1Mackey-Glass時間序列逼近
本節(jié)以Mackey-Glass數(shù)據(jù)逼近作為仿真對象，并與普通三層ANN對比，驗(yàn)證SINN的優(yōu)越性。Mackey-Glass序列樣本可由下式產(chǎn)生為使對比公平，兩種算法采用相同的網(wǎng)絡(luò)結(jié)構(gòu)，且均采用L-M算法調(diào)整權(quán)值。由上式生成序列仿真方案為用前面的m個數(shù)據(jù)，預(yù)測緊鄰其后的1個(即第m+1個)數(shù)據(jù)。因此兩種模型的輸出層均只有一個節(jié)點(diǎn)。為使對比充分，兩種模型隱層均取5,10,,20個節(jié)點(diǎn)。樣本歸一化后的限定誤差取0.05，限定步數(shù)取100。兩種模型的初始權(quán)值均在(-1,1)中隨機(jī)選取，L-M算法的控制參數(shù)=0.05tµ。ANN隱層和輸出層采用Sigmoid函數(shù)。
根據(jù)仿真方案，我們?nèi)☆A(yù)測長度m=24。令SINN輸入節(jié)點(diǎn)為n，序列長度為q，顯然，q反映在時間上的積累。為考察SINN的性能，即考察當(dāng)n和q滿足什么關(guān)系時，SINN的性能最佳，我們將SINN輸入節(jié)點(diǎn)n和序列長度q分別取為表1所示的8種情況，顯然ANN的輸入節(jié)點(diǎn)只有m=24一種情形。為便于對比，首先定義收斂的概念。算法終止后，若逼近誤差小于限定誤差，稱算法收斂。
對于輸入節(jié)點(diǎn)和隱層節(jié)點(diǎn)的每種組合，分別用兩種模型仿真10次，并記錄每種模型的平均逼近誤差、平均迭代步數(shù)、平均收斂次數(shù)作為評價(jià)指標(biāo)。仿真結(jié)果表明，SINN3_8、SIQNN4_6、SIQNN6_4、SIQNN8_3這四種SINN的逼近能力明顯優(yōu)于ANN。兩種模型的訓(xùn)練結(jié)果對比如圖4-6所示。
2太陽黑子數(shù)年均值預(yù)測
太陽黑子是太陽活動中最基本、最明顯的活動現(xiàn)象。太陽黑子產(chǎn)生的帶電離子，可以破壞地球高空的電離層，使大氣發(fā)生異常，還會干擾地球磁場，從而使電訊中斷，因此研究太陽黑子的變換規(guī)律有著重要的現(xiàn)實(shí)意義。本節(jié)利用觀測數(shù)據(jù)，采用SINN建立太陽黑子的預(yù)測模型，并通過與ANN和PNN對比，驗(yàn)證SINN的優(yōu)越性。
2.1構(gòu)造樣本數(shù)據(jù)
本實(shí)驗(yàn)采用太陽黑子的年度平均值序列作為仿真對象，從1749年至2007年，共計(jì)259個數(shù)據(jù)。該數(shù)據(jù)呈現(xiàn)高度非線性，致使常規(guī)預(yù)測模型很難湊效。其分布特征如圖7所示。樣本數(shù)據(jù)的構(gòu)造方法是：用連續(xù)24年的數(shù)據(jù)預(yù)測其后1年的太陽黑子數(shù)。例如用1749-1773年數(shù)據(jù)預(yù)測1774年的太陽黑子數(shù)，以此類推。用1749-1948共200年的數(shù)據(jù)構(gòu)造訓(xùn)練樣本集，完成模型訓(xùn)練。用余下的59個樣本作為測試集，以檢驗(yàn)?zāi)Ｐ偷念A(yù)測能力。
2.2模型參數(shù)設(shè)置
本仿真將SINN與采用L-M算法的ANN和PNN對比。隱層均分別取10,11,,25個節(jié)點(diǎn)。根據(jù)上節(jié)結(jié)果，我們僅考察SINN3_8、SINN4_6、SINN6_4、SINN8_3四種模型。限定誤差取0.05，限定步數(shù)取1000。PNN輸入輸出均為一個節(jié)點(diǎn)，正交基采用24個Fourier基函數(shù)。
4.2.3訓(xùn)練結(jié)果對比
對于隱層節(jié)點(diǎn)的每種取值，分別用ANN、PNN和四種SINN訓(xùn)練10次，并統(tǒng)計(jì)平均逼近誤差、平均迭代步數(shù)、收斂次數(shù)，作為評價(jià)指標(biāo)。訓(xùn)練結(jié)果對比如圖8-10所示。
2.4預(yù)測結(jié)果對比
下面考察SINN和PNN、ANN的預(yù)測性能對比。以隱層20個節(jié)點(diǎn)為例，將ANN、PNN和4種SINN分別用訓(xùn)練集訓(xùn)練10次，每次訓(xùn)練之后，不論是否收斂，立即用測試集預(yù)測，然后統(tǒng)計(jì)最大誤差maxE、誤差均值avgE、誤差方差varE這三項(xiàng)指標(biāo)的10次預(yù)測平均值，對比結(jié)果如表2所示，以SINN4_6為例，對比曲線如圖11所示。
3對仿真結(jié)果的分析
綜合以上兩個仿真結(jié)果可知，當(dāng)輸入節(jié)點(diǎn)n和序列長q比較接近時，SINN的逼近及預(yù)測能力明顯好于PNN和ANN。對此可作如下分析。SINN直接接收離散序列，通過兩次映射將輸入序列循環(huán)地映射為隱層序列神經(jīng)元的輸出，由于序列神經(jīng)元采用了更多可調(diào)的權(quán)值，所以SINN有更強(qiáng)的逼近能力。從SINN算法可以看出，輸入節(jié)點(diǎn)可以視為模式記憶的寬度，而序列長度可以視為模式記憶的深度，當(dāng)寬度和深度適當(dāng)匹配時，SINN呈現(xiàn)出明顯優(yōu)于PNN和ANN的性能。對于PNN由于只能以深度方式獲取樣本信息，加之正交基展開帶來的截?cái)嗾`差，必然導(dǎo)致逼近能力下降。對于ANN，由于只能接收幾何點(diǎn)式的向量輸入，即只能以寬度方式而不能以深度方式獲取樣本信息，因此在ANN的信息處理過程中，不可避免地存在樣本信息的丟失，從而使逼近能力受到影響。
結(jié)論
本文提出了一種基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型及算法。仿真結(jié)果揭示出，該模型可以使SINN從寬度和深度兩方面高效的獲取樣本信息，當(dāng)輸入節(jié)點(diǎn)和序列長度比較接近時可明顯提高其逼近和泛化能力。
