前向神經(jīng)網(wǎng)絡(luò)下的音樂情感識別范文

本站小編為你精心準備了前向神經(jīng)網(wǎng)絡(luò)下的音樂情感識別參考范文，愿這些范文能點燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

摘要:情感是音樂的固有屬性。本文通過對基于音樂多特征的比較，最終選擇旋律走勢作為情感特征，介紹了前向神經(jīng)網(wǎng)絡(luò)運用于音樂情感識別的基本原理，對使用前向神經(jīng)網(wǎng)絡(luò)(Feed－forwardneuralnetwork)進行音樂情感識別的結(jié)果進行分析。實驗結(jié)果顯示:前向神經(jīng)網(wǎng)絡(luò)在音樂情感識別領(lǐng)域有著較高的準確性，能夠有效地對音樂情感進行識別。

關(guān)鍵詞:情感識別;前向神經(jīng)網(wǎng)絡(luò);特征提取

1引言

現(xiàn)如今多媒體技術(shù)和信號處理技術(shù)的快速發(fā)展，通過互聯(lián)網(wǎng)作為媒介，數(shù)字音樂借此得到了更好的發(fā)展和傳播，其中對海量在線音樂作品的管理和檢索的需求日益增加。音樂的本質(zhì)性特征是情感［1］，有研究發(fā)現(xiàn)，檢索和描述音樂最常用的就是情感詞［2］，基于音樂情感屬性來組織和檢索音樂的需求是客觀存在的。音樂情感識別系統(tǒng)通過分析音樂的音頻數(shù)據(jù)和其他相關(guān)信息構(gòu)建計算模型［3］，從而實現(xiàn)音樂情感自動判別。深度學(xué)習(xí)(deeplearning)能從數(shù)據(jù)中學(xué)習(xí)音頻的底層特征與高層概念的關(guān)系，而且機器學(xué)習(xí)在分類、回歸與特征等中也取得了較好的結(jié)果。音樂情感識別正在面臨著巨大的挑戰(zhàn)，挑戰(zhàn)產(chǎn)生的原因在于如何將音頻信號的特征與音樂的情感語義之間存在著難以用物理參數(shù)描述的差異［4］，通過機器學(xué)習(xí)進行情感識別，也許能夠跨越這一差異。前向神經(jīng)網(wǎng)絡(luò)在音樂相關(guān)研究中有著較為出色的表現(xiàn)，因此模型采用了前向神經(jīng)網(wǎng)絡(luò)。

2算法發(fā)展及研究現(xiàn)狀

音樂情感識別已經(jīng)研討了很多年，音樂情感識別是涉及多個學(xué)科的跨學(xué)科領(lǐng)域，心理學(xué)、音樂學(xué)、機器學(xué)習(xí)、信號處理、模式識別、數(shù)據(jù)挖掘等都是音樂情感自動分析的相關(guān)領(lǐng)域。目前音樂情感識別主要通過機器學(xué)習(xí)的方式建立計算機模型［3］，從而進行音樂情感的識別。在2004年T．Li等［5－6］設(shè)計并實現(xiàn)了一種名為MARSYAS的情感檢測系統(tǒng)，該系統(tǒng)完成了對音樂情感的模糊識別，通過提取諸如音調(diào)和節(jié)拍等音樂信息，然后將這些數(shù)據(jù)輸入支持向量機(SVM)，對模型進行訓(xùn)練，從而實現(xiàn)音樂情感識別。同年M．Wang［7］等人也實現(xiàn)了自動識別音樂情感的工作，經(jīng)過支持向量機(SVM對音樂頻譜特征的提取，利用這些數(shù)據(jù)進行模型訓(xùn)練，從而識別音樂的情感類型。2009年CyrilLaurier等人通過監(jiān)督學(xué)習(xí)進行模型訓(xùn)練完成音樂情感識別，運用支持向量機(SVM)進行音樂情感的主動標注，將特征提取的結(jié)果作為模型訓(xùn)練的輸入。通過基因表達式編程(GEP)算法，浙江大學(xué)劉濤［8］對音樂情感表達的向量進行探索，剖析了情感語義之間的相似關(guān)系，最終完成了音樂特征空間到情感空間的映射。2014年Weninger等提出了基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetwork，RNN)［10］情感識別方法。該使用頻譜提取低層特征，在低層特征的輪廓上計算矩陣、百分位數(shù)和回歸系數(shù)等一般特征作為RNN的前端輸入，通過實驗認證該模型優(yōu)于支持向量回歸(SVR)及前饋神經(jīng)網(wǎng)絡(luò)(FNN)。2016年Li等提出了基于DBLSTM(DeepBidirectionalLongShort－TermMemory)［11］的音樂動態(tài)情感預(yù)測方法。該方法基于多種尺度的時間序列訓(xùn)練多個DBLSTM，然后使用超限學(xué)習(xí)機(ExtremeLearningMachine，ELM)將訓(xùn)練結(jié)果融合起來得出結(jié)論。3FNN模型前向神經(jīng)網(wǎng)絡(luò)(Feed－forwardneuralnetwork)是神經(jīng)網(wǎng)絡(luò)中基礎(chǔ)的網(wǎng)絡(luò)架構(gòu)，區(qū)別于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)，前向神經(jīng)網(wǎng)絡(luò)的單元之間不形成連接，通過對輸入進行各種非線性變化后對數(shù)據(jù)進行擬合。

2．1神經(jīng)網(wǎng)絡(luò)傳播公式神經(jīng)網(wǎng)絡(luò)的傳播方式包括前向傳播和反向傳播，前向傳播指的是模型自底向上進行傳播，根據(jù)給定的輸入進行計算。反向傳播根據(jù)向前傳播計算結(jié)果計算損失值，反向傳播錯誤使用梯度下降算法進行計算、訓(xùn)練各神經(jīng)元參數(shù)。

2．2Softmax分類器本文對于FNN的訓(xùn)練采用Softmax作為激活函數(shù)，Softmax在多分類問題上有著不錯的表現(xiàn)，因為Softmax每個神經(jīng)元的輸出為正且和為1，因此可將Softmax層的輸出視為概率分布。對于計算結(jié)果就能得到一個直觀的解釋。

3情感識別整體框架

基于前向神經(jīng)網(wǎng)絡(luò)的音樂情感識別包括以下流程:(1)對音樂情感進行分類，根據(jù)種類構(gòu)建數(shù)據(jù)集;(2)對數(shù)據(jù)集的數(shù)據(jù)進行特征提取，構(gòu)建神經(jīng)網(wǎng)絡(luò)模型;(3)輸入訓(xùn)練樣本集訓(xùn)練得到輸出值，計算誤差，反向更新模型參數(shù)，重復(fù)此過程直至誤差小于期望誤差;(4)輸入測試樣本，進行測試。

4實驗素材及分類設(shè)計

4．1音樂情感分類情感是非常主觀的東西，不同的人之間存在較大差異，并且難以用合適的量級進行評價。音樂情感識別要完成的是對音樂作品的情感內(nèi)涵進行自動分析，其中最重要的前提工作是對情感進行合理的分類。連續(xù)維度情感模型雖然能夠細膩地將同類情感進行分類，但是對于音樂的分類不夠直觀，離散類別情感模型對情感的分類更接近人類體會音樂并進行描述的音樂情感，更適用于MIDI格式的符號樂曲的情感分類研究。為了研究情感分類對實驗的準確度的影響，本次試驗依據(jù)YangYH等人［15］所運用的情感模型將數(shù)據(jù)集的音樂情感粗略分為生機勃勃的(Exuber-ance)、焦慮的(Anxious)、令人滿足的(Content-ment)、喪氣的(Depression)。再次實驗時，將以上四種情感更加細致地分為活力的(Aggressive)、苦樂參半的(Bittersweet)、快樂(Happy)、幽默的(Humor-ous)、激昂的(Passionate)五種情感。

4．2數(shù)據(jù)集構(gòu)成我們通過網(wǎng)絡(luò)爬蟲在Yoube上收集了196首多音軌MIDI文件，演奏風(fēng)格多樣化，演奏樂器多樣化、情感描述準確，對于這些音樂文件按照下載時情感標簽分為四類，再根據(jù)具體需求進行更細致的分類。

5實驗結(jié)果及分析

5．1特征提取文獻［14］運用超梯度提升算法xgboost建立模型，將音樂的中高層次特征作為模型輸入實現(xiàn)了音樂情感自動識別。在多維空間中將音樂特征輸入結(jié)果與音樂情感進行非線性擬合，與低水平特征輸入產(chǎn)生的結(jié)果相比，基于中高級特征的音樂情感識別模型的識別精度所能達到的精度有明顯的提升。文中實驗還發(fā)現(xiàn)情感識別受中高級特征影響的情況也有所差異，根據(jù)統(tǒng)計可以看出，各特征對音樂情感識精度的影響情況如下:速度＞調(diào)式＞旋律走勢＞樂器＞和弦＞紋理＞節(jié)奏。音樂調(diào)式無法直接通過MIDI文件數(shù)據(jù)直接獲取，需要專業(yè)人士對音樂文件進行分析后最終確定，旋律被稱為音樂的首要要素，音樂的速度可通過MIDI文件數(shù)據(jù)直接獲取但并不是音樂構(gòu)成要素中最重要的，綜合考慮特征提取的準確和難易程度，最終決定將音樂的旋律作為前向神經(jīng)網(wǎng)絡(luò)的輸入，旋律走勢可表示為一段時間的音樂音高的變化。

5．2基于FNN的音樂情感識別結(jié)果及分析隨機選取相同數(shù)量的音頻數(shù)據(jù)對FNN模型進行50次測試。

6結(jié)論

情感識別在音樂檢索和數(shù)據(jù)服務(wù)方面有著不可動搖的地位，研究情感識別有著較高的現(xiàn)實意義。本文通過構(gòu)建前向神經(jīng)網(wǎng)絡(luò)對音樂情感識別進行了研究，通過研究的實驗數(shù)據(jù)可以看出，前向神經(jīng)網(wǎng)絡(luò)對于音樂情感識別有較高的準確度，同時該準確度受到分類數(shù)、音樂情感復(fù)雜程度的影響。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時間受到CPU或者GPU運行狀態(tài)的影響，同時分類數(shù)的不同也會在一定程度上影響訓(xùn)練時間。由于較為復(fù)雜的音樂在不同的“段落”所表示的情感也許并不與整體情感相符合，這帶來了識別的困難，導(dǎo)致前向神經(jīng)網(wǎng)絡(luò)對于此種類型的音樂判斷準確率較低，若將同一音頻數(shù)據(jù)分為多段，將多段輸入到訓(xùn)練好的神經(jīng)進行“投票”，對音樂情感的判斷也許會更加準確、科學(xué)。同時通過使用更加復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)進行試驗，如與時間相關(guān)的分類問題上較為優(yōu)秀的循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetworks，RNN)對音樂情感分類進行研究，也許能夠得到優(yōu)于前向神經(jīng)網(wǎng)絡(luò)的結(jié)果。

作者：趙薇；王立昊；黃敬雯；周義楠 單位：中國傳媒大學(xué)理工學(xué)部