神經網絡模型的人臉檢索方法范文
本站小編為你精心準備了神經網絡模型的人臉檢索方法參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。
摘要:
針對大規模人臉檢索問題,提出了一種帶相關反饋的基于深度神經網絡模型的人臉檢索方法.首先利用卷積神經網絡對人臉進行特征提取,再利用傳統的檢索方法進行人臉檢索,在檢索環節之后加入相關反饋環節.根據用戶反饋的結果,將樣本分成正例和負例,作為反饋環節的訓練樣本,完成反饋環節的訓練.實驗表明,該方法能夠顯著提高人臉檢索的準確率.
關鍵詞:
人臉檢索;卷積神經網絡;哈希檢索;相關反饋
近些年來,隨著計算機技術的不斷發展,計算機視覺(CV)問題越來越受到人們的關注,例如物體識別[1,2]、圖像檢索[3,4]、圖像匹配[5,6]等,而在所有的計算機視覺問題中,人臉識別與檢索方法由于其與人身份的密切聯系而受到研究者更加廣泛的關注.目前的人臉檢索方法主要包括三個部分,人臉圖像預處理,人臉特征提取,特征檢索.而這其中人臉特征提取部分得到的人臉特征的優劣直接決定整個人臉檢索系統的性能.也正是由于這一點,多年來研究者們紛紛提出了多種多樣的特征提取方法.總結這些特征提取方法,主要有兩個研究方向,一是人工設計特征,(如LBP[7],SIFT[8]等),另一個是學習特征.人工設計特征是根據圖像自然具有的顏色,紋理,形狀等特征,通過一定的數學方法,設計出來的一種特征抽取方法,sift特征便是這其中較為出色的特征抽取方法.人工特征雖然具有理論基礎清晰的優點,但是,人工特征的設計需要大量的理論知識和深厚的數學功底,這制約了該方法的進一步發展.2006年,以GeoffreyHinton在Science發表文獻[9],提出深度置信網絡(DeepBeliefNetworks,DBN)可使用非監督的逐層貪心算法來訓練為標志,研究人員開始將深度學習用于圖像特征提取,并在圖像分類問題上取得了驚人的效果.
2014年,XiaogangWang,XiaoouTang等人發表文章[10],利用多層卷積神經網絡提取人臉圖像的特征,并在LFW上驗證其分類效果,實驗表明,文中提出的深度網絡進一步提高了人臉分類的準確率.2014年,XiaogangWang,XiaoouTang等人發表文章[10],利用多層卷積神經網絡提取人臉圖像的特征,并在LFW上驗證其分類效果,實驗表明,文中提出的深度網絡進一步提高了人臉分類的準確率.基于上述人臉特征提取方法,本文提出了一種帶相關反饋的深度學習人臉檢索方法,該方法設計了一種多層的CNN網絡,利用打好類別標簽的人臉圖片數據集訓練該網絡,此深度網絡能提取人臉圖像的特征,基于此特征,再利用傳統的檢索方法,得出待檢索人臉的檢索結果.我們發現,該結果雖然比以往的基于人工特征的檢索方法具有更好的檢索準確率,但是仍然具有較大的提升空間,因此,在檢索之后,加入反饋環節,利用相關反饋算法獲取帶標簽數據,對該反饋網絡進行訓練,最終得到一個帶反饋的深度學習網絡.
1相關概念
1.1卷積神經網絡卷積神經網絡ConvolutionalNeuralNetworks(CNN)是一種特殊的深層神經網絡模型,它的特殊性體現在兩個方面,一方面它的神經元間的連接是非全連接的,另一方面,同一層中某些神經元之間的連接權重是共享的.卷積網絡是為識別二維形狀而特殊設計的一個多層感知器,這種網絡結構對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性.
1.2相關反饋算法人臉檢索領域的反饋即是使用一種判別標準(如人工判斷)對檢索結果的正確性進行判別,再將判別結果回送到檢索系統,優化檢索系統參數,從而起到對檢索結果不斷修正的作用.相關反饋算法,一方面,通過對最佳的查詢方向估計來調整查詢的方向,使其不斷向用戶反饋的正例靠近,而遠離反例;另一方面,利用反饋信息修改距離公式中各分量的權值,突出重要的分量[11,12].
2帶相關反饋的基于深度神經網絡模型的人臉檢索方法
根據文獻[10]的思想,我們設計了一個8層的卷積神經網絡,利用這一網絡結構來實現人臉圖像特征的提取.網絡結構包含1個輸入層,2個卷積層,2個下采樣層,2個全連接層和1個輸出層.網絡中的卷積層和下采樣層是經過專門設計來提取局部特征和全局特征的.最終抽取出一個256維的特征向量用來表示輸入的人臉圖片.網絡結構如圖1所示。基于上述網絡結構得到的人臉特征進行人臉檢索,我們利用文獻[13]中的有監督哈希檢索方法.該文獻的思想是將高維數據投影成二進制碼,通過對帶有相關性標簽的訓練樣本對的學習,相似樣本對之間的漢明距離最小,而不相似的樣本對之間的漢明距離最大.將上述方法應用到人臉檢索中,使用哈希方法獲得待檢索人臉樣本的哈希編碼,再計算這個哈希編碼與檢索庫中其他檢索樣本哈希編碼之間的漢明距離,通過距離的大小來判斷檢索庫中哪些樣本是與待檢索樣本相似的結果.每次檢索過程,一張待檢圖片都會得出若干個最為相似的檢索結果,而這些結果中有部分是正確的檢索結果,而另外一部分則是錯誤的.根據文獻[11]提到的相關反饋算法,檢索用戶能夠很容易判斷這些檢索結果的正誤,且能夠通過簡單的操作將這些結果進行分類(正確或者錯誤).多次檢索會積累一定量的此類數據,以往的檢索方法沒有考慮這些數據,而經驗告訴我們,這些數據應該會對往后的檢索結果有幫助.
因此,我們設計了一個反饋環節,利用這些數據去訓練反饋環節,不斷提升整個系統的檢索性能.相關反饋能夠運用于人臉檢索,正是由于人臉檢索庫中存在的人物一般是具有身份標簽的,每一個人臉都會屬于其中的一個身份的人,也就是屬于所有類別中的一類,檢索庫中存在多少個人也就分成多少個類.在檢索過程中,如果用戶判斷檢索出的結果和用戶提交的檢索圖像屬于同一個人,則認為是相關圖像,否則認為是無關圖像.所有的檢索結果,用戶認為相關則標記為正例,無關則標記為負例.本文采用的方法是首先將待檢目標人臉,利用前文提到的方法得出一個初步的檢索結果,再根據相關反饋算法,由用戶對檢索結果進行標定,用戶認為結果正確,就標為正例,反之則是負例.再將這些打過標簽的檢索結果組成的訓練集輸入到反饋環節中,訓練產生一個反饋分類器,之后的檢索結果就可以通過這個反饋分類器,判斷出更多正確的結果.反饋環節是一個分類器,提升反饋環節的性能可以使用提升分類器性能的方法.在一定范圍內提升參與分類器訓練的樣本、調節分類器參數、使用更加優秀的度量函數都可以達到效果.由于本文的論述重點在于反饋分類器能夠使整個系統獲得隨著檢索結果的不斷積累而使性能不斷優化的功能.對反饋分類器的分類效果不滿意時,每次檢索得出的結果都可以在用戶反饋后加入訓練集對反饋分類器進行重新訓練.系統性能能夠隨著檢索次數的增加而不斷提升.因此,本文主要通過改變樣本數量來仿真系統性能的提升.詳細的算法流程如表1.
3實驗
為了測試本文提出的帶相關反饋的基于深度神經網絡的人臉檢索方法的性能,需要首先對深度卷積神經網絡進行訓練,本次實驗使用的訓練集由LFW上的部分圖片和在互聯網上下載的圖片組成,圖片一共有大約50000張.部分圖片如圖2所示.測試數據集我們使用的是YouTubeFacesDatabase[14]隨機選取的20000張圖片,這些圖片包含1595個不同的人.分別打上1到1595的標簽,數字相同的表示同一個人.實驗結果如下.
3.1輸出不同的檢索結果數,檢索準確率對比人臉檢索是通過輸入一張待檢索圖片,輸出用戶需要的一系列被檢索圖片.這里輸出檢索結果圖片數量range變化,對檢索準確率具有直接的影響.一般來說,檢索準確率隨著輸出結果數增加而下.然而,加入反饋環節之后,能夠在一定范圍內提升整個系統的檢索性能.本次實驗為了驗證本文所提方法的上述性能,設計使range從10變化到20過程中,記錄加入反饋環節前后檢索準確率的變化.實驗結果如圖3中未加反饋曲線所示,其中橫坐標表示range的變化,縱坐標表示檢索準確率.實驗表明,隨著輸出圖片數量(range)的不斷增加,未加反饋時檢索的準確率不斷下降.加入反饋,使用前述相同的數據進行實驗,其結果如圖4中加反饋曲線所示,前后兩次結果的對比表明,本文提出的帶反饋環節的檢索方法在輸出多個結果時,依然能夠顯著提升檢索的準確率.
3.2不同數量的樣本集下反饋環節對檢索性能的影響為了驗證樣本個數增加對相關反饋算法的性能影響,我們選擇測試樣本數據集中樣本總數分別為5000,10000,20000,30000個.再選擇樣本集中的80%對哈希檢索函數進行訓練,20%進行檢索測試輸出range=20的結果,收集這些輸出檢索結果利用相關反饋算法打上標簽,對反饋環節進行訓練.記錄加相關反饋前后檢索準確率.檢索準確率如圖4所示.從圖4的曲線中,可以發現,未加反饋環節時,隨著參與哈希函數訓練的樣本數據不斷增加,檢索的準確率也是呈不斷上升態勢的,因此,提高樣本總數,能夠提升哈希檢索的準確率.但是,無限制地提升樣本個數必然會以犧牲檢索時間為代價的.另外,獲取大量的加標簽的人臉圖片也是非常困難的工作.而本文方法訓練反饋環節的標簽樣本是多次檢索積累下來的,獲取比較容易.而加入反饋環節后,實驗數據表明,相同的數據量檢索準確率有顯著提升,且隨著數據量的增加,檢索準確率也是不斷提升的,直到樣本數到達20000附近時,反饋環節參數已達最優,準確率達到峰值.
4結語
本文在利用卷積神經網絡提取人臉特征并進行人臉檢索的基礎上,加入了反饋環節,利用相關反饋的算法以用戶對檢索結果是否感興趣為標準為樣本打上標簽,將打過標簽的樣本輸入反饋環節,訓練產生反饋分類器.經過實驗驗證,上述方法能很好的提升系統的檢索性能,從而證明我們提出的方法是有效的.
作者：沈旭東 范守科 夏海軍 蘇金波 單位：中國科學技術大學 自動化系 中國人民解放軍 63791 部隊 合肥市公安局 網安支隊