核學習的行人再識別分析范文

本站小編為你精心準備了核學習的行人再識別分析參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

《自動化學報》2015年第十二期

行人再識別指的是在非重疊監控視頻中,檢索某個監控視頻中出現的目標是否出現在其它的監控視頻中.最近幾年,行人再識別問題引起了廣大科研人員的興趣與研究.監控視頻中的目標圖像分辨率低、場景中存在著光照變化、視角變化、行人姿態變化以及攝像機自身屬性的問題,導致同一目標在不同的監控視頻中外觀區別很大,使得行人再識別問題遇到了很大的挑戰。為了有效的解決這些挑戰,廣大的研究者提出了很多解決方法.目前的行人再識別算法可以簡單概括為四種:直接法、基于深度學習的方法、顯著性學習的方法和間接法.

直接法利用視覺特征對行人建立一個魯棒性和區分性的表示,不需要通過學習直接利用行人特征然后根據傳統的相似性度量算法(歐式距離、巴氏距離等等)來度量行人之間的相似度.文獻[1]首次提出了利用直方圖特征來表征目標并通過度量直方圖的相似度來識別不同的目標.文獻[2]將行人圖像粗略分為頭部、上半身和下半身3部分,然后串聯每一部分的顏色直方圖對行人描述.文獻[3]采用分割的技術提取人的前景,并利用行人區域的對稱性和非對稱性將人的前景劃分成不同的區域.對于每個區域,提取帶權重的顏色直方圖特征、極大穩定顏色區域(maximallystablecolorregions)特征和重復度高的結構區域(recurrenthighlystructuredpatches)特征描述它們.文獻[4]提出了一種結合gabor特征和協方差矩陣描述的BiCov描述子來對行人描述.文獻[5]采用圖案結構(pictorialstruc-ture)算法定位圖像中人的各個部件所在的區域.對于每個部件的區域，提取與文獻[3]類似的顏色直方圖特征、極大穩定顏色區域特征來描述它們.文獻[6]利用lbp特征和21個濾波器特征(8個gabor濾波器和13個schmid濾波器)來描述圖像中的行人.文獻[7]通過共生矩陣對行人的形狀和外形特征進行描述.雖然直接法的算法模型簡單,但由于在光照變化、視角變化以及姿態變化等情況下,同一個人的外觀變化往往很大,很難提取出魯棒性和區分性的特征描述.因此在光照變化、視角變化以及姿態變化等情況下,直接法的效果很差.

深度學來在計算機視覺中得到了廣泛的應用,因此不少學者研究并提出了基于深度學習的行人再識別算法.文獻[8]LiWei等人提出了一種六層的FPNN神經網絡,它能有效解決行人再識別中出現的光照變化、姿態變化、遮擋和背景粘連等問題,從而提高了識別率.文獻[9]Ahmed等人提出了一種深層卷積結構能夠同時自動學習特征和相應的相似性測度函數.但基于深度學習的行人再識別算法需要非常大的訓練數據庫,導致訓練時間長,此外還需要針對特定問題搭建相應的模型,因此不利于方法的推廣.同時,深度學習方法中還存在調置參數缺乏理論性指導,具有較大主觀性的問題.基于顯著性學習的行人再識別方法近年來也受到研究者的廣泛興趣.人們可以通過行人的一些顯著信息來識別行人,但傳統的方法在比較兩張圖片的相似性的時候,往往忽略了行人身上的顯著性特征.對此,文獻[10]趙瑞等人提出了一種通過學習行人圖像的顯著性信息來度量兩張行人圖像的相似性的方法.但顯著性學習的行人再識別算法在行人姿態變化的情況下,顯著性區域會出現偏移或者消失,導致識別效果較差.間接法主要是學習得到一個分類器或一個排序模型.間接法代表性的算法有距離測度學習、支持向量機、遷移學習和流形排序算法.距離測度學習算法作為間接法中的一種,最近幾年在行人再識別中得到了廣泛的應用.本文提出的算法也是基于距離測度學習,所以下面著重介紹基于距離測度學習的行人再識別算法.

與手動設計特征的直接法不同,距離測度學習方法是一種利用機器學習的算法得出兩張行人圖像的相似度度量函數,使相關的行人圖像對的相似度盡可能高,不相關的行人圖像對的相似度盡可能低的方法.代表性的測度學習算法有文獻[11]鄭偉詩等人把行人再識別問題當成距離學習問題,提出了一種基于概率相對距離的行人匹配模型,文獻[12]提出了一種基于統計推斷的方法學習測度矩陣來度量兩張行人圖像的相似度,以及文獻中提出的相應測度學習算法.距離測度算法是將原始特征空間投影到另一個更具區分性的特征空間.與其它的算法相比,距離測度學習算法具有更好的效果.距離測度學習算法即使只使用簡單的顏色直方圖作為特征,算法的性能往往優于其它算法.文獻[12]提出了一種基于統計推斷的方法學習測度矩陣來度量行人對的相似度,但作者直接在原始特征空間訓練得到測度矩陣,進而得到樣本之間的相似性函數.原始特征空間的線性不可分性導致通過原始特征空間直接訓練得到的測度矩陣不能很好的表征樣本之間的相似性和差異性.本文提出基于核學習的方法,首先通過相應的核函數將原始特征空間投影到非線性空間,然后在非線性空間中學習得到相應的測度矩陣.投影后的非線性特征空間具有很好的可分性,這樣學習得到的測度矩陣能準確的表征樣本之間的相似性和差異性.另外,基于測度學習的行人再識別算法一般是把多特征融合并建立特征模型,然后基于相應的測度學習算法,學習得到一個測度矩陣.然而這種特征融合往往忽略了不同屬性特征之間的差別,這樣學習得到的測度矩陣不能準確的表征樣本之間的相似性與差異性.對此,本文提出在不同的特征空間中學習相應的測度矩陣,進而得到表示不同特征空間的相似性函數,最后根據不同的權重結合這些相似性函數來表征樣本之間的相似性.本文算法在公共實驗數據集上的實驗效果優于目前主流的行人再識別算法,尤其是第一匹配率(Rank1).本文其余章節的組織安排如下.第1節介紹本文提出的行人再識別算法.第2節介紹本文算法在公共數據集上的實驗.第三節總結全文以及展望.

1基于多特征子空間與核學習的行人再識別算法

1.1基于核學習的相似度量函數的學習文獻[12]中提出了一種KISSME的算法,文中指出,從統計學角度考慮,一對有序行人對(i,j)的相似度可以表示為式。文獻[12]中提出的算法是直接在原始線性特征空間中訓練得到測度矩陣,進而得到表示樣本之間相似性的相似度函數.由于原始特征空間的線性不可分,上述方法得到的測度矩陣不能準確表達樣本之間的相似性和差異性,導致識別效果差.本文提出基于核學習的算法首先通過相應的核函數將原始特征空間投影到更易區分的非線性空間,然后在非線性空間中訓練得到測度矩陣M.這樣得到的測度矩陣具M有很好的區分性,能使同類樣本之間的距離盡可能小,異類樣本之間的距離盡可能大.核學習的主要思想是將原始線性特征空間投影到區分性好的非線性空間.原始特征空間中的特征xxi通過函數Φ投影到非線性空間,則非線性空間的特征表示為Φ(xxi).非線性映射函數一般是隱性函數,則很難得到顯示表達式,可以利用核函數求解特征空間中樣本點的內積來解決。

1.2基于多特征子空間的測度學習基于測度學習的行人再識別算法一般是把多特征融合并建立特征模型,然后基于相應的測度學習算法得到測度矩陣.這種方法忽略了不同屬性特征之間的差別,導致學習得到的測度矩陣不能準確的體現樣本之間的相似性與差異性.對此,本文提出對于不同的特征空間單獨學習相應的測度矩陣,進而得到表示不同特征空間的相似性函數,最后根據不同的權重結合這些相似性函數來表示樣本之間的相似性.

1.3行人圖像的特征表示本文采用顏色特征和LBP特征對行人目標進行描述,生成兩種特征子空間.顏色空間有很多種,用不同的色彩空間描述一圖片的效果是不同的.依據文獻[20]和文獻[21],本文采用的顏色特征從RGS、HSV、YCbCr和CIELab4種顏色空間中提取.RGS空間的定義為R=R/(R+G+B)、G=G/(R+G+B)、S=(R+G+B)/3.為了獲取具有魯棒性和區分性的顏色特征表示,本文將上述四種顏色特征空間融合.融合后的顏色特征描述對于光照變化的場景具有良好的魯棒性.圖1給出了一張被平均分成6個水平條帶的行人圖像,對于每個水平條帶的每種顏色空間的每個通道,提取16維的顏色直方圖特征,將所有的顏色直方圖特征串聯形成行人圖像的顏色特征,從而得到行人圖像顏色特征的維數為1152維(4*6*3*16).原始特征空間的1152維特征經過核函數投影后的特征維度較高且大部分信息都是冗余的.因此實驗中利用PCA將核空間中的特征維數降到保持大于90%的能量。為了更好的描述圖像的局部信息,本文中提取的局部特征來自于LBP等價模式中鄰域點數為8半徑為1和鄰域點數為16半徑為2兩種模式的特征.上面兩種LBP等價模式的維度分別為59維和243維.類似于顏色特征的提取,一張行人圖像被平均分成6個水平條帶,對于每個水平條帶提取LBP兩種模式的特征,將所有的LBP特征串聯形成行人圖像的局部特征,從而得到行人圖像局部特征的維數為1812維((59+243)*6).同理,原始特征空間的1812維特征經過核函數投影后的特征維度同樣較高并且大部分信息也都是冗余的.因此實驗中同樣利用PCA將核空間的特征維度降到保持90%以上的能量.

1.4本文算法的具體操作步驟利用步驟3得到不同核空間中的測度矩陣計算樣本在不同核空間的相似度,然后將樣本在不同核空間中的相似度按照一定的權值結合來表示樣本之間的相似性.

2實驗測試與結果

本節首先介紹實驗中所使用的測試數據和算法性能的評測準則,其次介紹本文算法在不同公共實驗集上與已有的行人再識別算法的性能比較,然后在不同公共實驗集上對比核映射前后的算法性能,最后在不同公共實驗集上分析權值不同時對算法性能的影響.文中所有的實驗是基于vs2010+opencv2.4.9實現的,實驗平臺是24G內存的Intel(R)Xeon(R)CPUE5506@2.13GHz(2處理器)PC臺式機.

2.1測試數據和算法性能的評測準則為了與已有算法公正比較,實驗中,采用先前工作普遍采用的評價框架.如文獻[22]所述,隨機選擇p對行人圖像對作為測試集,余下的行人圖像對作為訓練集.測試集由查詢集和行人圖像庫兩部分組成.每對行人圖像,隨機選擇一張圖像并入查詢集,另一張則并入行人圖像庫.當給定一個行人再識別算法,衡量該算法在行人圖像庫中搜索待查詢行人的能力來評測此算法的性能.為了測試算法在只有少量的訓練樣本時的性能,p分別取316,432,532進行實驗.p取值越大,則測試樣本越多(匹配越困難),訓練樣本越少(訓練越困難).對于每組實驗,以上產生測試集和訓練集的過程重復10次,10次實驗結果的平均值作為本組實驗的結果.已有的行人再識別算法大部分采用累積匹配特性(CumulativeMatchCharacteristic,CMC)曲線評價算法性能.給定一個查詢集和行人圖像庫,累積匹配特征曲線描述的是在行人圖像庫中搜索待查詢的行人,前r個搜索結果中找到待查詢人的比率.第1匹配率(r=1)很重要,因為它表示的是真正的識別能力.但是當r取值很小時,第r匹配率也很有現實意義.因為在實際應用中,反饋的前r個搜索結果中,可以通過人眼判斷找到查詢目標.

2.2不同公共實驗集上實驗對比本文算法選擇在VIPeR[23]數據集、iLIDS[24]數據集、ETHZ[25]數據集和CUHK01[26]數據集上進行實驗.VIPeR數據集中相關行人對來自兩個不同的攝像機.相關行人對的外觀由于姿態、視角、光照和背景的變化而差異大.iLIDS數據集包含119個行人的476張圖像,每個行人的圖像從兩張到八張不等.iLIDS數據集是從機場收集的,數據集有嚴重遮擋和光照變化的問題.ETHZ數據集包含146個行人的8555張圖像.數據集中的圖像來自移動攝像機拍攝的三個視頻序列.ETHZ數據集中的圖像由同一攝像機拍攝,則數據集中行人姿態變化和視角變化的程度沒有VIPeR數據集那么明顯.為了使ETHZ數據集具有挑戰性,實驗中相關行人提取兩張圖像,一張近景和一張遠景.遠景圖像含有大量無用的背景信息,使選用的數據集有明顯的遮擋情況和光照變化.CUHK01數據集是由兩個攝像機在校園環境中拍攝得到,包含971個行人的3884張圖像.每個行人包含四張圖像,前兩張圖像是攝像機拍攝的行人前后景圖像,兩張圖像是攝像機拍攝的行人側面圖像.每個行人的前兩張圖像只是姿態上有稍許的變化,前兩張圖像與后兩張圖像在視角上、姿態上差異較大以及有明顯的光照變化.實驗中,每個行人前后景圖像隨機選擇一張,側面圖像隨機選擇一張,這樣得到的實驗集具有顯著的視角變化、姿態變化和光照變化.

2.2.1VIPeR數據集VIPeR數據集是由632對相關行人對圖像組成.如圖2所示,同一列中的行人圖像為同一個人，為了對比本文算法基于不同核函數的實驗效果,下表1給出了該算法基于不同核函數的實驗對比.實驗中測試樣本集和訓練樣本集均為316對相關行人圖像.VIPeR數據集上的其它實驗,如果沒明確表明測試樣本集和訓練樣本集的個數,都默認有316對相關行人圖像.從表1可知,本文算法基于RBF-χ2核函數的效果最優.為了充分體現算法的效果,在后面的實驗效果對比中都是基于RBF-χ2核函數.下表2給出了該算法與當前主流算法的效果對比.從表2可知,該算法性能有較大的提升,尤其是Rank1,Rank1比表中最好的結果提高了約8(%).此外,該算法與表中的PCCA、rPCCA、kLFDA和MFA等算法都是基于RBF-χ2核函數;但該算法整體效果明顯優于它們.值得一提的是,對于Rank1,該算法的效果相對主流的行人再識別算法有了顯著的提高.第1匹配率很重要,因為它表示的是真正的識別能力.行人再識別技術一個典型的應用是刑事偵查;若Rank1越高,則在刑事偵查中,搜集與嫌疑人有關的線索的效率就會提高.為了充分說明本文算法的優越性,表3給出該算法在僅用HSV特征情況下與其它算法效果對比.由表3可知,該算法雖然只使用了HSV特征,但是效果比采用多特征的算法(SDALF、PS、RDC和KISSME)更好.KISSME融合了HSV、LAB和LBP等特征,Rank1僅有20(%);該算法只用HSV特征,Rank1就達到了28.4(%).另外,該算法與同樣只使用HSV特征的算法(如ITML、Euclidean、NRDV和KRMCA等)相比,仍然優于它們.其中,ITML和Euclidean算法整體效果都比該算法差.NRDV算法雖然Rank1與該算法相近,但是Rank10和Rank20較低,且NRDV算法模型比該算法復雜得多.KRMCA算法效果總體上都不如該算法且KRMCA的代價函數收斂很慢,算法訓練時間很長.當測試集規模為P=432和P=532時,該算法與已有行人再識別算法的性能比較如表4和表5.從表中可知,在只有少量的訓練樣本情況下,該算法性能同樣優于已有算法.由此可見,該算法有效解決了學習相似度度量函數中出現的過擬合問題.

2.2.2iLIDS數據集iLIDS數據集中每個行人包含兩張到八張照片不等.實驗中,從每個行人所包含的圖像中隨機取兩張作為實驗集,最后得到的實驗集為119對相關行人圖像.最終實驗效果是多次隨機取得的實驗集效果的平均值.數據集中的圖像尺寸是不盡相同的,實驗中統一把圖像的尺寸設置為高128寬48.實驗中訓練集為59對行人圖像,測試集為60對行人圖像.本文算法在iLIDS數據集上與其它算法的效果對比如下。該算法與表中基于測度學習的算法PCCA、rPCCA、MFA和kLFDA都是基于RBF-χ2核函數.但從表6可知,該算法整體性能優于PCCA、rPCCA和MFA等算法;該算法雖然與kLFDA算法性能接近,但總體上還是優于kLFDA算法.由此可見,該算法比使用相同核函數的其它算法效果更好.另外,該算法整體性能也優于KISSME、SVMML和LFDA算法.

2.2.3ETHZ數據集數據集中的圖像尺寸是不相同的,實驗中統一把圖像尺寸設置為高128寬48.實驗中訓練集為76對行人圖片,測試集為70對行人圖片.表7分析了本文算法在ETHZ數據集上與其它算法的效果對比.從表7可知,該算法在ETHZ數據集上的整體性能優于同樣基于RBF-χ2核函數的PCCA、rPCCA、MFA和kLFDA等算法.在ETHZ數據集上,同樣證明了該算法比使用相同核函數的其它算法效果更好.值得一提的是,該算法的rank1較于其它算法顯著提升了.另外,該算法整體性能也優于KISSME、SVMML和LFDA算法.

2.2.4CUHK01數據集數據集中的圖片的尺寸是不相同的,實驗中統一把圖片的尺寸設置為高128寬48大小.實驗中訓練集為486對行人圖片,測試集為485對行人圖片.本文算法在CUHK01數據集上與其它算法的效果對比如下表8：從表8可知,該算法在CUHK01數據集上的整體性能同樣優于KISSME和SVMML算法以及基于測度學習的算法PCCA、LFDA、rPCCA、MFA和kLFDA.該算法與MidLevel算法效果接近,但MidLevel算法模型復雜.該算法與其它算法效果對比可知,該算法可以學習得到具有良好區分性的相似性度量函數.通過在CUHK01數據集上的效果對比,進一步說明該算法與使用相同核函數的其它算法相比效果更好.

2.3特征核映射前后算法性能的比較為了分析特征經過核映射后對算法的影響,表9、表10、表11和表12分別給出在四種數據集上特征經過核映射前后算法效果的對比實驗.通過在四個公共數據集上實驗對比可知,特征經過核映射后算法效果在VIPeR、iLIDS和CUHK01數據集上整體上都得到了顯著的提升,在ETHZ數據集上雖然提高不明顯,但還是優于已有算法.總的來說,該算法在特征經過核映射后,學習得到的相似度度量函數更具有區分性,能夠得到較好的識別效果.

2.4權值a取值不同時算法的性能比較為了分析權值a對算法性能的影響,圖3、圖4、圖5和圖6分別給出在四種數據集上不同的權值a下,本文算法性能的對比實驗.其中SC為顏色特征子空間的相似度函數,ST為LBP特征子空間的相似度函數.權值a越大,代表相似度函數中顏色特征子空間的相似度函數比重越大.通過在四種數據集上不同的權值a下算法性能的對比實驗可知,a取值對算法效果的影響較大.當a取值很小時,算法效果不是很理想,當a增大時,算法性得到一定程度的提升,當a在0.5到0.7范圍內取相應的值時,算法性能能達到最優,當a繼續增大后,算法性能有一定程度的下降.

3結論

已有基于測度學習的行人再識別算法一般是把多特征融合并建立特征模型,然后基于相應的測度學習算法在原始特征空間學習得到測度矩陣.但是將不同的屬性特征融合成一起,卻忽略了不同屬性特征之間的差別以及由于原始特征空間的線性不可分,這樣學習得到的測度矩陣不能準確的表示樣本之間的相似性與差異性,從而導致識別效果較差.對此,本文提出基于多特征子空間與核學習的行人再識別算法.該算法首先將不同特征子空間投影到可分性好的核空間,其次在不同核空間中學習得到測度矩陣和相應的相似性函數,最后將樣本在不同核空間的相似性按照一定的權值結合來表示樣本之間最終的相似性.總的來說,四個公共數據集里的圖像有著光照變化、行人姿態變化、視角變化以及遮擋等情況,但該算法在四個數據集上的識別效果都比已有算法更好.由此可見,算法對光照變化、行人姿態變化和視角變化以及遮擋都具有較好的魯棒性.基于距離測度學習的行人再識別算法其實就是要尋找一個最優的測度矩陣M,使得同類樣本之間的距離盡可能小,異類樣本之間的距離盡可能大.為了得到一個最近似于最優的測度矩陣M,下一步可以考慮如何融合不同方法得到的測度矩陣.

作者：齊美彬 檀勝順 王運俠 劉皓 蔣建國 單位：合肥工業大學計算機與信息學院