無(wú)人機(jī)航拍視頻中目標(biāo)檢測(cè)與跟蹤研究范文

本站小編為你精心準(zhǔn)備了無(wú)人機(jī)航拍視頻中目標(biāo)檢測(cè)與跟蹤研究參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫(xiě)作靈感。歡迎深入閱讀并收藏。

《飛航導(dǎo)彈雜志》2016年第9期

摘要：

目標(biāo)檢測(cè)和跟蹤技術(shù)是無(wú)人機(jī)航拍領(lǐng)域的重要研究方向。總結(jié)了無(wú)人機(jī)航拍視頻中目標(biāo)檢測(cè)和跟蹤的常用方法并對(duì)其進(jìn)行了分類(lèi)。分析了各類(lèi)別的優(yōu)缺點(diǎn)，并討論了無(wú)人機(jī)航拍視頻中目標(biāo)檢測(cè)與跟蹤的難點(diǎn)及未來(lái)發(fā)展趨勢(shì)。

關(guān)鍵詞：

無(wú)人機(jī)；目標(biāo)檢測(cè)；目標(biāo)跟蹤；航拍

引言

無(wú)人機(jī)又稱(chēng)為無(wú)人駕駛飛行器，是一種具有遙控、自動(dòng)、半自主、全自動(dòng)飛行能力的飛行器。常見(jiàn)的無(wú)人機(jī)主要分為固定翼無(wú)人機(jī)、直升機(jī)和多旋翼無(wú)人機(jī)。2010年前，固定翼無(wú)人機(jī)和無(wú)人直升機(jī)在航拍領(lǐng)域占據(jù)了主流地位，然而，在近幾年中，隨著控制技術(shù)、傳感器技術(shù)和計(jì)算機(jī)視覺(jué)領(lǐng)域的快速發(fā)展，多旋翼無(wú)人機(jī)成為了航拍領(lǐng)域的新星，尤其是四旋翼無(wú)人機(jī)和八旋翼無(wú)人機(jī)受到了航拍領(lǐng)域的青睞，其模型如圖1所示。多旋翼尤其是四旋翼無(wú)人機(jī)之所以受到廣泛關(guān)注和應(yīng)用主要是因?yàn)橛幸韵绿攸c(diǎn)［1］:操控簡(jiǎn)單，四旋翼無(wú)人機(jī)可以實(shí)現(xiàn)垂直起降，不受場(chǎng)地的限制，飛行過(guò)程中動(dòng)作靈活并可實(shí)現(xiàn)空中懸停;便于攜帶，旋翼無(wú)人機(jī)具有體積小、便于攜帶且操作靈活等特點(diǎn);經(jīng)濟(jì)實(shí)惠，多旋翼無(wú)人機(jī)最大的優(yōu)點(diǎn)就是成本低，所以，受到廣泛應(yīng)用。目標(biāo)檢測(cè)與跟蹤技術(shù)作為計(jì)算機(jī)視覺(jué)領(lǐng)域的關(guān)鍵技術(shù)，受到了各界學(xué)者的廣泛關(guān)注。在無(wú)人機(jī)航拍領(lǐng)域中，為了實(shí)現(xiàn)追蹤拍攝，目標(biāo)檢測(cè)和跟蹤必不可少。因此，目標(biāo)檢測(cè)和跟蹤技術(shù)是無(wú)人機(jī)航拍領(lǐng)域的重要研究方向［2］。另外，航拍視頻中由于畫(huà)面較大，目標(biāo)在場(chǎng)景中所占面積較小，背景復(fù)雜，目標(biāo)易發(fā)生尺度、旋轉(zhuǎn)、光照和遮擋干擾以及相機(jī)抖動(dòng)等影響，航拍視頻中目標(biāo)的檢測(cè)和跟蹤變得尤為復(fù)雜，檢測(cè)和跟蹤工作變得更加困難。本文主要就無(wú)人機(jī)航拍視頻中的目標(biāo)檢測(cè)和跟蹤技術(shù)展開(kāi)討論，對(duì)目標(biāo)檢測(cè)和跟蹤算法的分類(lèi)、優(yōu)缺點(diǎn)和應(yīng)用范圍進(jìn)行總結(jié)，并對(duì)航拍視頻中目標(biāo)檢測(cè)和跟蹤算法的難點(diǎn)和發(fā)展趨勢(shì)加以討論。

1無(wú)人機(jī)航拍視頻目標(biāo)檢測(cè)技術(shù)

對(duì)無(wú)人機(jī)航拍視頻中的目標(biāo)進(jìn)行跟蹤時(shí)，首先需要對(duì)目標(biāo)進(jìn)行檢測(cè)，目標(biāo)檢測(cè)的準(zhǔn)確與否會(huì)直接影響后續(xù)對(duì)目標(biāo)的處理，所以，目標(biāo)檢測(cè)技術(shù)在無(wú)人機(jī)航拍視頻目標(biāo)的檢測(cè)和跟蹤系統(tǒng)中起到了至關(guān)重要的作用。目前，運(yùn)動(dòng)目標(biāo)檢測(cè)算法相對(duì)來(lái)說(shuō)比較成熟，可應(yīng)用于無(wú)人機(jī)航拍視頻的目標(biāo)檢測(cè)算法主要有以下幾種:

1)幀間差分法。主要通過(guò)連續(xù)兩幀相同位置像素點(diǎn)間的灰度差來(lái)確定目標(biāo)的移動(dòng)，算法操作簡(jiǎn)單，易于實(shí)現(xiàn)，但是，該算法只適用于靜態(tài)背景和目標(biāo)單一條件下的目標(biāo)檢測(cè)，所以，應(yīng)用于無(wú)人機(jī)航拍視頻的目標(biāo)檢測(cè)時(shí)，只適用于無(wú)人機(jī)懸停狀態(tài)下的運(yùn)動(dòng)目標(biāo)的檢測(cè)，應(yīng)用范圍有限。

2)背景差分法。其原理是通過(guò)預(yù)先設(shè)置背景，然后通過(guò)對(duì)檢測(cè)圖像和預(yù)設(shè)背景作差的方式提取目標(biāo)。該方法能夠得到較為完整的目標(biāo)圖像并且能夠滿(mǎn)足實(shí)時(shí)性要求。但是，在實(shí)際背景與預(yù)設(shè)背景相差較大或者實(shí)際檢測(cè)過(guò)程中發(fā)生明顯光照變化的情況下，該方法檢測(cè)精度會(huì)下降較大。所以，該算法同樣只適用于無(wú)人機(jī)懸停狀態(tài)下的目標(biāo)檢測(cè)。

3)光流法。該方法將光流作為灰度像素點(diǎn)在圖像上的瞬時(shí)運(yùn)動(dòng)場(chǎng)，從而實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。該方法根據(jù)原理主要分為四類(lèi):基于梯度的方法、基于匹配的方法、基于能量的方法和基于相位的方法。光流法的工作流程為:首先，在圖像中等間隔選取光流點(diǎn);其次，計(jì)算光流點(diǎn)的運(yùn)動(dòng)矢量(常用HS法和LK法等);最后，根據(jù)運(yùn)動(dòng)矢量檢測(cè)運(yùn)動(dòng)目標(biāo)。與前兩種方法相比，由于光流場(chǎng)能夠反應(yīng)像素點(diǎn)的灰度運(yùn)動(dòng)情況，所以，光流目標(biāo)檢測(cè)法能夠進(jìn)行動(dòng)態(tài)背景下的目標(biāo)檢測(cè)。

4)特征匹配法。主要通過(guò)提取待檢測(cè)目標(biāo)的特征(角點(diǎn)特征、顏色特征等)建立目標(biāo)模板，然后在實(shí)時(shí)視頻中通過(guò)檢測(cè)圖像中的特征圖目標(biāo)模板進(jìn)行相似性判別，從而實(shí)現(xiàn)目標(biāo)的檢測(cè)。目前常用的特征匹配算法有SIFT［6］、SURF［7］、BRISK［8］和FREAK［9］等。特征匹配法是目前應(yīng)用最為廣泛的目標(biāo)檢測(cè)和識(shí)別算法。其不但可以檢測(cè)出目標(biāo)，同時(shí)可以實(shí)現(xiàn)對(duì)目標(biāo)進(jìn)行識(shí)別，并對(duì)目標(biāo)的尺度、旋轉(zhuǎn)、光照和遮擋等具有較好的魯棒性。特征匹配算法既適用于動(dòng)態(tài)背景的目標(biāo)檢測(cè)，也適用于靜態(tài)目標(biāo)的檢測(cè)。

2無(wú)人機(jī)航拍視頻目標(biāo)跟蹤技術(shù)

目標(biāo)跟蹤技術(shù)是通過(guò)確定視頻連續(xù)幀中目標(biāo)的位置和大小來(lái)實(shí)現(xiàn)的，主要的跟蹤方法主要有以下幾種。

2．1CamShift算法［10］

CamShift算法是對(duì)MeanShift算法的改進(jìn)，是由Bradski提出的連續(xù)自適應(yīng)漂移算法。MeanShift算法是一種基于核密度估計(jì)的非參數(shù)模式匹配算法。首先，手動(dòng)選取待跟蹤目標(biāo)區(qū)域，使用MeanShift顏色直方圖信息作為模板，再對(duì)下一幀圖像的顏色直方圖提取，進(jìn)行匹配，通過(guò)計(jì)算相似度獲得相似度密度分布圖，圖中的極值位置即為目標(biāo)的位置。由于MeanShift算法模板不能實(shí)現(xiàn)實(shí)時(shí)更新且在跟蹤過(guò)程中核函數(shù)帶寬固定不變(跟蹤窗口固定不變)，所以，當(dāng)目標(biāo)發(fā)生尺度變化或外界干擾時(shí)，會(huì)造成跟蹤目標(biāo)不準(zhǔn)確或者跟蹤目標(biāo)丟失的現(xiàn)象。Cam-Shift算法是將視頻中的每一幀都進(jìn)行MeanShift運(yùn)算，不僅可以實(shí)現(xiàn)對(duì)目標(biāo)模板進(jìn)行更新，也可以實(shí)現(xiàn)自動(dòng)調(diào)節(jié)跟蹤窗口大小的功能。CamShift算法流程大致分為以下幾步:

1)將圖像從RGB空間轉(zhuǎn)化為HSV空間，此步驟的主要目的是為了減小跟蹤過(guò)程中光照的影響;

2)目標(biāo)初始化，手動(dòng)選取目標(biāo)的位置和大小并提取目標(biāo)區(qū)域的H分量的直方圖;

3)計(jì)算圖像反向投影，認(rèn)為反向投影圖中像素點(diǎn)亮度越大，其為目標(biāo)區(qū)域的概率就越大;

4)利用MeanShift算法進(jìn)行迭代運(yùn)算，移動(dòng)搜索窗口的中心到迭代的最大位置;

5)調(diào)整搜索窗口的大小;

6)重復(fù)步驟3～5，直至視頻最后一幀。算法的具體流程圖如圖2所示。

2．2卡爾曼濾波算法［11］

卡爾曼濾波算法是一種小方差最佳線(xiàn)性遞推方法，通過(guò)當(dāng)前目標(biāo)信息可實(shí)現(xiàn)對(duì)下一幀目標(biāo)位置進(jìn)行預(yù)測(cè)，從而實(shí)現(xiàn)目標(biāo)的跟蹤。卡爾曼濾波算法是通過(guò)狀態(tài)方程和預(yù)測(cè)方程兩個(gè)方程實(shí)現(xiàn)的，狀態(tài)方程可實(shí)現(xiàn)對(duì)系統(tǒng)的狀態(tài)進(jìn)行客觀描述;預(yù)測(cè)方程可實(shí)現(xiàn)系統(tǒng)對(duì)下一時(shí)刻狀態(tài)的預(yù)測(cè)。其工作原理如圖3所示。

2．3粒子濾波算法［12］

粒子濾波的實(shí)質(zhì)是用帶有權(quán)值的粒子表示后驗(yàn)概率，這些粒子隨著目標(biāo)模型的移動(dòng)而移動(dòng)，最后與目標(biāo)模板進(jìn)行匹配并更新權(quán)值，這些粒子的狀態(tài)加權(quán)即為后驗(yàn)概率。粒子濾波一般可分為4個(gè)步驟:1)采樣:在系統(tǒng)的狀態(tài)空間中隨機(jī)采集粒子并對(duì)其進(jìn)行加權(quán)，以反映目標(biāo)的狀態(tài);2)重采樣:為了防止粒子退化的現(xiàn)象，保留權(quán)值較大的粒子，減少權(quán)值小的粒子;3)狀態(tài)轉(zhuǎn)移:粒子濾波利用狀態(tài)轉(zhuǎn)移目標(biāo)在下一時(shí)刻的狀態(tài)，即可得到新的粒子;4)系統(tǒng)觀測(cè):利用觀測(cè)數(shù)據(jù)來(lái)推算粒子的權(quán)值，從而得到概率密度函數(shù)。算法具體流程如圖4所示。

2．4特征匹配算法［13］

基于特征匹配的目標(biāo)跟蹤是采用目標(biāo)的局部特征信息，通過(guò)特征匹配來(lái)進(jìn)行跟蹤的算法。目前常用的特征匹配算法有SIFT、SURF、ORB、BRISK和FREAK等。基于特征匹配的目標(biāo)跟蹤算法可分為4步:特征點(diǎn)檢測(cè);特征描述;特征點(diǎn)篩選;特征點(diǎn)匹配。跟蹤算法的具體流程如圖5所示。四種常用算法的原理和優(yōu)缺點(diǎn)如表1所示。

3無(wú)人機(jī)航拍視頻目標(biāo)檢測(cè)和跟蹤技術(shù)難點(diǎn)

航拍視頻中目標(biāo)的檢測(cè)與跟蹤要想達(dá)到良好的效果，首先必須能夠準(zhǔn)確檢測(cè)出目標(biāo)的位置;其次要對(duì)檢測(cè)出的目標(biāo)進(jìn)行持續(xù)、準(zhǔn)確跟蹤。當(dāng)目標(biāo)受到外界背景和遮擋等干擾時(shí)，具有較好的抗干擾性，并在通過(guò)干擾時(shí)能夠具有迅速恢復(fù)跟蹤的能力。目前，無(wú)人機(jī)航拍視頻的目標(biāo)識(shí)別和跟蹤主要面臨如下問(wèn)題:

1)光線(xiàn)的變化。室外無(wú)人機(jī)航拍過(guò)程中避免不了光線(xiàn)的變化，光線(xiàn)的亮度變化使總體環(huán)境和跟蹤目標(biāo)的顏色、亮度等特征都會(huì)隨之改變，對(duì)目標(biāo)檢測(cè)和跟蹤產(chǎn)生影響。

2)復(fù)雜背景。航拍視頻具有大視場(chǎng)、大廣角的特點(diǎn)，所以，航拍視頻具有信息量大、背景復(fù)雜、視場(chǎng)不確定性和目標(biāo)在視場(chǎng)中占據(jù)面積較小等特點(diǎn)。目標(biāo)容易受到復(fù)雜背景和相似目標(biāo)的干擾，這種不確定性因素對(duì)航拍過(guò)程中的目標(biāo)檢測(cè)和跟蹤會(huì)造成較大干擾。

3)目標(biāo)尺度、旋轉(zhuǎn)問(wèn)題。無(wú)人機(jī)航拍視頻中，由于無(wú)人機(jī)飛行高度、飛行角度和飛行方向等問(wèn)題，非常容易造成目標(biāo)的尺度變化和旋轉(zhuǎn)變化。當(dāng)尺度和旋轉(zhuǎn)變化范圍較大時(shí)，會(huì)造成識(shí)別和跟蹤算法精度顯著下降。

4)目標(biāo)遮擋。在無(wú)人機(jī)航拍視頻中，目標(biāo)會(huì)經(jīng)常出現(xiàn)被外界事物遮擋的情況，這對(duì)目標(biāo)檢測(cè)和跟蹤算法會(huì)產(chǎn)生較大影響，當(dāng)目標(biāo)受到嚴(yán)重遮擋時(shí)，甚至造成目標(biāo)檢測(cè)無(wú)法實(shí)現(xiàn)、目標(biāo)跟蹤失敗等問(wèn)題。

4無(wú)人機(jī)航拍視頻目標(biāo)檢測(cè)與跟蹤展望

隨著無(wú)人機(jī)航拍領(lǐng)域的快速發(fā)展，航拍視頻的目標(biāo)檢測(cè)與跟蹤技術(shù)必然會(huì)得到快速發(fā)展，在未來(lái)將有以下2個(gè)方面的發(fā)展特點(diǎn):1)向著實(shí)時(shí)性更強(qiáng)的方向發(fā)展。隨著計(jì)算機(jī)運(yùn)算能力的發(fā)展和算法的不斷創(chuàng)新和改進(jìn)，目標(biāo)檢測(cè)和跟蹤的快速性會(huì)不斷提高，滿(mǎn)足實(shí)時(shí)性的需求。2)向著魯棒性更強(qiáng)的方向發(fā)展。衡量目標(biāo)檢測(cè)和跟蹤性能好壞的一個(gè)重要因素就是算法的魯棒性。未來(lái)目標(biāo)檢測(cè)算法發(fā)展的一個(gè)重要目標(biāo)就是運(yùn)用較少的信息，就能夠?qū)崿F(xiàn)準(zhǔn)確的目標(biāo)檢測(cè)和跟蹤，并對(duì)外界干擾具有較高的魯棒性。

5結(jié)束語(yǔ)

本文詳細(xì)介紹了無(wú)人機(jī)航拍視頻目標(biāo)檢測(cè)和跟蹤的常用方法，分析了各方法的基本原理、優(yōu)缺點(diǎn)和適用范圍，最后指出了研究難點(diǎn)和發(fā)展趨勢(shì)，相信通過(guò)各界學(xué)者的共同努力，無(wú)人機(jī)航拍視頻目標(biāo)檢測(cè)和跟蹤將會(huì)發(fā)生巨大的飛躍。

參考文獻(xiàn)：

［1］朱瑋．基于視覺(jué)的四旋翼飛行器目標(biāo)識(shí)別及跟蹤．南京:南京航空航天大學(xué)學(xué)位論文，2014

［2］李文輝．航拍視頻中運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤算法研究．西安:西安電子科技大學(xué)學(xué)位論文，2014

［3］林雯．新型基于幀間差分法的運(yùn)動(dòng)人臉檢測(cè)算法研究．計(jì)算機(jī)仿真，2010，27(10)

［4］汪國(guó)強(qiáng)，蓋琪琳，于懷勇，等．基于背景差分法的視頻目標(biāo)檢測(cè)算法研究．黑龍江大學(xué)工程學(xué)報(bào)，2014，5(4)

［5］吳振杰．基于改進(jìn)光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤系統(tǒng)．鄭州:鄭州大學(xué)學(xué)位論文，2012

［10］王巍，孟朝暉．一種改進(jìn)的CamShift目標(biāo)跟蹤方法．信息技術(shù)，2015(1)

［11］瞿衛(wèi)欣，程承旗．基于Kalman濾波的CamShift運(yùn)動(dòng)跟蹤算法．北京大學(xué)學(xué)報(bào)(自然科學(xué)版)，2015，51(5)

［12］李忠海，王莉，崔建國(guó)．基于CamShift和ParticleFilter的小目標(biāo)跟蹤算法．計(jì)算機(jī)工程與應(yīng)用，2011，47(9)

［13］鄧集洪，魏宇星．基于局部特征描述的目標(biāo)定位．光電工程，2015，41(1)

作者:劉亞偉 李小民