仿人機器人的視覺跟蹤交互設計范文

本站小編為你精心準備了仿人機器人的視覺跟蹤交互設計參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

基于視覺的人機交互技術是機器人應用領域的一個研究熱點。近年來，基于視覺的交互技術發展迅速，與其他交互方式相比，基于視覺的交互彈性較大，既可用于較大范圍的交互也可用于較小范圍的交互；使用方便，不需要高昂的設備，只需一些普通的攝像設備即可，對交互的語言，形態等限制也相對較少。視覺是機器人系統的一個關鍵技術，它賦予機器人一種高級感知功能，為機器人系統提供目標物體的實時圖像信息和空間位姿信息，使得機器人系統能以智能和靈活的方式對其周圍環境做出反應，提高機器人系統操作的可靠性和安全性。當人借助視覺交互工具主動參與和控制機器人行為時，機器人系統比無人時運行更為有效，具有更強的容錯性。視覺系統可將機器人所處的狀態、環境以及工作階段直觀地反饋給操作員，以便操作員在動態任務下進行更好的控制，完成動態任務。對于機器人視覺交互的研究而言，早期的研究主要集中在利用鼠標進行界面的交互、虛擬交互上[14]，而對基于信息的視覺跟蹤交互研究目前尚處于起步階段。雖然前人已進行了很多機器人視覺交互的研究，但由于環境復雜、任務動態、信息量大等問題也給機器人視覺交互的研究提出了新的要求與挑戰。因此，研究實時、可靠、精確的機器人視覺交互選擇是非常必要的。TLD算法是Dr.ZdenekKalal[5_8]在2007年到2010年間提出來并不斷完善的，其將跟蹤、學習和檢測融合在一起，相互作用。在跟蹤目標的同時，學習目標的特征，并通過檢測器實時檢驗特征的正確性，進行反饋驗證’減小誤差。本算法適合長時間跟蹤，可以克服目標遮擋和丟失的問題，具有實時性和精確性。近年來受到了很多學者的廣泛關注，并在不斷地研究改進。根據TLD算法的特性，本文采用此方法對目標進行跟蹤，根據跟蹤結果定義控制語義，實現基于視覺跟蹤的機器人交互。

1仿人機器人NAO平臺簡介

NA0是由AldebaranRobotics公司開發設計的仿人機器人。結合前沿技術以及專為NA0開發的編程環境，使用者可以根據自己的設計對NA0進行編程，賦予它聽、說、看、感知等能力，實現機器人與人、機器人與機器人之間的交流。NA0能力出眾、動作流暢、是仿人機器人中的佼佼者。NA0機器人身高58cm,重4.8kg;有25個自由度，配有慣性導航儀和閉環控制系統，具有撅握能力的雙手；配有多種傳感器，包括超聲波傳感器等；CMOS攝像頭，同步動態隨機存取存儲器；CRJ為AMDGeode86500MHZ;無線網際網絡和以太網端口，靈活的操作系統選擇，可以在Linux、Windows等操作系統下編輯；可以進行聲音合成、語音識別、視覺識別和探測障礙物等；開放式編程框架，用戶可以根據自身專業水平選擇適合自己的高級編程語言，如C++,MATLAB等。NAO有廣泛的應用，可將其應用于多領域的研究平臺、技術教育平臺、科技競賽平臺、家庭服務、展覽展示等。本文主要在展覽展示背景下，以NAO為應用平臺，使用NAO的攝像機，進行復雜背景下視頻的實時采集，將視覺跟蹤技術應用于NAO機器人，以自然的方式完成人機交互展示。

2基于目標跟蹤的交互信息識別方法

為建立完整的復雜背景下的機器人交互平臺，在視覺跟蹤算法的基礎上，本文提出了一種控制NAO運動的跟蹤理解算法，這種算法簡單而高效地將跟蹤算法獲得的對象運動軌跡匹配為不同的語義，采用兩種交互形式，一種是自動檢測視頻中的運動物體進行跟蹤，另一種是手動選擇感興趣的物體進行跟蹤。這樣做既豐富了交互形式，也使得NAO面向具體動態交互任務具有較好的處理能力。在具體的實現中，當確定跟蹤目標之后，該算法首先確定目標往哪個方向走，由于跟蹤目標過程中采用最小矩形的形式，所以先獲得最小矩形的中心作為目標移動的中心點，根據中心點的坐標，確定目標移動的方向。設移動前中心點的坐標為（心九），移動后目標中心點的坐標為（4,凡），根據坐標關系，當目標上下運動時，橫坐標的變化是0,當目標左右運動時，縱坐標的變化為0,但是由于目標在移動過程中，不一定嚴格按照直線運動，會存在一定的誤差，所以根據多次實驗結果。但是這樣定義也存在問題，因為不一定按照直線運動，除了橫縱坐標分別變化以外，還可能出現橫縱坐標同時變化的情況，目標是沿著傾斜的方向運動的，那么這樣定義就無法對目標的運動進行正確的理解，所以還要調整理解算法，使其更加精確。在上面討論的基礎上，本文引人文獻[9]中的目標矢量。首先將整個攝像畫面分為9個區域，如圖1所示。其中5區域作為目標中心點區域，其余的分別代表不同的運動方向。當跟蹤的目標從5區域轉移到其他對應的區域時，則表示相應的動作，由于區域的范圍較大，所以可以有效防止相機或目標抖動引起錯誤的理解。NA0機器人完成一個動作需要特定的時間，所以當其接到向某一方向的運動命令之后，完成每個動作都應留有足夠的時間。在做動作期間，目標的運動是不起作用的，當前運動結束后，才會繼續檢測運動目標的中心，這樣做不會出現混亂的情況。使用這種機制，利用目標的跟蹤就可以發出動作控制的命令。具體的人機交互系統的控制語義定義如圖2所示。仿人機器人NAO有很多動作，控制也較為靈活，本文只是進行了簡單的實驗，用于驗證基于跟蹤交互的準確性和實時性，實現自然的人機交互，實際應用過程中可以根據實際的需要更改NAO的動作，實現動態任務完成交互。

3系統設計與實現

本系統以仿人機器人NAO為實驗平臺，實驗計算機為CPUE5500@2.80GHz，2GB內存，將C++、OpenCV和Matlab程序在MatlabR2009a環境下運行，進行交叉編譯完成程序運行。使用仿人機器人NAOv4.0版本的攝像頭獲取視頻圖像，作為實驗資源，攝像頭的型號為MT9M114,本文中使用的圖像是RGB格式，分辨率為320x240,幀率為30幀/s。控制對象為仿人機器人NA0,無線網絡實現NA0機器人與PC機相連，通過PC機發出相關指令，實現對NAO機器人的動作控制。人機交互系統的硬件設備框圖如圖3所示。交互者根據任務，選擇交互方式，如果是自然交互，那么背景中只有一個運動目標，系統自動跟蹤進行交互；如果手動選擇感興趣目標，就在PC機界面上選擇自己感興趣的目標，后續的跟蹤和動作控制可以由系統自動實現。因此，根據目標運動軌跡的不同，通過跟蹤理解算法，轉化為不同的控制命令，通過無線網絡傳輸到NAO機器人中，實現了復雜背景下的視覺跟蹤交互。系統的軟件實現框圖如圖4所示。

4實果與分析

為了驗證本文機器人交互系統的有效性，本節對該系統進行了一系列的實驗，實驗結果如圖5所示。從圖5、圖6中可以看出，該交互系統可以對于目標的上下左右運動、目標窗口尺寸大小變化的情況實現較好的跟蹤，沒有時間延遲，跟蹤精確，這樣的跟蹤能力說明目標分割精確，跟蹤算法實時性好，精度高。左右運動跟蹤過程比較復雜，目標在運動的過程中窗口尺寸也在發生變化，所以，對區域劃分，設定一定運動范圍的跟蹤理解算法對于交互正確進行非常有效，從而實現了復雜背景下基于視覺跟蹤的自然人機交互系統。

5結論

本文建立了一個面向仿人機器人NAO的機器人機交互平臺，并將視覺跟蹤算法應用于該平臺。基于TLD跟蹤方法，建立一個復雜背景下目標跟蹤的機器人交互平臺，這個平臺將目標移動轉化為相應的控制命令，控制NAO機器人的運動。實驗證明，此交互平臺可以實時、有效、穩定、精確地跟蹤和理解目標的運動，可根據跟蹤結果完成交互任務。

作者：張丹 陳興文 趁姝穎 單位：大連民族大學創新教育中心 東北大學信息科學與工程學院