FPGA的視頻圖像處理算法范文

本站小編為你精心準(zhǔn)備了FPGA的視頻圖像處理算法參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫(xiě)作靈感。歡迎深入閱讀并收藏。

《電子科技》2014年第五期

1fpga模塊的實(shí)現(xiàn)

FPGA內(nèi)部系統(tǒng)對(duì)視頻圖像的處理如圖2所示。主要分為幀存儲(chǔ)模塊、分割模塊、插值模塊3部分。

1.1幀模塊及存儲(chǔ)模塊DVI接口是將顯卡中經(jīng)過(guò)處理的待顯示R、G、B數(shù)字信號(hào)與水平同步信號(hào)(Hsync，行同步信號(hào))、垂直同步信號(hào)(Vsync，場(chǎng)同步信號(hào))進(jìn)行組合，按最小非歸零編碼，將每個(gè)像素點(diǎn)按10bit(8bit像素?cái)?shù)據(jù)和2bit控制信號(hào))的數(shù)字信號(hào)進(jìn)行并串轉(zhuǎn)換，把編碼后的R、G、B數(shù)字流與像素時(shí)鐘4組信號(hào)按照最小化傳輸差分信號(hào)(TransitionMinimizedDifferentialSignal，TMDS)方式進(jìn)行傳輸。FPGA的分時(shí)切換邏輯是依據(jù)輸入視頻流的垂直同步控制信號(hào)Vsync發(fā)生由高電平到低電平的轉(zhuǎn)換，以此作為新數(shù)據(jù)幀到來(lái)的標(biāo)識(shí)，如圖3所示。當(dāng)FPGA內(nèi)部的信號(hào)控制采集信號(hào)為0時(shí)，采集系統(tǒng)停止工作，地址發(fā)生器不計(jì)數(shù)。當(dāng)其為1時(shí)，系統(tǒng)處于采集狀態(tài)。首先只有Vsync上升沿到來(lái)后，才允許Hsync通過(guò)，從而保證采集的圖像為完整的一幀圖像。當(dāng)Vsync上升沿到來(lái)后，對(duì)所有計(jì)數(shù)器及觸發(fā)器清零。Vsync上升沿后，場(chǎng)消隱延時(shí)用來(lái)對(duì)Hsync計(jì)數(shù)，場(chǎng)消隱期后，可以采集圖像。行同步計(jì)數(shù)器對(duì)Hsync進(jìn)行計(jì)數(shù)。在計(jì)數(shù)的每一行中，當(dāng)Hsync上升沿到來(lái)時(shí)，行消隱延時(shí)對(duì)其計(jì)數(shù)。行消隱過(guò)后，點(diǎn)同步計(jì)數(shù)器開(kāi)始對(duì)其計(jì)數(shù)。當(dāng)行同步計(jì)數(shù)停止計(jì)數(shù)時(shí)，一幀圖像采集完畢，等待下一個(gè)Vsync到來(lái)。數(shù)據(jù)緩沖區(qū)為兩片SDRAM，以一幀圖像為單位進(jìn)行切換控制。采用乒乓存儲(chǔ)機(jī)制完成數(shù)據(jù)的無(wú)縫緩沖與處理。乒乓操作可以通過(guò)“輸入數(shù)據(jù)選擇控制”和“輸出數(shù)據(jù)選擇控制”按節(jié)拍、相互配合地進(jìn)行來(lái)回切換，將經(jīng)過(guò)緩沖的數(shù)據(jù)流沒(méi)有停頓地送到“后續(xù)處理”模塊。

1.2分割模塊由于一個(gè)像素的輸出值只取決于輸入圖像的相應(yīng)像素值，因此，可通過(guò)對(duì)每個(gè)輸入像素依次進(jìn)行處理這種流水化的處理模式，來(lái)實(shí)現(xiàn)對(duì)圖像的點(diǎn)操作。由于每個(gè)像素是單獨(dú)處理的，所以點(diǎn)操作很容易并行實(shí)現(xiàn)。因此，可以把圖像分割成若干部分，然后再對(duì)每個(gè)部分單獨(dú)進(jìn)行處理。視頻分割模塊實(shí)現(xiàn)單幀視頻圖像的分割剪裁，得到4路完整格式的子視頻像素流，并控制4個(gè)子視頻的相互時(shí)序關(guān)系，各個(gè)拼接屏幕的像素點(diǎn)的掃描規(guī)律相同，均為逐行掃描形式，并且子視頻像素點(diǎn)顯示同步，即行同步和場(chǎng)同步。

1.3雙線性插值算法的實(shí)現(xiàn)實(shí)現(xiàn)圖片處理的插值方法有很多，例如最近鄰插值、雙線性插值、雙三次插值等。最近鄰插值是最簡(jiǎn)單的插值方式，但當(dāng)圖像中的像素灰度級(jí)有細(xì)微變化時(shí)，該方法會(huì)在圖像中產(chǎn)生人工的痕跡。雙三次插值可以得到更平滑的結(jié)果，但在存儲(chǔ)管理更復(fù)雜，并增加了邏輯資源的消耗。因此，選取了雙線性插值方法。與點(diǎn)操作的圖像分割不同，雙線性插值屬于幾何變換，其輸出的像素通常并不是來(lái)自同一個(gè)輸入像素位置。因此需要一些形式的緩存來(lái)處理由幾何形狀改變而引起的延遲。本文采用預(yù)載入緩存的方法來(lái)緩沖圖像數(shù)據(jù)，并使用雙端口RAM來(lái)實(shí)現(xiàn)行緩沖器的設(shè)計(jì)方案。

采用雙口RAM可在一個(gè)時(shí)鐘周期內(nèi)同時(shí)在每一行上提供兩個(gè)輸入像素，即提供了所有的4個(gè)像素。然后將數(shù)據(jù)輸送到插值計(jì)算模塊。而整幅圖像的存儲(chǔ)將保存在外部的幀緩存中，每個(gè)時(shí)鐘周期只能對(duì)其進(jìn)行一次訪問(wèn)。每個(gè)像素應(yīng)僅從外部存儲(chǔ)器中讀取一次，然后暫存在片上緩存中用于隨后的窗口。將數(shù)據(jù)預(yù)載入緩存，每次訪問(wèn)時(shí)直接從緩存中讀取像素，如圖4所示。共需計(jì)算兩次:一次用于載入緩存;一次用于執(zhí)行插值。輸入和輸出像素間的映射采用前向映射。視頻插值模塊實(shí)現(xiàn)對(duì)視頻按比例因子進(jìn)行雙線性插值放大處理。雙線性插值算法的基本原理如圖5所示，圖中的下標(biāo)i和f表示各自坐標(biāo)的整數(shù)和小數(shù)部分。雙線性插值是采用可分離的線性插值將4個(gè)最近的像素值組合，如式(1)。線性插值的結(jié)果與插值的順序無(wú)關(guān)。先進(jìn)行y方向的插值，然后進(jìn)行x方向的插值，所得結(jié)果相同。將式(1)進(jìn)行分解，則有當(dāng)輸入分辨率有所變化而引起縮放因子變化時(shí)，F(xiàn)PGA內(nèi)的數(shù)字邏輯能實(shí)時(shí)計(jì)算出式(2)中的系數(shù)xf和yf。而非僅計(jì)算幾種固定縮放比例，從而提高了算法模塊的利用率。若以將攝像機(jī)1024×576分辨率的圖轉(zhuǎn)化為1366×768的圖為例，則水平縮放因子sc_x和垂直縮放因子sc_y均為0.75。若將水平因子直接帶入編寫(xiě)程序，則會(huì)報(bào)錯(cuò)。采用浮點(diǎn)數(shù)表示法，轉(zhuǎn)換后得到的10位16進(jìn)制數(shù)，計(jì)算出系數(shù)xf和yf均為h300。

在實(shí)際設(shè)計(jì)中，為避免運(yùn)算過(guò)于復(fù)雜，把復(fù)雜的運(yùn)算分成幾個(gè)步驟，分別在不同的時(shí)鐘周期完成。插值計(jì)算的邏輯結(jié)構(gòu)模塊如圖6所示。系統(tǒng)包含3種不同的時(shí)鐘頻率:原像素點(diǎn)頻率clkin、輸出像素點(diǎn)頻率clkout和系統(tǒng)主時(shí)鐘頻率clksys。令系統(tǒng)主時(shí)鐘頻率為4倍的原像素點(diǎn)頻率，則使用Verilog語(yǔ)言及ModelSimSE10。1a和QuartusII仿真環(huán)境進(jìn)行編譯，得到雙線性插值計(jì)算模塊的仿真波形如圖7所示。為程序書(shū)寫(xiě)方便，將采集的4個(gè)像素值標(biāo)為a、b、c、d，經(jīng)過(guò)插值模塊后的輸出像素值為p。從仿真波形可看出，完成了雙線性插值計(jì)算模塊的實(shí)現(xiàn)。

2結(jié)束語(yǔ)

針對(duì)大屏幕特點(diǎn)，從拼接控制器入手，提出了一種基于FPGA實(shí)現(xiàn)的視頻實(shí)時(shí)處理系統(tǒng)。主要采用雙線性插值法，討論了如何用FPGA實(shí)現(xiàn)，并進(jìn)行邏輯結(jié)構(gòu)的優(yōu)化，提高系統(tǒng)性能，并對(duì)雙線性進(jìn)行仿真，驗(yàn)證了算法在拼接顯示系統(tǒng)中的可行性。圍繞拼接控制器這個(gè)應(yīng)用方向，還有更多的問(wèn)題需要進(jìn)行研究，例如畫(huà)面自由疊加與漫游，單屏分割，自動(dòng)圖像識(shí)別重建等。

作者：趙貝單位：大連交通大學(xué)電氣信息學(xué)院