電子發燒友網>嵌入式技術> > 正文

基于DSP和FPGA組合的嵌入式圖像處理平臺的實時多目標識別算法

2021年10月29日 08:52 ? 次閱讀

基于嵌入式圖像處理平臺的實時多目標識別算法

人工智能技術與咨詢?

本文來自《科學技術與工程》,作者?王旭輝等

摘 要?提出了一種適用于空間觀測任務的實時多目標識別算法,它基于DSPFPGA組合的圖像處理硬件平臺,運用散點聚類、軌跡跟蹤、特征提取技術快速識別目標。對算法的功能需求、數據流向、運算流程和處理結果,進行了詳細闡述。實踐結果表明,該識別算法具有很強的實用性。

關鍵詞?多目標 運動軌跡 實時濾波 嵌入式平臺

1 功能需求

空間觀測對象復雜多變,且真、偽兩種目標在尺寸、亮度、形態方面既有區別又十分相似,觀測的背景也起伏多變。算法針對的工況如下:零散目標數量多(K級),但個體像素少(<100 pix);真目標形態有變化但不規則,與偽目標形態經常一致;真目標在亮度方面忽明忽暗有起伏,而偽目標單體灰度起伏小,但群體表現則灰度有高有低;但兩者速度和方向有差異。

由于圖像處理需進行全幅傳輸、存儲和計算,時間消耗大,而用戶對算法實時性要求高,因此必須充分利用圖像傳輸時間,并避免耗時過多的運算,借鑒國外空間寬視場相機[1]的圖像處理方案,對圖像流做一次數據量降級處理,從M級降低到K級,且邊傳輸邊流水線式處理;避免了集中處理造成的時間延遲,降低了錯誤信息匯報的風險。

2 整體架構

硬件平臺由DSP處理器+FPGA及其外圍器件組成的高速運算電路共同實現[2],它為軟件編程、各類數據流控制及復雜對象的識別算法提供基礎保證。多目標識別算法在物理空間運行上分成兩部分:圖像預處理算法(FPGA)和軌跡識別算法(DSP),與嵌入式圖像處理硬件構成一個完整的圖像處理系統共同完成空間觀測任務,識別算法主要負責對空間監測圖像的分析和判讀,重點是濾除背景,對潛在目標進行分類、識別后、剔除偽目標,存儲、記錄真實目標并將其報告給相關系統。其識別的過程可分為五個步驟:幀內空間濾波、幀內閾值分割、幀內散點聚類、幀間軌跡編排和幀間目標判定。

軟件結構如圖1所示。

圖1 多目標識別算法的軟件結構和分配布局示意圖

3 算法步驟

3.1 圖像預處理

該算法依托FPGA實現,對每幀原始圖像進行流水線式“高通濾波”和“閾值分割”,處理后的次級圖像存到外部“FIFO”中。圖像預處理的依據源于“空間圖像是低頻背景與高頻奇異點的綜合結果”[3],因此部分借鑒彭嘉雄先生的高通濾波器模板,對圖像做類似卷積計算,記矩陣h,維數5×5,處理公式如下

?

式中f(i,j)為輸入圖像,G(i,j)為卷積后的結果,threshold即閾值,閾值的選取有兩種方式:一種是人工干預,從DSP端通信口輸入;另一種是自適應調整,以圖像均值為基礎,綜合工程經驗的“可識別信噪比”倍率。

3.2 聚類

預處理后的次級圖像,由DSP處理器從FIFO中取走做進一步處理——“聚類”,即根據次級圖像提供的零散點位置、灰度信息,經過連通和聚合,初步收集單幀內的目標綜合特征,為下一步多幀多目標識別奠定基礎。該聚類算法中“段表”的意義是記錄水平維信息,而“鄰接表”的意義則反映豎直維信息;經過兩次循環遍歷,可以對V型、Ф型和λ型等主流形態目標進行穩定的形心跟蹤,且具有執行速度塊、節省存儲空間等優點,算法流程如圖2所示。

3.3 軌跡編排

聚類后獲得的潛目標信息存儲在SDRAM中,由于偽目標和真目標在幾何特征上的差異尚不足以判斷目標真偽,還需要根據多幀積累后的運動軌跡和速度差異,去“偽”存“真”。這一過程也由DSP實現?!败壽E編排”完成“軌跡矩陣初始化”、“軌跡新建”、“軌跡更新”和“軌跡刪除”四項主要功能。進入目標搜索模式后的首幀先進行“軌跡矩陣初始化”:初始化的內容分兩步先完成矩陣內全部變量清零,然后根據最新單幀潛目標信息組(及前面聚類成果)里的數據構建初始軌跡矩陣;從第二幀開始,即當“初始軌跡矩陣”成型后,逐幀根據潛目標和已分類目標的特征,或更新、或新建、或刪除軌跡,不斷更新軌跡矩陣中的軌跡條數、軌跡長度、軌跡生命值等變量。改動軌跡管理矩陣的條件見表1。

表1 軌跡新建、更新及刪除條件

?

圖2 散點聚類功能的處理流程圖

其中軌跡管理器采用的是結構體和數組的結合,單條軌跡長度限定為固定值,在充滿軌跡長度數組極限前,軌跡點數不斷遞增;充滿軌跡長度數組后用最新點替代最舊點,本文采用這種封閉式的數據結構,是出于可靠性的考慮,避免使用開放式指針及鏈表可能帶來的“溢出泄漏”風險。針對空間目標特性的不連續情況,將軌跡的生命值區分為“活躍態”、“休眠態”和“終結態”;這三種狀態分別對應的判定條件為:不斷更新,間歇更新和永不更新。圖像中出現的噪點因其出現的偶然和隨機性,僅存在于“休眠態”,數幀之后因不再更新,最終會轉入“終結態”;而新出現的潛目標,在經歷連續更新“額定門限幀數”后,由“休眠態”轉入“活躍態”。由于本任務幀頻較高及視場張角較大的特點,幀與幀時間間隔內目標移動的范圍較小,可以用“相鄰原則”來更新標號。完整的“軌跡編排”流程如圖3所示。

3.4 統計分析

圖3 軌跡編排功能的處理流程圖

對“軌跡管理器”中處于“活躍態”的軌跡按“軌跡條數”進行兩次遍歷,分別統計速度和方向,進而更新置信度,然后根據置信度最值確認真實目標(這里選取速度和方向做特征量的原因是真、偽目標在灰度特征上的差異不顯著)。在實際工程使用中,為降低虛警率,置信度在不滿足“軌跡長度累計總量門限”時,暫不對外告警;在置信度配置方面,由于系統安裝平臺的晃動對“方向”有貢獻,因此在置信度設置時,速度的權重高于方向。具體流程如圖4所示。

4 測試結果

圖4 軌跡統計功能的處理流程圖

對該算法的驗證在地面模擬時,以光學模擬為主,背景主要包含兩種光源的起伏,并隨機添加針狀噪聲,真、偽目標源在9 000幀里面累計數量按100顆仿真,單幀內最多按32顆計算。偽目標的空間分布和亮度幅值以亮星星表為依據。圖5列出的是對9 000幀中的某一幀圖像做預處理后的效果,初步驗證了FPGA中圖像預處理算法對背景的剔除功能。

對軌跡識別算法的考核是假設真目標做水平方向往復運動,偽目標做垂直方向運動,在仿真時,為模擬真實情況,對安裝平臺做正弦方式晃動。圖6列出了軌跡管理矩陣中9 000幀的全部歷史記錄。其中藍色的為真目標軌跡,結果表明軌跡算法能對運動有差異的真偽目標做出正確判斷,保持在測試過程中,近99.4%的時間內穩定匯報真實目標信息。

5 結論

提供的算法充分考慮了工程實際情況和多目標實時識別的特點,結合嵌入式硬件處理平臺已經參與并完成對地面模擬目標和空間真實目標的驗證,為空間觀測領域的圖像處理和識別提供了一種具有實用價值的嵌入式開發系統。

圖5 圖像預處理后的效果

圖6 多目標識別過程中的軌跡圖(尺寸5×5;目標數量100;累計9 000幀;含平臺抖動)

【轉載聲明】轉載目的在于傳遞更多信息。如涉及作品版權和其它問題,請在30日內與本號聯系,我們將在第一時間刪除!

下載發燒友APP

打造屬于您的人脈電子圈

關注電子發燒友微信

有趣有料的資訊及技術干貨

關注發燒友課堂

鎖定最新課程活動及技術直播

電子發燒友觀察

一線報道 · 深度觀察 · 最新資訊
收藏 人收藏
分享:

評論

相關推薦

stm32mp1 Cortex M4開發篇7:窗...

寫在前面:本文章為《ARMCortex-M4裸機開發篇》系列中的一篇,,全系列總計14篇。筆者使用的....
發表于 2021-10-29 17:09? 5次閱讀
stm32mp1 Cortex M4開發篇7:窗...

開源!ZYNQ IgH EtherCAT主站方案...

前言創龍科技已基于IMX8、ZYNQ、AM5728、AM5708、AM437x、AM335x、T3/....
發表于 2021-10-29 17:06? 3次閱讀
開源!ZYNQ IgH EtherCAT主站方案...

嵌入式核心板在麻醉系統中的應用

在當今復雜的外科手術過程中,麻醉機是現代醫院進行手術全身麻醉的重要工具。其主要功能是為患者進行吸入麻....
發表于 2021-10-29 16:44? 18次閱讀
嵌入式核心板在麻醉系統中的應用

虹科應邀參加第三屆ST工業峰會

虹科應邀參加第三屆ST工業峰會,并進行相關主題的演講活動?,F虹科誠摯邀請您一起參與這場技術盛會。 屆....
發表于 2021-10-29 16:29? 54次閱讀
虹科應邀參加第三屆ST工業峰會

RISC-V MCU開發實戰(四) :步進電機

軟件平臺: MounRiver Studio(MRS),硬件平臺: CH32V103開發板、ULN2003步進電機驅動板、28BYJ-48步進電...
發表于 2021-10-29 13:41? 101次閱讀
RISC-V MCU開發實戰(四) :步進電機

開源!ZYNQ IgH EtherCAT主站方案分享

前 言:創龍科技已基于IMX8、ZYNQ、AM5728、AM5708、AM437x、AM335x、T3/A40i等平臺提供了開源Ethe...
發表于 2021-10-29 11:17? 0次閱讀
開源!ZYNQ IgH EtherCAT主站方案分享

FPGA中高斯濾波算法的實現

1.高斯濾波算法的實現 前面講的均值/中值濾波,對于濾波窗口內每個像素的權重都是一樣的。但是噪聲在圖....
發表于 2021-10-29 10:59? 172次閱讀
FPGA中高斯濾波算法的實現

AD9910利用FPGA控制

  現打算利用FPGA控制AD9910。FPGA剛開始入門,求一個Verilog控制代碼代碼實現單音模式輸出即可。...
發表于 2021-10-29 10:43? 0次閱讀
AD9910利用FPGA控制

凈利潤預增266% MCU占電表市場六成

電子發燒友網報道(文/莫婷婷)今年8月,復旦微電發布上市后首份財報顯示,公司2021年上半年財報營業....
發表于 2021-10-29 10:11? 142次閱讀
凈利潤預增266% MCU占電表市場六成

mcu芯片是指什么芯片

Mcu是一個專業術語,一般不是行業內人士的話可能不知道這個是干嘛的。其實mcu就是單片機,它的英文是Microcontrolle...
發表于 2021-10-29 09:41? 0次閱讀
mcu芯片是指什么芯片

強者恒強!市場穩固的Binder 圓形連接器巨頭

電子發燒友網報道(文/李寧遠)圓形連接器也可以稱為圓形航空插頭或圓形航插,是基本結構為圓柱形、具有圓....
發表于 2021-10-29 09:37? 243次閱讀
強者恒強!市場穩固的Binder 圓形連接器巨頭

嵌入式開發中如何自己制造智能照明系統

項目背景 顯而易見,智能照明的需求在日漸增長,到2025年,全球智能照明的市場規模將達到370億美元....
發表于 2021-10-29 09:34? 224次閱讀
嵌入式開發中如何自己制造智能照明系統

.nodemcu使用mqtt協議

文章目錄前言nodemcu引腳介紹前言已經通過3篇博客,搭好了后端和前端的物聯網,網絡相關的東西了。最后一篇講經濟便宜...
發表于 2021-10-29 08:53? 0次閱讀
.nodemcu使用mqtt協議

MCU需求描述與功能分析

一、需求描述MCU需要接收來自CPLD的升級固件數據CPLD對MCU只進行發送數據,不接收MCU的數據CPLD...
發表于 2021-10-29 08:48? 0次閱讀
MCU需求描述與功能分析

MCU的串口外設

1.MCU有串口外設的話,在加上電平轉換芯片,如MAX232、SP3485就是RS232和RS485接口了。2.RS485采用差分...
發表于 2021-10-29 08:40? 0次閱讀
MCU的串口外設

LM317線性穩壓電源的資料大合集,不看肯定后悔

LM317總結Iadj一般為50uA輸入至少要比輸出高2V,否則不能調壓。...
發表于 2021-10-29 07:55? 0次閱讀
LM317線性穩壓電源的資料大合集,不看肯定后悔

如何為FPGA選擇合適的電源管理方案呢

如何為FPGA選擇合適的電源管理方案0  背景    當項目中FPGA選型已確定,開始設計電路原理...
發表于 2021-10-29 06:36? 0次閱讀
如何為FPGA選擇合適的電源管理方案呢
尤物久久99国产综合精品