基本原理
動態(tài)場景解析需要對場景中的目標(biāo)進(jìn)行檢測、跟蹤、識別，對目標(biāo)的狀態(tài)進(jìn)行估計，對特定事件是否發(fā)生進(jìn)行判斷。由于動態(tài)場景具有時變性、場景中目標(biāo)類別、狀態(tài)及行為具有多樣性、事件的發(fā)生具有不確定性、各種場景對象之間具有關(guān)聯(lián)性，動態(tài)場景解析是一個非常困難的問題，傳統(tǒng)方法通常面臨著搜索空間巨大、算法效率低下等問題。但相對于計算機(jī)，人類的神經(jīng)系統(tǒng)在處理此類問題時卻毫不費力，人眼能夠在瞬間發(fā)現(xiàn)場景中感興趣的目標(biāo)并對其屬性及關(guān)聯(lián)關(guān)系進(jìn)行判斷，原因在于人類能夠把多種信息融入搜索過程，通過對搜索空間進(jìn)行削減達(dá)到快速、準(zhǔn)確的搜索。受人類識別方式的啟發(fā)，我們提出了基于假設(shè)檢驗（Hypothesis Testing）理論的動態(tài)場景多目標(biāo)實時解析架構(gòu)，該架構(gòu)包含了狀態(tài)空間初始化、對象特征提取、先驗知識引入、分支假設(shè)檢驗、評分排序、時空關(guān)聯(lián)等算法模塊，同時此架構(gòu)可融合多種現(xiàn)有檢測、跟蹤、特征提取、識別技術(shù)，包括我們提出的異構(gòu)深度神經(jīng)網(wǎng)絡(luò)、分層矢量化多媒體信息表達(dá)、基于受限自適應(yīng)層次化稀疏表示的多目標(biāo)跟蹤等。
算法是一個遞歸的過程、當(dāng)場景變化時須重復(fù)這些步驟（場景更新通常是指有新目標(biāo)出現(xiàn)）：狀態(tài)空間初始化須確定候選目標(biāo)區(qū)域、指定可能的目標(biāo)類別等，合適的初始化能極大地減少搜索范圍，算法開始時可基于一些顯著性檢測算法及先驗知識進(jìn)行初始化，在迭代時可以用前一場景的解析結(jié)果對后一場景進(jìn)行初始化。算法采用高置信度優(yōu)先的方式進(jìn)行搜索，每次都選取置信度最高的候選目標(biāo)并對其狀態(tài)進(jìn)行假設(shè)檢驗，當(dāng)檢驗通過時則對其引發(fā)的結(jié)果進(jìn)行分支假設(shè)檢驗，如檢驗沒通過則此分支被剪枝，每個通過的假設(shè)都會有一個得分（置信度），得分高低取決于目標(biāo)自身特征、多目標(biāo)之間的關(guān)聯(lián)性以及先驗知識。算法需要優(yōu)化一個基于信息熵的能量函數(shù)，當(dāng)能量函數(shù)最小時，認(rèn)為搜索到最優(yōu)解。此能量函數(shù)融合了整個場景的信息，不僅包括場景中目標(biāo)、事件和場景自身的信息，也包括它們之間的交互信息以及先驗信息。由于動態(tài)場景具有時變性和相關(guān)性，在對當(dāng)前場景進(jìn)行解析時，還須關(guān)聯(lián)上一場景的解析結(jié)果，整個算法構(gòu)成一個時空關(guān)聯(lián)的有機(jī)整體。基于這種架構(gòu)，可對動態(tài)場景進(jìn)行在線解析（只考慮當(dāng)前場景及之前的信息），也可離線對動態(tài)場景進(jìn)行整體解析。由于模擬了人類神經(jīng)系統(tǒng)的搜索方式，有效地減小了搜索空間，算法具有較高的搜索效率，可實現(xiàn)實時的動態(tài)場景解析。同時由于融合了多種信息，算法能達(dá)到較高的識別準(zhǔn)確率。
圖 1：動態(tài)場景多目標(biāo)實時解析架構(gòu)
該算法利用稀疏表示的能力，結(jié)合分層表達(dá)思想，將層次化和稀疏表示（特征）相結(jié)合，有效提高了目標(biāo)的模板的表達(dá)能力。在建立模板時，不僅對目標(biāo)建立模板，對背景也建立建模，在判斷候選區(qū)域是否為目標(biāo)時，可以結(jié)合兩個相似度進(jìn)行判定，分類結(jié)果更準(zhǔn)確。在跟蹤過程中，不斷更新模板時，對目標(biāo)和背景建立模板池，收集一段時間內(nèi)的目標(biāo)和背景特征分布，使得模板池的魯棒性更強(qiáng)。為了保證算法的實時性，有選擇性地對模板進(jìn)行更新，對當(dāng)前的新目標(biāo)進(jìn)行判斷，如果和模板池差別很小，則不更新模板；差別非常大說明跟蹤失敗，也不更新；只有在合適的時機(jī)才更新模板，即保持模板的穩(wěn)定性，又能減少運算，達(dá)到實時性。為了更準(zhǔn)確地度量目標(biāo)和背景之間差異，采用自適應(yīng)權(quán)重調(diào)整方法，將目標(biāo)模板和背景之間不相似的特征賦予較大的權(quán)值，相似的特征賦予較小的權(quán)值，增強(qiáng)目標(biāo)與背景之間的區(qū)分度。通過建立目標(biāo)的時序特征模型，保證目標(biāo)模板的時序連貫性與完整性。
算法的主要流程:算法對視頻中多目標(biāo)的狀態(tài)采樣后，結(jié)合時間約束、空間約束對多層稀疏表示特征進(jìn)行加權(quán)，并通過目標(biāo)基、背景基的更新機(jī)制，在標(biāo)準(zhǔn)對沖跟蹤框架判斷后得到目標(biāo)的狀態(tài)（包括大小、方向、位置等）；在目標(biāo)丟失后,結(jié)合稀疏分類器網(wǎng)格粗略檢出目標(biāo)后再次判斷，從而實現(xiàn)復(fù)雜場景下實時的目標(biāo)跟蹤。
