行人檢測作為計(jì)算機(jī)視覺領(lǐng)域基本的主題之一，多年來被廣泛研究。盡管先進(jìn)的行人檢測器已在無遮擋行人上取得了超過 90% 的準(zhǔn)確率，但在嚴(yán)重遮擋行人檢測上依然無法達(dá)到滿意的效果。究其根源，主要存在以下兩個(gè)難點(diǎn)： 

嚴(yán)重遮擋的行人框大部分為背景，檢測器難以將其與背景類別區(qū)分； 

給定一個(gè)遮擋行人框，檢測器無法得到可見區(qū)域的信息； 

Tube Feature Aggregation Network（TFAN）新方法，即利用時(shí)序信息來輔助當(dāng)前幀的遮擋行人檢測，目前該方法已在 Caltech 和 NightOwls 兩個(gè)數(shù)據(jù)集取得了業(yè)界領(lǐng)先的準(zhǔn)確率。

核心思路

利用時(shí)序信息輔助當(dāng)前幀遮擋行人檢測

目前大部分行人檢測工作都集中于靜態(tài)圖像檢測，但在實(shí)際車路環(huán)境中大部分目標(biāo)都處于運(yùn)動(dòng)狀態(tài)。針對嚴(yán)重遮擋行人的復(fù)雜場景，單幀圖像難以提供足夠有效的信息。為了優(yōu)化遮擋場景下行人的識別，地平線團(tuán)隊(duì)提出通過相鄰幀尋找無遮擋或少遮擋目標(biāo)，對當(dāng)前圖像中的遮擋行人識別進(jìn)行輔助檢測。

實(shí)驗(yàn)新方法

Proposal tube 解決嚴(yán)重遮擋行人檢測

如下圖，給定一個(gè)視頻序列，先對每幀圖像提取特征并使用 RPN（Region Proposal Network）網(wǎng)絡(luò)生成 proposal 框。從當(dāng)前幀的某個(gè) proposal 框出發(fā)，依次在相鄰幀的空間鄰域內(nèi)尋找相似的proposal框并連接成 proposal tube。