高效的在線聯合對象檢測和跟蹤

檢測和跟蹤視頻序列中的多個對象對于多種應用都很重要。然而，多目標跟蹤通常在檢測跟蹤框架中處理，該框架使用兩種不同的算法來完成不同的任務，這會導致額外的計算成本并禁止共享信息。

最近發表在arXiv.org上的一篇論文提出聯合解決檢測和跟蹤問題，依靠最先進的圖像對象檢測器FasterR-CNN，擴展到視頻領域。控制計算成本，并利用視頻輸入提供的附加信息：新穎的神經網絡減少了基于圖像的提議的數量并添加了由先前視頻幀產生的提議。

所提出的管道實現了與最先進的方法相當的準確性結果，同時持續提供了一些效率改進。

視頻中的對象檢測和跟蹤代表了當前和未來視覺感知系統的基本且計算要求高的構建塊。為了減少可用方法與實際應用的計算要求之間的效率差距，我們建議重新思考最成功的圖像對象檢測方法之一，FasterR-CNN，并將其擴展到視頻領域。具體來說，我們擴展檢測框架以學習實例級嵌入，這證明有利于數據關聯和重新識別目的。專注于檢測和跟蹤的計算方面，我們提出的方法達到了相關應用所需的非常高的計算效率，