SiamRPN: High Performance Visual Tracking with Siamese Region Proposal Network

High Performance Visual Tracking with Siamese Region Proposal Network

2018-11-26 18:32:02

Another Implementation based on PyTorch with deeper and wider backbone network (SiamDW, CVPR-2019): https://github.com/researchmm/SiamDW (all the train and test code !!!)

1. Background and Motivation :

现有的跟踪方法主要分为两种：

1). 相关滤波跟踪方法；也有将 deep feature 结合到 CF 方法中，但是速度不够快；

2). 完全基于深度网络的跟踪方法，由于没有用到 domain-specific information，效果并不是很突出。

本文将 RPN 引入到跟踪过程中，极大地改善了跟踪效果。主要包含两个分支：

1). Template branch;

2). Detection branch;

在测试阶段，作者将其看做是：local one-shot detection framework，第一帧中的 BBox 仅提供 exemplar。作者将 template branch 重新看做是参数来预测 detection kernels，类似于 meta-learner。meata-learner 和 detection branch 都仅仅用 RPN 的监督来进行端到端的训练。在 online tracking 过程中，Template branch 会被修剪以达到加速的目的。本文所提出的方法也是第一次将 online tracking 看做是 one-shot detection 任务。

本文所提出的 Siamese RPN 的流程图如下所示：

2. Siamese-RPN framework：

2.1 Siamese feature extraction subnetwork

在孪生网络中，作者采用不带 padding 的全卷积网络。骨干网络是修改后的 AlexNet，Siamese tracker 的示意图如下：

2.2 Region Proposal Subnetwork

该 RPN 子网络包含两个部分：pair-wise correlation section 以及 supervision section。

Supervision section 包含两个分支：一个是用于前景和背景分类的分支，另一个分支用于 proposal 回归。

如果有 k 个 anchors，网络需要输出 2k channel 以进行分类，4k channels 以进行回归。所以，pair-wise correlation 首先增加 channel 个数为两个部分。另一个分支也分为两路，即：reg 和 cls。Template 分支输出的 feature 可以看做是 “kernel”，在 search region 的 feature 上进行卷积操作。在 classification 和 regression branch 上都要进行 correlation 操作：