Multitarget tracking (MTT) 多目标跟踪一直是一个热点话题，这个问题已经都50年了，但是一直得不到一个很好的解决，在图像跟踪上，大家可能比较熟悉相关滤波，我们今天从另一个角度去思考这个问题，多目标跟踪是单目标的复杂形式，但是问题就变成了如何处理，检测丢失，噪点，初始位置不清和target的增减等问题，注意这里讨论的问题不仅仅是图像领域而是一种很通用的MTT问题，比如传感器网络等。
现在主要的三类解决方式是：JPDAF (joint probabilistic data association filter, 联合概率数据互联滤波器), MHT (multiple hypothesis tracking, 多假设跟踪) 和 RFS (random finite set, 随机有限子集)。 这是从处理measurement 和 target 的关系的角度来说明的，我们在这总结一下。我会尽量用最少的语言和少量的公式讲明白。因为RFS是我的研究方向可能笔墨会多一点。现在很多的方法其实主要还是用的是JPDAF的思想来消除false alarm，减少了误检，但是如果要解决目标丢失和目标重叠等问题，我觉得还是要从MHT和RFS的角度来思考。
基本MTT问题
- 图中展现了一个典型的MTT问题，一个target没有被雷达检测到（missed detection），两个临近的目标叠加在了一起（unresolved），同时还有噪点（fasle alarm），这些统称为measurment的原始不确定性。
- target 数目是时变得，同时每个target产生多个随机的measurement。
- target 排列是无序的。
JPDAF
JPDAF是单目标的PDAF在多目标问题上的延伸。
基本假设
- measurement 可以包含false alarm。
- target数目是已知的。
- 每个物体的初始位置是已知的。
- 每个target 状态方程可以不同。
- measurement 可以多个近似的，但是一个measurement 最多只能代表一个target。
- 一个target 只能至多产生一个measurement。
- target的检测是独立的，并且检测的概率已知。
- target 是高斯的和independent across target（均值和方差可以迭代的）。
基本步骤
- 设置了一个验证矩阵(validation matrix)，他显示了每个测量的所有可能来源。
- 从这个验证矩阵中，根据规则计算所有可行的联合关联事件。
- 每个测量都有一个源。
- 每个目标的至多有一个测量（或不测量）。
- 这些联合事件可以通过以下假设评估：
- 目标产生的测量值的分布概率是高斯的。
- 虚假测量均匀随机分布的。
- 虚假测量的数量遵循。
- 泊松先验 - 参数JPDAF。
- 弥散先验 - 非参数JPDAF
- 边际（目标的独立测量）关联概率可以从联合关联概率获得。
- 通过使用这些边际概率，target state 可以被独立（未耦合的）PDA滤波器估计。
小结
因为他要求目标已知，很大方面限制了他的局限性，但是它想法直观，很多方法都还有他的影子，现在很多基于detection的tracking方法，也是通过建立data association去消除false alarm。
code。
MHT
MHT会为每个候选目标建立一个潜在跟踪假设树，然后，计算每一个跟踪的概率，选出最有可能的跟踪组合。因为在计算概率时，整个跟踪假设都会被考虑到，所以MHT理论上适用于高阶信息例如长期的运动和外观模型。MHT分为两类HOMHT（hypothesis-oriented MHT）和TOMHT(track-oriented MHT)。其中TOMHT又分tree based 和non-tree based。
注 Hypothesis 是estimated target的轨迹。
基本假设
- 不知道 measurement 不知道是属于target 还是 clutter。如果属于target，也不知道属于哪个target。
- 当target miss的概率小于检测的联合概率时，miss是不知道的。
- 为了限制data association的数目，算法采用gatting。其中fine gatting（椭圆gatting）最为常见。矩形 gatting 也有采用，因为计算量比较少。
- measurement 可以包含false alarm。
- 考虑了miss detection 或者 target death，（现在也会考虑bitrh）。
- target数目是未知的。
- 每个物体的初始位置是未知的。
- 每个target 状态方程可以不同。
- measurement 可以多个近似的，但是一个measurement 最多只能代表一个target。
- 一个target 能至多产生一个measurement。
- target的检测是独立的。
基本步骤
- 设现在有2个target轨迹，和三个measurements。
- 建立树形结构。
- 得到所有的track hypotheses。
- 只保留一个best global hypothesis（BGH）其他的丢掉。
- 可以通过多次扫描再做取舍来提高系统正确率。单次扫描被称作2D assignment problem，多次被成为multi-frame assignment (MFA) 或者 multi-dimensional assignment (MDA)。
- association hypotheses随measurement而指数增多。为了抑制增多，我们可以采用clustering, gating, N-scan pruning 和 track-score based pruning。
小结
随之计算机性能提升，经典MHT算法在标准测试数据集上能与目前一流的方法媲美。比如在MOT2017上排第9。可见性能还是很不错的。
code。
RFS
RFS就是把多目标的state看成单目标的state，这样就能通过单目标的方法解决问题，他与前两个区别在于它不需要data association。最简单的RFS，是伯努利RFS。我们也可以取RFS的泰勒一阶展开，即PHD（Probability Hypothesis Density）或者intensity function。 PHD的卷积就是估算的target数量。
- generalized labeled multi-Bernoulli filter 和 particle marginal Metropolis-Hasting tracker都考虑了物体的label信息，所以有滤波递归的解析解。
- PHD，CPHD 和 multi-Bernoulli filter不考虑label信息，所以有近似解析解。
基本假设
- RFS在空间X的有限子集上取值，而不是在空间X上取值，所以他不符合在X上的贝叶斯理论，它是建立在采样理论上的计算。
- 通常考虑的是FISST(Finite Set Statistc)， 因为他易于形成测量理论结构。
- 考虑了miss detection 或者 target death，也会考虑bitrh，同时兼顾appear and disappear。
- target数目是未知的。
- 每个物体的初始位置是未知的。
- 每个target 状态方程可以不同。
- measurement 可以多个近似的，但是一个measurement 能代表多个target。
- 一个target 能至多产生多个measurement。
- target的检测是独立的。
- 网络是非齐次的，非泊松的。
- 检测概率和state相关方程明确。
PHD
计算廉价，假设更新和预测的RFS为Possion的。他的closed form形态被称为GM-PHD。对于非线性，还有SMC-PHD。CPHD就还考虑了基数分布，通过高计算复杂来获取高性能，同时假设更新和预测的RFS为cluster 的独立同分布。他们的计算量和target数量成线性，PHD同measurement的数量成线性，CPHD是成$N_z^2\log{N_Z}$
对于PHD filter 大家可以读一下advances in statistical multisource-multitarget information fusion。书也不贵1000左右吧。。。
伯努利滤波器
欢迎大家看我之前发的blog:
文章还没修正，而且我不是专业做Bernourlli的，所以字符会有点乱。。。。见谅。
Generalized Labeled Multi-Bernoulli Tracker
前面的filter 包括multi-Bernoulli filter 都是不输出轨迹的。而GLMB是输出轨迹的。他的label包含两个部分一个是出生的时间，一个是对应的target。它是Bayes 多目标filter的第一个完全close form解。但是计算量很大和观测成立方增长
他的数学推导我们会再开专题，paper。