RMPE Regional Multi-person Pose Estimation

 

paper code

Summary

这篇论文是上海交大和腾讯优图的论文,被 ICCV 2017接收。它对于多人姿态估计的方法采用传统的自顶向下的方法,即先检测人,再识别人体姿态。检测使用的是SSD-512,识别人体姿态使用的是state-of-the-art的Stacked Hourglass方法。

Problem Statement

论文分析了当前姿态估计的两种方法存在的问题——对于自顶向下的方法,检测的误差是很大的一个影响,即使在检测任务下是正确的,提取的proposal也不适用于单人的姿态估计方法;同时,冗余的检测框也使得单人的姿态被重复估计;对于自底向上的方法,当两个人比较靠近时,人体关键点分配到每个人身上会出错,这也是该方法的challenge。作者采用自顶向下方法,致力于解决对于imperfect proposal,通过调整,使得crop的person能够被单人姿态估计方法很好的识别,从而克服检测带来的定位误差。

Research Objective

2D多人姿态估计自顶向下方法。致力于解决对于imperfect proposal,通过调整,使得crop的person能够被单人姿态估计方法很好的识别,从而克服检测带来的定位误差。

Method(s)


image.png
整个过程分为3步:
第一步是用SSD检测人,获得human proposal
第二步是将proposal输入到两个并行的分支里面,上面的分支是STN+SPPE+SDTN的结构,即Spatial Transformer Networks + Single Person Pose Estimation + Spatial de- Transformer Networks,STN接收的是human proposal,SDTN产生的是pose proposal。下面并行的分支充当额外的正则化矫正器。
第三步是对pose proposal做Pose NMS(非最大值抑制),用来消除冗余的pose proposal。

方法细节

  • Symmetric STN + SPPE + SDTN

image.png

  • STN: 得到更精准的单人模型
  • SDTN:反向变换,还原原图,并产生候选姿态
  • SPPE:生成各种姿态


1.将上一步得出的human proposal在长宽方向上个延长20%,以确保可以把人完整的框起来。而且经过验证,这样确实可以把大部分的人整个框起来。
2.经过一个STN网络将延伸过的图像进行仿射变换,可以生成一个比较精确的、适合作为SPPE输入。
3.把SPPE的输出经过与前边相反的STN变换,将坐标变换回原来的坐标系,完成整个的识别过程。

  • Symmetric STN

STN是Google DeepMind在2015年提出的Spatial Transformer Networks,相当于在传统的一层Convolution中间,装了一个“插件”(就是矩阵的仿射变换),可以使得传统的卷积带有了裁剪、平移、缩放、旋转等特性;目标是可以减少CNN的训练数据量,以及减少做data argument,让CNN自己学会数据的形状变换,将输入图像做任意空间变换。

  • Parallel SPPE

并行的SPPE作为正则化作用,用来进一步加强STN提取优质的human proposal。这一支的label设置为single person pose。训练时使用2条支路输出的总误差来训练网络,parallel SPPE所有层参数在训练阶段是固定的,Parallel SPPE分支和真实姿态的标注进行比较,反向传播中心位置的姿态误差给STN模块。如果STN的姿态不是中心定位,parallel SPPE反向传播较大的误差。通过反向传播的方式帮助STN聚焦正确的区域,实现提取高质量人体区域。但是测试阶段,parallel SPPE被禁止。在测试时将下面的 Parallel SPPE丢掉,只使用Symmetric STN进行前向传播。

  • Parametric Pose NMS

首先选择置信度最高的pose作为参考,靠近它的pose通过淘汰标准来消除。对于剩下的pose,重复上述过程,直到消除冗余姿势,并且仅返回唯一的pose。

  • Pose-guided Proposals Generator

symmetric STN + SPPE应该用SSD产生的人体建议框充分训练,需要适当的数据增强。这里主要是在训练过程中增加proposal的数量,虽然每一张图片都只有K个人,每个人只会产生一个bbox,但是可以根据ground truth的proposals,生成和其分布相同的多个proposals一起训练。

Evaluation

image.png

Conclusion

wait