[论文笔记] Real-Time Human Pose Recognition in Parts from Single Depth Images

Paper：J. Shotton, A. Fitzgibbon, M. Cook, T. Sharp, M. Finocchio, R. Moore, A. Kipman, and A. Blake. Real-Time Human Pose Recognition in Parts from a Single Depth Image. In CVPR 2011. http://research.microsoft.com/apps/pubs/default.aspx?id=145347

---

问题描述：文章提出了一种从单张深度图中提取3D骨架节点的方法。这种方法并不使用动作的时序信息，但是快速有效，识别帧率在200fps左右（GPU加速后），精度不逊于现有算法。这也是Kinect动作识别的核心算法。
文章最主要的贡献在于：将Pose estimation作为Object recognition看待，提出了一种新颖的识别方法——将Body part segmentation问题作为基于像素的分类问题来处理，这样就不需要对不同节点组合进行搜索，但同时单一部位很可能在局部剧烈地变化。算法的计算复杂度低，精度高。文章的实验部分还论证了以下观点：1）作为训练用的深度数据，合成数据可以很好地代替真实数据；2）获得高精度的重要一步是扩大并丰富训练数据；3）文章中提出的基于部位的识别方法比模糊的精确最近相邻节点更具有通用性。

数据：
数据来源是几乎所有机器学习相关算法的头痛问题。对于动作识别，首先，出于对人物的着装、发型、材质等因素的多样性考虑，使用图形技术合成的训练图片在色彩和材质等方面均有很大的变数，使用深度图片虽然能避免一部分变数，但由着装和发型等带来的形状差异却无法规避；其次，驱动人物的动作数据本身均不可避免地来自Motion capture，这使得获取大量动作的工作量变得很大，虽然有一些技术致力于模拟人物动作，但至今尚不能解决人物主动运动的问题。
文章的真实深度图片来自于Kinect深度相机，由Primesense提供技术支持，是一种基于不可见近红外光的结构光深度恢复技术。这种深度摄像头可以在低光强度的环境下工作，提供一种标定尺度的深度估计，对色彩和纹理不敏感，可以天然地应对轮廓中的遮挡，最重要的是使得前背景分离问题变得简单，并且合成深度训练图也是相对直接简单的。文章的训练深度图片使用Mocap数据绑定多种不同的模型渲染生成。为了保证数据的多样性，在从大规模采集的数据中随机时，定义姿势之间的最小距离；对应人体部位识别的方法，训练数据的纹理也根据既定的分块着色，如下图所示。最终生成约100k frame训练数据。

部位标识 / 部位识别 / 骨架生成：
部位标识的精度是可以根据需求自由定义的。文章中使用31个部分的部位标识：头4部分、脖子、2个肩膀等。
部位识别基于像素，即对每一个像素识别其所属部位。特征选择和识别算法引用了Lepetit等05年的工作（点我）：特征选用简单的深度比较特征，识别算法使用多类随机决策树，树节点test为特征值是否大于某一阈值。训练过程微软采用了10million张图片，每张均匀随机2000个样本像素，训练了3棵20-depth的树，训练过程采用分布式实现，在1000核cluster上运行了约一天。（这个time consumption +_+）
骨架生成是基于像素部位分类和像素深度的聚类，使用加权高斯核的Mean-shift算法。这样得到的骨架节点在人体表面，之后需要有一个z值的向后偏移，才能得到正确的3D骨架节点。这个偏移值可以通过各个部位的分别学习获得。

效果：
简单的说，算法效率实时，效果不错。至少这是做了这么多年，第一次实时又有效的几乎万能动作识别算法。
像素级部位标识的精度在50-60%之间，整体骨架的精度大多部位在90%以上，wrist和hand的识别率较低，在80%以上。算法表现出样本越多，精度越高的现象（废话），且在大样本前提下over-fit的现象也能被避免。

---

这个文章的工作在本年会完全follow一次，末了再写个详细的算法评价。