Paper：J. Leens, S. Piérard, O. Barnich, M. Van Droogenbroeck, and J.-M. Wagner. Combining color, depth, and motion for video segmentation. Proceedings of the 7th International Conference on Computer Vision Systems: Computer Vision Systems（ICVS ‘09）, pages 104–113. Springer, 2009.
问题描述：本文引入TOF摄像头（文中指PMD-camera，TOF-cam的一种），对视频场景做新的解释，并结合传统的彩色分割技术、动态分割技术，做前背景的分割。
传统摄像头提供彩色图像，而PMD-camera提供物体距离、信号强度、信号密度等和物体空间位置相关的场景属性，是一种十分有前景且年轻的技术。不过同时，TOF摄像头也存在一些暂时无法解决的问题，如信号的噪声、受传感器大小限制的分辨率（160*120）、以及估算距离的致信区间、还有定标难等问题。尽管如此，这种新硬件对于交互领域还是非常有趣和有价值的。
文中的方法基于像素做前背景分割，避免对场景内容的假设，也不需要任何3D模型的支持。方法结合背景相减技术（Background subtraction tech.）对获得的区域图（Range map）进行处理，获得更鲁棒和准确的分割结果。比如，当人物的颜色和背景的颜色相近时，基于色彩的传统背景相减技术就可能失效，而基于红外信号反馈的PMD-camera就可能返回可用的结果；而，当人物和背景的材质相近，也就是说对红外信号的吸收相近时，传统背景相减技术就能弥补PMD-camera的失效。
作者简单地将两种摄像头上下捆绑，采用简单地仿射变换来对齐图像，回避了TOF-cam定标难的问题。文中采用的背景相减技术引用了09年O. Barnich等人发表的ViBe - a powerful random technique to estimate the background in video sequences 一文，其最显著的特点在于通过一种随机策略来建立基于样本的背景估计和一种全新的策略在相邻的像素间传播信息和状态。
文中提出传统技术和PMD-camera联合策略还是比较简单易懂的，如上图所示。图中，T&I 指代Transformation and Interpolation，G.R.指代Geodesic Reconstruction（待考证是什么意思）。究其本质，意在让两种方法互补缺点，如下图所示。据文中所言，能达到实时的速度，较之一些结合立体视觉和颜色技术的算法目前所见最多只有9fps的速度，还是很有吸引力的。
No comments:
Post a Comment