Paper：Qian Zhang, and King Ngi Ngan. Multi-view video based multiple objects segmentation using graph cut and spatiotemporal projections. In Journal of Visual Communication and Image Representation, Pages 453-461, 2010.
问题描述：这篇文章旨在从多视点视频中分割多个前景物体——Interested Objects（IOs），也是一个综合多通道信息的大算法框架，如下图所示。吸引人的地方在于据作者所述，该算法表现出不俗的精确度、效率和鲁棒性。在架构5个摄像头的实验中，处理640*480分辨率的视频能达到30fps的梦幻速度（不知是否包括预处理和离线操作）。并且，题目中的多前景物体分割也很具吸引力，虽然就实验结果来看，作者并没有考虑前景物体的重叠遮挡情况。
- 预处理阶段，做色彩归一化和定标，杂务。
- 离线阶段，生成一些用于在线阶段的辅助信息：Motion field[1]、Disparity field、Occlusion map、Depth map和Combined occlusion map（详细描述见论文），三维重建相关，可参阅其他文献。
- 关键视点初始帧操作：
1） 文章引入一些High-level Feature到Saliency model，如Motion、Depth等。Saliency model（SM）旨在表现人会更关心一幅图像中的那些部分，比如相较于背景更关心前景、更关心运动的物体、更关心图像的中间部分或色彩明艳的部分等。因为人比起机器，更懂得识别场景的语义，所以学人，总是没错的。那么，SM中拥有较高值的块将触发下一步的操作，如下图。
2） 基于Graph cut的多前景物体分割。文章修改了基本的能量方程（事实上，每篇文章都改），在色彩和平滑度的基础上增加了对像素重叠（前景物体边缘是重叠的高发地带，因此联合重叠部分CO比可见部分更有可能是背景）和对比度变化[2]的考虑。另外，对于每一个前景物体，graph cut是分别进行的，在一个Object Rectangle中，用于限制物体的最大区域。and，就文章的实验结果来看，的确比基本的能力方程更有效，如下图。
- 多视点视频前景分割：
1） 根据上一步得到的关键视点初始帧轮廓，可以通过Visibility Constraint得到其他视点的粗略轮廓；
2） 类似的，可以通过Motion Projection来获得后继帧的粗略轮廓；
3） 对于不确定的前景物体边界，再基于像素的activity measure（运动的变化量）应用一次Graph cut来得到精确轮廓线。
首先，文章的实验结果是暂时所见到的诸多segmentation文章中最美好的，虽然只有两个实验用视频，且鉴于以往经验，论文所述的实验结果和conclusion在实际重复其工作时，总会打上些折扣。
其次，私以为，文章存在以下limitation：1）没有考虑前景物体间的遮挡，至少文中并没有说明或证明算法能解决这一问题；2）由于文中算法对除关键视点初始帧以外的其他帧和视点，采取了基于关键视点初始帧轮廓投影的方法，来得到粗略轮廓，也就是说，可能存在由于关键视点初始帧操作崩坏，而带来的集体崩坏现象。那么，我们有理由怀疑文章算法对其他视频的适用性；3）同2）原因，文章算法很可能无法简单地适用于前景物体变化较大的视频，比如突然多了一个人；4）鉴于真实经历，相机定标等杂务，绝不如其在文章中的比例和重要性一样轻巧，并且往往有可能是带来后继问题最多的一部分。
综上所述，虽然文章很美好，拿到实际应用中，总是堪忧的。
[1] L. Itti, P. Baldi, A principled approach to detecting surprising events in video, IEEE Int. Conf. Computer Vision (2005) 631–637.
[2] J. Sun, W.W. Zhang, X.O. Tang, H. Y Shum, Background cut, ECCV (2006).
No comments:
Post a Comment