今天有幸听了与我现在研究内容相关的一个报告，即视频图像运动目标分割研究，是由中国科学院自动化研究所国家模式识别重点实验室副主任、博士生导师卢汉清教授主讲。他主要从四个方面来讲述了他们在这方面的研究内容和成果，具体介绍如下：

1.       基于三参数的全局运动估计；

2.       基于“图切割”的运动目标分割；

3.       基于立体视觉的全局运动建模；

4.       汽车导航系统中运动目标检测。

   这方面的应用主要有视频监控、视频压缩、视频检索。相应的算法分类有：①基于变化检测；②基于二维运动估计；③基于三维运动估计；④基于时域空域特征聚类。其中基于变化检测有背景相减法、变化检测法；二维运动估计有光流法、图像块法、网格法；三维运动估计有6参数法（仿射模型）、8参数法（透视模型）；基于时域空域特征聚类有基于时域空域特征聚类的运动分割。另外分割算法的评价主要从三个方面来看：分割质量、通用性和计算量。卢教授主要探讨了摄像机运动情况下的运动目标分割方法，具体有如下几个方面：

1.     全局运动估计：提出一种基于三参数的全局运动估计；

2.       基于单目视觉的运动目标分割：基于“图分割”的运动目标分割；

3.       基于立体视觉的运动目标分割：基于立体视觉的全局运动建模

4.       根据这些研究在汽车导航上面的应用。

基于三参数全局运动估计模型

全局运动估计：⑴ 全局运动：主要是指摄像机的运动；⑵ 局部运动：场景中物体的运动。

利用相邻图像帧的匹配计算光流场，基于全局运动模型，估计模型的运动参数。为了降低复杂度，主要做了这样三方面的工作，即运动模型简化、宏块预测、快速匹配算法。在运动模型简化中，提出只考虑摇摄（pan）和变焦（room），这样产生一个三参数表示，通过块匹配算法来进行光流场计算，估计三个运动参数，最后采用递归最小二乘法来得到最佳的参数。在宏块预判中，主要目的是为了减少估计噪声和节省时间，包括计算图像梯度信息，计算每个宏块内的梯度信息量，对“不可能”宏块在光流场计算和参数估计中不予考虑。在快速匹配算法中，主要讨论了以下三个方面：

①     SEA算法；

②     同时利用梯度信息和灰度信息；

③     匹配准则：SAD(绝对灰度误差值)和SAG（绝对灰度误差和）

 提出了基于SAG的SEA算法和基于SAG&SAD的SEA算法，并给我们展示了一些实验对比效果。

基于“图切割”的运动目标分割

    提出了运动分层，利用分层的模型描述运动目标；之后进行图像标记，这里面介绍了构造加权图（节点、终端、加权边）、Graph cuts，这里是通过对“加权边”的分割进行运动分层。

基于立体视觉的全局运动模型

    需要采用两个摄像机来获取三维坐标，提出了立体坐标系SCS与世界坐标系WCS之间的转化，分别沿X轴、Y轴、Z轴进行平移和旋转，来计算坐标之间的变化，通过分析这些变化来确定最后全局运动的模型。最后对6参数的立体全局运动模型进行了讲解，主要是对坐标变换进行准确性分析。

汽车导航系统中的运动目标检测

   这里面主要有基于立体视觉的运动分析和基于立体视觉的交通场景分析。其中涉及到ROI的提取，对ROI进行分割等等，给我们看了一些实验结果。

我结合我的工作向卢教授请教了几个问题：

1.     如何去除边缘检测后的毛刺，去除一些不需要的区域，只保留对象的外轮廓？

2.       其中在“图切割”中提到了运动分层，运动分层是如何来做的呢？

3.       针对目前的视频压缩编码标准，比如MPEG-4、H.264和国内的AVS，视频压缩编码的发展空间还有多大呢？还可以往哪些方向发展呢？

通过这个讲座，使我比较清晰了了解到我目前工作的方向和难点，针对背景不怎么变化的视频图像，如何更好的把背景和对象分割开，如何把边缘检测出的一些不需要的小区域去掉，是我需要解决的。另外考虑在有监督的视频语义对象分割里面，对初始帧采用时域和空域的分水岭算法把图像分成各个区域，如何对我需要的对象区域进行标记，如果采用MRF，怎样在编程中来做，也是需要进一步去解决的。这个讲座中提到的一些方法对我也很有启发，比如采用运动分层，这样是不是可以不用边缘检测就可以把需要的ROI分割出来呢？如何基于内容、对象语义理解来进行视频图像压缩，这个方向还得继续下去……