摘要：当要求的场景尺寸超出一个光学传感器的范围时，同时取得完整的场景就成为一个难点。针对这一问题，采用多个光学传感器同时对场景进行采集，可以得到几幅互相有一定重叠的场景图像。应用改进的相位相关算法对重叠图像进行快速配准，应用渐入渐出融合算法消除拼缝，实现无缝大视场拼接。并将整套算法在以TMS320DM642 为核心处理器-DSP式图像采集处理卡的平台上实现，得以构成一个小型化视频拼接系统。实验结果表明，该系统可以自动地对存在一定重叠和旋转的两幅768×494 分辨率、25 帧/秒的视频图像进行拼接，获得无缝、清晰的大视场视频图像，满足系统实时性的要求。

关键词：视场拼接；DSP式图像采集处理卡；图像配准；视频图像

1 引言

自动建立大型、高分辨率的视场拼接技术一直是摄影测量学、计算机视觉、图像处理和计算机图形学的活跃研究领域，如用于建造虚拟环境[1]和高分辨率图像[2, 3]。视场拼接技术就是将一组重叠图像的集合拼接成一幅大型的无缝高分辨率图像。当需要的场景超出一个光学传感器的范围时，同时取得需要的场景就成为一个难点。在这种情况下，同时用几个光学传感器采集需要的场景，得到几幅重叠的图像，就可以用来再现原场景。本文提出一套灵活的视场拼接系统，并详细叙述基于数字信号处理器的图像拼接系统的硬件和软件设计原理。实验结果表明，视场拼接系统可以准确有效地获得重叠图像的无缝拼接，同时符合系统实时性的要求，能够获得一个满足要求的高分辨率、无缝大视场图像。

2 图像拼接系统的硬件平台

2.1 系统结构

本文提出的视场拼接系统的总体结构如图1 所示。它包括光学系统、图像传感器接收系统、图像处理系统和显示系统。视场拼接系统是采用TMS320DM642作为主处理器的DSP式图像采集处理卡（本网站产品商城有售），并设计系统的硬件和软件，可以实时自动地完成视场拼接，同时可以输出拼接后的视场。系统满足25 帧/秒的实时速度要求，最终可以获得一个分辨率高、清晰、无缝、满足要求的大视场图像。

图1 视场拼接系统的总体结构

2.2 视场拼接系统的光学、机械结构

本文设计的成像实验系统包括两个相同成像子系统。两个子系统的结构和位置关系如图2(a)所示。每个成像子系统的视场是θ，重叠区的视场为ω。子系统的光轴L1、L2 和系统中心线L 平行。光轴L1、L2 之间的宽度为h。两个子成像系统视场的关系如图2(b)所示。其中，充满白色的视场为两个成像子系统的重合视场。本系统可以获得两个重叠的图像，进而可以获得一个有限距离内场景的大视场拼接图像。图像传感器的分辨率为768×494，成像系统的焦距为8mm。

图2 两个成像子系统的结构图和视场重叠示意图

2.3 视频处理硬件系统

视频处理硬件系统采用TMS320DM642 作为主处理器。TI 公司的TMS320DM642 ( 以下简称DM642)是一款专门面向多媒体应用的专用DSP。该DSP 时钟高达600MHz，8 个并行运算单元，处理能力达4800MIPS；采用二级缓存结构；具有64 位外接存储器接口；兼容IEEE-1149.1(JTAG)边界扫描；还集成了3 个可配置的视频端口等外设。

视场拼接系统的图像处理系统如图3所示。从CCD 摄像机输入的视频信号经采集、A/D 转换为数字信号后送入DSP。DSP 对采集的视频数据进行缓存，并对视频数据采用基于极坐标的相位相关算法进行图像配准和图像拼接，拼合成一幅大视场图像后送入显示系统。将DM642 的三个视频端口分别配置为两个输入端口和一个输出端口。VP0、VP1 视频口通道配置为8 位BT.656 视频输入口。视频A/D 转换器采用TI 公司的视频解码芯片TVP5150。 VP2 视频口通道配置为8 位源数据输出口，视频D/A 转换器采用SAA7105。外部存储器接口EMIF(External Memory Interface)是外部存储器和DSP片内其它单元间的接口，CPU 访问片外存储器时必须通过外部存储器接口EMIF。C6000 系列数字信号处理器的EMIF 具有很强的接口能力，分为4 个寻址空间CE0-CE3，每个CE 寻址空间彼此独立，可以进行不同的访问控制，其中CE0设置为SDRAM 工作方式。CE1 设置为异步存储器方式，与Flash 进行接口，配置为外部EPROM 的程序初始化
引导区。

图3 视场拼接系统的图像处理系统

3 视场拼接系统的算法

相位相关算法是一种非线性、基于傅里叶变换功率谱的频域相关算法，由于采用该方法只取互功率谱中的相位信息，因而减少了对图像内容的依赖，而且所获得的相关峰尖锐突出，因此位移检测范围较大，有很高的匹配精度。另外，相位相关技术对图像灰度依赖较小，具有一定抗干扰能力。但它对图像旋转特别敏感。通过将图像从直角坐标变换到对数极坐标，可以得到图像间的旋转参数。具体算法如下：

设两幅图像f1(x, y)与f2(x, y)之间只有平移关系，即：
(1)

根据傅里叶变换的平移特性，它们对应的傅里叶变换有这样的关系：
(2)

其中 F1(ω1, ω2)和F2(ω1, ω2)为图像f1 与f2 的傅里叶变换，它们的互功率谱为F1(ω1, ω2)、F2*(ω1, ω2)，*为共轭符号，将其归一化后得到：

(3)

对式(3)求傅里叶逆变换，得到一个相位相关函数：

式中 d 是二维δ 函数阵列，在δ 函数阵列中寻找最大峰值，其对应的就是δ (x-x0, y-y0)处的值，而x0 和y0 就是两幅图像间的平移。

设两幅图像f (x, y)与f (x′, y′ )之间有旋转、平移关系，即：

其中θ0 为旋转量，(x0, y0)为平移量，其对应的傅里叶变换满足如下关系：

由此可见，空域中的平移在频域中只反映在相位变化，频域中的幅谱只反映空域中的旋转量，而幅谱经过极坐标变换后对应的旋转量转换成平移量，对幅谱取对数运算是为了降低其动态范围。当图像存在尺度变换时，通过对数变换可以检测。设mod1 和mod2 分别为F′ 和F 的模值，对式(6)两边取模：

如果对式(7)采用极坐标变换，则两幅模值图像有如下关系：

可以看出，两幅模值图像之间只有平移关系，因此可以再利用相位相关方法求出θ0。然后将第二幅图像旋转θ0 构造出第三幅图像，第三幅图像和第一幅图像之间只有平移，对这两幅图像进行相位相关，求出(x0, y0)，然后就可以进行拼接。

得到投影变换矩阵后，对两幅重叠图像进行拼接，对于重叠部分，如果只是简单地取第一幅图像或第二幅图像的数据，会出现明显的连接痕迹，即使取两幅图像的平均值，效果也不能令人满意。为了使拼接区域平滑，采用渐入渐出的方法，即在重叠部分由第一幅图像缓慢过渡到第二幅图像。设渐变因子0<β <1，令结果图像I=β I1+(1-β )I3，其中β 的值由1 渐变到0，它与该点距重叠区域边界的距离有关。

4 实 验
为了验证设计系统的能力和使用算法的有效性，下面给出实验。如图4 所示，图4(a)和图4(b)分别为成像子系统I, II 拍摄图像中的一帧。可以看到由于光照的影响，图4(a)和图4(b)有明暗差异，但是并不影响图像配准的正确性。经过配准后，获得两幅图像的平移量为(5, 159)，旋转为1.5°。采用渐入渐出的方法拼接后，可以得到一幅大场景图像，图像拼接结果如图4(c)所示。

">

图4 原始图像和实验的处理结果

5 结 论

当要求的场景尺寸超出一个光学传感器的范围时，为了获得大视场视频图像，我们提出一种完全的视频拼接系统，该系统可以获得高分辨率、无缝的大视场图像。给出系统的总体结构和算法，此系特点在于它可以自动、实时的完成图像拼接。实验结果表明，该系统可以自动地对存在一定重叠和旋两幅768×494 分辨率、25 帧/秒的视频图像进行实时拼接，获得无缝、清晰的大视场视频图像。