一种基于视觉相似度度量的混合操作算子图像重定向方法
【技术领域】
[0001] 本发明涉及一种基于视觉相似度测量的混合操作算子图像重定向方法及系统。属 于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。
【背景技术】
[0002] 随着各式各样移动设备的普及，提高人们在移动设备上的视觉体验变得尤为重 要。针对不同的设备，图像必须调整到不同的大小和尺寸来获得更好的视觉体验。在过去的 十多年中，研宄人员提出了许多图像重定向方法来使图像能够以不同大小和尺寸在不同设 备上表现出良好的显示效果。一种经典的方法就是通过线性下采样来调整图像的大小。但 是这种方法可能会因丢失太多重要信息使得显著目标变得太小，严重影响了视觉体验。图 像裁剪算法是另一种图像重定向算法，它保留了人眼的感兴趣区域而去除了无关的背景信 息。但是这种算法也存在一个问题，算法在去除背景区域的同时，也去除了背景与感兴趣区 域的相关联系。
[0003]为了解决图像下采样和图像裁剪算法的这些缺陷，研宄人员提出了各种改进方 法，在图像失真度最小的情况下，通过保存感兴趣区域的主要内容来提高人的视觉体验。一 般地，图像的重要区域包含了丰富的信息，并且可以根据相关技术来计算其重要性图。这种 重要性图是由梯度图、显著性图以及一些如人脸图、运动图等高级特征图组成，被广泛用于 多媒体重定向算法中。
[0004]图像重定向算法是对图像中的像素运用重定向操作算子，通过改变图像的大小以 适应不同大小的显示屏。目前有两类图像重定向算法：离散和连续的图像重定向算法。离 散的图像重定向算法通过删除图像中的像素以获得新的图像；而连续图像重定向算法通过 合并图像中的某些像素得到重定向的结果。
[0005]Avidan等人提出了一种非常有名的离散图像重定向算法，叫做线裁剪算法。这种 方法通过迭代删除由不重要像素组成的一条条缝隙，来达到重定向的效果。由于图像中像 素的删除，线裁剪算法可能导致重定向图像中物体边缘扭曲。为了解决这一问题，研宄人员 基于线裁剪提出了不少新的图像重定向改进方法。与离散的图像重定向方法不同，图像变 换方法是一个传统的连续图像重定向方法，它能够在执行重定向算子的时候保证物体连续 的形变。
[0006] 近年来，Rubinstein等人做了一组主观实验，发现对图像使用多种重定向算子比 单使用一种算子得到的重定向图像质量更好。根据实验的相关结果，作者提出了一个结合 线裁剪，图像下采样和图像裁剪算子的多算子图像重定向算法。每次重定位操作的算子由 输入图像和重定向图像最大相似度的最优化结果来决定。双向变换算法被用于决定这种混 合算子的数量。实验结果证明使用这种混合重定向算子比单用一种重定向算子得到的重定 向图像视觉效果更好，在这之后其他学者也提出了一些混合重定向算子，在这些算法中，相 似度测量被用来决定每个重定向算子的数量。在Rubinstein的研宄中，作者开展了一个比 较实验，证明了之前的诸如双向变换算法、双向相似度算法等用于决定重定向算子数量的 相似度测量方法不是很有效。
[0007]由于上述方法存在着那么多严重的缺陷，需要一种简便而有效的图像重定向方 法，以提高重定向后图像的视觉体验。
【发明内容】
[0008] 为了克服现有技术上的不足，本发明提供了一种混合算子图像重定向方法，这种 方法结合了图像裁剪、图像下采样、线裁剪和图像变换四种算子来完成图像的重定向操作， 这四种算子的重定向操作序列由一个重定向优化过程来决定。我们通过计算原始图像和重 定向图像的相似度，来决定哪个算子在迭代中被使用。对于相似度的计算，由于原始图像和 重定向图像有着不同的尺寸，可以使用尺度不变特征转换流来计算原始图像和重定向图像 的像素映射，利用结构相似度来计算原始图像和重定向图像之间的相似度，同时，视觉显著 性分析被用于决定相似度的权重。实验证明我们提出的方法能很好地对一幅图像进行重定 向操作，所产生的失真度比较小。
[0009] 本发明采用下述技术方案来实现：一种基于视觉相似度度量的混合操作算子图像 重定位方法，其特征在于：对原始图像进行N次迭代重定位操作，每次迭代操作都对上一次 迭代的结果图像采用四种重定位算子，通过比较这四种重定位算子得到的结果与原始图像 的结构相识度来选取一个最优的结果作为此次迭代的结果，经过n次迭代后，得到最终的 重定向图像。
[0010] 本发明各个部分的具体操作如下： 1图像重定向操作算子： 图像重定向操作算子被用于在保证物体不发生形变的情况下调整图片的大小。在本文 提出的框架中，我们使用了图像裁剪、图像下采样、线裁剪和图像变换四种算子来完成图像 的重定向操作。对于图像下采样算子，我们使用统一的图像尺度来进行图像大小的调整。对 于其他三种算子，通过计算图像的显著图，将其作为重要图来估量图像像素的重要程度。本 方法中，我们使用离散余弦变换来提取重定向图像的显著图，将其作为图像的重要图。给定 一张图像，图像块i的显著值可以通过下式来计算：
其中&和￡?4分别代表两个图像块i和j之间的空间距离和特征差异。
[0011] 我们用上面的式子计算由图像裁剪、线裁剪和图像变换算子得到的重定向图像显 著图。对于图像裁剪算法是采用最小化图像重要图的能量值来计算的，对线裁剪算法，我们 计算显著图来测量每个像素的重要性。相似地，我们改进了图像变换算子，通过计算显著图 作为能量度来估量每个像素点的重要性。
[0012] 1视觉相似度测量： 本方法至关重要的一个步骤就是确定图像重定向操作序列。本方法中，我们使用结构 相似度来评价重定向图像的失真度，以此确定其重定向操作序列。由于原始图像与重定向 图像有着不同的大小，我们使用尺度不变特征转换流估计原始图像与重定向图像的稠密对 齐。对于原始图像中的每个像素P，我们发现通过使用尺度不变特征转换流能够使其与重定 向图像的P'相对应。一旦原始图像和重定向图像的稠密对齐被建立起来，这些对齐区域的 局部结构信息可以被用来作为相似度评价。对任意的原始图像与重定向图像上对齐的两个 点P和P'，分别以这两个点为中心的两个图像块X和X'，它们之间的结构相似度可以由下 式计算
其中~，心，<，< +和+分别代表x和X'的局部平均值，x和X'的局部方差以及x 和X'的协方差。4和4是两个小的正数变量，用于消除低光照和对比度情况下对视觉系统 的影响。在本方法中，我们使用混合尺度算子来计算最终的结构相似度，通过使用不同尺度 的结构相似度来计算
其中551吟是第j个尺度的结构相似值，％是不同尺度下结构相似度的权重值。本方 法中，我们从基于双线性插值的不同尺度进行上采样结构相似图，以匹配不同大小的最终 结构相似图。
[0013]在本发明中，我们同时考虑自顶向下和自底向上的方法来计算图像的显著图。我 们可以通过（1)式来计算自底向上的显著性图5b，而自顶向下的显著性图心是通过人脸检 测算法来计算的。当