一种自由立体显示中的虚拟视点图像生成方法与流程

本发明涉及自由立体显示技术，特别涉及一种自由立体显示中的虚拟视点图像生成方法。

背景技术：

自由立体显示技术涉及多视点视差图像获取及自由立体图像合成技术。多视点视差图像可以通过同步相机或3d建模软件来获得，自由立体图像由获得的多视点视差图像按一定的方法进行合成。在多视点视差图像的获取方法中，采用多个同步相机的价格比较昂贵，采用建模软件的时间代价很高。虚拟视点合成方法可以利用两参考视点纹理图像及其对应的深度图像通过三维映射的方式生成虚拟视点图像，通过相机参数的调整，可以获得两参考视点间任意位置的虚拟视点图像。然后利用两参考视点纹理图像和虚拟视点图像合成自由立体图像。然而传统的虚拟视点合成方法存在深度图像边缘深度值不连续、前景背景之间遮挡等问题，对虚拟视点图像的质量有很大的影响。

技术实现要素：

本发明旨在实现高质量的自由立体显示。为了达到该目的，本发明提出一种自由立体显示中的虚拟视点图像生成方法。该方法包括虚拟视点图像生成和自由立体图像合成两个过程，具体流程如附图1所示。在虚拟视点图像生成中，首先对参考视点深度图像向前映射生成虚拟深度图像，然后利用背景填充的方法对生成的虚拟深度图像中的空洞进行填充，最后根据填充的虚拟深度图像映射生成虚拟视点图像。此过程中，对映射后深度图像进行背景填充的方法明显提升了虚拟视点图像的质量。在自由立体图像合成过程中，首先根据自由立体显示的显示参数，确定视点数以及多视点视差图像之间的位置关系，从而确定需要生成的虚拟视点图像的位置，然后调整相机参数生成虚拟视点图像，多视点视差图像由参考视点图像和特定位置的虚拟视点图像组成，最后利用多视点视差图像合成自由立体图像。此过程中，可以简单、快速地利用虚拟视点合成算法生成多视点视差图像。

所述虚拟视点图像生成过程，利用深度信息和相机参数来表达场景的几何信息，对于拟生成的虚拟视点图像，利用以上几何信息，如附图2所示，首先通过三维变换方程将参考图像的像素投影到目标视点的图像坐标系里，从而生成目标视点的图像。参考图像的每个像素从二维平面反向投影到三维空间：

(1)

(2)

(x,y,z)^t表示三维空间的点，然后三维空间的点被重投影到目标视点平面，(u,v,1)^t是参考图像中像素的齐次坐标，kr,rr和tr分别表示参考图像的内部矩阵、旋转矩阵、平移矩阵，kv，rv和tv分别表示虚拟视点图像的内部矩阵、旋转矩阵、平移矩阵，d表示(u,v)处深度值，坐标(l,m,n)表示虚拟视点中的整数坐标。

然而由于深度图像中存在边缘深度值不连续、前景背景之间遮挡等问题，映射生成的虚拟深度图像中存在空洞。利用背景填充的方法对生成的虚拟深度图像中的空洞进行填充，深度图像中属于前景的深度值大于背景的深度值，d(i,j)表示像素(i,j)处的深度值，当它为0则表示此像素为空像素，利用空像素附近区域ωγ中的非0的最小深度值d(m,n)对d(i,j)进行填充：

(3)

其中d(m,n)表示区域ω内像素(m,n)处的深度值，γ表示区域ω内像素与空像素之间的距离，γ=1,2,...,9，其值通过生成的虚拟视点图像的主客观评价质量进行筛选。随后根据填充后的深度图像映射生成对应的虚拟视点图像，最终的虚拟视点图像iv(u,v)由左右参考视点映射后的虚拟视点图像il(ul,vl)、ir(ur,vr)合成：

(4)

(5)

其中α表示加权因子，tl、tr分别表示左右参考视点外部参数的平移矩阵。

所述自由立体图像合成过程，以3路视差图像为例，如附图3，整齐排列的小矩形为显示屏上的1个子像素，3个子像素构成1个像素，图3中的1、2、3分别代表3路视差图像。设光栅周期为p，光栅倾斜角度为θ，2d显示屏子像素宽度为wp，所采用的视点数为k，这4个参量需恰当匹配，满足如下关系：

(6)

式中，ceil()表示向上取整。确定视点数k和倾斜角度θ后，就可将k幅视差图像合成一幅自由立体图像。k路视差图像的合图原理与如附图3所示原理相同，根据自由立体显示器的显示参数，确定多视点视差图像之间的位置关系，从而确定需要生成的虚拟视点图像的位置，然后调整相机参数生成虚拟视点图像。相机参数an、rn、tn分别为相机cn的内部矩阵、旋转矩阵、平移矩阵，其中n表示相机标号。两参考视点相机为c0、c1，对应旋转矩阵分别为r0、r1；对应平移矩阵分别为t0、t1；内部矩阵为a0、a1。两参考视点中间位置c'，其平移矩阵t(c')为t0和t1的平均值，其内部矩阵a(c')与a0和a1保持相同，其旋转矩阵为r(c')由以下公式求得：

(7)

(8)

其中r为引入的旋转矩阵因子，由公式(7)、(8)可以计算出任意两视点中间位置的相机旋转参数，由此可以迭代出任意位置的相机旋转参数rn，且an保持不变，tn为两参考视点的均值，从而利用虚拟视点合成算法生成多视点视差图像。

四、附图说明

附图1为一种自由立体显示中的虚拟视点图像生成方法的流程图

附图2为参考视点与目标视点之间的几何关系示意图

附图3为自由立体图像合成原理示意图

附图4为未填充的虚拟深度图像映射生成虚拟视点图像

附图5为填充后的虚拟深度图像映射生成虚拟视点图像

上述附图中的图示标号为：

1参考视点平面坐标系，2三维空间，3目标视点平面坐标系，4柱透镜光栅，5合成图像子像素。

应该理解上述附图只是示意性的，并没有按比例绘制。

五、具体实施方式

下面详细说明本发明一种自由立体显示中的虚拟视点图像生成方法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

本发明旨在实现高质量的自由立体显示。为了达到该目的，本发明提出一种自由立体显示中的虚拟视点图像生成方法。该方法包括虚拟视点图像生成和自由立体图像合成两个过程，具体流程如附图1所示。在虚拟视点图像生成中，首先对参考视点深度图像向前映射生成虚拟深度图像，然后利用背景填充的方法对生成的虚拟深度图像中的空洞进行填充，最后根据填充的虚拟深度图像映射生成虚拟视点图像。此过程中，对映射后深度图像进行背景填充的方法明显提升了虚拟视点图像的质量。在自由立体图像合成过程中，首先根据自由立体显示的显示参数，确定视点数以及多视点视差图像之间的位置关系，从而确定需要生成的虚拟视点图像的位置，然后调整相机参数生成虚拟视点图像，多视点视差图像由参考视点图像和特定位置的虚拟视点图像组成，最后利用多视点视差图像合成自由立体图像。此过程中，可以简单、快速地利用虚拟视点合成算法生成多视点视差图像。

所述虚拟视点图像生成过程，利用深度信息和相机参数来表达场景的几何信息，对于拟生成的虚拟视点图像，利用以上几何信息，如附图2所示，首先通过三维变换方程将参考图像的像素投影到目标视点的图像坐标系里，从而生成目标视点的图像。参考图像的每个像素从二维平面反向投影到三维空间：

(1)

(2)

(x,y,z)^t表示三维空间的点，然后三维空间的点被重投影到目标视点平面，(u,v,1)^t是参考图像中像素的齐次坐标，kr,rr和tr分别表示参考图像的内部矩阵、旋转矩阵、平移矩阵，kv，rv和tv分别表示虚拟视点图像的内部矩阵、旋转矩阵、平移矩阵，d表示(u,v)处深度值，坐标(l,m,n)表示虚拟视点中的整数坐标。

然而由于深度图像中存在边缘深度值不连续、前景背景之间遮挡等问题，映射生成的虚拟深度图像中存在空洞。利用背景填充的方法对生成的虚拟深度图像中的空洞进行填充，深度图像中属于前景的深度值大于背景的深度值，d(i,j)表示像素(i,j)处的深度值，当它为0则表示此像素为空像素，利用空像素附近区域ωγ中的非0的最小深度值d(m,n)对d(i,j)进行填充：

(3)

其中d(m,n)表示区域ω内像素(m,n)处的深度值，γ表示区域ω内像素与空像素之间的距离，γ=1,2,...,9，其值通过生成的虚拟视点图像的主客观评价质量进行筛选。随后根据填充后的深度图像映射生成对应的虚拟视点图像，最终的虚拟视点图像iv(u,v)由左右参考视点映射后的虚拟视点图像il(ul,vl)、ir(ur,vr)合成：

(4)

(5)

其中α表示加权因子，tl、tr分别表示左右参考视点外部参数的平移矩阵。

所述自由立体图像合成过程，以3路视差图像为例，如附图3，整齐排列的小矩形为显示屏上的1个子像素，3个子像素构成1个像素，图3中的1、2、3分别代表3路视差图像。设光栅周期为p，光栅倾斜角度为θ，2d显示屏子像素宽度为wp，所采用的视点数为k，这4个参量需恰当匹配，满足如下关系：

(6)

式中，ceil()表示向上取整。确定视点数k和倾斜角度θ后，就可将k幅视差图像合成一幅自由立体图像。k路视差图像的合图原理与如附图3所示原理相同，对于28寸9路视差的立体显示器，其光栅周期下覆盖9个子像素周期，在两参考视点以微软亚洲研究院提供的“breakdancers”中的视点3和5为例，调整相机参数，在两视点中间依次迭代生成7个虚拟视点图像，两幅参考视点图像和七幅虚拟视点图像构成九路视差图像。相机参数an、rn、tn分别为相机cn的内部矩阵、旋转矩阵、平移矩阵，其中n表示相机标号。两参考视点相机为c0、c1，对应的旋转矩阵对应的旋转矩阵r0、r1；对应的平移矩阵t0、t1；内部矩阵a0、a1。两参考视点中间位置c'，其平移矩阵t(c')为t0和t1的平均值，其内部矩阵a(c')与a0和a1保持相同，其旋转矩阵为r(c')由以下公式求得：

(7)

(8)

其中r为引入的旋转矩阵因子，由公式(7)、(8)可以计算出任意两视点中间位置的相机旋转参数，由此可以迭代出任意位置的相机旋转参数rn，且an保持不变，tn为两参考视点的均值，从而利用虚拟视点合成算法生成多视点视差图像。

本发明通过虚拟视点图像生成和自由立体图像合成两个过程，根据多视点自由立体显示器显示参数，确定多视点视差图像之间的位置关系，调整相机参数，获得特定位置的虚拟视点图像，利用参考视点图像和虚拟视点图像合成自由立体图像并在自由立体显示器上面显示。本发明考虑了虚拟视点合成中前景背景之间的遮挡和边界深度值不连续的问题，提高了生成的虚拟视点图像的质量。