专利名称：平面视频的立体渲染方法
技术领域：
本发明涉及计算机视觉技术领域，特别涉及一种平面视频的立体渲染方法。
背景技术：
随着3D立体技术的不断发展以及立体电视、立体电影等产品的普及，大众对于 立体视频的需要越来越多。然而，受到现有技术条件的限制，短期内制作出大量高质量 的立体视频并不现实。因此，需要一种方法将现有的2D平面视频转化为3D立体视频。目前，用户通常通过佩戴特殊的眼镜观看立体视频，例如，时分式眼镜、互补 色式眼镜、偏振光眼镜等。通过这种方法观看时，首先需要将原始视频渲染为左右两眼 的虚拟视图，然后进行合成，才能够播放。其中，对原始视频的渲染需要得到原始视频 的深度图，再根据深度图中物体的前后关系进行立体视频的渲染。现有的将平面视频转化为立体视频显示的方法存在的问题是，在产生左右两眼 的虚拟视图过程中，需要进行空洞填充和错误检查，视频渲染的速度较慢，对于分辨率 较高的视频，无法实现实时的渲染与播放，此外，现有的立体渲染方法无法同时支持多 种颜色格式的视频信号，兼容性不够。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，特别是提出一种能够对多种颜 色格式的视频进行实时立体渲染的方法。为达到上述目的，本发明提出一种平面视频的立体渲染方法，包括以下步骤 接收平面视频、所述平面视频对应的深度图以及用户输入的渲染参数；判断所述平面视 频的色彩格式；根据所述平面视频的色彩格式、所述渲染参数和所述深度图对所述平面 视频进行渲染以获得第一虚拟视图和第二虚拟视图；以及将所述第一虚拟视图和所述第 二虚拟视图合成为一幅立体视图输出。在本发明的一个实施例中，所述对所述平面视频进行渲染，进一步包括根据 所述平面视频的深度图和所述用户输入的渲染参数，计算像素点的第一偏移距离和第二 偏移距离；以及分别根据所述第一偏移距离和第二偏移距离进行第一像素偏移和第二像 素偏移，并对相邻像素点偏移时跨越的中间像素点进行插值填充，获得所述第一虚拟视 图和所述第二虚拟视图。在本发明的一个实施例中，通过以下的公式计算相邻像素点偏移时跨越的中间 像素点的像素值，Zi=^7(Z6-Za)其中，Z1是某个中间像素点的像素值，Za是所述相邻像素点中的一个的像素 值，Zb是所述相邻像素点中的另一个的像素值，C是所述相邻像素点跨越的像素点的个 数，i表示当前计算的中间像素点为自所述像素值为Za的像素点起的第几个像素点。
根据本发明的一个实施例，当所述平面视频的色彩格式为RGB或者RGBA或者 YUV444时，用所述平面视频的像素点的亮度分量和色差分量填充所述第一虚拟视图或 第二虚拟视图中的像素点的亮度分量和色差分量。根据本发明的一个实施例，当所述平面视频的色彩格式为YUV422时，用所 述平面视频的像素点的亮度分量填充所述第一虚拟视图或第二虚拟视图中的像素点的亮 度分量，并通过以下的方法填充所述第一虚拟视图或第二虚拟视图中的像素点的色差分 量当所述第一虚拟视图或第二虚拟视图中的像素点的位置的列数与所述立体视频 中的像素点的位置的列数的奇偶一致时，直接用所述平面视频的像素点的色差分量填充 所述第一虚拟视图或第二虚拟视图中的像素点的色差分量；当所述第一虚拟视图或第二虚拟视图中的像素点的位置的列数与所述立体视频 中的像素点的位置的列数的奇偶不一致时，且所述立体视频中像素点的位置的列数为奇 数时，使用所述立体视频中的后一像素点的色差分量填充所述第一虚拟视图或所述第二 虚拟视图中的像素点的色差分量；当所述第一虚拟视图或第二虚拟视图中的像素点的位置的列数与所述立体视频 中的像素点的位置的列数的奇偶不一致时，且所述立体视频中像素点的位置的列数为偶 数时，使用所述立体视频中的前一像素的色差分量填充所述第一虚拟视图或所述第二虚 拟视图中的像素点的色差分量。根据本发明的一个实施例，当所述平面视频的色彩格式为YUV420时，所述根 据所述平面视频的深度图和所述用户输入的渲染参数，计算像素点的第一偏移距离和第 二偏移距离，进一步包括根据所述平面视频的深度图，计算以每两行共用一对色差分 量的四个像素为一个单位像素块的深度值，获得所述平面视频的更新深度图；根据所述 更新深度图计算所述像素块的第一偏移距离和第二偏移距离。本发明通过结合平面视频的深度图进行立体视频的渲染，在计算左右眼的虚拟 视图的过程中能够计算出所有的像素值，不需要进行反复的空洞填充和错误检查操作， 提高视频渲染的速度，从而能够满足实时播放的需求。而且，本发明的平面视频立体渲 染的方法能够处理所有色彩格式的视频，兼容性强。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中 变得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为本发明实施例的平面视频的立体渲染方法的流程图；图2为立体视频渲染的几何平面图；以及图3为立体视频渲染时相邻像素点偏移的示意图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参 考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。如图1所示为本发明实施例的平面视频的立体渲染方法的流程图，该方法包括 以下步骤步骤S101，接收平面视频、平面视频对应的深度图以及用户输入的渲染参数。平面视频可以是多种视频格式，如mp4、wmv> avi等。同时，平面视频也可以 是多种色彩格式，如RGB、RGBA、YUV444、YUV422和YUV420等。应理解，这仅 为示意性的实施例，并不用于限制本发明，除此之外，本发明的立体渲染方法还可以用 于其它类似的视频格式和色彩格式。用户输入的渲染参数包括视差范围和零平面位置等。用户可以在视频渲染前预 定义这些参数，也可以使用系统的默认参数，当然，在视频播放过程中，也可以实时动 态地调整这些参数。此外，在本发明的一个实施中，在接收到平面视频之后，还对平面视频进行像 素填补以使其视频尺寸成为4的整数倍，从而便于后续的并行计算。步骤S102，判断平面视频的色彩格式。不同色彩格式的空间信号分量的排列方式不同，因此对它们的渲染过程也有所 不同。所以，在进行渲染之前，先判断视频的色彩格式，以方便在后续的渲染过程中选 择正确的渲染策略。步骤S103，根据平面视频的色彩格式、渲染参数和深度图对平面视频进行渲染 以获得左右眼的虚拟视图。首先，结合平面视频的深度图，以行为单位进行像素偏移预测，计算左视图的 偏移距离和右视图的偏移距离。如图2所示为立体视频渲染的几何平面图，原视频中空 间物体P在像平面(屏幕)上的投影是S。根据图2可获得左视图的像素偏移距离和右 视图的像素偏移距离
权利要求
1.一种平面视频的立体渲染方法，其特征在于，包括以下步骤接收平面视频、所述平面视频对应的深度图以及用户输入的渲染参数；判断所述平面视频的色彩格式；根据所述平面视频的色彩格式、所述渲染参数和所述深度图对所述平面视频进行渲 染以获得第一虚拟视图和第二虚拟视图；以及将所述第一虚拟视图和所述第二虚拟视图合成为一幅立体视图输出。
2.根据权利要求1所述的平面视频的立体渲染方法，其特征在于，在对所述平面视频 数据进行渲染后，还包括对所述第一虚拟视图和所述第二虚拟视图进行边缘修复。
3.根据权利要求1所述的平面视频的立体渲染方法，其特征在于，所述平面视频的色 彩格式包括RGB、RGBA、YUV444、YUV422 禾Π YUV420。
4.根据权利要求1所述的平面视频的立体渲染显示方法，其特征在于，所述用户输入 的渲染参数包括视差范围和零平面位置。
5.根据权利要求1所述的平面视频的立体渲染方法，其特征在于，所述对所述平面视 频进行渲染，进一步包括根据所述平面视频的深度图和所述用户输入的渲染参数，计算像素点的第一偏移距 离和第二偏移距离；以及分别根据所述第一偏移距离和第二偏移距离进行第一像素偏移和第二像素偏移，并 对相邻像素点偏移时跨越的中间像素点进行插值填充，获得所述第一虚拟视图和所述第 二虚拟视图。
6.根据权利要求5所述的平面视频的立体渲染方法，其特征在于，所述对所述像素偏 移时跨越的中间像素点进行插值填充，进一步包括通过以下的公式计算相邻像素点偏移时跨越的中间像素点的像素值，孓=|仏-ZJ其中，Z1是某个中间像素点的像素值，Za是所述相邻像素点中的一个的像素值，Zb 是所述相邻像素点中的另一个的像素值，C是所述相邻像素点跨越的像素点的个数，i表 示当前计算的中间像素点为自所述像素值为Za的像素点起的第几个像素点。
7.根据权利要求5所述的平面视频的立体渲染方法，其特征在于，当所述平面视频的 色彩格式为RGB或者RGBA或者YUV444时，所述分别根据所述第一偏移距离和第二偏 移距离进行第一像素偏移和第二像素偏移，进一步包括用所述平面视频的像素点的亮度分量和色差分量填充所述第一虚拟视图或第二虚拟 视图中的像素点的亮度分量和色差分量。
8.根据权利要求5所述的平面视频的立体渲染方法，其特征在于，当所述平面视频的 色彩格式为YUV422时，所述分别根据所述第一偏移距离和第二偏移距离进行第一像素 偏移和第二像素偏移，进一步包括用所述平面视频的像素点的亮度分量填充所述第一虚拟视图或第二虚拟视图中的像 素点的亮度分量；以及通过以下的方法填充所述第一虚拟视图或第二虚拟视图中的像素点的色差分量，当所述第一虚拟视图或第二虚拟视图中的像素点的位置的列数与所述立体视频中的 像素点的位置的列数的奇偶一致时，直接用所述平面视频的像素点的色差分量填充所述 第一虚拟视图或第二虚拟视图中的像素点的色差分量；或者当所述第一虚拟视图或第二虚拟视图中的像素点的位置的列数与所述立体视频中 的像素点的位置的列数的奇偶不一致时，且所述立体视频中像素点的位置的列数为奇数 时，使用所述立体视频中的后一像素点的色差分量填充所述第一虚拟视图或所述第二虚 拟视图中的像素点的色差分量；或者当所述第一虚拟视图或第二虚拟视图中的像素点的位置的列数与所述立体视频中 的像素点的位置的列数的奇偶不一致时，且所述立体视频中像素点的位置的列数为偶数 时，使用所述立体视频中的前一像素的色差分量填充所述第一虚拟视图或所述第二虚拟 视图中的像素点的色差分量。
9.根据权利要求5所述的平面视频的立体渲染方法，其特征在于，当所述平面视频的 色彩格式为YUV420时，所述根据所述平面视频的深度图和所述用户输入的渲染参数， 计算像素点的第一偏移距离和第二偏移距离，进一步包括根据所述平面视频的深度图，计算以每两行共用一对色差分量的四个像素为一个单 位像素块的深度值，获得所述平面视频的更新深度图；根据所述更新深度图计算所述像素块的第一偏移距离和第二偏移距离。
10.根据权利要求1所述的平面视频的立体渲染方法，其特征在于，所述将所述第一 虚拟视图和所述第二虚拟视图合成为一幅立体视图输出显示，进一步包括将所述第一虚拟视图和所述第二虚拟视图分别渲染为观看立体视图的用户所使用的 眼镜的颜色后进行合成；或者直接将所述第一虚拟视图和所述第二虚拟视图拼接在一起形成所述立体视图。
11.根据权利要求1所述的平面视频的立体渲染方法，其特征在于，在所述接收平面 视频之后，还包括对所述平面视频进行像素填补以使得所述平面视频的尺寸为4的整数倍。
12.根据权利要求2所述的平面视频的立体渲染方法，其特征在于，所述对所述第一 虚拟视图和所述第二虚拟视图进行边缘修复，进一步包括对所述第一虚拟视图和所述第二虚拟视图进行边缘像素的填充和/或边缘切割。
全文摘要
本发明提出一种平面视频的立体渲染方法，包括以下步骤接收平面视频、所述平面视频对应的深度图以及用户输入的渲染参数；判断所述平面视频的色彩格式；根据所述平面视频的色彩格式、所述渲染参数和所述深度图对所述平面视频进行渲染以获得第一虚拟视图和第二虚拟视图；以及将所述第一虚拟视图和所述第二虚拟视图合成为一幅立体视图输出。本发明通过结合平面视频的深度图进行立体视频的渲染，在计算左右眼的虚拟视图的过程中能够计算出所有的像素值，不需要进行反复的空洞填充和错误检查操作，提高视频渲染的速度，从而能够满足实时播放的需求。而且，本发明的平面视频立体渲染的方法能够处理所有色彩格式的视频，兼容性强。
文档编号H04N13/00GK102014293SQ201010597608
公开日2011年4月13日 申请日期2010年12月20日 优先权日2010年12月20日
发明者季向阳, 徐琨, 戴琼海 申请人:清华大学