专利名称：一种多格式3d数字内容播放方法和系统的利记博彩app
技术领域：
本发明涉及3D视频技术领域，特别是指一种多格式3D数字内容播放方法和系统
背景技术：
3D成像是靠人两眼的视觉差产生的。人的两眼(瞳孔)之间一般会有6厘米左右的距离，如果希望呈现3D影像，就必须让左眼和右眼看到不同的影像，使两幅画面产生一定差距，即模拟实际人眼观看时的情况。3D的立体感觉就是这样产生的。而3D数字内容就是把3D成像所需要的左右眼不同的影像数字化后，以一定的格式保存到磁盘、光盘等存储器之中。播放的时候，由播放系统读取数字内容，解码还原成左右眼不同的影像。当前3D数字内容的格式主要包括以下几种(I)半宽左右格式(Half Side bySide)，这种格式的长宽比是全高清、高清、标清的标准的16 :9或4 :3。其算法是将同步的·左右图像各在水平方向压缩为1/2的，高度不变，左右排列后合成为I帧标准分辨率的图像。(2)上下格式(Top-and-Bottom)，这种格式同样也是标准的16 :9或4 :3长宽比，将同步的左右图像各在垂直方向压缩为1/2的，宽度不变，上下排列后合成为I帧标准分辨率的图像。(3)水平交错(Row interleaved),这种格式是将同步的左右图像各自抽取一半的垂直方向的像素线，然后左右图像的像素线I条隔I条排列成I帧标准分辨率的图像。(4)棋盘格(Checkerboard)，在这种格式中用于左眼和右眼的两幅图像被交织，即每隔一个像素用于左眼或者右眼。国际象棋棋盘的方格相当于像素点，黑色的方格是用于左眼的像素，而白色的方格则是用于右眼的像素。(5)帧序列(Frame Sequential)，这种格式的左右图像不做任何分辨率上的压缩处理。左右图像I帧隔I帧，按照时间序列，顺序排列后成为I条视频流。进一步还包括全宽左右格式、全高上下格式、左右分离。对于3D数字内容视频格式，分别有24P/50P/60P/50I/60I等格式，P与I分别是逐行与隔行，逐行主要用于电影行业，隔行主要用于电视行业。这多种格式的存在，造成了行业间的内容互换的障碍，虽然有方法和设备可以进行这些格式的转换，但由于只是做了简单的转换，造成了数字内容画质与分辨率的下降，大大影响了观众的观看感受。综上所述由于针对3D数字内容没有统一的标准，所以存在多格式的3D数字内容，对于不同格式的3D数字内容，要使用不同方法与标准进行播放，大大降低了播放的统一性以及操作的兼容性。
发明内容
有鉴于此，本发明的主要目的在于提供一种多格式3D数字内容播放方法和系统，能够解决多格式的3D数字内容播放时缺乏统一性和兼容性的问题。为达到上述目的，本发明的技术方案是这样实现的
本发明公开了一种多格式3D数字内容播放方法，所述方法包括
根据3D数字内容的奇行帧和偶行帧估算运动向量，结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点；
扫描抽样图得到相邻像素点的运动向量，根据运动向量插入补充的像素点，扫描补充的像素点前后相邻的像素点得到色彩加权值，根据色彩加权值调整补充的像素点的色彩值；
扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，将数据帧补充完整进行播放。其中，所述根据3D数字内容的奇行帧和偶行帧估算运动向量，具体为
通过对奇行帧与偶行帧进行运动估算，得到偶行帧的运动向量X与Y。其中，所述结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点，具体为
根据运动向量X调整偶行帧的位移，得到中间帧；对奇行帧进行行扫描，计算出相邻奇行帧间的运动矢量；根据运动矢量使用运动算法对每一偶行帧进行运动调整，调整偶行帧的每个像素点的位置与色彩。
其中，所述扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，具体为
扫描3D数字内容I秒中的所有帧，构建一个运动向量；然后按照目标帧率根据运动向量重新组织3D数字内容中的帧，保留首尾两帧，去掉中间帧；并根据运动向量与上下相邻的抽掉的中间帧计算出需插入的数据帧。通过这种帧率转换的方法能够保证图像的平滑与稳定过渡。本发明还公开了一种多格式3D数字内容播放系统，所述系统包括逐行转换模块、解码模块与帧率转换模块，其中
所述逐行转换模块，用于根据3D数字内容的奇行帧和偶行帧估算运动向量，结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点，将处理后的数据发送给解码模块；
所述解码模块，用于扫描抽样图得到相邻像素点的运动向量，根据运动向量插入补充的像素点，扫描补充的像素点前后相邻的像素点得到色彩加权值，根据色彩加权值调整补充的像素点的色彩值，将处理后的数据发送给帧率转换模块；
所述帧率转换模块，用于扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，将数据帧补充完整。其中，所述逐行转换模块根据3D数字内容的奇行帧和偶行帧估算运动向量，具体为所述逐行转换模块通过对奇行帧与偶行帧进行运动估算，得到偶行帧的运动向量X与Y。其中，所述逐行转换模块结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点，具体为逐行转换模块根据运动向量X调整偶行帧的位移，得到中间帧；对奇行帧进行行扫描，计算出相邻奇行帧间的运动矢量；根据运动矢量使用运动算法对每一偶行帧进行运动调整，调整偶行帧的每个像素点的位置与色彩。其中，所述帧率转换模块扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，具体为帧率转换模块扫描3D数字内容I秒中的所有帧，构建一个运动向量；然后按照目标帧率根据运动向量重新组织3D数字内容中的帧，保留首尾两帧，去掉中间帧；并根据运动向量与上下相邻的抽掉的中间帧计算出需插入的数据帧。通过这种帧率转换的方法能够保证图像的平滑与稳定过渡。
本发明所提供的多格式3D数字内容播放方法和系统，根据3D数字内容的奇行帧和偶行帧估算运动向量，结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点；扫描抽样图得到相邻像素点的运动向量，根据运动向量插入补充的像素点，扫描补充的像素点前后相邻的像素点得到色彩加权值，根据色彩加权值调整补充的像素点的色彩值；扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，将数据帧补充完整进行播放，能够解决多格式的3D数字内容播放时缺乏统一性和兼容性的问题，使得画面更加清晰和平滑。
图I为现有技术中图像隔行抽取的示意 图2为现有技术中图像还原的不意 图3为现有技术中3D数字内容抽样的示意图； 图4为现有技术中3D数字内容还原的示意 图5为现有技术中抽值与插值的示意 图6为本发明一种多格式3D数字内容播放方法流程示意 图7为本发明奇行巾贞和偶行巾贞的不意 图8为本发明得到偶行帧运动向量的示意 图9为本发明得到中间帧A的示意 图10为本发明扫描奇行帧计算运动矢量的示意 图11为本发明扫描抽样图得到相邻像素点的运动向量的示意 图12为本发明根据运动向量插入补充的像素点的示意 图13为本发明扫描补充的像素点前后相邻的像素点得到色彩加权值的示意 图14为本发明计算像素点运动向量的示意 图15为本发明帧率转换的示意 图16为本发明一种多格式3D数字内容播放系统结构示意图。
具体实施例方式为了更好的理解本发明，先介绍一下现有技术中3D数字内容的播放方式。目前有部分3D数字内容是使用电视行业标准所拍摄的，在播放时存在一个问题，由于采用的是隔行扫描方式，当在一些运动量大的场景时，会导致画面出现严重的毛刺现象。图I为现有技术中图像隔行抽取的示意图，如图I所示，黑色行为隔行抽取得到的图像，白色为未被抽取的图像，抽取的数据可以是奇行数据也可以是偶行数据。图2为现有技术中图像还原的示意图，如图2所示，以奇数行为例在还原过程中，把抽取出来的1、3、5、7、9等奇数行经过倍线处理，重新合成一副图像。通过这种方法处理的缺点是由于图像是倍线生成的，图像清晰度会降低一半，会损失图像细节。现有的3D数字内容的编码是基于抽样的方法把左右眼画面抽去一半的像素点，再把抽样后的左右眼画面合并成一幅画面，如图3所示，图3为现有技术中3D数字内容抽样的示意图。在还原过程中，一般都是直接复制补点，如图4所示，图4为现有技术中3D数字内容还原的示意图。这种抽样和还原的方式使得像素点的还原效果不能令人满意。
同样的，在帧率转换过程中同样存在问题。图5为现有技术中抽值与插值的示意图，如图5所示，左图为抽值，右图为插值。由图可见这种方法只是很简单的从帧序列中抽去或插入画片帧，经过这样的算法处理后的数字内容，在运动剧烈的场景下，动画感与跳帧现象会很明显，严重影响了播放效果。有鉴于此，本发明的基本思想是根据3D数字内容的奇行帧和偶行帧估算运动向量，结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点；扫描抽样图得到相邻像素点的运动向量，根据运动向量插入补充的像素点，扫描补充的像素点前后相邻的像素点得到色彩加权值，根据色彩加权值调整补充的像素点的色彩值；扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，将数据帧补充完整进行播放。
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。图6为本发明一种多格式3D数字内容播放方法流程示意图，如图I所示，所述方法包括
步骤101，根据3D数字内容的奇行帧和偶行帧估算运动向量，结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点；
具体的，图7为本发明奇行帧和偶行帧的示意图。所述根据3D数字内容的奇行帧和偶行帧估算运动向量，具体为通过对奇行帧与偶行帧进行运动估算，得到偶行帧的运动向量X与Y。图8为本发明得到偶行帧运动向量的示意图。运动估算的方法具体为以奇行帧为子块，设w为块运动的正最大位移，则该块在前一帧的搜索窗口大小为(l+2w)x(l+2w)，计算其最小均方误差
MSE (X，y) =Ei=O [ (I, j) - -B^1 (x+i, y+j) ] 2
其中，x, y e [-w, -w+1, ···，w_l, w], gs为当前需进行运动估算的偶行巾贞。为参
考帧奇行帧。具有最小值的MSE的候选帧即为最佳匹配帧，它对应的位移(x，y)即为运动向量X与Y。所述结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点，具体为根据运动向量X调整偶行帧的位移，得到中间帧A ;对奇行帧进行行扫描，计算出相邻奇行帧间的运动矢量B1，B2……Bn;根据运动矢量BI……Bn，使用运动算法对每一偶行帧进行运动调整，调整偶行帧的每个像素点的位置与色彩。其中，所述计算运动矢量BI，B2……Bn使用的公式为(Xa，) = (Xs，X- Ye十y),其中(Xsi，为
偶行帧根据运动向量位移后的新坐标，Xe, 1为偶行帧中的原坐标，x，y为前面所述的计
算出的运动向量X与Y。图9为本发明得到中间帧A的示意图。图10为本发明扫描奇行帧计算运动矢量的示意图。扫描的公式如下以每一行为子块。划分为NxN的子块，w为块运动的正最大位移，则该子块在前一行的搜索窗口大小为(N+2w) X (N+2w)。MSE (x, y)=2，其中，X，y e [-w, -w+i,…
，w-l，w]，gn为当前行。为参考帧前一行。具有最小值的MSE的候选行即为最佳匹配行，它对应的位移(x，y)即为运动矢量B。
步骤102，扫描抽样图得到相邻像素点的运动向量，根据运动向量插入补充的像素点，扫描补充的像素点前后相邻的像素点得到色彩加权值，根据色彩加权值调整补充的像素点的色彩值；
具体的，图11为本发明扫描抽样图得到相邻像素点的运动向量的示意图。图12为本发明根据运动向量插入补充的像素点的示意图，其中P1、P2、P3为插入的像素点。图13为本发明扫描补充的像素点前后相邻的像素点得到色彩加权值的示意图，其中Cl为Pl点色彩加权值的扫描范围；C2为P2点色彩加权值的扫描范围；C3为P3点色彩加权值的扫描范围。图14为本发明计算像素点运动向量的示意图，如图14所示，相邻像素点的运动向量的计算方法为首先将(0，0)作为第一步的最小MSE值点，且(0，0)为下一步的搜索起点。在第二步中，计算起点(0，0)周围8个点的MSE。如果某点的MSE小于上一步中的最小MSE，就将其作为新的起点之一。将中步的最小MSE值点连同其MSE值一同记录下来。 重复以上过程，直到找不到新的起点。这样就可以将后到的各点的最小MSE值点设为各点的向量了。步骤103，扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，将数据帧补充完整进行播放。具体的，所述扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，具体为扫描3D数字内容I秒中的所有帧，构建一个运动向量；然后按照目标帧率根据运动向量重新组织3D数字内容中的帧，保留首尾两帧,去掉中间帧；并根据运动向量与上下相邻的抽掉的中间帧计算出需插入的数据帧。通过这种帧率转换的方法能够保证图像的平滑与稳定过渡。图15为本发明巾贞率转换的示意图,如图15所示,上方图为构建运动向量；中间图为保留首尾两帧，去掉中间帧，虚框为抽掉的帧；下方图为插入数据帧，黑色帧为根据上下相邻帧计算出的插入帧。图16为本发明一种多格式3D数字内容播放系统结构示意图，如图16所示，所述系统包括逐行转换模块61、解码模块62与帧率转换模块63，其中，
所述逐行转换模块61，用于根据3D数字内容的奇行帧和偶行帧估算运动向量，结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点，将处理后的数据发送给解码模块62 ；
具体的，所述逐行转换模块61根据3D数字内容的奇行帧和偶行帧估算运动向量，具体为所述逐行转换模块61通过对奇行帧与偶行帧进行运动估算，得到偶行帧的运动向量X与Y。所述逐行转换模块61结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点，具体为逐行转换模块61根据运动向量X调整偶行帧的位移，得到中间帧；对奇行帧进行行扫描，计算出相邻奇行帧间的运动矢量；根据运动矢量使用运动算法对每一偶行帧进行运动调整，调整偶行帧的每个像素点的位置与色彩。所述解码模块62，用于扫描抽样图得到相邻像素点的运动向量，根据运动向量插入补充的像素点，扫描补充的像素点前后相邻的像素点得到色彩加权值，根据色彩加权值调整补充的像素点的色彩值，将处理后的数据发送给帧率转换模块63 ；
所述帧率转换模块63，用于扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，将数据帧补充完整。具体的，所述帧率转换模块63扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，具体为帧率转换模块63扫描3D数字内容I秒中的所有帧，构建一个运动向量；然后按照目标帧率根据运动向量重新组织3D数字内容中的帧，保留首尾两帧，去掉中间帧；并根据运动向量与上下相邻的抽掉的中间帧计算出需插入的数据帧。通过这种帧率转换的方法能够保证图像的平滑与稳定过渡。进一步需要说明的是，所述多格式3D数字内容播放系统中的具体操作与多格式3D数字内容播放方法相同，在此不再赘述。以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
·
权利要求
1.一种多格式3D数字内容播放方法，其特征在于，所述方法包括 根据3D数字内容的奇行帧和偶行帧估算运动向量，结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点； 扫描抽样图得到相邻像素点的运动向量，根据运动向量插入补充的像素点，扫描补充的像素点前后相邻的像素点得到色彩加权值，根据色彩加权值调整补充的像素点的色彩值； 扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，将数据帧补充完整进行播放。
2.根据权利要求I所述的方法，其特征在于，所述根据3D数字内容的奇行帧和偶行帧估算运动向量，具体为 通过对奇行帧与偶行帧进行运动估算，得到偶行帧的运动向量X与Y。
3.根据权利要求2所述的方法，其特征在于，所述结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点，具体为 根据运动向量X调整偶行帧的位移，得到中间帧；对奇行帧进行行扫描，计算出相邻奇行帧间的运动矢量；根据运动矢量使用运动算法对每一偶行帧进行运动调整，调整偶行帧的每个像素点的位置与色彩。
4.根据权利要求I所述的方法，其特征在于，所述扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，具体为 扫描3D数字内容I秒中的所有帧，构建一个运动向量；然后按照目标帧率根据运动向量重新组织3D数字内容中的帧，保留首尾两帧，去掉中间帧；并根据运动向量与上下相邻的抽掉的中间帧计算出需插入的数据帧；通过这种帧率转换的方法能够保证图像的平滑与稳定过渡。
5.一种多格式3D数字内容播放系统，其特征在于，所述系统包括逐行转换模块、解码模块与帧率转换模块，其中 所述逐行转换模块，用于根据3D数字内容的奇行帧和偶行帧估算运动向量，结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点，将处理后的数据发送给解码模块； 所述解码模块，用于扫描抽样图得到相邻像素点的运动向量，根据运动向量插入补充的像素点，扫描补充的像素点前后相邻的像素点得到色彩加权值，根据色彩加权值调整补充的像素点的色彩值，将处理后的数据发送给帧率转换模块； 所述帧率转换模块，用于扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，将数据帧补充完整。
6.根据权利要求5所述的系统，其特征在于，所述逐行转换模块根据3D数字内容的奇行帧和偶行帧估算运动向量，具体为所述逐行转换模块通过对奇行帧与偶行帧进行运动估算，得到偶行帧的运动向量X与Y。
7.根据权利要求6所述的系统，其特征在于，所述逐行转换模块结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点，具体为逐行转换模块根据运动向量X调整偶行帧的位移，得到中间帧；对奇行帧进行行扫描，计算出相邻奇行帧间的运动矢量；根据运动矢量使用运动算法对每一偶行帧进行运动调整，调整偶行帧的每个像素点的位置与色彩。
8.根据权利要求5所述的系统，其特征在于，所述帧率转换模块扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，具体为帧率转换模块扫描3D数字内容I秒中的所有帧，构建一个运动向量；然后按照目标帧率根据运动向量重新组织3D数字内容中的帧，保留首尾两帧，去掉中间帧；并根据运动向量与上下相邻的抽掉的中间帧计算出需插入的数据帧；通过这种帧率转换的方法能够保证图像的平滑与稳定过渡。
全文摘要
本发明公开了一种多格式3D数字内容播放方法和系统，根据3D数字内容的奇行帧和偶行帧估算运动向量，结合运动向量和中间帧得到相邻奇行帧间的运动矢量，利用运动矢量调整偶行帧的像素点；扫描抽样图得到相邻像素点的运动向量，根据运动向量插入补充的像素点，扫描补充的像素点前后相邻的像素点得到色彩加权值，根据色彩加权值调整补充的像素点的色彩值；扫描预设时间段内3D数字内容中的所有帧，构建运动向量，根据运动向量和相邻的帧得到需要插入的数据帧，将数据帧补充完整进行播放，能够解决多格式的3D数字内容播放时缺乏统一性和兼容性的问题，使得画面更加清晰和平滑。
文档编号H04N7/01GK102833565SQ20121032101
公开日2012年12月19日 申请日期2012年9月3日 优先权日2012年9月3日
发明者马士超 申请人:雷欧尼斯(北京)信息技术有限公司