运动向量推断方法、多视点视频编码方法、多视点视频解码方法、运动向量推断装置、多视 ...的利记博彩app
【专利摘要】在不能得到处理图像的状况下，也高精度地推断运动向量并同时在视频信号预测中利用相机间相关及时间相关，实现有效率的多视点视频编码。根据多视点视频中包含的与拍摄处理图像的处理相机不同的相机拍摄的参考相机视频，按照与处理相机相同的设定，生成拍摄处理图像的时刻的视点合成图像。不用处理图像，而用相当于处理图像上的处理区域的视点合成图像上的图像信号，搜索由处理相机拍摄的参考图像中的对应区域，从而推断运动向量。
【专利说明】运动向量推断方法、多视点视频编码方法、多视点视频解码方法、运动向量推断装置、多视点视频编码装置、多视点视频解码装置、运动向量推断程序、多视点视频编码程序及多视点视频解码程序
【技术领域】
[0001]本发明涉及运动向量推断方法、多视点视频编码方法、多视点视频解码方法、运动向量推断装置、多视点视频编码装置、多视点视频解码装置、运动向量推断程序、多视点视频编码程序及多视点视频解码程序。
[0002]本申请对2010年2月23日向日本申请的日本特愿2010 — 037434号主张优先权，并在此援引其内容。
【背景技术】
[0003]多视点动态图像(多视点视频)是指用多个相机拍摄同一景物(被写体)和背景而获得的动态图像群。在一般的动态图像编码中，采用利用了动态图像不同的时间的帧间存在的较高的相关的、运动补偿预测，实现有效率的编码。运动补偿预测是H.264中所代表的近年动态图像编码方式的国际标准规格所采用的方法。即，运动补偿预测是这样的方法:在编码对象帧和已经编码完毕的参考帧之间对景物的运动进行补偿而生成图像，在该生成的图像和编码对象帧之间取得帧间差分，仅对其差分信号进行编码。
[0004]在多视点动态图像编码中，不仅在不同的时间的帧间存在高的相关，而且在不同的视点的帧间也存在高的相关。因此，采用的是在不补偿运动而补偿视点间的视差而生成的图像(帧)和编码对象帧之间取得帧间差分，仅对差分信号进行编码的称为视差补偿预测的方法。视差补偿预测作为H.264 Annex.H而被采用于国际标准规格(H.264的详细内容，例如，参考非专利文献I)。
[0005]这里所采用的视差是指在以不同的位置配置的相机的图像平面上，景物所投影的位置之差。在视差补偿预测中，以二维向量体现它并进行编码。如图20所示，由于视差是依赖于相机和景物的从相机起的位置(深度)而产生的信息，所以存在利用该原理的称为视点合成预测(视点插值预测)的方式。
[0006]视点合成预测(视点插值预测)是这样的方式:根据相机、景物的三维的位置关系，利用已经结束处理而得到解码结果的多视点视频的一部分，将合成(插值)针对进行编码或解码处理的别的视点的帧而得到的图像，用作为预测图像(例如，参考非专利文献2)。
[0007]为了体现景物的三维的位置，往往采用按每个像素体现从相机到景物为止的距离(深度)的深度图(map)(有距离图像、视差图像、称为视差图(disparity map)的部分)。除了深度图以外，能够采用景物的多边形(polygon)信息或景物空间的体单元(voxel)信息。
[0008]再者，取得深度图的方法可以大致分为:利用红外线脉冲等来进行测定，从而生成深度图的方法；以及基于相同的景物被照到多视点视频上这一点利用三角测量的原理推断深度，在此基础上生成深度图的方法。使用以哪种方法得到的深度图，在视点合成预测中并不是大的问题。此外，只要能得到深度图，在哪里推断也不是大的问题。[0009]但是，在进行预测编码的情况下，一般而言，在编码侧采用的深度图和解码侧采用的深度图不一致的情况下，会产生称为漂移(drift)的编码失真。因此，采用将在编码侧采用的深度图向解码侧传送或在编码侧和解码侧采用完全相同的数据和手法推断深度图的方法。
[0010]非专利文献
非专利文献 1:Rec.1TU — TH.264 “Advanced video coding for genericaudiovisual services, ” March 2009 ；
非专利文献 2:S.Shimizu, M.Kitahara, H.Kimata, K.Kamikura, and Y.Yashima, “View Scalable Multiview Video Coding Using 3 — D Warping with DepthMap, ” IEEE Transactions on Circuits and System for Video Technology, Vol.17,N0.11, pp.1485 — 1495, November, 2007。
【发明内容】
[0011]在上述现有技术中，通过利用视差补偿预测、视点合成预测，能够消除相机间的视频信号的冗长性。因此，与独立对各相机拍摄的视频进行编码的情况相比，能够高效率地对多视点视频进行压缩编码。
[0012]但是，在多视点视频中，同时存在相机间相关和时间相关这两方面。因此，在仅用视差补偿预测、视点合成预测的情况下，利用时间相关无法消除时间上的冗长性，所以无法实现有效率的编码。
[0013]在非专利文献I中，按每个块导入运动补偿预测和视差补偿预测的适应选择，从而能够利用相机间相关和时间相关这两方面。通过采用该方法，与只使用哪一个相关的情况相比能够实现有效率的编码。
[0014]但是，按每个块选择哪一方的情况下，通过利用每个块表示更加强的相关的相关，仅仅削减更多的冗长性，并不能连相机间以及不同的时刻拍摄的帧间同时存在的冗长性也削减。
[0015]作为针对该课题的解决对策，能够容易类推出这样的方法:即，利用预测图像和预测视频的加权平均的方法，其中预测图像是通过利用了运动补偿预测等的时间相关的手法来生成，而预测视频是通过利用视差补偿预测、视点合成预测等的相机间相关的手法来生成。通过采用这种方法，能得到一定程度上改善编码效率的效果。
[0016]但是，利用加权平均生成预测图像只不过是分配在时间相关和相机间相关之丨司利用其相关的比率。即，并不是同时和2个相关，只是如何灵活地进行利用哪个相关，并不削减同时存在的冗长性。
[0017]本发明考虑到这些情况而构思，其目的在于提供一种在不能得到处理图像的状况下也能高精度地推断运动向量并且通过在视频信号预测中利用时间相关，从而同时利用2个相关能够实现有效率的多视点视频编码的运动向量推断方法、多视点视频编码方法、多视点视频解码方法、运动向量推断装置、多视点视频编码装置、多视点视频解码装置、运动向量推断程序、多视点视频编码程序及多视点视频解码程序。
[0018]为解决上述课题，本发明的第一观点是一种运动向量推断方法，其中包括:视点合成图像生成步骤，根据多视点视频中包含的与拍摄处理图像的处理相机不同的相机拍摄的参考相机视频，按照与所述处理相机相同的设定，生成拍摄所述处理图像的时刻的视点合成图像；以及对应区域推断步骤，不用所述处理图像，而用相当于所述处理图像上的处理区域的所述视点合成图像上的图像信号，搜索由所述处理相机拍摄的参考图像中的对应区域，推断运动向量。
[0019]在本发明的第一观点中，也可以还包括可靠度设定步骤，对所述视点合成图像的各像素，设定表示所述视点合成图像的确实性的可靠度，在所述对应区域推断步骤中，基于所述可靠度对搜索所述对应区域时的匹配成本进行加权。
[0020]此外，为解决上述课题，本发明的第二观点是一种进行多视点视频的预测编码的多视点视频编码方法，其中包括:视点合成图像生成步骤，根据在与所述多视点视频的某个编码对象视点不同的参考视点上，与编码对象帧同时刻被拍摄的已经编码完毕的参考视点帧，生成所述编码对象视点的视点合成图像；运动向量推断步骤，对所述视点合成图像的各编码单位块，搜索所述编码对象视点中已经编码完毕的参考帧上的对应区域，从而推断运动向量；运动补偿预测图像生成步骤，利用所述推断的运动向量和所述参考帧，生成对于所述编码对象帧的运动补偿预测图像；以及残差编码步骤，对所述编码对象帧和所述运动补偿预测图像的差分信号进行编码。
[0021]在本发明的第二观点中，也可以还包括可靠度设定步骤，对所述视点合成图像的各像素，设定表示所述视点合成图像的确实性的可靠度，在所述运动向量推断步骤中，基于所述可靠度对搜索所述对应区域时的各像素的匹配成本进行加权。
[0022]在本发明的第二观点中，也可以还包括:运动搜索步骤，通过在与所述参考帧之间搜索对应区域来对所述编码对象帧的各编码单位块生成最佳的运动向量；以及差向量编码步骤，对所述运动向量和所述最佳的运动向量的差向量进行编码，在所述运动补偿预测图像生成步骤中，利用所述最佳的运动向量和所述参考帧生成所述运动补偿预测图像。
[0023]在本发明的第二观点中，也可以还包括预测向量生成步骤，利用所述运动向量和与编码对象区域邻接的区域中使用的最佳的运动向量群，生成预测向量，在所述差向量编码步骤中，对所述预测向量和所述最佳的运动向量的差向量进行编码。
[0024]此外，为解决上述课题，本发明的第三观点是一种多视点视频解码方法，对针对多视点视频的某个视点的视频的编码数据进行解码，其中包括:视点合成图像生成步骤，根据与解码对象视点不同的参考视点上，与解码对象帧同时刻被拍摄的参考视点帧，生成所述解码对象视点的视点合成图像；运动向量推断步骤，通过搜索所述解码对象视点中已经解码完毕的参考帧上的对应区域，对所述视点合成图像的各解码单位块推断运动向量；运动补偿预测图像生成步骤，利用所述推断的运动向量和所述参考帧，生成对于所述解码对象帧的运动补偿预测图像；以及图像解码步骤，将所述运动补偿预测图像用作为预测信号，从所述编码数据对被预测编码的所述解码对象帧进行解码。
[0025]在本发明的第三观点中，也可以还包括可靠度设定步骤，对所述视点合成图像的各像素，设定表示所述视点合成图像的确实性的可靠度，在所述运动向量推断步骤中，基于所述可靠度对搜索所述对应区域时的各像素的匹配成本进行加权。
[0026]在本发明的第三观点中，也可以还包括向量解码步骤，将所述运动向量用作为预测向量，从所述编码数据对被预测编码的最佳的运动向量进行解码，在所述运动补偿预测图像生成步骤中，利用所述最佳的运动向量和所述参考帧生成所述运动补偿预测图像。[0027]在本发明的第三观点中，也可以还包括预测向量生成步骤，利用所述运动向量和与解码对象区域邻接的区域中使用的最佳的运动向量群，生成推断预测向量，在所述向量解码步骤中，将所述推断预测向量用作为所述预测向量，对所述最佳的运动向量进行解码。
[0028]此外，为解决上述课题，本发明的第四观点是一种运动向量推断装置，其中包括:视点合成图像生成单元，根据多视点视频中包含的与拍摄处理图像的处理相机不同的相机拍摄的参考相机视频，按照与所述处理相机相同的设定，生成拍摄所述处理图像的时刻的视点合成图像；以及对应区域推断单元，不用所述处理图像，而用相当于所述处理图像上的处理区域的所述视点合成图像上的图像信号，搜索由所述处理相机拍摄的参考图像中的对应区域，推断运动向量。
[0029]在本发明的第四观点中，也可以还包括可靠度设定单元，对所述视点合成图像的各像素，设定表示所述视点合成图像的确实性的可靠度，所述对应区域推断单元基于所述可靠度对搜索所述对应区域时的匹配成本进行加权。
[0030]此外，为解决上述课题，本发明的第五观点是一种进行多视点视频的预测编码的多视点视频编码装置，其中包括:视点合成图像生成单元，根据在与所述多视点视频的某个编码对象视点不同的参考视点上，与编码对象帧同时刻被拍摄的已经编码完毕的参考视点帧，生成所述编码对象视点的视点合成图像；运动向量推断单元，对所述视点合成图像的各编码单位块，搜索所述编码对象视点中已经编码完毕的参考帧上的对应区域，从而推断运动向量；运动补偿预测图像生成单元，利用所述推断的运动向量和所述参考帧，生成对于所述编码对象帧的运动补偿预测图像；以及残差编码单元，对所述编码对象帧和所述运动补偿预测图像的差分信号进行编码。
[0031]在本发明的第五观点中，也可以还包括可靠度设定装置，对所述视点合成图像的各像素，设定表示所述视点合成图像的确实性的可靠度，所述运动向量推断单元基于所述可靠度对搜索所述对应区域时的各像素的匹配成本进行加权。
[0032]此外，为解决上述课题，本发明的第六观点是一种多视点视频解码装置，对针对多视点视频的某个视点的视频的编码数据进行解码，其中包括:视点合成图像生成单元，根据与解码对象视点不同的参考视点上，与解码对象帧同时刻被拍摄的参考视点帧，生成所述解码对象视点的视点合成图像；运动向量推断单元，通过搜索所述解码对象视点中已经解码完毕的参考帧上的对应区域，对所述视点合成图像的各解码单位块推断运动向量；运动补偿预测图像生成单元，利用所述推断的运动向量和所述参考帧，生成对于所述解码对象帧的运动补偿预测图像；以及图像解码单元，将所述运动补偿预测图像用作为预测信号，从所述编码数据对被预测编码的所述解码对象帧进行解码。
[0033]在本发明的第六观点中，也可以还包括可靠度设定单元，对所述视点合成图像的各像素，设定表示所述视点合成图像的确实性的可靠度，所述运动向量推断单元基于所述可靠度对搜索所述对应区域时的各像素的匹配成本进行加权。
[0034]此外，为解决上述课题，本发明的第七观点是一种运动向量推断程序，令运动向量推断装置的计算机执行以下功能:视点合成图像生成功能，根据多视点视频中包含的与拍摄处理图像的处理相机不同的相机拍摄的参考相机视频，按照与所述处理相机相同的设定，生成拍摄所述处理图像的时刻的视点合成图像；以及对应区域推断功能，不用所述处理图像，而用相当于所述处理图像上的处理区域的所述视点合成图像上的图像信号，搜索由所述处理相机拍摄的參考图像中的对应区域，推断运动向量。
[0035]此外，为解决上述课题，本发明的第八观点是一种多视点视频编码程序，令进行多视点视频的预测编码的多视点视频编码装置的计算机执行以下功能:视点合成图像生成功能，根据在与所述多视点视频的某个编码对象视点不同的參考视点上，与编码对象帧同时刻被拍摄的已经编码完毕的參考视点帧，生成所述编码对象视点的视点合成图像；运动向量推断功能，对所述视点合成图像的各编码单位块，捜索所述编码对象视点中已经编码完毕的參考帧上的对应区域，从而推断运动向量；运动补偿预测图像生成功能，利用所述推断的运动向量和所述參考帧，生成对于所述编码对象帧的运动补偿预测图像；以及残差编码功能，对所述编码对象帧和所述运动补偿预测图像的差分信号进行编码。
[0036]此外，为解决上述课题，本发明的第九观点是一种多视点视频解码程序，令对针对多视点视频的某个视点的视频的编码数据进行解码的多视点视频解码装置的计算机执行以下功能:视点合成图像生成功能，根据与解码对象视点不同的參考视点上，与解码对象帧同时刻被拍摄的參考视点帧，生成所述解码对象视点的视点合成图像；运动向量推断功能，通过搜索所述解码对象视点中已经解码完毕的參考帧上的对应区域，对所述视点合成图像的各解码单位块推断运动向量；运动补偿预测图像生成功能，利用所述推断的运动向量和所述參考帧，生成对于所述解码对象帧的运动补偿预测图像；以及图像解码功能，将所述运动补偿预测图像用作为预测信号，从所述编码数据对被预测编码的所述解码对象帧进行解码。
[0037]依据本发明，在不能得到处理图像的状况下，也能高精度地推断运动向量，通过在视频信号预测中利用时间相关，同时利用2个相关(即，相机间相关及时间相关)，能够实现有效率的多视点视频编码。
【专利附图】
【附图说明】
[0038]图1是表示本发明第一实施方式的多视点视频编码装置的结构的框图；
图2是说明本第一实施方式的多视点视频编码装置的动作的流程图；
图3是表示本发明第二实施方式的多视点视频编码装置的结构的框图；
图4是说明本第二实施方式的多视点视频编码装置的动作的流程图；
图5是表示本发明第三实施方式的多视点视频解码装置的结构的框图；
图6是说明本第三实施方式的多视点视频解码装置的动作的流程图；
图7是表示本发明第四实施方式的多视点视频解码装置的结构的框图；
图8是说明本第四实施方式的多视点视频解码装置的动作的流程图；
图9是表示本发明第五实施方式的运动向量推断装置的结构的框图；
图10是说明本第五实施方式的运动向量推断装置的动作的流程图；
图11是表示本第五实施方式的运动向量推断装置的另ー结构例的框图；
图12是表示本发明第六实施方式的多视点视频编码装置的结构的框图；
图13是说明本第六实施方式的多视点视频编码装置的动作的流程图；
图14是表示本发明第七实施方式的多视点视频编码装置的结构的框图；
图15是说明本第七实施方式的多视点视频编码装置的动作的流程图；
图16是表示本发明第八实施方式的多视点视频解码装置的结构的框图； 图17是说明本第八实施方式的多视点视频解码装置的动作的流程图；
图18是表示本发明第九实施方式的多视点视频解码装置的结构的框图；
图19是说明本第九实施方式的多视点视频解码装置的动作的流程图；
图20是表示从相机到景物为止的距离(深度)与视差的关系的概念图。
【具体实施方式】
[0039]以下，參考附图，就本发明的ー实施方式进行说明。
[0040]在现有技术中，利用编码对象的输入图像的图像信号，求出參考图像上的对应区域从而实现运动补偿预測。在这种情况下，在解码侧不能得到输入图像，因此需要对表示对应区域的运动向量信息进行编码。在本发明的实施方式中，利用由别的相机拍摄的视频生成与编码对象图像对应的合成图像(后述的步骤Sa2)，利用该合成图像的图像信号，求出參考图像上的对应区域(后述的步骤Sa5)。该合成图像在解码侧能够生成相同的图像，因此在解码侧进行与编码侧同样的搜索就能得到运动向量。其結果，不管是否进行运动补偿预测，本发明的实施方式都无需对运动向量进行编码，能得到能够相应地削减编码量的效果。
[0041]此外，在以下的说明中，通过将能够确定用符号[]夹持的位置的信息(坐标值、能与坐标值对应的指针(index)、区域、能与区域对应的指针)附加到视频(帧)上，表示该位置的像素或与该区域对应的视频信号。
[0042]A.第一实施方式
首先，对本发明的第一实施方式进行说明。
[0043]图1是表示本第一实施方式的多视点视频编码装置的结构的框图。如图1所示，多视点视频编码装置100具备:编码对象帧输入部101、编码对象图像存储器102、參考视点帧输入部103、參考视点图像存储器104、视点合成部105、视点合成图像存储器106、可靠度设定部107、对应区域捜索部108、运动补偿预测部109、预测残差编码部110、预测残差解码部111、解码图像存储器112、预测残差算出部113及解码图像算出部114。
[0044]编码对象帧输入部101输入成为编码对象的视频帧(编码对象帧)。编码对象图像存储器102蓄积被输入的编码对象帧。參考视点帧输入部103输入针对与编码对象帧不同的视点(參考视点)的视频帧(參考视点帧)。參考视点图像存储器104蓄积被输入的參考视点帧。视点合成部105利用參考视点帧生成对应编码对象帧的视点合成图像。
[0045]视点合成图像存储器106蓄积所生成的视点合成图像。可靠度设定部107设定每个生成的视点合成图像的像素的可靠度。对应区域捜索部108按每个视点合成图像的编码单位块，一边用可靠度ー边搜索成为运动补偿预测的參考帧并且与编码对象帧相同的视点上被拍摄、表示已经编码完毕的帧中的对应块的运动向量。即，基于可靠度对进行对应区域搜索时的匹配成本进行加权，从而不会在视点合成时被误差所拖累，而重视能高精度合成的像素，实现高精度的运动向量推断。
[0046]运动补偿预测部109按照決定的对应块利用參考帧生成运动补偿预测图像。预测残差算出部113算出编码对象帧和运动补偿预测图像之差(预测残差信号)。预测残差编码部110对预测残差信号进行编码。预测残差解码部111对预测残差信号的编码数据进行解码。解码图像算出部114相加被解码的预测残差信号和运动补偿预测图像而算出编码对象帧的解码图像。解码图像存储器112蓄积解码图像。[0047]图2是说明本第一实施方式的多视点视频编码装置100的动作的流程图。按照该流程图，就第一实施方式的多视点视频编码装置100执行的处理进行详细说明。
[0048]首先，编码对象帧Org从编码对象帧输入部101输入，存放到编码对象图像存储器102 (步骤Sal)。此外，与编码对象帧Org同时刻在參考视点被拍摄的參考视点帧Refn从參考视点帧输入部103输入(n = 1，2，…，N)，并蓄积到參考视点图像存储器104中(步骤Sal)。在此所输入的參考视点帧设为对已经编码完毕的图像进行解码后的帧。这是因为通过使用与用解码装置所得到的信息相同的信息，能抑制漂移等的编码噪声的产生。但是，在容许这些编码噪声的产生的情况下，被输入编码前的原始的信息也可。此外，n是表示參考视点的指针，N是在此能利用的參考视点的数目。
[0049]接着，用视点合成部105，由參考视点帧的信息，合成与编码对象帧同时刻在相同的视点被拍摄的图像，将生成的视点合成图像Syn蓄积在视点合成图像存储器106中(步骤Sa2)。该视点合成图像的生成法可以采用任何方法。例如，如果參考视点帧的视频信息以外还供给对应參考视点帧的深度信息，则能采用记载于非专利文献2或非专利文献3 (Y.Mori, N.Fukushima, T.Fujii, and M.Tanimoto, “View Generation with 3D WarpingUsing Depth Information for FTV, ” Proceedings of 3DTV — C0N2008, pp.229 —232，May 2008.)等的方法。
[0050]此外，在能得到对应编码对象帧的深度信息的情况下，也能采用记载于非专利文献 4 (S.Yea and A.Vetro, “View Synthesis Prediction for Rate — OverheadReduction in FTV, ” Proceedings of 3DTV — C0N2008, pp.145 — 148，May 2008.)等的方法。
[0051]在完全无法得到深度 信息的情况下，采用记载于非专利文献5(J.Sun, N.Zheng,and H.Shum, “Stereo Matching Using Belief Propagation, ” IEEE Transactions onPattern Analysis and Machine Intelligence, Vol.25, N0.7, pp.787 — 800，July2003.)等的立体(stereo)法、称为深度推断法的方法，作成參考视点帧或对应编码对象帧的深度信息后，适用如上所述的方法能够生成视点合成图像(非专利文献6:S.Shimizu,Y.Tonomura, H.Kimata, and Y.0htani, ‘-1mproved View Interpolation Predictionfor Side Information in Multiview Distributed Video Coding, ” Proceedings ofICDSC2009, August 2009.)。
[0052]也有明明不生成深度信息而由參考视点帧直接生成视点合成图像的方法(非专利文献 7:K.Yamamoto, M.Kitahara, H.Kimata, T.Yendo, T.Fujii, M.Tanimoto,S.Shimizu, K.Kamikura, and Y.Yashima, “Multiview Video Coding Using ViewInterpolation and Color Correction, ” IEEE Transactions on Circuits and Systemfor Video Technology, Vol.17, N0.11, pp.1436 — 1449, November, 2007.)。
[0053]此外，在采用这些方法时基本上需要相机的位置关系、表示相机进行的投影过程的相机參数。这些相机參数也能从參考视点帧推断。再者，在解码侧不推断深度信息、相机參数等的情况下，需要另行对编码装置内使用的这些信息进行编码并加以传送。
[0054]接着，在可靠度设定部107中，对于视点合成图像的各像素，生成表示对于该像素的合成能以多大的确实性实现的可靠度P (步骤Sa3)。在本第一实施方式中，可靠度P设为0~I为止的实数，但是，如果定义为在0以上较大的值的情况下可靠度更高，则如何体现可靠度都可。例如，以I以上的8位整数体现可靠度也可。
[0055]如上所述，如果能表示有多少正确地进行合成，则可靠度P为任意值都可。例如，最为简单的是，视点合成图像的各像素采用对应的參考视点帧上的像素的像素值的离散值的方法。在对应像素间像素值越接近，表示越能辨识相同的景物并正确地视点合成，因此表示离散越小可靠度就越高。即，可靠度用离散的倒数来体现。将在合成视点合成图像Syn[P]时使用的各參考视点帧的像素，用Refn [pn]表示，则能用下面的数式(I)、数式(2)来表示可靠度。
[0056]【数I】
【权利要求】
1.一种运动向量推断方法，其中包括: 视点合成图像生成步骤，根据多视点视频中包含的与拍摄处理图像的处理相机不同的相机拍摄的参考相机视频，按照与所述处理相机相同的设定，生成拍摄所述处理图像的时刻的视点合成图像；以及 对应区域推断步骤，不用所述处理图像，而用相当于所述处理图像上的处理区域的所述视点合成图像上的图像信号，搜索由所述处理相机拍摄的参考图像中的对应区域，推断运动向量。
2.根据权利要求1所述的运动向量推断方法，其中 还包括可靠度设定步骤，对所述视点合成图像的各像素，设定表示所述视点合成图像的确实性的可靠度， 在所述对应区域推断步骤中，基于所述可靠度对搜索所述对应区域时的匹配成本进行加权。
3.一种进行多视点视频的预测编码的多视点视频编码方法，其中包括: 视点合成图像生成步骤，根据在与所述多视点视频的某个编码对象视点不同的参考视点上，与编码对象帧同时刻被拍摄的已经编码完毕的参考视点帧，生成所述编码对象视点的视点合成图像； 运动向量推断步骤，对所述视点合成图像的各编码单位块，搜索所述编码对象视点中已经编码完毕的参考帧上的对应区域，从而推断运动向量； 运动补偿预测图像生成 步骤，利用所述推断的运动向量和所述参考帧，生成对于所述编码对象帧的运动补偿预测图像；以及 残差编码步骤，对所述编码对象帧和所述运动补偿预测图像的差分信号进行编码。
4.根据权利要求3所述的多视点视频编码方法，其中 还包括可靠度设定步骤，对所述视点合成图像的各像素，设定表示所述视点合成图像的确实性的可靠度， 在所述运动向量推断步骤中，基于所述可靠度对搜索所述对应区域时的各像素的匹配成本进行加权。
5.根据权利要求3或4所述的多视点视频编码方法，其中还包括: 运动搜索步骤，通过在与所述参考帧之间搜索对应区域来对所述编码对象帧的各编码单位块生成最佳的运动向量；以及 差向量编码步骤，对所述运动向量和所述最佳的运动向量的差向量进行编码， 在所述运动补偿预测图像生成步骤中，利用所述最佳的运动向量和所述参考帧生成所述运动补偿预测图像。
6.根据权利要求5所述的多视点视频编码方法，其中 还包括预测向量生成步骤，利用所述运动向量和与编码对象区域邻接的区域中使用的最佳的运动向量群，生成预测向量， 在所述差向量编码步骤中，对所述预测向量和所述最佳的运动向量的差向量进行编码。
7.一种多视点视频解码方法，对针对多视点视频的某个视点的视频的编码数据进行解码，其中包括:视点合成图像生成步骤，根据与解码对象视点不同的参考视点上，与解码对象帧同时刻被拍摄的参考视点帧，生成所述解码对象视点的视点合成图像； 运动向量推断步骤，通过搜索所述解码对象视点中已经解码完毕的参考帧上的对应区域，对所述视点合成图像的各解码单位块推断运动向量； 运动补偿预测图像生成步骤，利用所述推断的运动向量和所述参考帧，生成对于所述解码对象帧的运动补偿预测图像；以及 图像解码步骤，将所述运动补偿预测图像用作为预测信号，从所述编码数据对被预测编码的所述解码对象帧进行解码。
8.根据权利要求7所述的多视点视频解码方法，其中 还包括可靠度设定步骤，对所述视点合成图像的各像素，设定表示所述视点合成图像的确实性的可靠度， 在所述运动向量推断步骤中，基于所述可靠度对搜索所述对应区域时的各像素的匹配成本进行加权。
9.根据权利要求7或8所述的多视点视频解码方法，其中 还包括向量解码步骤，将所述运动向量用作为预测向量，从所述编码数据对被预测编码的最佳的运动向量进行解码， 在所述运动补偿预测图 像生成步骤中，利用所述最佳的运动向量和所述参考帧生成所述运动补偿预测图像。
10.根据权利要求9所述的多视点视频解码方法，其中 还包括预测向量生成步骤，利用所述运动向量和与解码对象区域邻接的区域中使用的最佳的运动向量群，生成推断预测向量， 在所述向量解码步骤中，将所述推断预测向量用作为所述预测向量，对所述最佳的运动向量进行解码。
11.一种运动向量推断装置，其中包括: 视点合成图像生成单元，根据多视点视频中包含的与拍摄处理图像的处理相机不同的相机拍摄的参考相机视频，按照与所述处理相机相同的设定，生成拍摄所述处理图像的时刻的视点合成图像；以及 对应区域推断单元，不用所述处理图像，而用相当于所述处理图像上的处理区域的所述视点合成图像上的图像信号，搜索由所述处理相机拍摄的参考图像中的对应区域，推断运动向量。
12.根据权利要求11所述的运动向量推断装置，其中 还包括可靠度设定单元，对所述视点合成图像的各像素，设定表示所述视点合成图像的确实性的可靠度， 所述对应区域推断单元基于所述可靠度对搜索所述对应区域时的匹配成本进行加权。
13.一种进行多视点视频的预测编码的多视点视频编码装置，其中包括: 视点合成图像生成单元，根据在与所述多视点视频的某个编码对象视点不同的参考视点上，与编码对象帧同时刻被拍摄的已经编码完毕的参考视点帧，生成所述编码对象视点的视点合成图像； 运动向量推断单元，对所述视点合成图像的各编码单位块，搜索所述编码对象视点中已经编码完毕的参考帧上的对应区域，从而推断运动向量； 运动补偿预测图像生成单元，利用所述推断的运动向量和所述参考帧，生成对于所述编码对象帧的运动补偿预测图像；以及 残差编码单元，对所述编码对象帧和所述运动补偿预测图像的差分信号进行编码。
14.根据权利要求13所述的多视点视频编码装置，其中 还包括可靠度设定装置，对所述视点合成图像的各像素，设定表示所述视点合成图像的确实性的可靠度， 所述运动向量推断单元基于所述可靠度对搜索所述对应区域时的各像素的匹配成本进行加权。
15.一种多视点视频解码装置，对针对多视点视频的某个视点的视频的编码数据进行解码，其中包括: 视点合成图像生成 单元，根据与解码对象视点不同的参考视点上，与解码对象帧同时刻被拍摄的参考视点帧，生成所述解码对象视点的视点合成图像； 运动向量推断单元，通过搜索所述解码对象视点中已经解码完毕的参考帧上的对应区域，对所述视点合成图像的各解码单位块推断运动向量； 运动补偿预测图像生成单元，利用所述推断的运动向量和所述参考帧，生成对于所述解码对象帧的运动补偿预测图像；以及 图像解码单元，将所述运动补偿预测图像用作为预测信号，从所述编码数据对被预测编码的所述解码对象帧进行解码。
16.根据权利要求15所述的多视点视频解码装置，其中 还包括可靠度设定单元，对所述视点合成图像的各像素，设定表示所述视点合成图像的确实性的可靠度， 所述运动向量推断单元基于所述可靠度对搜索所述对应区域时的各像素的匹配成本进行加权。
17.—种运动向量推断程序，令运动向量推断装置的计算机执行以下功能: 视点合成图像生成功能，根据多视点视频中包含的与拍摄处理图像的处理相机不同的相机拍摄的参考相机视频，按照与所述处理相机相同的设定，生成拍摄所述处理图像的时刻的视点合成图像；以及 对应区域推断功能，不用所述处理图像，而用相当于所述处理图像上的处理区域的所述视点合成图像上的图像信号，搜索由所述处理相机拍摄的参考图像中的对应区域，推断运动向量。
18.一种多视点视频编码程序，令进行多视点视频的预测编码的多视点视频编码装置的计算机执行以下功能: 视点合成图像生成功能，根据在与所述多视点视频的某个编码对象视点不同的参考视点上，与编码对象帧同时刻被拍摄的已经编码完毕的参考视点帧，生成所述编码对象视点的视点合成图像； 运动向量推断功能，对所述视点合成图像的各编码单位块，搜索所述编码对象视点中已经编码完毕的参考帧上的对应区域，从而推断运动向量； 运动补偿预测图像生成功能，利用所述推断的运动向量和所述参考帧，生成对于所述编码对象帧的运动补偿预测图像；以及 残差编码功能，对所述编码对象帧和所述运动补偿预测图像的差分信号进行编码。
19.一种多视点视频解码程序，令对针对多视点视频的某个视点的视频的编码数据进行解码的多视点视频解码装置的计算机执行以下功能: 视点合成图像生成功能，根据与解码对象视点不同的参考视点上，与解码对象帧同时刻被拍摄的参考视点帧，生成所述解码对象视点的视点合成图像； 运动向量推断功能，通过搜索所述解码对象视点中已经解码完毕的参考帧上的对应区域，对所述视点合成图像的各解码单位块推断运动向量； 运动补偿预测图像生成功能，利用所述推断的运动向量和所述参考帧，生成对于所述解码对象帧的运动补偿预测图像；以及 图像解码功能，将所述运动补偿预测图像用作为预测信号，从所述编码数据对被预测编码的所述解码对象 帧进行解码。
【文档编号】H04N13/02GK103609119SQ201180010256
【公开日】2014年2月26日 申请日期:2011年2月18日 优先权日:2010年2月23日
【发明者】志水信哉, 木全英明, 松浦宣彦 申请人:日本电信电话株式会社