一种并行虚拟视点合成方法
【专利摘要】本发明公开了一种并行虚拟视点合成方法，包括：对读入的输入帧进行分割，让各个线程分别对不同的图像块进行并行的视点合成，然后将各个子线程产生的虚拟视点图像进行拼接，产生一个完整的虚拟视点图像输出。在实施例中，根据每个线程时间与平均线程时间之差，计算帧内每个分割高度调整所对应的时间，然后以行为单位向上或者向下搜索，补偿此时间进而算出调整高度，实现负载均衡，提高虚拟视点的合成速度。
【专利说明】一种并行虚拟视点合成方法
【技术领域】
[0001]本发明涉及计算机视觉与数字图像处理领域，特别涉及一种并行虚拟视点合成方法。
【背景技术】
[0002]自由视点视频(FTV)可以为用户提供任意视点的场景图像，从而极大地增强用户的视觉体验效果，因而具有广阔的发展前景。随着移动互联网时代的来临，越来越多的娱乐媒体活动慢慢地从PC机转移到了以手机、平板为代表的移动终端上。这种终端一个显著的特征是其内嵌的多核技术，大大增加了手机等移动终端的运行速度。如果能在移动终端上实现FTV，那么其中蕴含的价值不仅仅是经济意义，而且将极大地普及3D技术。
[0003]为了重建高质量的任意视点图像应用于FTV，MPEG组织开发了 VSRS (ViewSynthesis Reference Software)参考软件，此软件用两个参考视点纹理图和相应的深度图作为输入来生成一个合成的虚拟视点。VSRS —个致命的缺点是耗时非常长，其虚拟视点合成速度大约是2帧/秒，远小于实时播放下要求的30帧/秒。这就造成了 VSRS在现实中的应用受到了限制。
【发明内容】
[0004]本发明的目的在于解决上述现有技术存在的技术问题，提高虚拟视点的合成速度。
[0005]为此，本发明提出一种并行虚拟视点合成方法，包括:
[0006]对读入的输入帧进行分割，让各个线程分别对不同的图像块进行并行的视点合成，然后将各个子线程产生的虚拟视点图像进行拼接，产生一个完整的虚拟视点图像输出。
[0007]优选地，所述方法包括:根据当前帧线程之间的负载情况调整下一帧的分割高度来达到负载均衡，所述调整包括以下步骤:
[0008]根据每个线程时间与平均线程时间之差，计算帧内每个分割高度调整所对应的时间，然后以行为单位向上或者向下搜索，补偿此时间进而算出调整高度，实现负载均衡，其中，每个线程的视点合成包括参考视点向虚拟视点的映射和左右映射图像的融合，将参考视点向虚拟视点的映射所用的时间和左右映射图像的融合所用的时间之和作为各个线程时间。
[0009]优选地，通过以下方式确定每个线程时间:
[0010]确定参考视点向虚拟视点的映射所用的时间为:
[0011]Tporwardffarp0 = Ii1.Width.height.2,其中 Width 为线程对应的图像块的宽度，height为线程对应的图像块的高度，
[0012]确定左右映射图像的融合所用的时间为:
[0013].
【权利要求】
1.一种并行虚拟视点合成方法，其特征在于，包括: 对读入的输入帧进行分割，让各个线程分别对不同的图像块进行并行的视点合成，然后将各个子线程产生的虚拟视点图像进行拼接，产生一个完整的虚拟视点图像输出。
2.如权利要求1所述的方法，其特征在于，包括:根据当前帧线程之间的负载情况调整下一帧的分割高度来达到负载均衡，所述调整包括以下步骤: 根据每个线程时间与平均线程时间之差，计算帧内每个分割高度调整所对应的时间，然后以行为单位向上或者向下搜索，补偿此时间进而算出调整高度，实现负载均衡，其中，每个线程的视点合成包括参考视点向虚拟视点的映射和左右映射图像的融合，将参考视点向虚拟视点的映射所用的时间和左右映射图像的融合所用的时间之和作为各个线程时间。
3.如权利要求1所述的方法，其特征在于，通过以下方式确定每个线程时间: 确定参考视点向虚拟视点的映射所用的时间为: TForwardWarpO = h.Width.height.2,其中 Width 为线程对应的图像块的宽度，height为线程对应的图像块的高度， 确定左右映射图像的融合所用的时间为:
是线程对应的图像块 中第i行的非空洞数目，
是线程对应的图像块中所有的非空洞数
目之和， 确定执行此图像块的线程时间为:
其中，kx是将所有线程中参考视点向虚拟视点的映射时间TtoradWarp。加在一起除以总
的像素点数，即
k2是将所有线程中左右映射图像的融合所用时间加在一起除以总的非
空洞像素点数&妙即
4.如权利要求2或3所述的方法，其特征在于，通过以下步骤对图像分割高度进行调整: (I)计算各线程时间与线程平均时间差Ati； (II)计算各个分割高度应该调整的时间差，其中从上往下第一分割高度4应调整的时间差为At1，记At1 = Λ T1，第二分割高度112应调整的时间差为At1+At2，记AtJAt2 =Λ T2,当线程数大于两个时依次类推； (III)对每个分割高度h分别调整:如果ATi≥O,从比-1行开始逐行向上搜索补偿时间，直到
,,然后调整至新的高度:
如果ATi < O,从比+1行开始逐行向下搜索补偿时间，直到
然后调整至新的高度:
Width是帧的宽度，Aheight是待调整的高度差，
是高度差
Aheight内的非空洞数目。
5.如权利要求4所述的方法，其特征在于，如果调整后的高度Λ 不是偶数，则
【文档编号】H04N15/00GK104079915SQ201410317820
【公开日】2014年10月1日 申请日期:2014年7月3日 优先权日:2014年7月3日
【发明者】金欣, 刘站奇, 戴琼海 申请人:清华大学深圳研究生院