对全息图案进行编码的方法及对应的编码设备和计算机程序的利记博彩app

对全息图案进行编码的方法及对应的编码设备和计算机程序的利记博彩app
【专利摘要】本发明涉及对至少一个全息图案进行编码，该图案全息记录了代表由场景中的至少一个全景对象所接收的光的光信号，所述编码包括：从所述光信号中为所述全息图案的每个点xj(1≤j≤M)确定(C1)一组N条光线，该光线穿过所述点并分别对应于用于观察所述图案的N个不同的观察位置；通过使M条预定线在所述观察位置的每个处相交，从M组N条已确定的光线生成(C2)分别与观察所述图案的所述N个位置对应的所述对象的N个二维视图，这些观察位置被包含在与包含所述全息图案的平面平行的观察平面内；将所述N个已生成的视图排列(C3)成所述对象的多视图图像，所述N个视图分别对应于所述多视图图像的子图像；以及压缩(C4)所述多视图图像。
【专利说明】对全息图案进行编码的方法及对应的编码设备和计算机程 序

【技术领域】
[0001] 本发明通常涉及图像处理领域，更确切地涉及对三维（3D)图像及三维图像序列 进行编码。
[0002] 更具体地，本发明涉及对至少一个全息图案进行编码，该全息图案存储代表由场 景中的至少一个全景对象所接收的光的光信号。
[0003] 本发明可具体而非排他地应用于通过使用当前视频编码方案及其修订（MPEG、 Η· 264、Η· 264 SVC、H. 264 MVC 等）或未来的修订（ITU-T/VCEG(H. 265)或 IS0/MPEG(HEVC)) 来执行的视频编码，以及对应的解码。

【背景技术】
[0004] 以已知的方式，全息图案是全息方法的结果，其包含通过在半透明底片上记录该 单色类型波前的值来记录来自场景或对象的光波前。通过干扰与所述光波前同频率的参考 光波前来减少光前的相位中的时间变化，使得此记录成为可能。
[0005] 以这种方式创建的全息图案是单色图像，其包含来自场景或对象的光波前的波长 顺序的细节。所述图像可作为来自场景或对象的波前的菲涅耳变换来建模，该变换具有分 散空间频率细节的特性。全息图案的信息因而难于局部化，因此不适于传统的编码技术。
[0006] 对这种图案进行编码的第一示例在E. Darakis和T. Naughton于2009年发表于 Proc.SPIE，Vol. 7358 的标题为 "Compression of digital hologram sequence MPEG-4" 的文章中有所描述。在该文中，编码在包含一组时间索引的全息图案的巾贞中执行，所述巾贞由 此定义全息视频。以与视频序列中的图像相同的方式，该帧的每个图案连续放置作为符合 MPEG-4标准的视频编码器的输入，以经历使用预测方案进行的块编码，该预测方案利用图 案之间的空间冗余（帧内编码）或利用图案之间的时间冗余（帧间编码）。
[0007] 对所述图案进行编码的第二示例在M. Liebling和M. Unser于2003年1月 发表于 IEEE Trans. Image Processing, Vol. 12, No. 1 的标题为 "Fresnelets:new multiresolution wavelet bases for digital holography" 的文章中有所描述。如同在 上述文章中，使用一组时间索引的全息图案来对帧进行编码，所述帧由此定义全息视频。所 述帧的每个图案通过应用了滤波器组的函数来建模，以在给定函数的基础（例如小波）上 获得分解。
[0008] 这些对全息图案进行编码的示例的缺点在于它们的计算成本非常高，且所获得的 已编码数据在想要具体进行解码的流中传输的成本非常高。另外，这些编码方法没有考虑 这样的事实，即全息图案包括原本在空间域很好地局部化的分布式信息。


【发明内容】

[0009] 本发明的目的之一是补救上述现有技术的缺点。
[0010] 为此，第一方面，本发明提供一种对至少一个全息图案进行编码的方法，该全息图 案记录代表由场景中的至少一个全景对象所接收的光的光信号。
[0011] 本发明的编码方法的值得注意之处在于它执行包含如下的步骤：
[0012] ?从光信号为全息图案的每个点χ」（1彡j彡M)确定一组N条光线，该光线穿过该 点并分别对应于用于观察图案的N个不同的观察位置；
[0013] ?通过使Μ条已确定的线在每个观察位置相交，从Μ组N条已确定的光线生成分别 与所述图案的Ν个观察位置对应的所述对象的Ν个二维视图，这些观察位置被包含在与包 含所述全息图案的平面平行的观察平面内；
[0014] ?将Ν个已生成的视图排列成所述对象的多视图图像，这Ν个视图分别对应于所述 多视图图像的子图像；
[0015] ?压缩所述多视图图像。
[0016] 借助以这种方式以空间域中多条线的形式重构光信号，而不是通过运用反菲涅耳 变换来重构所述信号，使得可能以不可忽略的方式减少执行编码全息图案的计算所需的时 间和复杂度。
[0017] 另外，该重构结合了以分别代表相同3D场景的多个视域的多个视图的形式利用 光线，因而使得可能以最优方式利用存在于不同视图之间的空间和时间上的多重冗余，以 对全息图案进行有效的编码。
[0018] 通过不在用于传输的已编码信号中包括冗余的编码信息，即传输中没有意义的信 息，可能获得信令成本的显著减少。
[0019] 在具体实施中，确定步骤包含对光信号的幅度和频率进行解调，以为全息图案的 每个点\ (1 < j < Μ)发送一组Ν个数据对，考虑中的成对数据分别与经过考虑中的点的 光线的幅度和方向相关联。
[0020] 这样的措施有助于显著地优化编码成本。
[0021] 在另一具体实施中，解调由Gabor (伽柏）变换或小波变换执行。
[0022] 这些变换具有能有效地使与全息中的给定位置相关联的空间频率局部化的优点。
[0023] 在另一具体实施中，在生成N个视图的步骤期间，对于全息图案的当前点 Xj(l < j < M)，观察平面被细分成N个分区，每个分区的质心对应于与经过点&的光线的 观察平面相交的点。
[0024] 这样的措施具有将像素的集群与参考像素的强度值相关联的优点。
[0025] 在这另一实施例的变形中，在生成N个视图的步骤期间，对于全息图案的当前点 X' < j < M)，观察平面被递归地细分成4个分区直到由该细分所获得的每个子分区仅 包含一个质心，每个子分区的质心对应于与经过点V ^的光线的观察平面相交的点。
[0026] 这样的措施还具有为像素集群分配参考像素的强度值的优点。
[0027] 根据又一具体实施，压缩多视图图像的步骤用到下列子步骤：
[0028] ?作为先前已编码并然后解码的至少一个参考多视图图像的函数来预测多视图图 像，从而传送所预测的多视图图像；
[0029] ?通过比较产生于多视图图像的数据与涉及上述预测的多视图图像的数据来确定 残余数据；
[0030] ?对所确定的残余数据进行变换和量化；
[0031] ?对已变换且量化的残余数据进行编码。
[0032] 这样的措施使得可能在编码期间对所得多视图图像的N个视图之间的空间和时 间冗余的消除进行优化，以显著减少编码成本。
[0033] 在又一具体实施中，编码是多视图编码（MVC)类型的。
[0034] 这样的措施使得可能对全息图案运用标准MVC技术，它直到现在仍专用于编码多 视图图像。
[0035] 以相应的方式，本发明提供适合于执行本发明编码方法的编码设备。本发明的编 码设备因而用于对至少一个全息图案进行编码，在全息图案上已存储代表由场景中的至少 一个全景对象所接收的光的光信号。
[0036] 这样的编码设备的值得注意之处在于它包含处理器装置，其适合于：
[0037] ?对于全息图案的每个点\ (1彡j彡M)，从光信号确定一组N条光线，该光线经 过所述点并分别对应于用于观察所述图案的N个不同的观察位置；
[0038] ?通过使Μ条已确定的线在每个观察位置相交，从Μ组已确定的N条光线生成分别 与所述图案的Ν个观察位置对应的所述对象的Ν个二维视图，这些观察位置被包含在与包 含所述全息图案的平面平行的观察平面内；
[0039] ?将Ν个已生成的视图排列成对象的多视图图像，这Ν个视图分别对应于多视图图 像的子图像；
[0040] ?压缩所述多视图图像。
[0041] 另一方面，本发明提供计算机程序，当其在计算机上运行时包括执行本发明的编 码方法的指令。
[0042] 本发明还提供数据介质上的计算机程序，如上所述，该程序包括适用于执行本发 明编码方法的指令。
[0043] 所述程序可使用任何编程语言，可以是源代码、目标代码或介于源代码与目标代 码之间的中间代码的形式，诸如部分编译的形式或任何其他需要的形式。
[0044] 本发明还提供包括如上所述计算机程序指令的计算机可读数据介质。
[0045] 数据介质可以是能够存储程序的任何实体或设备。例如，所述介质可以包含：存储 装置，诸如只读存储器（ROM)，例如光盘（CD)R0M，或微电子电路ROM ;或磁记录装置，例如软 盘或硬盘。
[0046] 此外，数据介质可以是可传输介质，诸如适合于经由电缆或光缆，通过无线电或其 他方式来传输的电或光信号。本发明的程序可具体从互联网类型的网络下载。
[0047] 可替代地，所述数据介质可以是合并了所述程序的集成电路，该电路适合于运行 所讨论的方法或在其运行中使用。
[0048] 上述计算机程序和编码设备至少具有和由本发明的编码方法所赋予的优点相同 的优点。

【专利附图】

【附图说明】
[0049] 其他特点和优势将在阅读参照附图描述的几个优选实施例时显现，其中：
[0050] ?图1示出了将运用本发明的编码方法的全息图案示例。
[0051] ?图2示出了本发明的编码方法的步骤；
[0052] ?图3示出了本发明的编码设备的实施例；
[0053] ?图4是示出了本发明的编码方法中所执行的生成多个视图的步骤的示意图；
[0054] ?图5是应用于全息图案的给定观察位置并示出了与该位置相关联且与全息图案 相交的光线的示意图；
[0055] ?图6A和6B分别示出了在本发明的编码方法中所执行的生成多个视图的步骤期 间细分观察平面的两个具体实施；
[0056] ?图7示出了从本发明所生成的多个视图中获得的多视图图像的示意图；
[0057] ?图8是示出了重构使用本发明编码的全息图案的实施的示意图。

【具体实施方式】
[0058] 下面是实施的描述，其中本发明的编码方法用于对如图1所示的当前全息图案MH 进行编码，其中记录了代表由三维场景SC中的至少一个全景对象OBJ所接收的光的光信号 SL。在所示示例中，对象OBJ是茶壶。在已知方法中，全息图案MH包含多个点......、 Xj>……、ΧΜ，其中1彡j彡M，这些点通过以确定的采样间距离散化来获得。
[0059] 全息图案MH可以是单个的，或可形成代表相同对象且以时间为索引的一组图案 的一部分，即全息视频的一帧。
[0060] 图2以包含步骤C1到C4的算法的形式示出了本发明的编码方法。
[0061] 在本发明的实施中，本发明的编码方法在图3所示的编码器设备C0中执行。
[0062] 确定（图2所示的第一步骤C1包含从所述光信号SL为所述当前全息图案MH的 每个点\ (1 < j < M)确定）一组N条光线，该光线经过考虑中的所述点并分别对应于从 不同角度观察所述图案的N个观察位置。该步骤由如图3所示的解调软件模块DEM和转换 软件模块C0NV执行。
[0063] 参照图2和3,确定步骤C1包含解调第一子步骤C11，其间解调模块DEM在幅度和 频率上对光信号SL进行解调，以便为所述当前全息图案MH的每个点 Xj (1彡j彡M)传送 一组有给定幅度及定向空间频率的N个信号。为清楚起见，图3仅示出了了 N个信号中的 3个。
[0064] 举例来说，该解调可通过Gabor变换、小波变换、作为一系列小波的形成等来执 行。
[0065] 确定步骤C1还包括转换第二子步骤C12,其间N个所得信号被转换成N条相应的 给定幅度和方向的光线。
[0066] 在优选实施中，解调子步骤C11执行Gabor变换。为此，在所述当前全息图案MH 的每个点Xj (1彡j彡M),以一组2D方向（Θ。、......、θ N)运用Gabor滤波。当幅度大于给 定阈值时，在每个点\ (1彡j彡M)获得组&的N个幅度和定向空间频率的数据对，如：
[0067] Sj = {(an, fji) > (aJ2, fJ2) > ......、（ajN, fjN)}
[0068] 在解调子步骤Cll的最后，获得M组Si到SM的数据对。
[0069] 此后，转换子步骤C12将Μ组Si到SM中的每一组转换成相应地Μ组SQ到SC M个 幅度和3D方向数据对。对于当前全息图案MH的点Xj，应用方程式sin(a) = λ/f获得 组：
[0070] SCj = {(an, dji) > (aJ2, dJ2) > ......、（ajN, djN)}
[0071] 对于垂直于包含所述当前全息图案MH的平面的入射平面波，将空间频率f与衍射 方向α相关联，在由所述2D方向组（θρ ......、ΘΝ)定义的方位角平面中考虑α。
[0072] 作为替代，解调子步骤C11对所述当前全息图案ΜΗ的每个点\ (1彡j彡Μ)运用 2D小波变换。为此目的，为了使所述2D方向组（θρ……、ΘΝ)获得足够离散化，考虑发 生器小波f和变换：
[0073]

【权利要求】
1. 一种对至少一个全息图案进行编码的方法，该全息图案记录代表由场景中的至少一 个全景对象所接收的光的光信号，所述方法的特征在于其执行的步骤包含： ?从所述光信号中为所述全息图案的每个点\(1 < j < M)确定（C1) 一组N条光线， 该光线穿过所述点并分别对应于用于观察所述图案的N个不同的观察位置； ?通过使Μ条已确定的线在所述观察位置的每个处相交，从Μ组N条已确定的光线生成 (C2)分别与所述图案的所述Ν个观察位置对应的所述对象的Ν个二维视图，这些观察位置 被包含在与包含所述全息图案的平面平行的观察平面内； ?将所述Ν个已生成的视图排列（C3)成所述对象的多视图图像，所述Ν个视图分别对 应于所述多视图图像的子图像；以及 ?压缩（C4)所述多视图图像。
2. 如权利要求1所述的编码方法，其中，所述确定步骤包含在幅度和频率上对所述光 信号进行解调（C11)以为所述全息图案的每个点\ (1 < j < Μ)递送一组Ν个数据对，考 虑中的成对数据分别与经过所述点的光线的幅度和方向相关联（C12)。
3. 如权利要求2所述的编码方法，其中，所述解调通过Gabor变换或小波变换来执行。
4. 如权利要求1所述的编码方法，其中，在所述生成所述N个视图的步骤期间，对于所 述全息图案的当前点\(1 < j <M)，所述观察平面被细分成N个分区，每个分区的质心对 应于与经过点的光线的观察平面相交的点。
5. 如权利要求1所述的编码方法，其中在所述生成所述N个视图的步骤期间，对于所述 全息图案的当前点f < j < M)，所述观察平面被递归地细分成4个分区直到通过所 述细分获得的每个子分区仅包含一个质心，每个分区的质心对应于与经过点f j的光线 的观察平面相交的点。
6. 如权利要求1所述的编码方法，其间所述压缩所述多视图图像的步骤使用下列子步 骤： ?作为先前已编码并然后解码的至少一个参考多视图图像的函数来预测（C42)所述多 视图图像，从而递送所预测的多视图图像； ?通过将产生于所述多视图图像的数据与涉及所述预测的多视图图像的数据相比较来 确定（C43)残余数据； ?使已确定的残余数据经历（C44)变换和量化； ?对已变换且量化的残余数据进行编码（C45)。
7. 如权利要求1所述的编码方法，其中，编码是MVC类型的。
8. -种用于执行如权利要求1至7中任一项所述的编码方法的编码设备，所述设备的 特征在于它包含处理器装置，其适合于： ?对于全息图案的每个点\ (1 < j < M)从光信号确定一组N条光线，该光线经过所述 点并分别对应于用于观察所述图案的N个不同的观察位置； ?通过使Μ条已确定的线在所述观察位置的每个处相交，从Μ组已确定的N条光线生成 分别与所述图案的Ν个观察位置对应的所述对象的Ν个二维视图，这些观察位置被包含在 与包含所述全息图案的平面（Η)平行的观察平面（PV)内； ?将所述Ν个已生成的视图排列成所述对象的多视图图像，所述Ν个视图分别对应于所 述多视图图像的子图像； ?压缩所述多视图图像。
9. 一种计算机程序，当该计算机程序在计算机上运行时，包括用于执行如权利要求1 至7中任一项所述的编码方法的指令。
10. -种存储有计算机程序的计算机可读数据介质，当所述计算机程序在计算机上运 行时其包括用于执行如权利要求1至7中任一项所述的编码方法的步骤的指令。
【文档编号】G03H1/22GK104126151SQ201380009627
【公开日】2014年10月29日 申请日期:2013年2月12日 优先权日:2012年2月15日
【发明者】P.吉奥伊亚 申请人:奥林奇公司