专利名称：多视图的高效编码的利记博彩app
技术领域：
本发明涉及一种将图像的多幅视图编码成图像信号的方法，例如按
照MPEG标准之一编码成压缩电视信号。
本发明还涉及用于生成这一信号的设备、用于接收这一信号的接 收器、从该信号中提取编码信息从而可以将其用于生成多幅视图的方法 以及高效编码信号本身。
背景技术：
当前正在对三维图像信息编码的标准化展开研究。有数种方式表达 三维对象，例如表达为一组体像素(例如在医疗数据显示或工业零部件 检验方面很普及)，或者表达为从不同方向采集的并且用来由单独一个 观看者的双眼或者由多个观看者或运动的观看者等从不同方向观看的多 个视像。
比较流行的格式是左/右格式，其中由左侧的相机拍摄一幅画面并且 由右侧的相机拍摄一幅画面。可以将这些画面显示在不同显示上，例如 可以在第一组时刻期间展示左画面，并且在交错的笫二组时刻期间展示 右画面，由遮光眼镜与显示同步地遮挡住观看者的左右眼。能够产生场 景的三维印象的显示器的另一个例子是具有偏振构件的投影仪，至少呈 现场景的一些三维信息，即在特定方向上近似看起来象三维的(即立体 的)。
可以采用不同的场景近似质量，例如可以将三维场景表达为 一组彼 此遮挡的平坦层。但是这些不同质量可以按照现有的格式来进行编码。
另一种流行的显示器是自动立体显示器。这种显示器是例如通过将 LCD放置在一組透镜之后形成的，从而使得一组像素得以由各透镜投影到 空间中的区域上。这样，在空间中生成了多个锥面，这些锥面两两包含 用于左右眼的左右图像，从而在没有眼镜的情况下，用户也能够在多个 空间区域中找到他的位置，并且感受3D效果。不过这些像素组的数据必 须要从左右图像来生成。另一种选择是，用户可以从立体编码的左和右 视图之间的多个中间方向看到对象，这些中间视图可以通过计算左和右画面之间的视差场并且随后进行内插来生成。
现有技术中的左/右编码的缺点是，需要相当可观的数据才能获得中 间视图，并且仍然可能获得不尽如人意的结果。很难计算精确匹配的视 差场，这将会导致内插中的伪像，比如背景部分粘连在前景对象上。引 出本文下面给出的技术实施方式的需求是，找出一种能够在转换成不同 格式(比如转换成一组具有中间视图的视图)的时候得出相对精确的结 果而又不包含过大数据量的编码方式。
发明内容
借助一种将多视像信息编码到图像信号(200 )中的方法，这些 要求至少部分地得到了满足，该方法包括
-将由第一相机(101)拍摄的表达一个或多个对象(110， 112)的 像素值的第一图像(220 )添加到图像信号(200 )中；
-将图谱(222 )添加到图像信号(200 )中，其中，针对第一图像(220 ) 的各组像素，所述图谱(222 )包括了用于表示由各组像素所表达的一个 或多个对象(IIO， 112)的区域在空间中的位置的各个值；和
-将由第二相机(102)拍摄的表达所述一个或多个对象(110， 112) 的像素值的第二图像(224 )的局部表达(223 )添加到图像信号UOO) 中，该局部表达(223 )包括表达第一相机(101)不可见的一个或多个 对象(110， 112)的区域的大多数像素的信息，
和由该方法获得的信号和能够实现该方法性能的设备。
本发明的发明人已经认识到，如果理解了出于质量的原因，最好将 包含与场景的三维结构有关的信息的代表实现特定应用(具有期望的质 量)所需要的至少这一部分三维场景信息的图谱添加到左和右图像中， 可以构想出一种重要的编码格式。为了视图内插，该图谱可以是例如精 确分段的视差图谱，该图谱的视差向量将会带来中间视图的良好内插。 需要注意的重要一点是，可以按照图谱在接收側的使用在创建/发送侧优 化地调整这个图谱，即，例如按照在显示器上如何模拟三维环境，这意 味着它典型地具有与用于最佳预测左和右视图中的像素区域时不同的属 性。
该图谱可以例如由操作人员调整，甚至创建，操作人员可以在他那 一側预览多个计划进行的显示在接收该信号时会有何种表现。现在以及未来更是如此，已经用计算机生成了一部分内容，比如例如恐龙的三维 模型，或者重叠的图形，这意味着至少为包含这些人工对象像素的区域 创建精确的视差图语或深度图谱或者类似的图谱是不太成问题的。
这当然对游戏应用来说切实可行的，其中例如用户可以相对于场景 做轻微移动，并且可能想要看到不同的场景，但是在不久的将来，本发
明还可能对用两台相机拍摄的或者甚至根据例如运动视差生成的3D电视 变得举足轻重。越来越多的工作室(例如，为BBC工作的)已经在为新 闻节目使用例如虚拟环绕声。
用很少的数据开销就可以对这个图谱进行编码，例如，编码为灰度 值图像，按照MPEG-2标准压缩并且附加在信号中已有的左/右图像(或 者运动视频的数个时刻的图像)上。
不过本发明人认识到，有了这个图谱，能够实现数据量的进一步减 少，因为场景的一部分是由两台相机成像的。虽然像素信息可能对双向 内插有用(例如，朝向相机之一的镜面反射可以得到緩和)，实际上不 是那么重要的信息将会存在于双重编码的部分中。因此，在可以得到该 图谱的情况下，能够确定第二图像(例如右图像)的哪些部分需要进行 编码(和发送)，以及哪些部分对于特定应用关系不大。并且在接收侧， 能够实现漏失数据的良好质量重构。
例如，在简单的场景近似(拍摄)中，在对象具有朝向相机(可以 是平行定位的或者以小角度向下朝向场景)的基本平坦表面并且不是非 常接近的情况下，在第二 (右)图像中拍摄到的第一 (左)图像中的漏 失部分由背景对象(例如，无限远处场景的元素)的像素组成。
一个重要的实施方式涉及局部第二视差或深度图谱或者类似图谱的 编码。这个局部例如深度图谱基本上包含不可能由第 一相机成像的区域 的深度值。从这一深度数据中，于是可以在接收侧推断出哪些未遮挡部 分属于具有第一深度的前景对象(附图1中由130表示)以及哪些部分 属于背景(132)。这可以实现更好的内插策略，例如，可以精细调整伸 展和空白的填补量，可以在中间图像中呈现耳朵的伪立体呈现，而不是 仅仅背景像素等。另一个例子是，可以将倾斜相机的梯形畸变编码在这 个第二图谱中，来进行接收侧补偿。
在用(典型地略微)汇合的相机拍才聂造成的梯形畸变的情况下，除 了水平视差之外， 一般还会有垂直视差。这一垂向分量可以按照向量方式编码，或者编码在第二图谦中，如例如已经在《MPEG-4 subgroup Video - 3DAV》(例如，IS0/IEC JTC1/SC29/WG11 Docs. MPEG2005/12603, 12602, 12600， 12595 )中提出的《auxiliary data representation》 中设想过的。可以将视差分量映射为辅助画面的亮度和/或色度，例如， 可以将水平视差高分辨率地映射为亮度，并且可以将垂直视#按照一种
方案映射为一个或两个色度分量(从而某些数据在U中，并且借助数学 分割，同样数量的附加数据在V中)。
局部左+右+"深度"的格式较之于首先编码成中间视图+"深度 "+Msidal阻塞数据的优势如下。将阻塞数据变换成中心视图一而不是将 其存储在原始的相机拍摄视图上，会导致处理不精确(尤其是如果(多 个)深度图谱是自动得出的并且具有较低质量/一致性，具有时间和空间 的不完整性)，并且因此会造成编码效率低下。而且在计算时，紧接着 会造成中间视图进一步不精确。
参照下文介绍的实现方式和实施方式中并且参照附图，将会明显看 出按照本发明的方法和设备的这些和其它方面，并且将会参照下文介绍 的实现方式和实施方式中并且参照附图解释说明按照本发明的方法和设 备的这些和其它方面，这些附图仅仅作为非限定性的具体说明更加一般 概念的具体说明，并且其中虚线用于表示部件是根据需要任选的，非虚 线的部件不一定是必须的。
在附图中
附图1示意性地图解说明用至少两个相机拍摄场景； 附图2示意性地图解说明将所需数据编码在图像信号中的几种选择； 附图3示意性地图解说明用于生成该图像信号的示范性设备；和 附图4示意性地图解说明能够使用该信号的示范性接收设备。
具体实施例方式
附图1表示拍摄包括近距对象110和远距对象112的场景的第一图 像的第一相机101。它的视场是由线103和l(M限定的。它的背景视图由 近距物体遮挡，即切线120左側的区域132是看不见的。不过第二相机 102能够在第二图像中拍摄到这一区域l32的一部分，出于简便的原因，可以认为第二图像是，并且称为，右图像(但是不应将此狭隘地理解为 它是在另一画面的更右侧一点拍摄的)。第二相机还能够拍摄近距物体
110的其它部分130。
附图2象征性地表示这些所拍摄的图像作为一组像素看起来是什么 样子的。图像信号200可以例如具有预定编码格式JPEG并且包含场景的 编码照片，或者可以是MPEG-4编码的电影镜头。在后一种情况下，3D 数据210包括重建某一瞬间的场景所需的信息。
图像220是由第一相机拍摄的左图像，包括近距对象110和背景112。 图谱222是包括与对象在三维空间中如何定位相关的任何信息的图 谱，包括至少在显示器上呈现多个所需视图(静态地或动态地呈现，例 如在游戏中与运动用户交互地呈现)所需要的信息。数种这样的表达都 是可行的，例如可以是由第 一相机观察到的它们的二维位置上的深度图 谱，包括例如背景中的对象到相机中心的正交近似(例如，所有对象区 域的平均值)距离，或者可以是双眼像差或视差，或者仅仅是视差的水 平分量。
可以在数学上将深度和视差等彼此关联起来。
这个深度图谱可以例如是精确到像素的或者可以对于每一个8x8像 素块具有单独一个值，并且可以对其进行编码，例如作为图像进行编码。
可以将更多的信息添加到深度图谱上(可以包括每组像素的标量或 数组， 一组像素可能仅仅包括单独一个像素)，比如例如基于用于得出 它的匹配算法确定的精度数据(关于深度图谱的某一部分的可靠性如 何)。
局部数据结构223 (右图像224的一部分)包括仅仅能够由第二相机 (与按照视差移位的近距物体225相邻)看到的背景的像素的信息(例 如，仅仅是亮度，或者是颜色，或者是能够生成区域中的像素的任何其 它惯用表达，比如例如紋理模型)。在接收器侧应用程序能够容忍一定 数量的丢失像素(例如，通过用简单的外推、延展等生成它们)的情况 下，这个编码的局部区域一或者至少按照像斑生成算法获得较大编码区 域形状的一部分中的像素值所需的数据一可以略微小于右图像中拍摄的 实际未遮挡区域。
编码区域也可以较大(例如大到宽度的两倍并且垂直方向上附带有 类似的緩冲区大小)。这在自动得出时形状的准确性不确定的情况下或者在出于某种原因不希望进行双向内插的情况下是很重要的。
还有可能出于编码的原因。可能比对整个块进行编码省事，并且鉴 于复杂形状的编码可能会比较费事，可能会受益于额外编码的像素。另 外，在发送端，可以对右图像中的数据进行人工或(半)自动分析，建 议将其作为先前推导阶段的输出，除了左图像中的数据之外也是很有用 处的。例如，可以考察像素属性来认定镜面反射，并且决定对两个图像 中都包括该反射的像素区域进行编码。
而且可以通过形态分析来分析差异区域的形状，具体来说，可以确 定该区域的大小和宽度。小的区域可以牵涉到相当可观的编码开销，但 是通常可以在接收器侧不用或用很少的信息来近似。因此，可能会从局 部第二画面中忽略掉小区域。这可以是在检查各种删除的效果的操作人 员控制之下进行的。
区域的(环绕或确切)形状可以用多边形近似或园角方框来编码， 并且可以直接对内部像素(紋理)值进行编码，或者通过形状上的线性 变换表示的系数或其它数学模型来编码。而且，反之亦然，可以指示出 不必编码/发送的部分。
可以将局部表达映射到(例如，空行的简单移位、变形或裁剪成按 照预定顺序重新排列的小块)第一图像不使用的图像或用户数据(例如， 再生模型)上去。
如果附带有深度图谱的第一图像是中心图像，则可以有用于两侧的 局部第二图像，即，在它们之间可以进行内插的成一定角距离(基线) 的局部第二图像。
第一相机可以对背景成像，并且第二相机可以对例如新闻广播员覆 盖住了一部分的背景进行成像，例如，在不同的时间从同一个观察点成 像。即，这些相机不必是在某一时刻同时真实存在的相机，而是例如视 图之一可以例如是从图片存储库中下载的。
根据情况，至少对于第二图像中成像未覆盖的对象区域，可以向信
号中添加第二深度图谱239(完整深度图谱2句的一部分)或类似的表达。 这个深度图傳可以包括近处和远处对象之间的边界。利用这一信息，接 收侧能够在内插期间将不同的像素附加到正确的对象/深度层上。
还可以将其它数据230添加到信号中，例如，添加到专用字段中， 比如与场景中对象的独立或总体三维合成有关的信息。该指示可以简单到 一条沿着所成像的场景对象边界的线(如果例如深度图谱不足以或足 够精确到能够本身区分对象)，或者甚至是象线网(例如，未遮挡部分 中局部深度结构的线网)一样复杂的东西或由此得出的信息。
而且，还可以包括相机位置信息和场景范围信息，使得接收侧能够 进行多(至少两个)视图的更高级重建。
附图3表示用于生成图像信号的设备310。它典型地是IC或IC的一 部分，或者具有适当软件的处理器。该设备可以包含在更大的设备中， 比如工作室中的专用编辑设备，并且可以附属于计算机，或者可以包含 在计算机内。在示范性实施方式中，第一相机301和第二相机302与设 备的310的输入端相连接。各个相机都具有测距仪(分别为308， 309 ), 这些测距仪可以使用例如激光束或投影栅格等。
在该设备中，有视差估算单元312，该单元被安排成用于至少通过考 虑对象的几何形状(通过使用深度图谱中的信息)来确定至少两个画面 之间的视差。从现有技术当中可以了解到不同的视差估算技术，例如， 借助相关块中像素值的绝对差值的总和。
它被安排成用于确定至少哪些区域仅仅存在于图像之一中以及哪些 区域存在于两个图像中，但是它此外还可以具有能够对像素区域应用匹 配准则的单元。
还有深度图谱单元314，该单元能够生成和/或分析和/或细化深度 图谱(或象视差图谱之类的相似表达)，深度图谱是由视差估算单元312 确定的或者从所输入的包含例如距离数据的相机信号中提取出来的。根 据需要可以包括呈现单元316，该单元可以生成例如中间视图，从而工作 室的技术人员能够检验任何改变的影响和/或更加高效的编码。这是经 由用户界面单元318完成的，用户界面单元可以使得例如用户能够改变 局部表达223中的值，或者改变它的形状(例如，使它更大或更小)。 用户还可以更改图谱222。另外，还可以接上显示器335和用户输入构件。 该设备能够经由信号传输和合成构件339将最终编制的图像信号发送到 网络330上，本领域技术人员可以为适当的网络找到合适的信号传输和 合成构件(例如，转换成电视信号牵涉到上变换为传输频率，因特网传 输牵涉到分组化，此外还可以有错误防止单元等)。
不应将网络这一特征理解为是有限定作用的，而其本意是还要包括 经由设备内部网络(比如总线)向存储器单元或存储介质进行传输。附图4表示示范性的接收器400，该接收器同样可以是例如IC (的 一部分)，并且该接收器包括用于从可从网络330中接收的图像信号中 提取相关信息的构件，至少
-安排成用来提取由第一相机(101)拍摄的表达一个或多个对象 (110, 112)的像素值的第一图像(220 )的构件(402 );
-安排成用于从图像信号(200 )中提取图谱的构件(404 )，例如与 第一图像的对象位置相对应的深度图谱；和
-安排成用于提取由第二相机(102)拍摄的表达一个的或多个对象 (110， 112 )的像素值的第二图像(224 )的局部表达(223 )的构件(406 );
当然还可能存在其他构件，因为接收器(和提取方法)可以反映生 成可能用到的任何实施方式，所以可能有例如提取其它数据的构件，比 如两个对象之间边界的指示。
所提取出来的信息被传送到图像再生器，该图像再生器能够生成例 如完整的左和右图像。图像呈现单元412可以生成例如中间视图(例如， 通过单向或双向内插，或者任何其它已知算法)，或者自动立体显示器 上的两个视图(立体)所需的信号。取决于3D显示器的种类和3D实际 上是如何表现的，这两个单元可以以不同的组合方式实现。
接收器可以典型地与3D显示器415连接或者包含在3D显示器415 中，3D显示器415可以呈现至少两个视图，或者可以将(多个)再生信 号存储在存储装置420 (例如盘422写入器)中或者固态存储器上等等。
如，专用ic的各个^分)实1或者以运行24用;数字信号处理器:通用
处理器等上的软件的方式实现。
在计算机程序产品的情况下，应当理解，命令集合的任何物理实现
都能够使通用处理器或专用处理器在一系列加载步骤(可以包括中间转 换步骤，象翻译成中间语言，并且最终翻译成处理器语言)之后，能够 将命令取入处理器，来执行本发明的任何特征功能。具体地说，可以将 计算机程序产品实现为载体(比如例如盘或磁带)上的数据、存在于存 储器中的数据、在网络有线连接或无线连接上运送的数据或者纸张上的 程序代码。除了程序代码之外，也可以将该程序所需要的特征数据具体 实现为计算机程序产 品。
该方法发挥作用所需要的某些步骤可能已经存在处理器的功能中，而不是计算机程序产品中介绍的功能，比如数据输入和输出步骤。
应当注意，前面提到的实施方式仅仅是图解说明而不是限定本发明。 除了权利要求中组合的那样的本发明的要素组合之外，这些要素的其它 组合方式也是可以的。要素的任何组合都可以在单独一个专用单元中实现。
权利要求中括号内的任何附图标记都并非打算用来限定权利要求。 词"包括"并不排除除了权利要求中列出的那些要素或方面之外还存在其 它的要素或方面的可能。置于要素前面的词"一"或"一个"并不排除存在 多个这种要素的可能。
权利要求
1. 一种将多视像信息编码到图像信号(200)中的方法包括-将由第一相机(101)拍摄的表达一个或多个对象(110，112)的像素值的第一图像(220)添加到图像信号(200)中；-将图谱(222)添加到图像信号(200)中，其中，针对第一图像(220)的各组像素，该图谱(222)包括了表示由各组像素表达的所述一个或多个对象(110，112)的区域在空间中的三维位置的各个值；和-将由第二相机(102)拍摄的表达一个或多个对象(110，112)的像素值的第二图像(224)的局部表达(223)添加到图像信号(200)中，该局部表达(223)包括至少表达第一相机(101)不可见的一个或多个对象(110，112)的区域的大多数像素的信息。
2. 按照权利要求1所述的方法，此外还包括将第二图谦(240 ) 添加到第二图像(220 )中，其中，针对第二图像(224 )的各组像素， 所述第二图谱至少包括了代表由各组像素表达的所述一个或多个对象(110， 112)的区域在空间中的三维位置的各个值的局部表达。
3. 按照权利要求1或2所述的方法，包括借助视差计算算法为第 一图像(220 )中的像素组自动得出指向第二图像(224 )中的相应像素 组的视差向量，并且将图谱(222 )添加到图像信号(200 )中的步骤包 括添加包括视差向量的图谱(222 )。
4. 按照权利要求1或2所述的方法，包括从距离确定装置(308 ) 获得第一图像(220 )中的像素組所对应的各距离，并且将图谱(222 ) 添加到图像信号(200 )中的步骤包括添加包括这些距离的图谱(222 )。
5. 按照前述权利要求之一所述的方法，其中图谱(222 )的值在 添加到图像信号(200 )之前由人精细调整。
6. 按照前述权利要求之一所述的方法，其中局部表达(223 )在 添加到图像信号(200 )之前由人精细调整。
7. 按照权利要求2所述的方法，此外还包括将指示第一对象(IIO) 和第二对象(112)之间的边界的指示(250 )添加到图像信号(200 )中， 比如包括图谱(222 )中的位置的曲线。
8. 按照前述权利要求之一所述的方法，其中将第二图像(224 ) 的局部表达(223 )添加到图像信号(200 )中的步骤，包括指定环绕着第二图像(224 )的局部表达(223 )中的像素的区域的环绕形状的表达 并且将其添加到图像信号中。
9. 按照权利要求1到7之一所述的方法，其中将第二图像(224 ) 的局部表达(223 )添加到图像信号(200 )中的步骤，包括指定第二图 像(224 )不需要编码的区域。
10. 按照前述权利要求之一所述的方法，其中在将局部表达(223 ) 添加到图像信号(200 )中之前，对包含在第二图像(224 )的局部表达(223 )中的区域进行图像分析，例如形态分析，并且对该局部代表进行 更改，形态分析包括例如确定各区域的最大宽度。
11. 一种生成多视像信息向图像信号(200 )中的编码的设备 (310)，包括-安排成用于将由第一相机(101 )拍摄的表达一个或多个对象(110, 112)的像素值的第一图像(220 )添加到图像信号(200 )中的构件(340 );-安排成用于将图谱(222 )添加到图像信号(200 )中的构件(341 )， 其中针对第一图像(220 )的各组像素，所述图谱包含了代表由各组像素 表达的一个或多个对象(110， 112)的区域在空间中的三维位置的各个值；和-安排成用于将由第二相机(102)拍摄的表达一个或多个对象(110， 112 )的像素值的第二图像(224 )的局部表达()添加到图像信号(200 ) 中的构件(3")，该局部表达("3)包括至少表达第一相机(101)不 可见的一个或多个对象(110， 112)的区域的大多数像素的信息。
12. 按照权利要求ll所述的设备，此外还包括自动视差估算单元， 该单元被安排成用于估算第一图像("0)中的像素组与笫二图像("4)中的相应像素组之间的视差向量。
13. 按照权利要求11或12所述的设备，此外还包括用户界面单元 (318)，该单元被安排成用于给予操作人员对图谱(222 )和/或局部表达(223 )的内容的控制权。
14. 一种图像信号接收器(400 )，包括-安排成用于从图像信号(200 )中提取由笫一相机(101)拍摄的表 达一个或多个对象(110, 112)的像素值的第一图像(220 )的构件(402 );-安排成用于从图像信号(222 )中提取出图谱(222 )的构件(404 )， 其中针对第一图像("o)的各组像素，所述图语包括了代表由各组像素表达的所述一个或多个对象(110, 112)的区域在空间中的三维位置的 各个值；和-安排成用于从图像信号(200 )中提取出由第二相机(102)拍摄的 表达一个或多个对象(110, 112)的像素值的第二图像(224 )的局部表 达(223 )的构件(406 )，该局部表达(223 )包括至少表达第一相机(101 ) 不可见的一个或多个对象(110， 112)的区域的大多数像素的信息。
15. —种能够生成图像的至少两个视图的显示器(415)，包括 -权利要求14中所述的图像信号接收器(400);-图像再生器(410)，安排成用于从由图像信号接收器(400 )接收 到的图像信号数据生成两个图像；和-图像呈现单元(412)，安排成用于从这两个图像生成其格式适合 于显示器的其它图像。
16. —种从图像信号(200 )中提取多视像信息的方法，包括 -从图像信号(200 )中提取出由第一相机(101)拍摄的表达一个或多个对象(110, 112)的像素值的第一图像("0);-从图像信号(200 )中提取出图谱(222 ),其中，针对第一图像(220 ) 的各组像素，所述图谱包括了代表由各组像素表达的一个或多个对象 (110， 112)的区域在空间中的三维位置的各个值；和-从图像信号(200 )中提取出由第二相机(102 )拍摄的表达一个或 多个对象(110， 112)的像素值的第二图像("4)的局部表达(223 )， 该局部表达(223 )包括至少表达第一相机(101)不可见的一个或多个 对象(110， 112)的区域的大多数像素的信息。
17. —种图像信号(200 )，包括-由笫一相机(101)拍摄的表达一个或多个对象(110， II2)的像 素值的第一图像(220 );-包括第一图像(220 )的各组像素对应的代表由各组像素表达的一 个或多个对象(110， 112)的区域在空间中的三维位置的各个值的图谱 (222 );和-由第二相机(102)拍摄的表达一个或多个对象(110， II2)的像 素值的第二图像(224 )的局部表达()，该局部表达("3 )包括至 少表达对第一相机(101)不可见的一个或多个对象(110, II2)的区域 的大多数像素的信息。
18. 按照权利要求17所述的图像信号(200 )，其中图谱(222 ) 是编码在灰度值或彩色画面中的，其中至少各组像素对应的标量是编码 在画面的亮度或色度表达中的。
19. 按照权利要求17或18所述的图像信号(200 ),其中将局部 表达映射到图像或与第一图像有关但不用于第一图像的用户数据上。
全文摘要
介绍了一种将多视像信息编码到图像信号(200)中的新方法，包括将由第一相机(101)拍摄的表达一个或多个对象(110，112)的像素值的第一图像(220)添加到图像信号(200)中；将图谱(222)添加到图像信号(200)中，其中，针对第一图像(220)的各组像素，所述图谱包括了代表由各组像素表达的一个或多个对象(110，112)的区域在空间中的三维位置的各个值；和将由第二相机(102)拍摄的表达一个或多个对象(110，112)的像素值的第二图像(224)的局部表达(223)添加到图像信号(200)中，该局部表达(223)包括至少表达对第一相机(101)不可见的一个或多个对象(110，112)的区域的大多数像素的信息。优点是需要较少的信息就能够实现较高的精度并且提高了可用性。
文档编号H04N13/00GK101416520SQ200780012472
公开日2009年4月22日 申请日期2007年3月23日 优先权日2006年3月31日
发明者C·瓦尔坎普, R·布拉斯彭宁, W·H·A·布鲁尔斯 申请人:皇家飞利浦电子股份有限公司