专利名称：包括图像数据的传输流结构及收发图像数据的设备和方法
技术领域：
本发明涉及一种接收和发送图像的设备和方法及其传输流结构，更具体地说，涉及一种包括头的传输流结构，一种发送该传输流的设备和方法，以及一种从图像发送设备接收并显示该传输流的设备和方法，所述头在其预定位置含有表示二维(2D)/三维(3D)图像的特征的图像特征参数。
背景技术：
近来，已进行了对广播要显示在数字电视(DTV)上的三维(3D)图像的研究。数字广播将诸如视频、音频、其它数据等的模拟信号转换为数字信号，压缩并发送该数字信号，随后接收数字信号并将它们转换和再现为原始视频、音频、和其它数据。与传统的模拟广播相比，数字广播提供高画质的服务。
此外，当前在进行使用如上所述的数字广播技术接收和显示3D图像的研究。接收和显示3D图像的传统方法使用双眼像差。使用双眼像差的接收和显示3D图像的方法包括“立体视法(stereoscopy)”方法，其使用诸如偏振镜、LC快门镜等的眼镜观看3D图像；和“自立体视法(autostereoscopy)”方法，其允许使用包括双凸透镜、视差格栅、视差照明等用裸眼看3D图像。
使用偏振投影仪显示图像的立体视法方法已主要被应用于诸如剧院的公共场所。自立体视法方法已被应用于游戏、家庭电视、展览的显示器等。
到目前为止，许多研究已集中在使用自立体视法实现3D图像上，各种相关产品已进行销售。迄今已引入的大多数3D显示器仅可实现3D图像，并且比2D显示器贵很多。
然而，由于不是积极地提供3D图像内容，所以昂贵的3D图像显示器不能被充分利用并且成本效率低。
因此，目前正在进行对开发2D/3D可转换的显示器的研究，该显示器选择性地实现2D图像和3D图像，并且各种相关产品正被引入。
为了广播与裸眼看到的真实图像相似的3D图像，多视3D图像必须被获得和发送，随后被接收，最后被3D显示器再现。然而，由于多视3D图像包括大量数据，所以难以通过在现有数字广播系统中使用的信道的带宽发送多视3D图像。由于此原因，正进行对发送和接收立体图像的研究。关于由MPEG(运动图像专家组)正在开发的3D图像相关标准，已在1996年开发了MPEG-2多视概况，并且与立体图像和多视图像的压缩相关的标准接近完成。同其一起，相关小组正活跃地进行对通过数字电视广播而发送和接收3D图像的研究。近来，正活跃地进行对发送和接收高分辨率(HD)立体图像的研究。同时，在包括数字广播系统、仿真或医学分析系统等的大多数的领域中，对实现3D图像以及2D图像的需求正在增长。然而，由于还没有开发出用于选择性地实现2D图像和3D图像的传输流结构的标准，所以必须进一步研究一种发送传输流的设备和方法以及一种接收和显示传输流的设备和方法。
发明内容
在数字广播系统等中，本发明提供一种包括头的传输流结构，一种发送该传输流的设备和方法，以及一种接收并显示该传输流的设备和方法，所述头在其预定位置含有表示二维(2D)/三维(3D)图像的特征的图像特征参数。
根据本发明的一方面，提供一种用于数字广播系统的传输流结构，包括头，其包括图像特征参数，该图像特征参数含有指示在数字广播系统中使用的图像数据是表示二维(2D)图像还是三维(3D)图像的信息；和净荷，其包括图像数据。
根据本发明的另一方面，提供一种图像发送设备，包括存储单元，存储图像数据；图像特征参数产生器，创建指示存储的图像数据是表示二维(2D)图像还是表示三维(3D)图像的图像特征参数；和编码器，接收存储的图像数据和图像特征参数，对存储的图像数据和图像特征参数进行编码，从而存储的图像数据和图像特征参数被包括在传输流中。
根据本发明的另一方面，提供一种图像接收设备，包括解码器，接收并解码包括图像数据和含有指示该图像数据是表示二维(2D)图像还是三维(3D)图像的信息的图像特征参数的图像信号；图像特征参数检测器，接收解码的图像信号并检测图像特征参数；和显示单元，根据从图像特征参数检测器接收的图像特征参数，显示从解码器接收的图像数据。
根据本发明的另一方面，提供一种图像发送方法，包括(a)接收图像数据；(b)接收含有指示该图像数据是表示二维(2D)图像还是三维(3D)图像的信息的图像特征参数；(c)对图像数据和图像特征参数进行编码，从而图像数据和图像特征参数被包括在传输流中。
根据本发明的另一方面，提供一种图像接收方法，包括(a)接收并解码包括图像数据和含有指示该图像数据是表示二维(2D)图像还是三维(3D)图像的信息的图像特征参数的图像信号；(b)接收解码的图像信号并检测图像特征参数；(c)接收在操作(b)中检测的图像特征参数；和(d)根据在操作(c)中接收的图像特征参数显示在操作(a)中解码的图像数据。
根据本发明的另一方面，提供一种已在其上实施了用于执行所述图像发送方法的计算机程序的计算机可读介质。
根据本发明的另一方面，提供一种已在其上实施了用于执行所述图像接收方法的计算机程序的计算机可读介质。
通过参照附图对本发明的示例性、非限制性实施例进行的详细描述，本发明的以上和其它特点和优点将会变得更加清楚，其中图1是根据本发明的非限制性实施例的传输流结构的示图；图2A和2B是根据本发明的非限制性实施例的解释关于三维(3D)图像的相机视点数量的示例的示图；图3A至3D是示出根据本发明的非限制性实施例的3D图像的显示格式的示例的示图；图4是根据本发明的非限制性实施例的图像发送设备的框图；图5是根据本发明的非限制性实施例的图像接收设备的框图；图6是示出根据本发明的非限制性实施例的图像发送方法的流程图；和图7是示出根据本发明的非限制性实施例的图像接收方法的流程图。
具体实施例方式
现在将参照附图更充分地描述本发明，本发明的示例性的非限制性实施例显示在附图中。
图1是根据本发明的非限制性实施例的传输流结构的示图。参照图1，该传输流由头100和净荷120组成。
传输流的头100包括用于显示在净荷120中包括的图像的控制信息。表示在净荷120中存储的图像数据的特征的图像特征参数102被包括在传输流头100的预定位置上。图像特征参数102包括2D/3D标识信息102a，该标识信息102a指示在净荷120中存储的图像数据是2D图像(例如，普通电视信号、VCR信号等)还是3D图像。如果在净荷120中存储的图像数据是3D图像，则图像特征参数102还可包括关于3D图像的相机视点数量的信息102b。这里，3D图像的相机视点数量指示当对象被相机拍摄并被制成图像时拍摄对象的不同角度的数量。将参照图2更详细地描述3D图像的相机视点数量。
此外，如果在净荷120中存储的图像数据是3D图像，则图像特征参数102还可包括3D图像的显示格式信息102c。这里，显示格式信息102c指示在其中单个场景被显示以形成3D图像的格式。更详细地说，3D图像的显示格式包括逐行格式、逐像素格式、自顶向下格式、并排格式等。将参照图3更详细地描述关于3D图像的显示格式的信息。
图2A和2B是根据本发明的当前的非限制性实施例的解释关于三维(3D)图像的相机视点数量的示例的示图。
参照图2A，由两个位于不同位置的相机221和222拍摄对象200。即，3D图像的相机视点的数量是2。这里，对象可以是静止对象或运动对象。两个相机221和222中的每个对相同的对象200分别拍摄左眼图像和右眼图像。
参照图2B，由四个位于不同位置的相机221、222、223和224拍摄对象200。即，3D图像的相机视点的数量是4。
在图2A和2B中，所述对象可以是静止对象或运动对象。
在图2A和2B中，3D图像的相机视点数量分别是二和四，然而，在本发明中，单个对象的相机视点数量不限于这些图。
图3A至3D是示出根据本发明的当前实施例的3D图像的显示格式的示例的示图。参照图3A至3D，图3A示出基于逐行格式的图像，图3B显示基于逐像素格式的图像，图3C示出基于自顶向下格式的图像，图3D示出基于逐侧格式的图像。
更详细地说，在下文中，将描述立体图像(左眼图像和右眼图像)的显示格式。左眼图像和右眼图像每个具有N×M的大小。基于图3A所示的逐行格式的图像是通过在垂直方向上对左眼图像和右眼图像分别进行1/2子采样以使左眼图像的像素和右眼图像的像素交替地位于各行而获得的3D图像。基于图3B所示的逐像素格式的图像是通过在水平方向上对左眼图像和右眼图像分别进行1/2子采样以使左眼图像的像素和右眼图像的像素交替地位于各行而获得的3D图像。基于图3C所示的自顶向下格式的图像是通过在垂直方向上对左眼图像和右眼图像分别进行1/2子采样，将采样的左眼图像置于上部并将采样的右眼图像置于下部而获得的3D图像。即，通过将每个具有N×M的大小的左眼图像和右眼图像分别子采样成N×M/2的大小并将采样结果分别置于上部和下部，获得N×M的大小的3D图像。基于图3D所示的逐侧格式的图像是通过在水平方向上对左眼图像和右眼图像分别进行1/2子采样，将采样的左眼图像置于左部并将采样的右眼图像置于右部而获得的3D图像。即，通过将每个具有N×M的大小的左眼图像和右眼图像分别子采样成N/2×M的大小并将采样结果分别置于左部和右部，获得N×M的大小的3D图像。
在如上所述的3D图像显示格式中，主要使用图3C所示的自顶向下格式和图3D所示的逐侧格式，这是因为它们当根据MPEG标准被压缩和发送时有效率。
图4是根据本发明的非限制性实施例的图像发送设备的框图。参照图4，该图像发送设备包括存储单元400、图像特征参数产生器410、用户接口单元420、编码器430、和发送器440。存储单元400存储通过拍摄对象而获得的图像数据。在存储单元400中存储的图像数据可以是通过使用单个相机拍摄对象而获得的图像或通过使用多个相机拍摄对象而获得的图像。
即，在存储单元400中存储的图像数据可以是2D图像或基于以上参照图3A至3D描述的显示格式之一的3D图像，通过对由多个相机拍摄的左眼图像和右眼图像进行子采样和组合来获得所述3D图像。
图像特征参数产生器410创建表示在存储单元400中存储的图像数据的特征的图像特征参数。这里，图像特征参数包括指示所述图像数据是表示2D图像还是3D图像的信息。如果图像数据表示3D图像，则图像特征参数还可包括相机视点数量信息或显示格式信息。
用户接口单元420从用户接收用于控制图像特征参数产生器41O的命令，并提供用于接收图像特征参数的输入/输出接口。用户可通过用户接口单元420创建表示在存储单元400中存储的图像数据的特征的图像特征参数。
根据本发明的非限制性实施例，使用用户接口单元420创建图像特征参数，然而，诸如当拍摄图像时创建图像特征参数的各种实施例是可行的。
编码器430从存储单元400接收通过拍摄对象而获得的图像数据以及由图像特征参数产生器410创建的图像特征参数。此外，编码器430对从存储单元400接收的图像数据和从图像特征参数产生器410接收的图像特征参数进行编码，并将接收的数据转换成传输流格式。这里，编码器430执行编码以将从存储单元400接收的图像数据包括在传输流的净荷中并将图像特征参数包括在传输流的头的预定位置。此外，编码器430使用诸如MPEG等的各种方法执行编码。发送器440根据诸如数字广播标准等的发送标准来发送编码的传输流。
图5是根据本发明的非限制性实施例的图像接收设备的框图。参照图5，该图像接收设备包括接收器500、解码器510、图像特征参数检测器520、和显示单元530。
接收器500从图像发送设备接收图像信号。这里，通过接收器500接收的图像信号是具有传输流格式的图像信号。
解码器510根据图像发送设备使用的编码标准执行解码。如果已根据MPEG-2标准对图像信号进行编码，则解码器510根据该MPEG-2标准执行解码。更详细地说，解码器510使用诸如可变长度解码、逆DCT、逆量化、运动补偿等的解码技术，将考虑图像信号的时间、空间相关性而编码的图像信号恢复为编码前的原始图像和原始图像特征参数。
图像特征参数检测器520在包括在解码的传输流的头的预定位置的信息之中检测图像特征参数。这里，图像特征参数包括指示在净荷中包括的图像数据是2D图像还是3D图像的信息。此外，如果图像数据表示3D图像，则图像特征参数还可包括相机视点数量信息或显示格式信息。
显示单元530从图像特征参数检测器520接收图像特征参数并接收由解码器510解码的图像数据。此外，显示单元530将根据图像特征参数解码的图像数据显示在屏幕上。
更详细地说，如果图像特征参数指示2D图像，则显示单元530将从解码器510接收的解码的图像数据按二维显示在屏幕上。此外，如果图像特征参数指示3D图像，则显示单元530将从解码器510接收的解码的图像数据按三维显示在屏幕上。此外，如果图像特征参数指示3D图像并还包括相机视点数量信息或显示格式信息，则显示单元530根据相机视点数量信息或显示格式信息将解码的图像数据转换并显示成预定格式。
这里，在本发明中，显示单元530可以是2D/3D可转换的显示器。可使用各种方法实现2D/3D可转换的显示器。具体地，如在标题为“2D/3Dconvertible display”的第10-0440956号韩国专利申请中所公开的，根据本发明的显示单元530可包括图像形成面板显示器、透镜单元、和选择性地向透镜单元提供电压的电源。此外，显示单元530可由2D/3D可转换的显示器实现，该2D/3D可转换的显示器包括在TFT-LCD之后的液晶快门并使用该液晶快门选择性地显示2D图像和3D图像。然而，上述示例仅仅是示例性的，根据本发明的显示单元530不限于此。
图6是示出根据本发明实施例的图像发送方法的流程图。参照图6，首先，接收通过拍摄对象而获得的图像数据(操作S600)。这里，图像数据是通过使用单个相机或多个相机拍摄对象而获得的图像数据。
接下来，接收表示图像数据的特征的图像特征参数(操作S610)。这里，图像特征参数包括指示在操作S600中接收的图像数据是2D图像还是3D图像的信息。如果该图像数据是3D图像，则图像特征参数还可包括相机视点数量信息或显示格式信息。
随后，在操作S600中接收的图像数据和在操作S610中接收的图像特征参数被编码并被转换为传输流格式(操作S620)。这里，图像数据被包括在传输流的净荷中，图像特征参数被包括在传输流的头的预定位置。在操作S620中，使用诸如MPEG等的编码方法执行编码。
接下来，根据数字广播标准等发送在操作S620中编码的传输流(操作S630)。
参照图4，本领域的技术人员将更详细地理解参照图6描述的图像发送方法。
图7是示出根据本发明的非限制性实施例的图像接收方法的流程图。参照图7，首先，通过天线接收包括图像数据和关于图像数据的图像特征参数的图像信号(操作S700)。这里，接收的图像信号是具有传输流格式的图像信号。
接下来，对接收的图像信号进行解码(操作S710)。然后，接收解码的图像信号并检测关于图像数据的图像特征参数(操作S720)。这里，图像特征参数包括指示在净荷中存储的图像数据表示2D图像还是3D图像的信息。如果图像数据表示3D图像，则图像特征参数还可包括相机视点数量信息和显示格式信息。
随后，在操作S720中检测的图像特征参数被输出到显示单元(操作S730)。
其后，根据在操作S730中发送的图像特征参数，在操作S710中解码的图像数据被显示在屏幕上(操作S740)。
参照图5，本领域的技术人员将更详细地理解参照图7描述的图像接收方法。
本发明还可被实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储在其后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储装置、和载波。计算机可读记录介质还可被分布到连接到网络的计算机系统中，从而计算机可读代码以分布式方式被存储和执行。
如上所述，根据本发明，提供一种图像发送设备和方法、一种图像接收设备和方法、及其传输流结构，在需要更强的图像信息的许多领域中，它们能够显示2D图像和3D图像。例如，在医学分析领域、工程领域、仿真领域等中，将来将使用DTV标准系统等来显示3D图像。
尽管已参照其示例性的非限制性实施例具体显示和描述了本发明，但本领域的普通技术人员应该理解，在不脱离由权利要求定义的本发明的精神和范围的情况下，可对其进行形式和细节上的各种改变。
权利要求
1.一种用于数字广播系统的传输流结构，包括头，其包括图像特征参数，该图像特征参数包括指示在数字广播系统中使用的图像数据是表示2D图像还是3D图像的信息；和净荷，其包括图像数据。
2.如权利要求1所述的传输流结构，其中，如果所述图像数据是3D图像，则图像特征参数还包括关于3D图像的相机视点数量的信息。
3.如权利要求1所述的传输流结构，其中，如果所述图像数据是3D图像，则图像特征参数还包括关于3D图像的显示格式的信息。
4.如权利要求3所述的传输流结构，其中，3D图像的显示格式是逐行格式、逐像素格式、自顶向下格式、和并排格式中的一个。
5.一种图像发送设备，包括存储单元，存储图像数据；图像特征参数产生器，创建指示所述图像数据是表示2D图像还是表示3D图像的图像特征参数；和编码器，接收图像数据和图像特征参数，对图像数据和图像特征参数进行编码，从而图像数据和图像特征参数被包括在传输流中。
6.如权利要求5所述的图像发送设备，其中，编码器执行编码以将图像数据包括在传输流的净荷中并将图像特征参数包括在传输流的头中。
7.如权利要求5所述的图像发送设备，其中，编码器还包括发送传输流的发送单元。
8.如权利要求5所述的图像发送设备，还包括用户接口单元，其从用户接收用于控制图像特征参数产生器的命令，并提供用于接收图像特征参数的输入/输出接口。
9.如权利要求5所述的图像发送设备，其中，如果所述图像数据是3D图像，则图像特征参数还包括关于3D图像的相机视点数量的信息。
10.如权利要求5所述的图像发送设备，其中，如果所述图像数据是3D图像，则图像特征参数还包括关于3D图像的显示格式的信息。
11.如权利要求10所述的图像发送设备，其中，3D图像的显示格式是逐行格式、逐像素格式、自顶向下格式、和并排格式中的一个。
12.如权利要求5所述的图像发送设备，其中，图像数据是数字广播系统的数据。
13.一种图像接收设备，包括解码器，接收并解码包括图像数据和图像特征参数的图像信号来产生解码的图像信号，所述图像特征参数包括指示该图像数据是表示2D图像还是3D图像的信息；图像特征参数检测器，接收解码的图像信号并检测图像特征参数；和显示单元，根据从图像特征参数检测器接收的图像特征参数，显示从解码器接收的图像数据。
14.如权利要求13所述的图像接收设备，还包括接收器，接收具有所述传输流格式的图像信号，该传输流格式具有包括图像特征参数的头以及包括图像数据的净荷，并且该接收器将图像信号输出到解码器。
15.如权利要求13所述的图像接收设备，其中，图像特征参数检测器检测在解码的图像信号的头中的图像特征参数。
16.如权利要求13所述的图像接收设备，其中，如果所述图像数据是3D图像，则图像特征参数还包括关于3D图像的相机视点数量的信息。
17.如权利要求13所述的图像接收设备，其中，如果所述图像数据是3D图像，则图像特征参数还包括关于3D图像的显示格式的信息。
18.如权利要求17所述的图像接收设备，其中，3D图像的显示格式是逐行格式、逐像素格式、自顶向下格式、和并排格式中的一个。
19.如权利要求13所述的图像接收设备，其中，图像数据是数字广播系统的数据。
20.一种图像发送方法，包括(a)接收图像数据；(b)接收包括指示该图像数据是表示2D图像还是3D图像的信息的图像特征参数；(c)对图像数据和图像特征参数进行编码，从而图像数据和图像特征参数被包括在传输流中。
21.如权利要求20所述的图像发送方法，其中，在操作(c)中，图像数据被包括在传输流的净荷中，并且图像特征参数被包括在传输流的头中。
22.如权利要求20所述的图像发送方法，其中，操作(c)还包括发送传输流。
23.如权利要求20所述的图像发送方法，其中，如果所述图像数据是3D图像，则图像特征参数还包括关于3D图像的相机视点数量的信息。
24.如权利要求20所述的图像发送方法，其中，如果所述图像数据是3D图像，则图像特征参数还包括关于3D图像的显示格式的信息。
25.如权利要求20所述的图像发送方法，其中，图像数据是数字广播系统的数据。
26.一种图像接收方法，包括(a)接收并解码包括图像数据和含有指示该图像数据是表示2D图像还是3D图像的信息的图像特征参数的图像信号；(b)接收解码的图像信号并检测图像特征参数；(c)接收在操作(b)中检测的图像特征参数；和(d)根据在操作(c)中接收的图像特征参数显示在操作(a)中解码的图像数据。
27.如权利要求26所述的图像接收方法，在操作(a)之前还包括接收具有所述传输流格式的图像信号，该传输流格式具有包括表示图像数据的特征的图像特征参数的头以及包括图像数据的净荷。
28.如权利要求26所述的图像接收方法，其中，操作(d)包括(d1)接收在操作(a)中解码的图像数据作为输入图像数据；和(d2)根据在操作(c)中接收的图像特征参数显示输入图像数据。
29.如权利要求26所述的图像接收方法，其中，在操作(b)中，通过检测在解码的图像信号的头中包括的信息来检测图像特征参数。
30.如权利要求26所述的图像接收方法，其中，如果所述图像数据是3D图像，则图像特征参数还包括关于3D图像的相机视点数量的信息。
31.如权利要求26所述的图像接收方法，其中，如果所述图像数据是3D图像，则图像特征参数还包括关于3D图像的显示格式的信息。
32.如权利要求26所述的图像接收方法，其中，图像数据是数字广播系统的数据。
33.一种已在其上实施了用于执行如权利要求20所述的图像发送方法的计算机程序的计算机可读介质。
34.一种已在其上实施了用于执行如权利要求20所述的图像接收方法的计算机程序的计算机可读介质。
全文摘要
一种图像发送设备和方法以及一种图像接收设备和方法，所述图像接收设备包括解码器，接收并解码包括图像数据和图像特征参数的图像信号来产生解码的图像信号，所述图像特征参数含有指示该图像数据是表示二维(2D)图像还是三维(3D)图像的信息；图像特征参数检测器，接收解码的图像信号，从解码的图像信号中提取并解释图像特征参数；和显示单元，从图像特征参数检测器接收图像特征参数，并根据该图像特征参数显示从解码器接收的图像数据，以在诸如可被显示在数字广播标准系统上的3D图像广播等的各种领域中显示2D图像和3D图像。
文档编号H04N15/00GK1882080SQ20061006684
公开日2006年12月20日 申请日期2006年3月29日 优先权日2005年6月14日
发明者俞弼皓, 河泰铉 申请人:三星电子株式会社