图像数据处理系统以及图像数据处理方法

专利名称：图像数据处理系统以及图像数据处理方法
技术领域：
本发明涉及图像数据处理系统以及图像数据处理方法。
技术背景近年来，伴随显示装置的大画面化、高精细化，降低从具有显示装置的电子设备发出的EMI的必要性增加。已提出用于降低从具有 这样的显示装置的电子设备发出的EMI的技术。例如，通过发送接 收将图像数据延迟了规定期间后的数据与当前的图像数据的差分图 像，来降低所发送接收的数据量，从而降低EMI(参照专利文献1)。 专利文献1:日本特开2000 - 20031号公报发明内容但是，在现有技术中，发送接收的数据量的降低难以说是充分的。 鉴于上述问题，本发明的目的在于提供一种可以有效地降低所发 送接收的数振量的图像数据处理系统以及图像数据处理方法。本发明的一个方式的图像数据处理系统具备提取部，从与一个 图像对应的图像信号中，提取出与由该图像中的多个像素构成的像素 块对应的信号；阈值计算部，通过上述多个像素的显示值的线性运算， 计算将上述多个像素分类成多个分类的阄值；典型值计算部，计算与 上述多个分类对应的多个典型值；生成部，生成表示上述像素块中的 上述典型值的配置的配置图案；以及发送部，发送上述典型值以及上 述配置图案。本发明的一个方式的图像数据处理方法具备如下的步骤从与一 个图像对应的图像信号中，提取出与由该图像中的多个像素构成的像 素块对应的信号的步骤；通过上述多个像素的显示值的线性运算，计 算将上述多个像素分类成多个分类的阈值的步骤；计算与上述多个分 类对应的多个典型值的步骤；生成表示上述像素块中的上述典型值的 配置的配置图案的步骤；以及发送上述典型值以及上述配置图案的步根据本发明，可以提供一种能够有效地降低所发送接收的数据量 的图像数据处理系统以及图像数据处理方法。


图l是第1实施方式的图像显示装置的框图。图2是图像显示装置的动作步骤的一个例子的流程图。图3是由图像显示装置处理的图像数据的例子的示意图。图4是第2实施方式的图像显示装置的框图。图5是图像显示装置的动作步骤的一个例子的流程图。图6是由图像显示装置处理的图像数据的例子的示意图。图7是由图像显示装置处理的图像数据的例子的示意图。图8是场内差分和的概念的示意图。图9是场内差分和的值与发生概率的对应关系的曲线。图IO是阔值以及典型值的计算手法的一个例子的图。图ll是第3实施方式的图像显示装置的框图。图12是运动图像时的数据处理的状态的示意图。图13是图像显示装置的动作步骤的一个例子的流程图。图14是由图像显示装置处理的图像数据的例子的示意图。图15是由图像显示装置处理的图像数据的例子的示意图。图16是阈值以及典型值的计算手法的一个例子的图。图17是运动图像时的数据处理的状态的示意图。图18是示出第5实施方式的图像显示装置的框图。图19是图像显示装置的动作步骤的一个例子的流程图。图20是量化表的一个例子的示意图。图21是量化表的组合的一个例子的示意图。
图22是量化表的组合的一个例子的示意图。图23是第8实施方式的图像显示装置的框图。图24是图像显示装置的动作步骤的一个例子的流程图。图25是由图像显示装置处理的图像数据的例子的示意图。图26是典型图案的例子的示意图。图27是典型图案的例子的示意图。图28是典型值的个数与画质的对应关系的一个例子的表。 (附图标记说明)100:图像显示装置；110:图像数据发送部；111:图像生成部； 112:颜色空间转换部；113:图像分割部；114:分类阈值确定部； 115:典型值确定部；116:配置图案生成部；117:发送部；130:图 像数据接收部；131:接收部；132:像素块再现部；133:图像再现 部；134:颜色空间转换部；135:显示驱动部；136:显示部具体实施方式
在本发明的实施方式中，通过将图像分割成像素块，并使用多个 值来代表该像素块内的像素的显示值，从而削减所传送的数据量。另 外，显示值为亮度、色差等像素所具有的信息中的至少某一个。以下，参照附图，对本发明的实施方式进行详细说明。(第1实施方式)图l是示出本发明的第1实施方式的图像显示装置100的框图。 图像显示装置100用于显示图像，具有图像数据发送部110、图像数 据接收部130。图像数据发送部110用于发送图像数据，具有图像生成部111、 颜色空间转换部112、图像分割部113、分类阔值确定部114、典型值 确定部115、配置图案生成部116、发送部117。图像数据接收部130用于接收图像数据并显示，具有接收部131、 像素块再现部132、图像再现部133、颜色空间转换部134、显示驱动 部135、显示部136。
图像生成部lll用于生成表示图像的图像信号，例如根据存储在 存储装置(例如硬盘、半导体存储器)中的图像数据，生成并输出用 于显示图像的图像信号。该图像可以是静止图像、运动图像的某一种。颜色空间转换部112对从图像生成部111输出的图像信号的颜色 空间进行转换。即，将RGB颜色空间的图像信号转换成YCbCr颜色 空间的图像信号。在YCbCr颜色空间中，Y、 Cb、 Cr分别表示亮度 (明亮度)、蓝的差分、红的差分。图像分割部113将由颜色空间转换部112转换了颜色空间的图像 分割成多个块(像素块)。在像素块中分别包含有多个像素(N*M ( N 行M列)的像素)。此处，将1\*]\1设为4*4。另外，YCbCr分别对 应于该像素(具有亮度以及颜色的信息(显示值))。图像分割部113 起提取部的作用，该提取部从与 一个图像对应的图像信号中提取与由 该图像中的多个像素构成的像素块对应的信号。分类阈值确定部114确定用于将像素块中的像素分类成多个分 类的阅值。分类阈值确定部114起阈值计算部的作用，该阈值计算部 计算将多个像素分类成多个分类的阈值。典型值确定部115确定像素块的多个分类的各自的典型值。典型 值确定部115起典型值计算部的作用，该典型值计算部计算与多个分 类分别对应的多个典型值。配置图案生成部116起生成部的作用，该生成部生成表示像素块 中的典型值的配置的配置图案。发送部117发送典型值和配置图案。接收部131从发送部117接收典型值、和配置图案。像素块再现部132根据接收部131所接收到的典型值和配置图案 来再现像素块。图像再现部133根据多个像素块再现图像。颜色空间转换部134将从图像再现部133输出的图像信号的颜色 空间从YCbCr颜色空间转换成RGB颜色空间。显示驱动部135是对显示部136进行驱动的驱动电路(驱动器)。
显示部136是显示图像的显示元件、例如是液晶显示元件。 此处，像素块再现部132、图像再现部133、颜色空间转换部134、 显示驱动部135优选与显示驱动部135 —体地构成。通过一体地构成， 能够有效率地进行处理，实现低功耗化。这在其他实施方式(第2~ 第8实施方式)中也相同。(图像显示装置100的动作)对图像显示装置100的动作进行说明。图2是图像显示装置100 的动作步骤的一个例子的流程图。图3是由图像显示装置100处理的 图像数据的一个例子的示意图.(1) 颜色空间的转换(步骤SIOI)颜色空间转换部112将从图像生成部111输出的图像信号的颜色 空间从RGB颜色空间转换成YCbCr颜色空间。这是为了处理各像素 的亮度和颜色。(2) 将图像分割成块(像素块)(步骤S102) 图像分割部113将由颜色空间转换部112转换了颜色空间的图像分割成多个块(像素块)。图3 (A)示出像素块的一个例子。关于l 个像素块，示出了 4*4的像素各自的亮度。(3) 分类阈值的确定(步骤S103)分类阈值确定部114确定用于将像素块中的像素分类成多个分 类的阈值。此处，考虑将像素块中的像素分类成2个分类的情况。通 过像素块中的像素的亮度的线性运算(例如平均值的计算)，可以确 定阈值Th。即，以阈值Th (例如平均值Av)为基准，可以将像素块 中的像素(亮度)分类成2个分类。在图3 (A)的情况下，如下式 那样计算阈值Th (平均值Av)。Th = Av=(200 + 149 + 90 + 50 +…+ 99 + 50 ) /16 =123(4) 每个分类的典型值的确定(步骤S1(M) 典型值确定部115确定像素块的多个分类的各自的典型值。
计算亮度比阈值Th小的像素组G1中的亮度的平均Avl，作为 该像素组G1的典型值Vrl。计算亮度比阈值Th大的像素组G2中的 亮度的平均Av2，作为该像素组G2的典型值Vr2。在该例子中，典 型值Vrl、 Vr2分别为71、 174。另夕卜，在上述处理时，通过去除像素块中的像素的亮度的最小值、 最大值，可以降低由特异的像素引起的影响。(5) 配置图案的生成(步骤S105)配置图案生成部116生成表示像素块中的典型值的配置(哪个像 素比阈值Th小，哪个像素比阈值Th大)的配置图案。该生成与确 定典型值大致同时(并行)地进行。图3 (B)示出与图3 (A)的像 素块对应的配置图案。由于分类为2个，所以在映射图上用1比特(O、 1)表示是否与2个典型值Vr 1、 Vr2分别对应。(6) 典型值、配置图案的发送接收(步骤S106)发送部117发送典型值和配置图案，而由接收部131接收。图3 (C)示出与图3 (A)的像素块对应地发送接收的典型值、和配置图 案。由此，利用8比特的2个典型值Vr 1、 Vr2、和1比特*16像素 的配置图案信息这合计32位，可以传送1个像素块的信息。与其相 对，如果分别利用8比特来传送像素块各自的像素，则总共为8*16 =128比特。即，通过对典型值、和配置图案进行发送接收，与直接 发送像素的情况相比，可以将所发送接收的数据量降低至1/4 (信息 的压缩)。(7) 像素块的再现(步骤S107)像素块再现部132根据接收部131接收到的典型值和配置图案再 现像素块。图3(D)示出与图3(A)的原来的像素块对应地再现的 像素块。(8) 图像的再现(步骤S108) 图像再现部133根据多个像素块再现图像。(9) 颜色空间的转换(步骤S109)颜色空间转换部134将从图像再现部133输出的图像信号的颜色
空间从YCbCr颜色空间转换成RGB颜色空间。(10)图像的显示(步骤S110)显示驱动部35对显示部136进行驱动而显示图像。从图3 (A) 、 (C)的比较可以看出，在像素块级别，原来的 图像被2值化，从而所再现的图像倾向于被简化(信息的压缩)。但 是，在图像整体上，信息的压缩影响小，人类实际上无法识别原来的 图像与所再现的图像之间的相异。这是由于，在图像上近似的数据倾 向于容易接近。即，在图像上，明暗并不是随机地配置的，而倾向于 配置成某种程度的块。明暗的随机配置多为图像的噪声分量，所以即 使丧失这种分量的数据，对视认性造成的影响也小。以上，对亮度Y的处理进行了说明。但对于色差Cb、 Cr，也可 以通过同样的处理来压缩数据而进行发送接收。在本实施方式中，将分类像素的分类的数目(典型数目)为2 个。此时，在图像中具有边缘等细致的变化的情况下，存在该边缘变 得模糊、或发生伪边缘的可能性。实际上，在处理了图像时，即使分 类的数目为2个，也基本上能够得到可容忍水平的画质。特别地，在 图像的边缘未发生上述水平的自然图像且静止图像的情况下，能够得 到良好的画质。(第2实施方式)图4是本发明的第2实施方式的图像显示装置200的框图。图像 显示装置200用于显示图像，具有图像数据发送部210、图像数据接 收部230。在本实施方式中，根据图像的特征量来切换分类像素的分 类的数目。图像数据发送部210用于发送图像数据，具有图像生成部111、 颜色空间转换部112、图像分割部113、分类数确定部221、欠采样部 222、分类阈值确定部214、典型值确定部215、配置图案生成部216、 发送部217。图像数据接收部230用于接收图像数据并显示，具有接收部231 、 像素块再现部232、图像再现部133、颜色空间转换部134、显示驱动
部135、显示部136。分类数确定部221根据像素块中像素的亮度的空间变化量，来确 定用于将像素分类的分类的数目(典型数目)。此处，作为像素的亮 度的空间变化量，使用场内差分和。这将在后面进行详细叙述。欠采样部222对色差Cb、 Cr进行欠采样。所谓欠采样是指，对 多个像素赋予同一值，这将在后面进行详细叙述。分类阈值确定部214与分类数对应地，确定用于将像素块中的像 素分类成多个分类的阈值。典型值确定部215与分类数对应地，确定像素块的多个分类的各 自的典型值。配置图案生成部216与分类数对应地，生成表示像素块中的典型值的配置的配置图案。发送部217发送分类数、典型值、和配置图案。接收部231从发送部217接收分类数、典型值、和配置图案。像素块再现部232根据接收部231所接收到的分类数、典型值、和配置图案来再现像素块。图像生成部111、颜色空间转换部112、图像分割部113、图像再现部133、颜色空间转换部134、显示驱动部135、显示部136实质上与第l实施方式相同，所以省略详细的说明。 (图像显示装置200的动作)对图像显示装置200的动作进行说明。图5是图像显示装置200 的动作步骤的一个例子的流程图。图6、图7是由图像显示装置200 处理的图像数据的一个例子的示意图。图6、图7分别对应于亮度(Y) 以及色差(Cr、 Cb)。(l)颜色空间的转换、将图像分割成块(步骤S201、 S202 ) 颜色空间转换部112将从图像生成部111输出的图像信号的颜色 空间从RGB颜色空间转换成YCbCr颜色空间。另外，图像分割部 113将由颜色空间转换部112转换了颜色空间的图像分割成多个块(像 素块)。图6 (A)、图7 (A)示出像素块的一个例子。关于1个像
素块，示出了 4*4的像素的各自的亮度以及色差。此处，将亮度以及 色差的值设为相同。(2) 场内差分和的计算以及分类数的确定(步骤S221、 S222) 分类数确定部221计算场内差分和，将用于分类像素的分类的数目确定成2或3。图8是场内差分和Sp的概念的示意图。场内差分和Sp意味着 在像素块内相邻的像素间的亮度之差的总和。场内差分和是图像的特 征量的一种，可以用作表示像素内的边缘的发生量(活动量)的参数。 在图6(A)的例子中，如下那样计算场内差分和Sp。Sp = (|200 - 149| + |149 - 90| + |90 - 50| + |200 - 146| +---+ |200 - 200| + |200 - 200| + |200 - 200|+ |149 - 146| + |152 - 146| + |152 - 144| +---) /24=(600 + 30 ) /24 = 26图9是示出场内差分和Sp的值与发生概率的对应关系的曲线。 在大多数情况下，场内差分和Sp小于等于10。这表示，作为将分类 的数目设成2个值(2或3)中的某一个的界线(阈值)，使用比10 大的程度的值即可。即，在大多数情况下可以将分类数设为2，可以 实现高效的数据压缩。此处，将场内差分和Sp的阈值设为20，在场内差分和Sp大于 等于20的情况下将分类数设为3，在其他情况下将分类数设为2。如 果增大阈值，则数据的压缩率变大，但图像的S/N比降低。另一方面， 如果减小阈值，则图像的S/N比提高，但数据的压缩率变小。这样， 在设定阈值的值时，需要考虑对数据的压缩率以及图像的S/N比这双 方造成的影响。根据实验的结果，如果对于阈值设定30，则使图像的 S/N比成为大于等于30dB，可以降低伪边缘的发生。(3) 色差的欠采样(步骤S223、 S224 )在典型值大于等于规定值(此处为3)的情况下，对色差Cr、 Cb进行欠采样。图7 (B)示出被欠釆样的像素块。对2*2的4个像素分配1个
值(色差)(1/4欠采样)。在该例子中，将4个像素中的色差Cr、 Cb的平均值设为4个像素共用的值。通过对色差Cr、 Cb进行欠采 样，可以实现对数据的进一步压缩。另外，还可以使用4个像素中规 定像素(例如左上的像素)的色差来进行欠采样。根据实验性评价，通过在2、 3之间切换分类数，即使在对色差 进行欠采样的情况下，也可以防止发生对边缘的着色或模糊。例如， 在将分类数固定为2、并对色差进行欠采样的情况下，有可能发生边 缘着色或模糊。(4) 分类阈值的确定(步骤S203 )分类阈值确定部214根据分类数来确定用于通过线性运算将像 素块中的像素分类成多个分类的阈值。1) 在分类数为2的情况下与第1实施方式同样地，通过像素块中的像素的亮度的线性运算 (例如平均值的计算)，可以确定阈值Th。即，通过阈值Th，可以 将像素块中的像素分类成2个分类(分类A1、 A2)。2) 在分类数为3的情况下图10示出分类数为3时的阈值Th,。w、 Thhigh以及典型值的计算 的手法。将像素块中的像素的亮度等的平均值设为阈值Th，将像素块中 的像素分类成2个(分类Al、 A2)。将分类Al、 A2各自中的像素 的亮度等的平均值设为阈值Th1(W、 Thhigh。利用该阈值阈值Thlow、 Thhigh，可以将像素块中的像素分类成3个(分类B1 B3)。另外，在计算阈值Th时，通过去除像素块中的像素的亮度的最 小值、最大值，可以降低由特异的像素引起的影响。(5) 每个分类的典型值的确定(步骤S204) 典型值确定部215根据分类数来确定像素块的多个分类的各自中的典型值。1)在分类数为2的情况下将分类A1、 A2的各自中的亮度的平均分别设为典型值。2)在分类数为3的情况下将分类B1~B3各自中的亮度的平均分别设为典型值Valminus、 Valmid、 Valplus (参照图10)。另外，在分类数为2的情况和分类数为3的情况下，都可以采样 平均值以外的任何统计值(例如众数)。(6) 配置图案的生成(步骤S205)配置图案生成部216根据分类数，来生成表示像素块中的典型值 的配置的配置图案。该生成与确定典型值大致同时(并行)地进行。图6(B)、图7(C)示出与图6(A)、图7(A)的像素块对 应地生成的配置图案。由于分类为3个，所以在映射图上用2比特(00、 01、 10)表示是否与3个典型值分别对应。(7) 分类数、典型值、配置图案的发送接收(步骤S206) 发送部217发送分类数、典型值、和配置图案，而由接收部231接收。图6(C)、图7(D)示出与图6(A)、图7(A)的像素块 对应地发送接收的分类数、典型值、以及配置图案。分类数2、 3由1比特(0、 1)表示，3个典型值由5比特表示， 配置图案由2*16比特或2*4比特表示。此处，将典型值从8比特表 示设为5比特表示，从而降低了数据量。(8 )像素块的再现(步骤S2(T7)像素块再现部232根据接收部231所接收到的分类数、典型值、 以及配置图案来再现像素块。图6(D)、图7(E)示出与图6(A)、 图7 ( A)的原来的像素块对应地再现的像素块。由于降低了典型值 的位数，所以图6 (D)、图7 (E)中的典型值并不与在步骤S204 中确定的典型值完全一致。具体而言，与图6 (D)中的值(典型值) 48对应的部分为典型值50，存在差异。但是，在图像整体上，即使 舍去这样的比特位，也不会造成大的影响。(8) 图像的再现、颜色空间的转换、图像的显示(步骤S208~ S210)图像的再现、颜色空间的转换、图像的显示与第1实施方式相同，
所以省略说明。(第3实施方式)图ll是本发明的第3实施方式的图像显示装置300的框图。图 像显示装置300用于显示图像，具有图像数据发送部310、图像数据 接收部330。在本实施方式中，根据图像的特征量，在2 4之间切换 分类像素的分类的数目。在本实施方式中，防止了在运动图像中当边缘移动时的画质劣化。图12是运动图像中的数据处理的状态的示意图。图12(A)、 (B)的像素块表示1帧前后的像素块、即运动图 像，图12 (B)的像素块表示将(A)的像素块向右移位1个像素的 关系。对图12 (A) 、 (B)的像素块进行处理而生成图12 (C)、 (D)的像素块。在该例子中，以2个等级进行典型值化处理。在图12 (C) 、 (D)的像素块中，尽管本来向右移位l个像素， 但由于块的平均值未变大，所以不发生边缘的移位。不仅如此，亮度 值也在时间上变化。其结果，处理后的运动图像变得非常不自然。如上所述，在运动图像的情况下，在图像上应被识别为动作的部 分有可能被表现成亮度的时间变化。另一方面，在静止图像中，即使 在处理的前后亮度发生了变化，也不会被识别成时间变化，所以不易 识别亮度的差异。如上所述，在运动图像的情况下，与静止图像的情况相比，优选 将分类数设得更大。图像数据发送部310用于发送图像数据，具有图像生成部111、 颜色空间转换部112、图像分割部113、分类数确定部321、欠采样部 322、分类阈值确定部314、典型值确定部315、配置图案生成部316、 发送部317。图像数据接收部330用于接收图像数据并显示，具有接收部331、 像素块再现部332、图像再现部133、颜色空间转换部134、显示驱动 部135、显示部136。 分类数确定部321根据像素块中的像素的亮度的空间变化量以 及时间变化量，来确定用于分类像素的分类的数目。此处，作为像素 的亮度的空间变化量、时间变化量，分别使用场内差分和以及场间差 分和。这将在后面进行详细叙述。欠采样部322对色差Cb、 Cr进行欠采样处理。分类阈值确定部314与分类数对应地，确定用于将像素块中的像 素分类成多个分类的阈值。典型值确定部315与分类数对应地，确定像素块的多个分类各自 中的典型值。配置图案生成部316与分类数对应地，生成表示像素块中的典型值的配置的配置图案。发送部317发送分类数、典型值、以及配置图案。 接收部331从发送部317接收分类数、典型值、以及配置图案。 像素块再现部332根据接收部331所接收到的分类数、典型值、以及配置图案来再现像素块。图像生成部111、颜色空间转换部112、图像分割部113、图像再现部133、颜色空间转换部134、显示驱动部135、显示部136实质上与第l实施方式相同，所以省略详细的说明。 (图像显示装置300的动作)对图像显示装置300的动作进行说明。图13是图像显示装置300 的动作步骤的一个例子的流程图。图14、图15是由图像显示装置300 处理的图像数据的一个例子的示意图。图14、图15分别示出1帧相 异的像素块，图15的像素块表示在图14的像素块中向右移位1个像 素的关系。(l)颜色空间的转换、将图像分割成块(步骤S301、 S302 ) 颜色空间转换部112将从图像生成部111输出的图像信号的颜色 空间从RGB颜色空间转换成YCbCr颜色空间。另外，图像分割部 113将由颜色空间转换部112转换了颜色空间的图像分割成多个块(像 素块)。图14 (A)、图15 (A)示出像素块的一个例子。 (2 )场间差分和以及场内差分和的计算以及分类数的确定(步骤 S325、 S321、 S322)分类数确定部321计算场间差分和以及场内差分和，将用于分类 像素的分类的数目确定成2 ~ 4。场间差分和St意味着1帧前后中的像素的亮度之差的总和。场 间差分和是图像的特征量的一种，可以用作表示运动图像中的边缘的 变化量(时间变化)的参数。在图14 (A)、图15 (A)的例子中，如下那样计算场间差分和St。St = (|200 - 200| + |149 — 200| + |90 — 149| + |50 - 90| +---+ |200 - 200| + |144 - 200| + |99 - 144| + |50 - 99|) /16 如下所述，根据场间差分和以及场内差分和来确定分类数。1) 在场间差分和小于规定值(阈值1 )的情况下 在该情况下，通过场内差分和来确定分类数。具体而言，如果场内差分和小于规定值(阈值2)则将分割数设为2，如果场内差分和 大于等于规定值(阈值2)则将分割数设为3。2) 在场间差分和大于等于规定值(阈值l)的情况下 在该情况下，将分类数设为4。(3) 色差的欠采样(步骤S323、 S324)在典型值大于等于规定值(例如为3)的情况下，对色差Cr、 Cb进行欠采样。(4) 分类阈值的确定(步骤S303 )分类阈值确定部314根据分类数，确定用于通过线性运算将像素 块中的像素分类成多个分类的阈值。1) 在分类数为2、 3的情况下 由于与实施方式2相同，所以省略记载。2) 在分类数为4的情况下图16示出分类数为4时的阈值Th，。w、 Thmiddle、 Thhigh以及典型 值的计算手法。将像素块中的像素的亮度等的平均值设为阈值Thmiddle，将像素 块中的像素分类成2个(分类Al、 A2)。将分类Al、 A2各自中的 像素的亮度等的平均值设为阈值Th1()W、 Thhigh。利用该阈值Th，。w、 Thmidd,e、 Thhigh，可以将像素块中的像素分类成4个(分类Cl ~ C4 )。(5) 每个分类的典型值的确定(步骤S304) 典型值确定部315根据分类数，确定像素块的多个分类的各自的典型值。1) 在分类数为2、 3的情况下 由于与第2实施方式相同，所以省略记载。2) 在分类数为4的情况下将分类C1~C4的各自的亮度的平均分别设为典型值Valminus、 Valmidl、 Valmid2、 Valplus。(6) 配置图案的生成(步骤S305)配置图案生成部316根据分类数，来生成表示像素块中的典型值 的配置的配置图案。该生成与确定典型值大致同时(并行)地进行。图14(B)、图15(B)示出与图14(A)、图14(A)的像素 块对应生成的配置图案。由于分类为4个，所以在映射图上用2比特 (00、 01、 10、 11 )表示是否与4个典型值分别对应。(7) 分类数、典型值、配置图案的发送接收(步骤S306) 发送部317发送分类数、典型值、以及配置图案，而由接收部331接收。图14(C)、图15(C)示出与图14(A)、图15(A) 的像素块对应地发送接收的典型值、以及配置图案。另外，此处省略 了分类数的记载，但实际上分类数也成为发送接收的对象。4个典型值由6、 4、 4、 6比特表示，配置图案由2*16比特表示。 此处，将典型值的最大值、最小值从8比特表示设为6比特表示。另 外，将其间的中间值利用4比特进行线性量化。即，将典型值的最大 值、最小值之间的值由4比特表示。这成为利用4比特表现了中间值 与最小值的差分。这考虑了典型值的最大值、最小值比中间值对视认 性造成的影响更大，能够防止数据量增加，并且提高精度。
(8 )像素块的再现(步骤S307)像素块再现部332根据接收部331所接收到的分类数、典型值、 以及配置图案再现像素块。图14(D)、图15(D)示出与图14(A)、 图15 (A)的原来的像素块对应地再现的像素块。通过所接收到的数 据的线性运算，再现原来的典型值。(9)图像的再现、颜色空间的转换、图像的显示(步骤S308~ S310)图像的再现、颜色空间的转换、图像的显示与第1实施方式相同，所以省略^L明。图17是与图12对应地示出运动图像中的数据处理的状态的示意 图。在该例子中，以4个等级进行典型值化处理。在图17 (C) 、 (D)的像素块中，与图12不同，亮度值的时 间变化被消除，处理后的运动图像成为自然的图像。(第4实施方式)本发明的第4实施方式的图像显示装置400的分类数确定部321 中的分类数的确定手法与第3实施方式不同。在本实施方式中，如下所述，根据场间差分和以及场内差分和来 确定分类数。1) 将场间差分和St与场内差分和Sp进行相加，来计算总差分 和(活动量)Sl ( =St + Sp)。2) 如果总差分和S1小于第1阅值Thl，则分类数为2(SKThl)。3) 如果总差分和S1大于等于第1阈值Thl且小于第2阈值Th2， 则分类数为3 (Thl^SKTh2)。4) 如果总差分和Sl大于等于第2阈值Th2,则分类数为4 (Th2^Sl)。在第3实施方式中，仅利用场间差分，选择了分类数4。其意味 着重视图像的时间变化(动作)。与其相对，在本实施方式中，通过 将场间差分和St与场内差分和Sp相加，重视图像的时间变化(动作) 和空间变化(空间频率)这两者，而选择分类数4。由此，可以在空
间频率高的静止图像上选择分类数4，可以降低空间频率高的静止图 像上的模糊。(第5实施方式)图18是本发明的第5实施方式的图像显示装置500的框图。图 像显示装置500用于显示图像，具有图像数据发送部510、图像数据 接收部530。图像数据发送部510用于发送图像数据，具有图像生成部111、 颜色空间转换部112、图像分割部113、分类数确定部321、欠采样部 322、分类阈值确定部314、典型值确定部315、量化部523、配置图 案生成部316、发送部517。图像数据接收部530用于接收图像数据并显示，具有接收部531、 逆量化部537、像素块再现部532、图像再现部133、颜色空间转换部 134、显示驱动部135、显示部136。量化部523保持有规定的量化表，对典型值进行量化。 发送部517发送分类数、量化后的典型值、以及配置图案。 接收部531从发送部517接收分类数、量化后的典型值、以及 配置图案。逆量化部537保持有规定的逆量化表，对接收部531所接收到的 量化后的典型值进行逆量化。像素块再现部523根据分类数、典型值、以及配置图案来再现像素块。其他结构要素实质上与第3实施方式相同，所以省略详细的说明。(图像显示装置500的动作)对图像显示装置500的动作进行说明。图19是图像显示装置500 的动作步骤的一个例子的流程图。在本实施方式中，对典型值进行量 化并发送，并对所接收到的量化典型值进行逆量化的部分与第3实施 方式不同。以下，对实质上与第3实施方式不同的点进行说明。(1)量化部523对典型值进行量化(步骤SH6 )。
对于大于等于3个的典型值，对1个值(基准值)直接进行量化， 而对于除此以外的值，对与基准值的差分进行量化。在对差分的量化 中使用非线性量化。即，在差分小的情况下，由于发生概率高，所以 细致地量化；而差分越大，越粗略地量化。其原因在于，在同一像素 块内的像素的值中存在相关(特别在运动图像中相关高)。就4个典型值(最小典型值a、第1、第2中间典型值b、 c、最 大典型值d)，对量化进行详细说明。将第1中间值b (在4个典型值中下数第2个值)设为基准值。 利用8比特对该第1中间值进行量化。即，第1中间值b的数据不被 压缩。但是，也可以适当地进行压缩(例如表现成6比特)。关于第1中间值b以外的值a、 c、 d，对与基准值b的差分的绝 对值((b-a)、 (c-b)、 (d-b))进行非线性量化。该非线性 量化例如利用4比特就足够了。其原因为，被量化的量(差分的绝对 值)为正数。图20示出用于非线性量化的量化表的一个例子。(2)分类数、量化后的典型值、以及配置图案被发送接收，而由 逆量化部537对量化后的典型值进行逆量化(步骤S506、 S527 )。逆 量化部537具有与量化部523的量化表对应的逆量化表。在其他点上，本实施方式实质上与第3实施方式相同，所以省略 详细的说明。(第6实施方式)此处，量化部523也可以保持有多个非线性量化表，并根据量化 后的差分量来切换量化表。另外，切换量化表与量化部523具有多个 量化器并切换这些量化器是相同的。图21、图22分别是2个为l组以及3个为l组的非线性量化表 的示意图。在图21中，例如，将(A)的量化表用于差分(a-b)、 (a-c)的量化，将(B)的量化表用于差分(a-d)的量化。在图 22中，例如，将(A)的量化表用于差分(a-b)的量化，将(B) 的量化表用于差分(a-c)的量化，将(C)的量化表用于差分(a -d)的量化。 另外，量化部523也可以保持有多组量化表，并根据像素块中的 特征量(例如帧内差分和Sp)，来切换量化表的组。例如，根据特征 量是否超过规定的阈值，来选择分别包括1个~3个量化表的A~C 集合的量化表的组。例如，如下所述，根据特征量S确定量化表的集合。 l)如果特征量S小于第1阈值Thl，则选择A集合的量化表(表 数1) (S<Thl)。2 )如果特征量S大于等于第1阈值Thl且小于第2阈值Th2, 则选择B集合的量化表(表数2) (Thl^S<Th2)。3 )如果特征量S大于等于第2阈值Th2，则选择C集合的量化 表(表数3 ) ( Th2^S )。将第1中间值b (在4个典型值中倒数第2个值)设为基准值。 利用8比特对该第1中间值进行量化。除此以外的值a、 c、 d通过选 择了与基准值b的差分的绝对值((b-a)、 (c-b)、 (d-b)) 的集合的量化表来进行非线性量化。1) 在选择了 A集合的量化表(表数1)的情况下 利用同一量化表对差分的绝对值的全部((b-a)、 (c-b)、(d-b))进行量化。2) 在选择了 B集合的量化表(表数2)的情况下利用第l量化表对差分的绝对值中的2个((b-a) 、 (c-b)) 进行量化，利用第2量化表对剩余的1个(d - b )进行量化。3) 在选择了 C集合的量化表(表数3)的情况下 利用不同的量化表分别对差分的绝对值((b-a)、 (c-b)、(d-b))进行量化。利用2比特来发送用于标识使用了哪个集合的量化表的标识符。 逆量化部537也保持有A ~ C集合的量化表的组，并通过标识符来选 择量化表的组，来对典型值进行逆量化。在该情况下，标识符为2比 特，比特的增加少。(第7实施方式)
在本实施方式中，就4个典型值(最小典型值a、第1、第2中 间典型值b、 c、最大典型值d)，对量化进行详细说明。利用6比特对最小典型值a、最大典型值d进行非线性量化。其 原因为，最小典型值a、最大典型值b在8比特的情况下分别成为大 于等于128、小于等于128的频度大。另外，第l、第2中间典型值b 利用4比特表示差分(b-a)、 (d-a)。此处，考虑改变利用亮度和色差的量化方法。例如，如下所述对色差进行量化。通过5比特对色差的最小典型值a、最大典型值d进行非线性量 化。利用色差的第l、第2中间典型值d，利用4比特表示差分(b-a) 、 (d-a)。(第8实施方式)图23是本发明的第8实施方式的图像显示装置800的框图。图 像显示装置800用于显示图像，具有图像数据发送部810、图像数据 接收部830。图像数据发送部810用于发送图像数据，具有图像生成部111、 颜色空间转换部112、图像分割部113、欠采样部322、分类阈值确定 部314、典型值确定部315、配置图案生成部316、典型图案选择部 826、发送部817。另外，由于以分割数是固定("2")的为前提，图 像数据发送部810不具有与分类数确定部321对应的要素。图像数据接收部830用于接收图像数据并显示，具有接收部831、 配置图案再现部838、像素块再现部832、图像再现部133、颜色空间 转换部134、显示驱动部135、显示部136。典型图案选择部826保持有多个典型图案，输出与配置图案的相 关最大的典型图案的标识符(图案标识符)。 发送部817发送典型值、以及图案标识符。 接收部831从发送部817接收典型值、以及图案标识符。 配置图案再现部838保持有多个典型图案，并根据图案标识符来 再现配置图案。
像素块再现部823根据分类数、典型值、以及所再现的配置图案 再现像素块。其他结构要素实质上与第3实施方式相同，所以省略详细的说明。(图像显示装置800的动作)对图像显示装置800的动作进行说明。图24是图像显示装置800 的动作步骤的一个例子的流程图。图25是由图像显示装置800处理 的图像数据的例子的示意图。利用本实施方式，可以削减用于发送接收配置图案的数据量。对 于典型图案，例如准备16个发生频度高的配置图案。通过切换为配 置图案，并发送接收图案标识符，可以将16比特削减成4比特(对 应于典型图案的个数(16个))。(1) 典型图案的选择(步骤S828) 典型图案选择部826选择典型图案。图26、图27示出典型图案的例子。实验地求出所发生的配置图 案，按发生频度从高到低的顺序预先选择16个。通过事先准备典型 图案，能够实现处理的高速化。向，用于使典型图案相互识别的标号值(图案标识符)对应于这 些典型图案。典型映射图与配置图案的相关Rc可以如下所述那样计算。rc=((i;(ai-bi)2)Al、 Bl分别意味着典型映射图与配置图案各自中的对应的像素 的显示值(亮度值)。相关Rc可以定义成典型映射图与配置图案的 距离。与配置图案的相关Rc最小的典型映射图被选择。(2) 配置图案的再现(步骤S829)配置图案再现部838保持有多个典型图案，并根据图案标识符来 再现配置图案。在其他点上，除了分类数为固定以外，本实施方式实质上与第3实施方式相同，所以省略详细的说明。如上所述，根据上述第1~第8实施方式，可以降低所发送接收 的数据量，可以将传送图像的频率降低成小于等于一半，所以可以降 低显示装置的功耗和EMI。另外，通过预先选定频度高的典型图案， 并根据类似度来选择该图案，可以将所发送接收的数据量削减成小于 等于1/3。考察图像数据接收部130为自刷新方式的情况。在自刷新方式 中，图像数据接收部130具有存储器，使用保持在存储器中的图像的 数据，对图像进行刷新。此时，像素块再现部132、图像再现部133、 颜色空间转换部134、显示驱动部135优选与显示驱动部135—体地 构成为显示驱动器(1个芯片的半导体元件)，并且其中具有存储器。如果针对在显示驱动器内具有存储器(内置有存储器)的情况、 在显示驱动器内不具有(将存储器外挂)的情况比较功耗，则前者的 功耗更小。通过在显示驱动器中内置存储器，可以降低由于显示驱动 器与存储器之间的交换而引起的功耗以及存储器的功耗这二者。其结 果，通过削减数据来降低功耗的有效性增大。在自刷新方式的情况下， 例如对压缩的运动图像进行解码(像素块以及图像的再现)有需要功 耗的情况。通过在显示驱动器内进行解码，即使对于运动图像也可以 实现低功耗化。另外，由于可以削减图像自身的数据量，存储器的容量被降低， 可以削减成本。即，将所发送的数据(典型值、配置图案等)保持在 存储器中，根据保持在存储器中的数据来对图像进行解码。即使在该 情况下，当一体地构成显示驱动器与存储器时，也能够实现低功耗化。(其他实施方式)以上，对本发明的实施方式进行了说明，但本发明不限于这些实 施方式，而可以在不脱离其要旨的范围内实施各种变形。本发明不限于液晶显示装置，还可以适用于有机EL或PDP等 矩阵状地显示的所有显示元件。如上所述，通过将像素块的像素设为4*4，并通过少数的典型值 来代表这些像素，可以显示良好的图像。这是由于相邻的近场的像素 具有类似的性质、像素值。尝试对在4*4的情况下需要几个分类数进行仿真。还对无色差C 的欠采样(1/4欠采样)的有无所造成的影响进行了讨论。图28示出 其结果。在无欠采样的情况下，分别利用分类数2~4，得到的S/N比分 别为27dB、 32dB、 40dB。即，如果存在与4*4的16个像素的1/4相 当的4个典型值(等级)，则能够得到大于等于40dB的S/N比。另 外，即使利用与16像素的3/16相当的3个典型值(等级)，也能够 得到30dB程度的S/N比。即，只要通过最大块整体的像素的1/4左 右的像素值来代表，则能够得到充分的画质。这样，在以4*4块为单位进行处理的情况下，如果存在3、 4个 典型值，则能够得到充分的画质。如果进一步详细讨论，则当在自然 画的静止图像中典型值有大于等于2的级别、在字符或OA图像、运 动图像等复杂的图像中典型值有大于等于3至4的级别的典型值时， 能够得到充分的S/N。另外，即使在将8*8设为l个块的情况下，也可以通过与其1M 相当的16个典型值、或与3/16相当的12个典型值来进行代用。
权利要求
1. 一种图像数据处理系统，其特征在于，具备提取部，从与一个图像对应的图像信号中，提取出与由该图像中的多个像素构成的像素块对应的信号；阈值计算部，通过上述多个像素的显示值的线性运算，计算将上述多个像素分类成多个分类的阈值；典型值计算部，计算与上述多个分类对应的多个典型值；生成部，生成表示上述像素块中的上述典型值的配置的配置图案；以及发送部，发送上述典型值以及上述配置图案。
2. 根据权利要求1所述的图像数据处理系统，其特征在于， 还具备分类数确定部，根据上述多个像素的显示值的空间变化量或时间变化量来确定上述分类的数目，上述典型值计算部计算与由上述分类数确定部确定的分类的数 目对应的个数的阈值。
3. 根据权利要求2所述的图像数据处理系统，其特征在于， 上述分类数确定部根据上述显示值的时间变化量是否超过第1规定量来确定上述分类的数目。
4. 根据权利要求3所述的图像数据处理系统，其特征在于， 在上述显示值的时间变化量未超过上述第l规定量的情况下，上述分类数确定部根据上述显示值的空间变化量是否超过第2规定量来 确定上述分类的数目。
5. 根据权利要求2所述的图像数据处理系统，其特征在于， 上述分类数确定部根据上述显示值的时间变化量与上述显示值的空间变化量之和来确定上迷分类的数目。
6. 根据权利要求1~5中的任意一项所述的图像数据处理系统， 其特征在于，还具备量化部，对由上述典型值计算部计算的多个典型值、以及 这些多个典型值的差分中的至少一个进行量化，上述发送部发送由上述量化部量化的多个典型值、这些多个典型 值的差分中的至少某一个、和由上述生成部生成的配置图案。
7. 根据权利要求6所述的图像数据处理系统，其特征在于，由 上述典型值计算部计算的典型值分别包括最小、最大的第1、第2典 型值、以及第1、第2典型值的中间的第3典型值，上述量化部具有第1量化器，对上述第1、第2典型值进行量 化；以及第2量化器，以上述第1、第2典型值为基准，对上述第3 典型值进行量化，上述发送部发送由上述第l量化部量化的第1、第2典型值、由 上述第2量化部量化的第3典型值、和由上述生成部生成的配置图案。
8. 根据权利要求1~5中的任意一项所述的图像数据处理系统， 其特征在于，还具备选择部，从规定的多个配置图案中选择与由上述生成部生成的配置图案近似的配置图案，上述发送部发送上述典型值、和由上述选择部选择出的配置图案 的标识符。
9. 根据权利要求1~5中的任意一项所迷的图像数据处理系统， 其特征在于，还具备接收部，接收上述典型值和上述配置图案；像素块再现部，使用由上述接收部接收到的上述典型值和上述配 置图案，来再现与上述像素块对应的信号；图像再现部，使用由上述再现部再现的信号来再现上迷图像信 号；以及显示部，显示与由上述图像再现部再现的图像信号对应的图像。
10. —种图像数据处理方法，其特征在于，具备如下的步骤 从与一个图像对应的图像信号中提取出与由该图像中的多个像素构成的像素块对应的信号；通过上述多个像素的显示值的线性运算，计算将上述多个像素分 类成多个分类的阈值；计算与上述多个分类对应的多个典型值； 生成表示上述像素块中的上述典型值的配置的配置图案；以及 发送上述典型值以及上述配置图案。
全文摘要
本发明提供一种图像数据处理系统以及图像数据处理方法，可以有效地降低所发送接收的数据量。图像数据处理系统具备提取部，从与一个图像对应的图像信号中，提取出与由该图像中的多个像素构成的像素块对应的信号；阈值计算部，通过上述多个像素的显示值的线性运算，计算将上述多个像素分类成多个分类的阈值；典型值计算部，计算与上述多个分类对应的多个典型值；生成部，生成表示上述像素块中的上述典型值的配置的配置图案；以及发送部，发送上述典型值以及上述配置图案。
文档编号G06F3/14GK101399031SQ20081021574
公开日2009年4月1日 申请日期2008年9月9日 优先权日2007年9月25日
发明者奥村治彦 申请人:株式会社东芝