专利名称：画面信号处理装置及方法、记录介质、程序和摄像机的利记博彩app
技术领域：
本发明涉及用于处理画面信号的设备和方法、记录介质、程序以及摄像机，并且，具体地，涉及用于处理画面信号的设备和方法、记录介质、程序以及摄像机，其适用于在画面信号的压缩编码中的压缩比的控制。
背景技术：
例如，当数字运动画面数据被记录在信息记录介质中，或经由典型为互联网的网络被传送时，对运动画面数据进行压缩编码，这是由于，其数据量非常大。作为对运动画面数据的代表性编码方法，可引用运动补偿预测编码方法。
运动补偿预测编码方法的具体例子包括MPEG(运动画面专家组)编码系统。在MPEG系统中，将一帧或一场划分为各自由16行乘16像素构成的宏块，并且，在宏块的基础上执行运动补偿预测编码。
运动补偿预测编码方法是利用沿时间轴的画面的校正的编码方法。具体地，在此方法中，检测要编码的画面(编码目标画面)相对于作为参考对象(参考画面)的画面的运动矢量，然后根据运动矢量，对已经经过编码和解码的参考画面执行运动补偿，以由此产生预测画面。随后，获得编码目标画面相对于预测画面的预测残差，然后对预测残差和运动矢量编码，从而压缩运动画面的信息量。
运动补偿预测编码方法大致包括两类编码方案帧内编码(intra-coding)和帧间编码(inter-coding)。在帧内编码中，通过将宏块视作编码目标，直接对编码目标画面的信息进行编码。在帧间编码中，将时间上在编码目标画面之间和之后的画面用作参考画面，并且对从参考画面产生的预测画面与编码目标画面之间的差进行编码。
在MPEG系统中，通过将各个画面分类为I画面(帧内编码画面)、P画面(预测编码画面)以及B画面(双向预测编码画面)中的任一画面类型，而对各个画面进行编码。另外，在MPEG系统中，基于GOP(画面组)执行处理。
当根据基于GOP的编码的编码数据结果被记录在信息记录介质中、或被传送时，编码的压缩比需要被精确地控制，以便在编码数据被展开解码时实现高画面质量，并且，使得编码数据具有等于或小于信息记录介质的记录容量、或通信线路的传输容量的数据量。
在相关技术中的用于精确控制编码的压缩比的方法中，在实际编码之前，对要编码的画面精确估计要生成的代码量，并基于估计结果控制压缩比。
例如，存在一种方法，其中，为了精确估计要生成的代码量，在实际编码之前暂时设置关于压缩比的参数，随后执行编码。然而，这样的方法涉及对执行实际编码所需的计算量两倍的计算量的计算的需要，并由此导致低效率的问题。
作为相对于此的对策，存在一种方法，其中，基于画面的预测残差而估计要生成的代码量，而不需执行其计算量是实际编码所需计算量的两倍的计算(例如，参考专利文献1)。
然而，编码目标画面的预测残差是除非对编码目标画面实际编码、否则便不能获得的指标(index)。因而，用于估计要生成的代码量的预测残差不是与编码目标画面相对应的预测残差，而是例如被反馈到编码目标画面的前面一帧的画面的预测残差，并将其用作编码目标画面的预测残差。
W098/26599(日本专利申请号Hei 10-526505)发明内容本发明要解决的问题如果如上所述反馈例如在编码目标画面前面一帧的画面的预测残差，并将其用作编码目标画面的预测残差，则存在如下问题，即如果在编码目标画面和前一画面之间存在场景变化等，则不充分地估计关于编码目标画面的要生成的代码量，并由此不能精确地控制编码压缩比。
考虑到这样的情况而作出了本发明，并且，其一个目的在于，允许在编码目标画面的实际编码之前精确预测出编码目标画面的预测残差。
解决问题的手段根据本发明的一种画面信号处理设备包括帧内预测残差计算器，其对构成运动画面的静态画面产生帧内预测画面，并计算指示静态画面与帧内预测画面之间差异的帧内预测残差；帧间预测残差计算器，其对构成运动画面的静态画面产生帧间预测画面，并计算指示静态画面与帧间预测画面之间差异的帧间预测残差；以及伪预测残差产生器，其通过使用帧内预测残差或帧间预测残差中的至少一个，而产生对应于静态画面的伪预测残差。该画面信号处理设备还包括预期预测残差计算器，其基于与第n静态画面的前一静态画面相对应的伪预测残差、以及与第n静态画面的前一静态画面相对应的实际预测残差，对由伪预测残差产生器产生且对应于第n静态画面的伪预测残差进行校正，以由此计算与第n静态画面相对应的预期预测残差；压缩比控制器，其基于由预期预测残差计算器计算且对应于第n静态画面的预期预测残差，控制与第n静态画面相对应的画面信号的压缩编码的压缩比；以及编码器，其根据压缩比控制器的控制而执行对与第n静态画面相对应的画面信号的压缩编码，并将通过压缩编码的处理过程产生且对应于第n静态画面的实际预测残差提供给预期预测残差计算器。
对于在静态画面中设置且具有预定大小的每个分割区域，伪预测残差产生器可采用帧内预测残差和帧间预测残差中的较小者，以由此产生与该静态画面相对应的伪预测残差。
分割区域可以是宏块。
预期预测残差计算器可通过将特定值加上由伪预测残差产生器产生且对应于第n静态画面的伪预测残差，而计算与第n静态画面相对应的预期预测残差。通过将对应于第n静态画面的前一静态画面的伪预测残差与对应于第n静态画面的前一静态画面的实际预测残差之间的差乘以预定系数，而获得该特定值。
预定编码系统可以是MPEG系统。
预定编码系统可以是MPEG4-AVC系统。
根据本发明的画面信号处理方法包括帧内预测残差计算步骤，用于对构成运动画面的静态画面产生帧内预测画面，并由此计算指示静态画面与帧内预测画面之间差异的帧内预测残差；帧间预测残差计算步骤，用于对构成运动画面的静态画面产生帧间预测画面，并计算指示静态画面与帧间预测画面之间差异的帧间预测残差；以及伪预测残差产生步骤，用于通过使用帧内预测残差或帧间预测残差中的至少一个而产生对应于静态画面的伪预测残差。该画面信号处理方法还包括预期预测残差计算步骤，用于基于与第n静态画面的前一静态画面相对应的伪预测残差、以及与第n静态画面的前一静态画面相对应的实际预测残差，对通过伪预测残差产生步骤中的处理而产生且对应于第n静态画面的伪预测残差进行校正，以由此计算与第n静态画面相对应的预期预测残差；压缩比控制步骤，用于基于通过预期预测残差计算步骤中的处理而计算且对应于第n静态画面的预期预测残差，控制与第n静态画面相对应的画面信号的压缩编码的压缩比；以及编码步骤，用于根据压缩比控制步骤中的处理的控制而执行对与第n静态画面相对应的画面信号的压缩编码，并为预期预测残差计算步骤中的处理提供通过压缩编码的处理过程产生且对应于第n静态画面的实际预测残差。
根据本发明的记录介质中的程序包括帧内预测残差计算步骤，用于对构成运动画面的静态画面产生帧内预测画面，并由此计算指示静态画面与帧内预测画面之间差异的帧内预测残差；帧间预测残差计算步骤，用于对构成运动画面的静态画面产生帧间预测画面，并计算指示静态画面与帧间预测画面之间差异的帧间预测残差；以及伪预测残差产生步骤，用于通过使用帧内预测残差或帧间预测残差中的至少一个而产生对应于静态画面的伪预测残差。该程序还包括预期预测残差计算步骤，用于基于与第n静态画面的前一静态画面相对应的伪预测残差、以及与第n静态画面的前一静态画面相对应的实际预测残差，对通过伪预测残差产生步骤中的处理而产生且对应于第n静态画面的伪预测残差进行校正，以由此计算与第n静态画面相对应的预期预测残差；压缩比控制步骤，用于基于通过预期预测残差计算步骤中的处理而计算且对应于第n静态画面的预期预测残差，控制与第n静态画面相对应的画面信号的压缩编码的压缩比；以及编码步骤，用于根据压缩比控制步骤中的处理的控制而执行对与第n静态画面相对应的画面信号的压缩编码，并为预期预测残差计算步骤中的处理提供通过压缩编码的处理过程产生且对应于第n静态画面的实际预测残差。
根据本发明的程序使得计算机执行如下处理，其包括帧内预测残差计算步骤，用于对构成运动画面的静态画面产生帧内预测画面，并由此计算指示静态画面与帧内预测画面之间差异的帧内预测残差；帧间预测残差计算步骤，用于对构成运动画面的静态画面产生帧间预测画面，并计算指示静态画面与帧间预测画面之间差异的帧间预测残差；以及伪预测残差产生步骤，用于通过使用帧内预测残差或帧间预测残差中的至少一个而产生对应于静态画面的伪预测残差。该处理还包括预期预测残差计算步骤，用于基于与第n静态画面的前一静态画面相对应的伪预测残差、以及与第n静态画面的前一静态画面相对应的实际预测残差，对通过伪预测残差产生步骤中的处理而产生且对应于第n静态画面的伪预测残差进行校正，以由此计算与第n静态画面相对应的预期预测残差；压缩比控制步骤，用于基于通过预期预测残差计算步骤中的处理而计算且对应于第n静态画面的预期预测残差，控制与第n静态画面相对应的画面信号的压缩编码的压缩比；以及编码步骤，用于根据压缩比控制步骤中的处理的控制而执行对与第n静态画面相对应的画面信号的压缩编码，并为预期预测残差计算步骤中的处理提供通过压缩编码的处理过程产生且对应于第n静态画面的实际预测残差。
根据本发明的摄像机包括画面捕捉单元，其捕捉目标对象的运动画面，并产生画面信号；帧内预测残差计算器，其对构成由画面捕捉单元捕捉的运动画面的静态画面产生帧内预测画面，并计算指示静态画面与帧内预测画面之间差异的帧内预测残差；帧间预测残差计算器，其对构成由画面捕捉单元捕捉的运动画面的静态画面产生帧间预测画面，并计算指示静态画面与帧间预测画面之间差异的帧间预测残差；以及伪预测残差产生器，其通过使用帧内预测残差或帧间预测残差中的至少一个而产生对应于静态画面的伪预测残差。该摄像机还包括预期预测残差计算器，其基于与第n静态画面的前一静态画面相对应的伪预测残差、以及与第n静态画面的前一静态画面相对应的实际预测残差，对由伪预测残差产生器产生且对应于第n静态画面的伪预测残差进行校正，以由此计算与第n静态画面相对应的预期预测残差；压缩比控制器，其基于由预期预测残差计算器计算且对应于第n静态画面的预期预测残差，而控制与第n静态画面相对应的画面信号的压缩编码的压缩比；编码器，其根据压缩比控制器的控制而执行对与第n静态画面相对应的画面信号的压缩编码，并将通过压缩编码的处理过程产生且对应于第n静态画面的实际预测残差提供给预期预测残差计算器；以及记录器，其将已由编码器压缩编码的画面信号记录在信息记录介质中。
在画面信号处理设备和方法、程序、以及摄像机中，对构成运动画面的静态画面计算帧内预测残差和帧间预测残差，并通过使用帧内预测残差和帧间预测残差中的至少一个来产生对应于静态画面的伪预测残差。另外，基于与第n静态画面的前一静态画面相对应的伪预测残差和与第n静态画面的前一静态画面相对应的实际预测残差，校正对应于第n画面的伪预测残差。由此，计算对应于第n静态画面的预期预测残差。此外，基于计算出的、对应于第n静态画面的预期预测残差，控制当对与第n静态画面相对应的画面信号进行压缩编码时的压缩比。根据此控制，对与第n静态画面相对应的画面信号进行压缩编码。另外，为预期预测残差计算的处理提供在压缩编码的处理过程中产生且对应于第n静态画面的实际预测残差。
发明的效果本发明允许在编码目标画面的实际编码之前精确预测编码目标画面的预测残差。
图1是示出应用了本发明的画面信号处理设备的配置示例的框图。
图2是示出图1的伪预测残差产生器(producer)的配置示例的框图。
图3是示出图1的预感器(anticipator)的配置示例的框图。
图4是示出图1的目标代码量决定器的配置示例的框图。
图5是用于说明画面信号处理设备执行的画面压缩处理的流程图。
图6是用于详细说明图5的步骤S1的流程图。
图7是用于详细说明图5的步骤S2的流程图。
图8是用于详细说明图5的步骤S3的流程图。
图9是示出对于特定序列的VBR目标代码量BIT_VBR(n)的图。
图10是示出对于特定序列的目标代码量BIT_TGT(n)的图。
图11是示出作为序列困难度的函数的目标代码量BIT_TGT(n)的变化的图。
图12是图解图1的编码器5的配置示例的框图。
图13是示出量化比例和所生成代码量的对数之间的关系的图。
图14是示出量化比例和使用预测残差而正规化的所生成代码量的对数之间的关系的图。
图15是示出用二次方程式近似的、量化比例和使用预测残差而正规化的所生成代码量的对数之间的关系的图。
图16是用于说明对序列的开始处的I画面的编码处理的流程图。
图17是图解应用本发明的数字摄像机的配置示例的框图。
图18是图解应用本发明的个人计算机的配置示例的框图。
附图标记的描述1画面信号处理设备；2伪预测残差产生器；3预测残差预感器；4目标代码量决定器；5编码器；11帧内预测器；12帧间预测器；13、14差分单元；15比较器；21预测残差计算器；31VBR分配器；32CBR分配器；33比较器；41帧内预测器；42帧内预测残差计算器；43比率控制器；45量化器；201相机单元；222压缩器；301CPU；311记录介质。
具体实施例方式
下面将说明本发明的一个实施例。图1示出了应用本发明的画面信号处理设备的配置示例。画面信号处理设备1对输入运动画面信号(下文中，描述为编码目标画面信号)进行压缩编码，以由此产生具有比编码目标画面信号的数据量和比特率小和低的数据量和比特率的编码画面信号。画面信号处理设备1包括伪预测残差产生器2、预测残差预感器3、目标代码量决定器4以及编码器5。
伪预测残差产生器2基于输入编码目标画面信号而计算预测残差SAD(下文中，描述为伪预测残差BD)的伪值，并将计算的伪预测残差BD输出到预测残差预感器3。当在后级编码器5中对编码目标画面信号实际编码时，计算预测残差SAD。在下文中，与第n画面(帧画面或场画面)的编码目标画面信号相对应的伪预测残差将被描述伪预测残差BD(n)。
预测残差预感器3基于与第n-1画面的编码目标画面信号和预测残差SAD(n-1)相对应的伪预测残差BD(n-1)，校正从伪预测残差产生器2输入的、并对应于第n画面的伪预测残差BD(n)，其中，预测残差SAD(n-1)从编码器5被输入，并对应于第n-1画面的编码目标画面信号。接着，预测残差预感器3将作为校正结果获得的预期的预测残差PRED(n)输出到目标代码量决定器4。
目标代码量决定器4基于从预测残差预感器3输入的伪预测残差PRED(n)而计算两类目标代码量。一类是在将VBR(可变比特率)应用于第n画面的编码时的目标代码量(下文中，描述为VBR目标代码量BIT_VBR(n))。另一类是在将CBR(恒定比特率)应用于其的目标代码量(下文中，描述为CBR目标代码量BIT_CBR(n))。在计算之后，目标代码量决定器4将这些目标代码量之一作为目标代码量BIT_TGT(n)而输出到编码器5。
另外，编码器5向目标代码量决定器4通知占用VBV缓冲器(或CPB缓冲器)的数据量，并且，目标代码量决定器4基于占用VBV缓冲器(或CPB缓冲器)的数据量而计算VBV目标代码量BIT_VBV(n)。由此，如果VBV目标代码量BIT_VBV(n)小于VBR目标代码量BIT_VBR(n)和CBR目标代码量BIT_CBR(n)，则可将VBV目标代码量BIT_VBV(n)设置为目标代码量BIT_TGT。VBV缓冲器(或CPB缓冲器)是在编码器5中提供的虚拟缓冲器，并监视实际生成的代码量，使得在对编码的画面信号进行解码时不会发生溢出和下溢。VBV缓冲器是MPEG2中的术语，而CPB缓冲器是MPEG4-AVC(高级视频编码)中的术语。
编码器5是应用运动补偿预测编码方法的编码设备，即，基于例如MPEG2系统、MPEG4系统、MPEG4-AVC系统等的编码设备。编码器5根据从目标代码量决定器4输入的目标代码量BIT_TGT，而对输入编码目标画面信号进行压缩编码，以由此产生编码画面信号。此外，编码器5向预测残差预感器3输出通过压缩编码的处理过程而计算的实际预测残差SAD。
图2示出了伪预测残差产生器2的配置示例。参考图2的配置示例，帧内预测器11将帧内预测应用于输入的编码目标画面信号，以由此产生帧内预测画面，并将其输出到差分单元13。帧间预测器12将帧间预测器应用于输入的编码画面信号，以由此产生帧间预测画面，并将其输出到差分单元14。帧内预测器11和帧间预测器12不一定要能够产生与由例如应用MPEG2系统、MPEG4系统、MPEG4-AVC系统等的编码器5中包括的帧内预测器和帧间预测器所产生的画面精度相同的帧内预测画面和帧间预测画面。对于帧内预测器11和帧间预测器12，能够产生显示出对编码器5中的预测器产生的画面的大概相似的趋势的帧内预测画面和帧间预测画面就足够了。
差分单元13计算帧内预测器11产生的帧内预测画面和相应的编码目标画面信号的画面之间的差，并将计算结果作为帧内预测残差而输出到比较器15。差分单元14计算帧间预测器12产生的帧间预测画面和相应编码目标画面信号的画面之间的差，并将计算结果作为帧间预测残差而输出到比较器15。比较器15在每个宏块的基础上比较从差分单元13输入的帧内预测残差与从差分单元14输入的帧间预测残差，并采用较小者作为伪预测残差BD，以将其输出到后级预测残差预感器3。比较的区域单位不限于宏块，而可基于任何划分单位、对从编码目标画面的划分产生的每个区域进行比较。
图3示出了预测残差预感器3的配置示例。参考图3的配置示例，将与来自伪预测残差产生器2的第n(n＝1，2，...)画面相对应的伪预测残差BD(n)输入到预测残差计算器21和延迟器22。预测残差计算器21通过将值G(SAD(n-1)-BD(n-1))加到从伪预测残差产生器2输入的、并对应于第n画面的伪预测残差BD(n)(如方程式(1)所示)，而计算与第n画面的编码目标画面信号相对应的预期预测残差PRED(n)。通过将调整系数G乘以与由延迟器22延迟一个画面得到的第n-1画面的编码目标画面信号相对应的伪预测残差BD(n-1)、与由编码器5实际计算且对应于第n-1画面的编码目标画面信号的预测残差SAD(n-1)之间的差，而获得值G(SAD(n-1)-BD(n-1))。调整系数(G是等于或小于1的正数，并且是例如0.9。
PRED(n)＝BD(n)+G(SAD(n-1)-BD(n-1)) (1)除了与第n-1画面的编码目标画面信号相对应的伪预测残差BD(n-1)和预测残差SAD(n-1)之外，还可使用与第n-1画面之前的画面的编码目标画面信号相对应的伪预测残差和预测残差。例如，可使用与第n-2画面的编码目标画面信号相对应的伪预测残差BD(n-2)和预测残差SAD(n-2)。
然而，因为不存在第0画面，所以预测残差预感器3不能计算对应于第一画面的预期预测残差PRED(1)。因此，预测残差预感器3计算与第二画面之后的画面相对应的预期预测残差PRED。注意，后面将描述对应于第一画面的编码目标画面信号的压缩比的控制。
图4示出了目标代码量决定器4的配置示例。参考图4的配置示例，VBR分配器31通过将从预测残差预感器3输入的预期预测残差PRED(n)乘以预定系数k(例如0.2)(如方程式(2)所示)，或通过使用包括作为独立变量的、从预测残差预感器3输入的预期预测残差PRED(n)的函数f(PRED(n))(如方程式(3)所示)，而计算VBR目标代码量BIT_VBR(n)。
BIT_VBR(n)＝k·PRED(n) (2)BIT_VBR(n)＝f(PRED(n)) (3)对于系数k和函数f(x)，可取决于编码目标画面信号的画面质量和编码画面信号的使用目的，而可选地采用任何值和函数。另外，可根据画面的画面类型来改变系数k和函数f(x)。
CBR分配器32基于从预测残差预感器3输入的预期预测残差PRED(n)，取决于编码目标画面信号的画面类型而使用方程式(4-1)到(4-3)中的一个，来计算CBR目标代码量BIT_CBR(n)，使得在对编码目标画面信号编码时生成的代码量是基于GOP(画面组)的预定固定值。接着，CBR分配器32将计算的CBR目标代码量BIT_CBR(n)输出到比较器33。
CBR目标代码量BIT_CBR(n)_I(当第n画面是I画面时)＝R/(1+(Np·PREDp)/(PRED(n)·Kp)+(Nb·PREDb)/(PRED(n)·Kb)) (4-1)CBR目标代码量BIT_CBR(n)_P(当第n画面是P画面时)＝R/(Np+(Nb·PREDb·Kp)/(PRED(n)·Kb)) (4-2)CBR目标代码量BIT_CBR(n)_B(当第n画面是B画面时)＝R/(Nb+(Np·PREDp·Kb)/(PRED(n)·Kp)) (4-3)在方程式(4-1)到(4-3)中，R是指示预先分配给GOP的代码中还未被分配给任何画面的、尚未分配代码的量的虚拟缓冲器值。每次计算方程式(4-1)到(4-3)中的一个时，反馈计算结果，使得R变为从用于获得此计算结果的原始R减去反馈值而得到的值。例如，当GOP中画面的类型为I、B、B、P...的顺序时，按I、P、B、B、P...的顺序执行编码。因此，一开始用初始值代替方程式(4-1)中的R，从而计算BIT_CBR(n)_I。接着，用通过从初始值减去计算出的BIT_CBR(n)_I而获得的值代替方程式(4-2)中的R，从而计算BIT_CBR(n)_P。即，每次对画面编码时，从R的值减去画面的目标代码量。
Np是GOP中包括的全部画面中的还未对其计算目标代码量BIT_CBR(n)_P的P画面的数目。Nb是GOP中包括的全部画面中的还未对其计算目标代码量BIT_CBR(n)_B的B画面的数目。PREDp是与将要对其计算目标代码量BIT_CBR(n)的画面的之前且最接近的P画面相对应的预期预测残差。PREDb是与将要对其计算目标代码量BIT_CBR(n)的画面的之前且最接近的B画面相对应的预期预测残差。Kp是P画面的加权因子。Kb是B画面的加权因子。
可取决于编码目标画面信号的画面类型，通过使用在MPEG2 TM(测试模型)5步骤1中采用的方程式(5-1)到(5-3)代替方程式(4-1)到(4-3)，来计算CBR目标代码量BIT_CBR(n)。
CBR目标代码量BIT_CBR(n)_I(当第n画面是I画面时)＝R/(1+(Np·Xp)/(Xi·Kp)+(Nb·Xb)/(Xi·Kb)) (5-1)CBR目标代码量BIT_CBR(n)_P(当第n画面是P画面时)＝R/(Np+(Nb·Xb·Kp)/(Xp·Kb)) (5-2)
CBR目标代码量BIT_CBR(n)_B(当第n画面是B画面时)＝R/(Nb+(Np·Xp·Kb)/(Xb·Kp))(5-3)在方程式(5-1)到(5-3)中，R是预先分配给GOP的代码中剩余代码的量。每次计算方程式(5-1)到(5-3)中的一个时，R变为从先前计算中使用的原始R减去先前计算结果而获得的值。例如，当GOP中画面的类型为I、B、B、P...的顺序时，按I、P、B、B、P...的顺序执行编码。因此，一开始用初始值代替方程式(5-1)中的R，以便计算BIT_CBR(n)_I。接着，用通过从初始值减去I画面的代码量而获得的值代替方程式(5-2)中的R，以便计算BIT_CBR(n)_P。即，每次对画面编码时，从R的值减去画面的实际代码量。
Np是GOP中包括的全部画面中的还未对其计算目标代码量BIT_CBR(n)_P的P画面的数目。Nb是GOP中包括的全部画面中的还未对其计算目标代码量BIT_CBR(n)_B的B画面的数目。Xi、Xp和Xb分别是I画面、P画面和B画面的复杂度。Kp是P画面的加权因子。Kb是B画面的加权因子。
比较器33比较从VBR分配器31输入的VBR目标代码量BIT_VBR与从CBR分配器32输入的CBR目标代码量BIT_CBR。当VBR目标代码量BIT_VBR小于CBR目标代码量BIT_CBR时，比较器33将VBR目标代码量BIT_VBR作为目标代码量BIT_TGT输出。当VBR目标代码量BIT_VBR等于或大于CBR目标代码量BIT_CBR时，比较器将CBR目标代码量BIT_CBR作为目标代码量BIT_TGT输出。
可替换地，可以总是以固定的方式将VBR目标代码量BIT_VBR和CBR目标代码量BIT_CBR的其中一个作为目标代码量BIT_TGT不变地输出，而不由比较器33比较从VBR分配器31输入的VBR目标代码量BIT_VBR与从CBR分配器32输入的CBR目标代码量BIT_CBR。
另外，可替换地，比较器33可基于从编码器5提供的、占用VBV缓冲器(或CPB缓冲器)的数据量而决定目标代码量BIT_TGT。
下面将参考图5的流程图作出描述，该流程图关于由用于对应于第n画面的编码目标画面信号的压缩编码的画面信号处理设备1执行的画面压缩处理。
在步骤S1中，伪预测残差产生器2基于与第n画面相对应的输入编码目标画面信号，计算与第n画面相对应的伪预测残差BD(n)，并将其输出到预测残差预感器3。下面参考图6的流程图详细说明步骤S1中的处理。
在步骤S11中，帧内预测器11将帧内预测应用于第n画面的输入编码目标画面信号，以由此产生帧内预测画面，并将其输出到差分单元13。同时，帧间预测器12将帧间预测应用于第n画面的输入编码目标画面信号，以由此产生帧间预测画面，并将其输出到差分单元14。
在步骤S12中，差分单元13计算由帧内预测器11产生的帧内预测画面与第n画面之间的差，并将计算结果作为帧内预测残差输出到比较器15。同时，差分单元14计算由帧间预测器产生的帧间预测画面与第n画面之间的差，并将计算结果作为帧间预测残差输出到比较器15。
在步骤S13中，比较器15对于画面中的每个宏块，比较从差分单元13输入的帧内预测残差与从差分单元14输入的帧间预测残差，并采用较小者作为伪预测残差BD(n)，以将其输出到后级预测残差预感器3。这是步骤S1中的处理的详细描述的结束。
回到图5，在步骤S2中，预测残差预感器3基于与第n-1画面的编码目标画面信号相对应的伪预测残差BD(n-1)和从编码器5输出且对应于第n-1画面的编码目标画面信号的实际预测残差SAD(n-1)，校正从伪预测残差产生器2输入且对应于第n画面的伪预测残差BD(n)。接着，预测残差预感器3将作为校正结果而获得的预期预测残差PRED(n)输出到目标代码量决定器4。下面参考图7的流程图详细说明步骤S2中的处理。
在步骤S21中，预测残差计算器21从编码器5获取第n-1画面的编码目标画面信号的实际预测残差SAD(n-1)，并且还从延迟器22获取与第n-1画面的编码目标画面信号相对应的伪预测残差BD(n-1)。在步骤S22中，预测残差计算器21从伪预测残差产生器2获取对应于第n画面的伪预测残差BD(n)。
在步骤S23中，预测残差计算器21通过将值G(SAD(n-1)-BD(n-1))加到从伪预测残差产生器2输入的且对应于第n画面的伪预测残差BD(n)(如方程式(1)所示)，计算与第n画面的编码目标画面信号相对应的预期预测残差PRED(n)。通过将调整系数G乘以伪预测残差BD(n-1)(其与由延迟器22延迟一个画面得到的第n-1画面的编码目标画面信号相对应)与预测残差SAD(n-1)(即，由编码器5实际计算且对应于第n-1画面的编码目标画面信号)之间的差而获得值G(SAD(n-1)-BD(n-1))。这是步骤S2中的处理的详细描述的结束。
回到图5，在步骤S3中，目标代码量决定器4基于从预测残差预感器3输入的预期预测残差PRED(n)，而决定对应于第n画面的目标代码量BIT_TGT(n)，并将目标代码量BIT_TGT(n)输出到编码器5。下面参考图8的流程图详细描述步骤S3中的处理。
在步骤S31中，VBR分配器31基于从预测残差预感器3输入的预期预测残差PRED(n)，使用方程式(2)或(3)计算对应于第n画面的VBR目标代码量BIT_VBR(n)。图9示出了由VBR分配器31对任何序列(在某一周期内的编码目标画面信号)计算的VBR目标代码量BIT_VBR(n)的一个示例。在图9中，横坐标表示序列的经过时间，而纵坐标表示取决于多个编码画面的代码量而确定的比特率。如图9中的曲线51所示，VBR目标代码量BIT_VBR(n)取决于各个画面的复杂度(编码的困难度)等而变化，并且，因此，从后级编码器5输出的、取决于编码画面的代码量而确定的比特率经常超越预先作为目标的比特率的最大值(上限率L)。
在步骤S32中，CBR分配器32基于从预测残差预感器3输入的预期预测残差PRED(n)，根据对应于第n画面的编码目标画面信号的画面类型，而计算CBR目标代码量BIT_CBR(n)(如方程式(4-1)到(4-3)所示)，使得在对编码目标画面信号进行编码时生成的代码量是基于GOP的固定值(图9中的上限率L)。
尽管为了方便已描述了在不同的定时执行步骤S31中的处理和步骤S32中的处理，但实际上，可同时执行这些步骤。
在步骤S33中，比较器33确定从VBR分配器31输入的VBR目标代码量BIT_VBR(n)是否小于从CBR分配器32输入的CBR目标代码量BIT_CBR(n)。如果确定VBR目标代码量BIT_VBR(n)小于CBR目标代码量BIT_CBR(n)，则处理序列前进到步骤S34，其中，比较器33将VBR目标代码量BIT_VBR(n)作为目标代码量BIT_TGT(n)而输出到后级编码器5。
相反，如果在步骤S33中确定VBR目标代码量BIT_VBR(n)不小于CBR目标代码量BIT_CBR(n)，则处理序列前进到步骤S35。在步骤S35中，比较器33将CBR目标代码量BIT_CBR(n)作为目标代码量BIT_TGT(n)输出到后级编码器5。
当作为例子而采用与图9中的序列相同的序列时，如图10中的曲线71所示，从比较器33输出的目标代码量BIT_TGT(n)取决于各个画面的复杂度(编码的困难度)等而变化。然而，当从后级编码器5输出的取决于编码画面的代码量而确定的比特率达到预先作为目标的比特率的最大值(上限率L)时，比特率值稳定在上限率L。另外，由于对每个画面的编码而有规律地计算VBR目标代码量BIT_VBR(n)和CBR目标代码量BIT_CBR(n)这两者的特性，迅速地执行从VBR目标代码量BIT_VBR(n)到CBR目标代码量BIT_CBR(n)的切换。
目标代码量决定器4通过使用在实际编码前获得的预期预测残差PRED而计算目标代码量BIT_TGT(n)，并由此能够反映要编码的画面的代码量是小还是大。另外，目标代码量决定器4能在画面的编码前反映场景改变和序列的移动趋势，并由此能够分配适当的代码量。因此，可抑制画面质量的恶化。此外，当使用采用方程式(4-1)到(4-3)的方法时，不反馈从实际编码得到的所生成的代码以供使用。这个特征提供了目标代码量与实际结果代码量之间的偏移不容易累积的特性，并由此提供了稳定的操作。
回到图5，在步骤S4中，编码器5根据从编码代码量决定器4输入且对应于第n画面的目标代码量BIT_TGT(n)，而对与第n画面相对应的输入编码目标画面信号执行压缩编码，以由此产生编码画面信号。可使用任何方法作为用于根据目标代码量BIT_TGT(n)执行压缩编码、以由此产生编码画面信号的方法。例如，使用在MPEG2 TM5步骤2中采用的如下算法的方法是可用的，该算法在每个宏块的基础上逐点监视生成的代码量，并由此调整压缩比，以由此实现目标代码量。
另外，在MPEG2 TM5步骤2中，例如，如下方法是可用的，其中，将为每种画面类型独立提供的虚拟缓冲器(指示目标代码量与生成的代码量之间的差的实体)集成到单个虚拟缓冲器中，从而对各个画面共公地使用单个虚拟缓冲器。由于可稳定编码器5的操作，所以，此方法更有效。本受让人已提出了此方法，并已在日本专利公开号2003-230151中公开了该方法。
在日本专利公开号2003-230151中，具体地，基于画面的全局复杂度的比，而正规化不同画面类型之间的所生成比特量的差。相反，编码器5直接从预期预测残差计算目标代码量。
当对I画面编码时，使用方程式(6-1)计算虚拟缓冲器占用量dj，然后使用方程式(7-1)将虚拟缓冲器占用量dj转换为量化比例码Qi。当对P画面编码时，使用方程式(6-2)计算虚拟缓冲器占用量dj，然后使用方程式(7-2)将虚拟缓冲器占用量dj转换为量化比例码Qp。当对B画面编码时，使用方程式(6-3)计算虚拟缓冲器占用量dj，然后使用方程式(7-3)将虚拟缓冲器占用量dj转换为量化比例码Qb。
dj＝d0+B(j-1)-(Ti·(j-1))/MB_COUNT (6-1)dj＝d0+(Last_Ibit/Tp)·(B(j-1)-(Tp·(j-1))/MB_COUNT) (6-2)dj＝d0+(Last_Ibit/Tb)·(B(j-1)-(Tb·(j-1))/MB_COUNT) (6-3)Qi＝dj×QP/r (7-1)Qp＝dj×QP/r (7-2)Qb＝dj×QP/r+c (7-3)d0是虚拟缓冲器的初始占用量。B(j-1)是要编码的画面中从第一宏块到第j-1宏块的宏块中生成的代码量的总和。Last_Ibit是过去已被编码的I画面的生成的代码量。Ti、Tp和Tb分别是I画面、P画面和B画面的目标代码量。MB_COUNT是要编码的画面中宏块的数目。QP是在MPEG2 TM5中推荐的值(特别地，31)。r是反应(reaction)参数。c是校正值(例如，2)。
方程式(6-2)中的(Last_Ibit/Tp)的乘法和方程式(6-3)中的(Last_Ibit/Tb)的乘法等价于对单个虚拟缓冲器的使用的校正。可取决于画面类型改变编码时的相关加权，这类似于方程式(7-3)中校正值c的添加。
图11示出了在对输入到编码器5的编码目标画面信号进行编码的困难度(画面的复杂度)、与从编码器5输出的编码画面信号的比特率之间的关系。
当由图11的横坐标指示的画面的困难度相对低时，将VBR应用于编码目标画面信号的编码，并且，由直线81A指示困难度与比特率之间的关系。由此，当编码的困难度增加时，生成的代码量也增加。当画面的困难度进一步增加、从而生成的代码量达到上限率L时，应用CBR，并且，由此，比特率稳定(plateau)为如直线81B所示。图11中的直线81A的斜率对应于方程式(2)中的系数k。另外，例如，如果取决于应用而可选地确定方程式(3)中的函数f，则在采用VBR时可提供由曲线82指示的特性。
上述特征允许确保从编码器5输出的编码画面信号的代码量的上限。因此，当在例如信息记录介质中记录从编码器5输出的编码画面信号时，可确保介质的最大可记录时间。
如果在应用CBR时的上限率L被设置为高于正常值的值，则可提供允许画面以较高画面质量编码的高画面质量模式。相反，通过将上限率L设置为低于正常值的值，可提供允许具有特定容量的记录介质具有较长的可记录时间的长时间模式。
此外，通过改变方程式(2)中的系数k的值、或改变方程式(3)中的函数f，也能够实现高画面质量模式和长时间模式。
通过上述步骤，完成对与第n画面相对应的编码目标画面信号的编码。接着，作为对与第n+1画面相对应的编码目标画面信号的画面压缩处理，进行步骤S1和后续步骤。这是画面压缩处理的描述的结束。
在上述画面压缩处理中，对于预期预测残差PRED(n)的计算，利用了前一画面的实际预测残差SAD(n-1)。由此，不计算第一画面(例如，在序列开始处的I画面)的预期预测残差PRED(1)。因此，也不计算第一画面的目标代码量BIT_TGT(1)。由于该原因，对于第一画面，编码器5计算生成预设目标代码量BIT的代码的适当量化比例QP，然后对第一画面编码。
图12示出了编码器5的配置示例，限于关于第一画面的编码的部分。参考图12，将来自前一级的I画面的编码目标画面信号输入到帧内预测器41、帧内预测残差计算器42、以及正交变换器44。
帧内预测器41产生与I画面的输入编码目标画面信号相对应的帧内预测信号，并将其输出到帧内预测残差计算器42。帧内预测残差计算器42计算帧内预测残差(其是从帧内预测器41输入的帧内预测画面与作为原始画面的I画面之间的差)，并将其输出到比率控制器43。比率控制器43基于从帧内预测残差计算器42输入且对应于第I画面的帧内预测残差，计算量化比例QP，并将其输出到量化器45。正交变换器44执行正交变换处理，如对I画面的输入编码目标画面信号的离散余弦变换、或Karhunen-Loeve变换，并将作为处理结果而获得的变换系数输出到量化器45。量化器45根据从比率控制器43输入的量化比例QP，对从正交变换器44输入的变换系数进行量化，并将量化的变换系数输出到无损编码器46。无损编码器46对从量化器45输入的量化变换系数进行编码，以由此产生编码的画面信号。
下面将描述关于比率控制器43执行的处理，其基于与I画面相对应的帧内预测残差而计算量化比例QP。图13中的线段91-A、91-B和91-C示出量化比例QP与在对不同序列的开始处的I画面编码时获得的生成代码量BIT、与正在不同地改变的量化比例QP的值之间的关系。在图13中，纵坐标指示生成代码量BIT的对数ln(BIT)，而横坐标指示量化比例QP。
如从线段91-A到91-C清楚看到的那样，在任何序列中，生成代码量的对数ln(BIT)几乎随着量化比例QP的增加而线性减小。生成代码量的对数ln(BIT)与量化比例QP之间的这个关系是通常公知的。
当从对各个序列开始处的I画面的编码得到的生成代码量BIT被每个使用相应I画面的帧内预测残差ERROR正规化时，以由此如方程式(8)所示而获得值NORM_BIT。然后，计算值NORM_BIT的对数ln(NORM_BIT)，并将其与量化比例QP相关联地绘制，在图14中可确认，在图13中相互独立的线段91-A、91-B和91-C聚集成一条直线形式。
NORM_BIT＝BIT·(NORM/ERROR) (8)NORM是任何常量。在图14中，纵坐标指示使用帧内预测残差ERROR正规化的生成代码量BIT的对数ln(NORM_BIT)，而横坐标指示量化比例QP。
如图15所示，可由一条直线(在下文中，描述为代表直线)近似这些聚集线段。当由包括量化比例QP作为独立变量的线性函数描述此代表直线101时，线101被表达为方程式(9)。在方程式(9)中，a是代表直线101的斜率，而b是线101对纵坐标的截距。需要基于图14中所示的结果预先计算这些a和b。
ln(BIT·(NORM/ERROR))＝a·QP+b(9)变换方程式(9)而产生方程式(10)，其允许计算量化比例QP，以便实现期望的生成代码量BIT。
QP＝(ln(BIT·(NORM/ERROR))-b)/a (10)由此，比率控制器43中的方程式(10)的采用允许计算能在对序列开始处的I画面编码时提供期望的生成代码量BIT的量化比例QP。这个基于方程式(10)的计算等价于在图15中、通过代表直线101而从期望的生成代码量102获得的量化比例103的操作。向比率控制器43提供预先在方程式(10)中包括的BIT、NORM、a和b。如方程式(10)中的帧内预测残差ERROR那样，使用从帧内预测残差计算器42向比率控制器43提供的帧内预测残差。可替换地，如有必要，则可将伪预测残差预感器3中包括的帧内预测器11用于提供帧内预测残差。
下面将参考图16描述对序列开始处的I画面编码的编码器5的操作。在步骤S41中，帧内预测器41产生与I画面的编码目标画面信号相对应的帧内预测画面，并将其输出到帧内预测残差计算器42。帧内预测残差计算器42计算帧内预测残差，即从帧内预测器41输入的帧内预测画面与I画面之间的差，并将其输出到比率控制器43。
在步骤S42中，如方程式(8)所示，比率控制器43使用从帧内预测残差计算器42输入的帧内预测残差ERROR，而对预设的目标代码量BIT进行正规化。在步骤S43中，如方程式(10)所示，比率控制器43从正规化的目标代码量的对数减去b，并将减法结果除以a，以由此计算量化比例QP，然后将其输出到量化器45。在执行步骤S41到S43的处理期间，正交变换器44实现对I画面的输入编码目标画面信号的正交变换处理，并将作为处理结果而获得的变换系数输出到量化器45。在步骤S44中，量化器45根据从比率控制器43输入的量化比例QP而量化从正交变换器44输入的变换系数，并将量化变换系数输出到无损编码器46。无损编码器46对从量化器45输入的量化的变换系数进行编码，以由此产生编码画面信号。这是由编码器5执行的对序列开始处的I画面的编码的操作的描述的结束。
不仅可将上述的编码器5的操作应用于序列开始处的I画面，还可将其应用于例如在场景变化之后紧接着的I画面，甚至应用于常规的I画面。
上述操作提供了下面的优点在编码器5中，特别大的计算量和未包括在普通编码设备中的特定电路配置是不必要的；能将应用该操作的序列的范围较宽；由操作得到的成功和不成功的编码结果之间的影响的差异较小(即使当该操作导致非优化的编码结果时，其负面影响也较小)；以及可应用该操作的压缩比的范围较大。
还可将本发明用于数字摄像机。图17示出了应用了本发明的数字摄像机的配置示例。数字摄像机200捕捉目标对象的画面，以获取编码目标画面信号，并以类似于上述画面信号处理设备1的方式，对所获取的编码目标画面信号进行压缩编码，以由此产生编码画面信号。接着，数字摄像机200将产生的编码画面信号记录在记录介质中。
在大体分类中，数字摄像机200包括相机单元201、相机DSP(数字信号处理器)202、以及控制单元205。另外，数字摄像机200包括SDRAM(同步动态随机存取存储器)203、介质接口(I/F)204、操作部件206、LCD(液晶显示器)控制器207、LCD 208、外部接口(I/F)209、以及可拆卸记录介质210。
对于记录介质210，可采用以下各种介质中的任何种类，如采用半导体存储器的所谓的存储卡、诸如可记录DVD(数字多用盘)和可记录CD(致密盘)之类的光学记录介质、以及磁盘。在本实施例中，可将例如存储卡用作记录介质210。
相机单元201包括光学块211、CCD(电荷耦合器件)212、预处理电路213、光学块驱动器214、CCD驱动器215、以及定时生成器216。光学块211包括镜头、聚焦机构、快门机构、孔径(光圈)机构等。
控制单元205是微计算机，其中，经由系统总线255耦接了CPU(中央处理单元)251、RAM(随机存取存储器)252、刷新(flush)ROM(只读存储器)253、以及时钟电路254。控制单元205可控制数字摄像机200中的各个单元。
主要将RAM 252用作工作区，用于例如处理的中间结果的临时存储器。刷新ROM 253在其中存储要在CPU 251中执行的各种程序、以及处理所需的其它数据。时钟电路254能输出当前年、月、日、星期几、以及时间。
在捕捉画面时，控制单元205控制光学块驱动器214，使得驱动器214形成操作光学块211的驱动信号，以由此操作光学块211。响应于此，光学块211通过控制聚焦机构、快门机构以及孔径机构而获取目标对象的光学画面，然后将该光学画面聚焦到CCD 212上。
CCD 212对来自光学块211的画面进行光电转换，以输出所得信号，并响应于来自CCD驱动器215的驱动信号而操作。具体地，CCD 212在其中导入来自光学块211的目标对象的光学画面，并基于来自控制单元205所控制的定时生成器216的定时信号，将导入的目标对象的画面(画面信息)作为电信号提供给预处理电路213。如上所述，定时生成器216响应于控制单元205的控制，而形成用于提供预定定时的定时信号。另外，CCD驱动器215基于来自定时生成器216的定时信号，形成要提供给CCD 212的驱动信号。
预处理电路213执行对作为电信号从CCD 212输入的画面信息的CDS(相关双采样)处理，从而保留理想的信号的S/N比，并对信号执行AGC(自动增益控制)处理，以由此控制增益。此外，预处理电路213对信号进行A/D(模拟/数字)转换，以由此形成被转换为数字信号(在下文中，描述为编码目标画面信号)的画面数据，并将该信号输出到DSP 202。
DSP 202中的AF AE AWB处理器221对从相机单元1提供的编码目标画面信号执行相机信号处理，如AF(自动聚焦)、AE(自动曝光)和AWB(自动白平衡)。压缩器222执行编码目标画面信号(已对其执行各种相机信号处理)的压缩编码，以由此产生编码画面信号。压缩器222具有与图1的画面信号处理设备1相似的配置，并以与图1的画面信号处理设备1相似的方式操作，因此省略其详细描述。
经由系统总线255和介质I/F 204，将由压缩器222产生的编码画面信号记录在记录介质210中。解压器223响应于输入到操作部件206的用户操作，对从记录介质210检索到的编码画面信号执行解压处理(展开处理)，并将解压后的画面信号经由系统总线255提供给LCD控制器207。LCD控制器207将所提供的画面信号的格式转换为可适用于LCD 208的格式，并将所得到的画面信号提供给LCD 208。由此，在LCD 208的屏幕上显示与记录介质210中记录的编码画面信号相对应的画面。
将外部I/F 209耦接到例如外部个人计算机。由此，通过I/F 209，接收到从个人计算机提供的编码画面信号，并将记录介质210中记录的编码画面信号提供给外部计算机等。另外，将通信模块耦接到外部I/F 209，这允许将数字摄像机200耦接到诸如互联网的网络上，并经由该网络交换各种数据。可作为IEEE(电气和电子工程师协会)的有线接口、USB(通用串行总线)等而提供外部I/F 209。可替换地，其可作为用于光或无线电波的无线接口而被提供。即，外部I/F 209可以是有线和无线接口的任意接口。
可由类似画面信号处理设备或数字摄像机200的硬件执行上述的系列处理。可替换地，可通过软件执行这些处理。当通过软件执行系列处理时，从合并到专用硬件中的计算机中的记录介质等，或者从具有例如图10所示的配置、且允许通过在其中安装各种程序而执行其各种功能的通用个人计算机300安装构成软件的程序。
图18所示的个人计算机300包括CPU 301。经由总线304将CPU 301耦接到输入/输出接口305。还将ROM 302和RAM 303耦接到总线304。
将输入/输出接口305耦接到由诸如键盘、鼠标、远程控制器(通过其用户输入操作命令)形成的输入部件306、输出视频和音频的输出部件307、以及由存储程序和各种数据的硬盘驱动器等形成的存储单元308。另外，还将输入/输出接口305通信单元309(其经由互联网代表的网络执行通信处理)、以及从记录介质311读取数据和向记录介质311写入数据的驱动器310。
用于使个人计算机300执行上述的系列处理的程序被以存储在记录介质311中、随后由驱动器310检索的状态提供给个人计算机，以便被安装到并入存储单元308的硬盘驱动器中。将安装在存储单元308中的程序从存储单元308载入RAM 303中，并根据输入到输入部件306的用户操作、响应于来自CPU 301的指令而执行该程序。
在本说明书中，描述记录介质中记录的程序的步骤不仅包括根据所述顺序按时间次序执行的处理，还包括不必按时间次序执行、而是并行或单独执行的处理。
权利要求
1.一种画面信号处理设备，其根据预定编码系统，执行对用于显示运动画面的画面信号的压缩编码，该画面信号处理设备包括帧内预测残差计算器，其对构成运动画面的静态画面产生帧内预测画面，并计算指示静态画面与帧内预测画面之间差异的帧内预测残差；帧间预测残差计算器，其对构成运动画面的静态画面产生帧间预测画面，并计算指示静态画面与帧间预测画面之间差异的帧间预测残差；伪预测残差产生器，其通过使用帧内预测残差或帧间预测残差中的至少一个，而产生对应于静态画面的伪预测残差；预期预测残差计算器，其基于与第n静态画面的前一静态画面相对应的伪预测残差、以及与第n静态画面的前一静态画面相对应的实际预测残差，对由伪预测残差产生器产生且对应于第n静态画面的伪预测残差进行校正，以计算与第n静态画面相对应的预期预测残差；压缩比控制器，其基于由预期预测残差计算器计算且对应于第n静态画面的预期预测残差，控制与第n静态画面相对应的画面信号的压缩编码的压缩比；以及编码器，其根据压缩比控制器的控制而执行对与第n静态画面相对应的画面信号的压缩编码，并将通过压缩编码的处理过程产生且对应于第n静态画面的实际预测残差提供给预期预测残差计算器。
2.如权利要求1所述的画面信号处理设备，其中对于在静态画面中设置且具有预定大小的每个分割区域，伪预测残差产生器采用帧内预测残差和帧间预测残差中的较小者，以产生与该静态画面相对应的伪预测残差。
3.如权利要求2所述的画面信号处理设备，其中，所述分割区域是宏块。
4.如权利要求1所述的画面信号处理设备，其中预期预测残差计算器通过将特定值加到由伪预测残差产生器产生且对应于第n静态画面的伪预测残差，而计算与第n静态画面相对应的预期预测残差，通过将对应于第n静态画面的前一静态画面的伪预测残差与对应于第n静态画面的前一静态画面的实际预测残差之间的差乘以预定系数，而获得该特定值。
5.如权利要求1所述的画面信号处理设备，其中所述预定编码系统是MPEG(运动画面专家组)系统。
6.如权利要求1所述的画面信号处理设备，其中所述预定编码系统是MPEG4-AVC(高级视频编码)系统。
7.一种画面信号处理方法，用于根据预定编码系统、执行对用于显示运动画面的画面信号的压缩编码，该画面信号处理方法包括帧内预测残差计算步骤，用于对构成运动画面的静态画面产生帧内预测画面，并计算指示静态画面与帧内预测画面之间差异的帧内预测残差；帧间预测残差计算步骤，用于对构成运动画面的静态画面产生帧间预测画面，并计算指示静态画面与帧间预测画面之间差异的帧间预测残差；伪预测残差产生步骤，用于通过使用帧内预测残差或帧间预测残差中的至少一个，而产生对应于静态画面的伪预测残差；预期预测残差计算步骤，用于基于与第n静态画面的前一静态画面相对应的伪预测残差、以及与第n静态画面的前一静态画面相对应的实际预测残差，对通过伪预测残差产生步骤中的处理而产生且对应于第n静态画面的伪预测残差进行校正，以计算与第n静态画面相对应的预期预测残差；压缩比控制步骤，用于基于通过预期预测残差计算步骤中的处理而计算且对应于第n静态画面的预期预测残差，控制与第n静态画面相对应的画面信号的压缩编码的压缩比；以及编码步骤，用于根据压缩比控制步骤中的处理的控制而执行对与第n静态画面相对应的画面信号的压缩编码，并为预期预测残差计算步骤中的处理提供通过压缩编码的处理过程产生且对应于第n静态画面的实际预测残差。
8.一种记录介质，其存储用于根据预定编码系统、执行对用于显示运动画面的画面信号的压缩编码的计算机可读程序，该程序包括帧内预测残差计算步骤，用于对构成运动画面的静态画面产生帧内预测画面，并计算指示静态画面与帧内预测画面之间差异的帧内预测残差；帧间预测残差计算步骤，用于对构成运动画面的静态画面产生帧间预测画面，并计算指示静态画面与帧间预测画面之间差异的帧间预测残差；伪预测残差产生步骤，用于通过使用帧内预测残差或帧间预测残差中的至少一个而产生对应于静态画面的伪预测残差；预期预测残差计算步骤，用于基于与第n静态画面的前一静态画面相对应的伪预测残差、以及与第n静态画面的前一静态画面相对应的实际预测残差，对通过伪预测残差产生步骤中的处理而产生且对应于第n静态画面的伪预测残差进行校正，以计算与第n静态画面相对应的预期预测残差；压缩比控制步骤，用于基于通过预期预测残差计算步骤中的处理而计算且对应于第n静态画面的预期预测残差，控制与第n静态画面相对应的画面信号的压缩编码的压缩比；以及编码步骤，用于根据压缩比控制步骤中的处理的控制而执行对与第n静态画面相对应的画面信号的压缩编码，并为预期预测残差计算步骤中的处理提供通过压缩编码的处理过程产生且对应于第n静态画面的实际预测残差。
9.一种用于根据预定编码系统、执行对用于显示运动画面的画面信号的压缩编码的程序，该程序使得计算机执行包括如下步骤的处理帧内预测残差计算步骤，用于对构成运动画面的静态画面产生帧内预测画面，并计算指示静态画面与帧内预测画面之间差异的帧内预测残差；帧间预测残差计算步骤，用于对构成运动画面的静态画面产生帧间预测画面，并计算指示静态画面与帧间预测画面之间差异的帧间预测残差；伪预测残差产生步骤，用于通过使用帧内预测残差或帧间预测残差中的至少一个而产生对应于静态画面的伪预测残差；预期预测残差计算步骤，用于基于与第n静态画面的前一静态画面相对应的伪预测残差、以及与第n静态画面的前一静态画面相对应的实际预测残差，对通过伪预测残差产生步骤中的处理而产生且对应于第n静态画面的伪预测残差进行校正，以计算与第n静态画面相对应的预期预测残差；压缩比控制步骤，用于基于通过预期预测残差计算步骤中的处理而计算且对应于第n静态画面的预期预测残差，控制与第n静态画面相对应的画面信号的压缩编码的压缩比；以及编码步骤，用于根据压缩比控制步骤中的处理的控制而执行对与第n静态画面相对应的画面信号的压缩编码，并为预期预测残差计算步骤中的处理提供通过压缩编码的处理过程产生且对应于第n静态画面的实际预测残差。
10.一种摄像机，其根据预定编码系统而执行与所捕捉的运动画面相对应的画面信号的压缩编码，并将所得画面信号记录到信息记录介质，该摄像机包括画面捕捉单元，其捕捉目标对象的运动画面，并产生画面信号；帧内预测残差计算器，其对构成由画面捕捉单元捕捉的运动画面的静态画面产生帧内预测画面，并计算指示静态画面与帧内预测画面之间差异的帧内预测残差；帧间预测残差计算器，其对构成由画面捕捉单元捕捉的运动画面的静态画面产生帧间预测画面，并计算指示静态画面与帧间预测画面之间差异的帧间预测残差；伪预测残差产生器，其通过使用帧内预测残差或帧间预测残差中的至少一个而产生对应于静态画面的伪预测残差；预期预测残差计算器，其基于与第n静态画面的前一静态画面相对应的伪预测残差、以及与第n静态画面的前一静态画面相对应的实际预测残差，对由伪预测残差产生器产生且对应于第n静态画面的伪预测残差进行校正，以计算与第n静态画面相对应的预期预测残差；压缩比控制器，其基于由预期预测残差计算器计算且对应于第n静态画面的预期预测残差，控制与第n静态画面相对应的画面信号的压缩编码的压缩比；编码器，其根据压缩比控制器的控制而执行对与第n静态画面相对应的画面信号的压缩编码，并将通过压缩编码的处理过程产生且对应于第n静态画面的实际预测残差提供给预期预测残差计算器；以及记录器，其将已由编码器压缩编码的画面信号记录在信息记录介质中。
全文摘要
一种图像信号处理装置、图像信号处理方法、记录介质以及摄像机，其中，能在图像的实际编码前，以较高精确度预测要编码的图像的残差。将来自伪预测残差产生部件的、对应于第n图像的伪预测残差BD(n)输入到预测残差计算部件(21)和延迟部件(22)。预测残差计算部件(21)通过将调整系数G乘以已由延迟部件(22)延迟一个图像量且对应于第(n－1)图像的编码图像信号的伪预测残差BD(n－1)与已由编码部件(5)实际计算出且对应于第(n－1)图像的编码图像信号的预测残差SAD(n－1)之间的差，以产生值G(SAD(n－1)－BD(n－1))，并且，进一步通过将其加上来自伪预测残差产生部件(2)且对应于第n图像的伪预测残差BD(n)，而计算并获得对应于第n图像的编码图像信号的潜在预测残差PRED(n)。可将本发明用于数字摄像机。
文档编号H04N5/232GK1957615SQ20058001641
公开日2007年5月2日 申请日期2005年3月4日 优先权日2004年4月9日
发明者小川要, 矢崎阳一, 关贵仁 申请人:索尼株式会社