专利名称：图像处理装置以及图像处理方法
技术领域：
本文公开的技术涉及检测多个帧之间的图像信号的相关性以便检测这些帧之间的运动矢量的图像处理装置以及图像处理方法。
背景技术：
从图像信息本身中确定两个屏幕图像之间的运动矢量的块匹配技术已经使用很长时间了。块匹配的发展主要与电视摄像机的摇镜头-倾斜检测或图像拾取对象跟踪、 MPEG(运动图像专家组)系统的视频编码等联系在一起来进行。并且，在九十年代，块匹配技术通过图像叠加在低照度图像拾取时应用于像无传感器摄像机晃动校正和降噪(下文称为NR)那样的各种应用。块匹配是计算两个屏幕图像之间的运动矢量的方法，这两个屏幕图像包括作为关注屏幕图像的参考屏幕图像和参考屏幕图像的运动所基于的屏幕图像(下文将后一种屏幕图像称为目标屏幕图像)。一旦计算了两个屏幕图像之间的运动矢量，就通过计算参考屏幕图像与目标屏幕图像之间的相关性对预定尺寸的矩形区域的一个块计算运动矢量。存在两种情况，包括像按照MPEG系统的运动检测的情况那样目标屏幕图像在时间上先于参考屏幕图像的一种情况、以及像例如通过下文所述的图像帧叠加降噪的情况那样参考屏幕图像在时间上先于目标屏幕图像的另一种情况。应该注意到，用在本文中的术语屏幕图像表示由一个帧或一个场的图像数据形成和作为一个图像显示在显示装置上的图像。但是，为了便于本文描述起见，屏幕图像有时称为帧，假设屏幕图像由一个帧形成。例如，参考屏幕图像有时称为参考帧，并且目标屏幕图像有时也称为目标帧。在块匹配方法中，将目标帧划分成多个目标块，并且对于每个目标块，将搜索范围设置成一个参考帧。然后，从图像存储器中读出目标帧的目标块和参考帧的搜索范围内的参考块，并为每个像素计算SAD (绝对差之和)值，以形成搜索范围的程度的SAD值表。SAD 值是绝对差值之和。然后，将SAD值的最小值确定为与目标块有关的运动矢量。已
公开日本专利第2009-81596号(下文称为专利文献I)描述了检测运动矢量的处理的例子。
发明内容
块匹配处理电路消耗了大量硬件资源，并且为减少这样资源的方法提出了各种建议。另一方面，块匹配处理需要大量时间，并且决定整个电路的吞吐量。因此，资源和处理时间总具有折中关系，不能唯一地确定它们之间的平衡。例如，如果将基于分层结构的匹配处理当作一个例子，则需要等于像对于 VGA(640X480)等的图像两个分层或对于12M(4，000X3，000)的图像三个分层那样的分层
数的变量数。此外，一般说来，像加上静止画面的连续拍摄功能那样，对付摄像机晃动引起的整个图像模糊的应用也对付搜索范围较大的较大摄像机晃动。另一方面，在将块匹配处理部分用作矢量检测器的情况下，搜索范围和所需处理速度取决于要使用的应用而变。因此，一般不能断定宁愿保证较大搜索范围。尤其，当配置含有运动检测引擎的系统时，最好是运动检测部分的控制部分可以可编程地针对搜索范围、分层数等改变分层块匹配的配置。例如，控制部分最好像例如 CPU (中央处理单元)或DSP (数字信号处理器)那样依照程序来工作。此外，在与像MPEG那样的编解码处理有关的领域中，基于处理器的运动检测引擎或基于处理器的DCT处理引擎已经提出来很久了。例如，已经提出了将SAD算术运算单元和多个处理器并联连接以实现可编程运动检测处理的引擎。然而，关于像MPEG编解码或视频帧NR那样需要实时特性的处理，在需要可编程配置的同时，需要高速进行处理。例如，专利文献I提到了在进行分层块匹配处理的情况下的处理时间的问题。专利文献I解决了如果根据缩小面上的运动矢量检测和基本面上的运动矢量检测的过渡，不知道缩小面的运动矢量检测的结果，则不能通过构建管线访问用于基本面上的运动矢量检测的参考块的问题。然而，为了编程这样的复杂管线，要检查内部处理中的各种状态，这使CPU配置复杂化。按照本公开技术的一个实施例，提供了一种图像处理装置，其包括图像处理部分， 适用于计算多个帧之间的图像信号的运动矢量；第一控制部分，适用于可编程地控制所述图像处理部分以便进行运动检测；以及第二控制部分，适用于在事先确定的处理状态下控制所述图像处理部分以便进行运动检测。在该图像处理装置中，作为图像处理部分对运动矢量的计算处理，可以通过组合或有选择地使用可编程地控制运动矢量计算的处理状态和事先确定的处理状态进行适合图像信号的状态的适当运动矢量计算。按照本公开技术的另一个实施例，提供了一种图像处理方法，其包括计算多个帧之间的图像信号的运动矢量的图像处理；可编程地控制图像处理的进行以便进行运动检测的第一控制处理；以及在事先确定的处理状态下控制图像处理以便进行运动检测的第二控制处理。借助于该图像处理装置，可以在适当控制状态下进行运动矢量计算。例如，当进行块匹配处理，可以应用对付分层数量、匹配并行操作次数和搜索范围的变化的可编程控制。 另一方面，对于实时处理，可以应用为独占使用等的每种模式准备的控制部分，并且可以自动进行块匹配处理。本公开技术的上面和其它特征和优点可以从结合附图所作的如下描述以及所附权利要求书中明显看出，在附图中用相同的标号表示相同的部分或元件。
图I是示出作为按照本公开技术的一个实施例的图像处理装置的成像装置的配置的例子的方块图；图2是例示通过成像装置的拾取图像的降噪处理的一个例子的示意图3是例示通过成像装置的拾取图像的降噪处理的另一个例子的示意图；图4和5是不出基本面和缩小面的例子的不意图；图6A 6C是例示基本面和缩小面的处理的例子的示意图；图7是例示成像装置的运动检测和运动补偿部分的操作的例子的示意图；图8是示出成像装置的运动检测和运动补偿部分的配置的例子的方块图；图9和10是示出运动检测和运动补偿部分的一部分的详细配置的不同例子的方 块图；图11是示出成像装置的图像叠加部分的配置的例子的方块图；图12和13是示出运动检测和运动补偿部分的控制配置的不同例子的方块图；图14A和14B是为了比较分别例示了成像装置的实时操作和通用操作的例子的示 意图；图15A和15B是分别例示成像装置的实时操作的例子和矩形操作的例子的示意 图；图16是例示成像装置的实时操作的流程的例子的示意图；图17是例示成像装置的实时操作的处理过程的例子的示意图；图18是例示通过成像装置的实时操作的处理的例子的示意图；图19是例示通过成像装置的矩形操作的处理的例子的示意图；图20是例示成像装置的操作的例子的处理时序图；图21和22是例示成像装置的图像处理的例子的流程图；图23和24是例示成像装置的分层匹配处理的例子的流程图；以及图25是例示成像装置取决于图像尺寸的分层数量和缩小面的缩小率的例子的视 图。
具体实施例方式在下文中，按如下次序描述本公开技术的实施例I.成像装置的配置(图I 3)2.运动检测和运动补偿部分的处理配置(图4 11)3.运动检测和运动补偿部分的控制配置(图12 20和25)4.拾取图像的降噪处理的概况的流程(图21和22)5.分块块匹配处理的流程的例子(图23和24)I.成像装置的配置作为本公开技术的实施例，将参考附图描述作为图像处理装置的成像装置。该成像装置包括图像处理部分，该图像处理部分进行通过块匹配检测两个屏幕图 像之间的运动矢量，使用检测的运动矢量生成运动补偿图像，以及将生成的运动补偿图像 和作为降噪对象的图像相互叠加进行降噪的图像处理。首先，描述该图像处理的概述。在该成像装置中，使用运动检测和运动补偿定位，然后叠加或相加相继拾取的多 个图像，使得可以获得噪声降低了的图像。尤其，由于多个图像中的噪声随机出现，所以如 果叠加相同内容的图像，则在所得图像中噪声会降低。这里应该注意到，在如下描述中，将使用运动检测和运动补偿叠加多个图像来降低噪声称为NR (降噪)，将通过NR降低了噪声的图像称为NR图像。此外，在本说明书中，将要应用降噪的屏幕图像定义为目标屏幕图像或目标帧，将要叠加的屏幕图像定义为参考屏幕图像或参考帧。相继拾取的屏幕图像作为图像拾取人员等晃动摄像机的结果而呈现图像位移，为了进行图像叠加，图像的定位是很重要的。这里要考虑的是不仅存在像摄像机晃动那样的整个屏幕图像的晃动而且存在屏幕图像中图像拾取对象的运动。在本例的成像装置中，在拾取静止画面图像时，像在图2中看到的那样高速拾取多个图像，并将首先拾取的图像确定了目标帧100。然后，将从第二拾取图像开始的预定数目的拾取图像确定为参考巾贞101 ο然后，进行目标巾贞100和参考巾贞101的置加，并将所得图像记录成静止画面拾取图像。尤其，如果图像拾取人员按下成像装置的快门按钮，则高速拾取预定数目的图像，并在首先拾取的图像或帧上叠加时间上稍后拾取的多个图像或帧。另一方面，在运动画面图像拾取时，将当前从图像拾取设备输出的当前帧的图像确定为目标帧的图像100，而将过去前一帧的图像确定为参考帧的图像101。于是，为了对当前帧的图像进行降噪，将当前帧的前一帧的图像叠加在当前帧的图像上。进行像刚才所述那样的运动检测和运动补偿的成像装置的配置将参考图I加以描述。显示在图I中的成像装置包括与系统总线2连接的CPU (中央处理单元)1，并且还包括与系统总线2连接的拾取图像信号处理系统、用户操作输入部分3、大容量存储器40、 记录和再现装置部分5等。应该注意到，尽管未示出，CPU I包括存储进行各种软件处理的程序的ROM(只读存储器)、用作工作区的RAM(随机存取存储器)等。这也类似地适用于描述在本说明书中的其它CPU。此外，CPU I有时被称为系统CPU 1，以便将CPU I与下文所述的其它CPU区分开。大容量存储器40由像DRAM那样具有相对大存储容量的存储器和存储器的控制器构成，并且是存储一个帧或多个帧的图像数据的图像存储器。存储器控制器可以配备在大容量存储器40的外部，使得由存储器控制器通过系统总线2等控制存储器的写入和读取。 应该注意到，下文将大容量存储器40称为图像存储器40。图I的成像装置的拾取图像信号处理系统通过用户操作输入部分3接收图像拾取记录开始操作，并进行像下文所述那样的拾取图像数据的记录处理。并且，图I的成像装置的拾取图像信号处理系统通过用户操作输入部分3接收拾取记录图像的再现开始操作，并进行记录在记录和再现装置部分5的记录介质上的拾取图像数据的再现处理。在拾取图像信号处理系统中，通过包括图像拾取透镜IOL的未示出摄像机光学系统来自图像拾取对象的入射光照射在图像拾取设备11上，被图像拾取设备11拾取成图像。 在显示在图I中的例子中，图像拾取设备11由CCD (电荷耦合器件)成像器配置。应该注意到，图像拾取设备11另外可以由像CMOS(互补金属氧化物半导体)成像器那样的任何其它成像器配置。在本实施例的成像装置中，如果执行图像拾取记录开始操作，则通过图像拾取透镜IOL输入的图像被图像拾取设备11转换成拾取图像信号。以作为与来自定时信号生成部分12的定时信号同步的信号、由红色(R)、绿色(G)和蓝色(B)三原色配置的拜耳(Bayer) 阵列的原始信号的形式将拾取图像信号输出成模拟拾取图像信号。将输出的模拟拾取图像
6信号供应给预处理部分13，经受像缺陷校正和伽玛校正那样的预处理。将所得信号供应给数据转换部分14。数据转换部分14将输入其中的原始信号的模拟拾取图像信号转换成由亮度信号成分Y和色差信号成分Cb/Cr构成的数字图像数据，S卩，YC数据。数据转换部分14将数字图像数据作为目标图像供应给运动检测和运动补偿部分16。在运动检测和运动补偿部分 16中，将数字图像数据存储到缓冲存储器16a中用于目标图像的区域中。并且，运动检测和运动补偿部分16获取已经作为参考图像写入图像存储器40中的前一帧的图像信号。将所获参考图像的图像数据存储到运动检测和运动补偿部分16的缓冲存储器16a中用于参考图像的区域中。缓冲存储器16a的具体配置的例子将在下文描述。运动检测和运动补偿部分16使用目标帧的图像数据和参考帧的图像数据进行下文所述的块匹配处理，以便以目标块为单位检测运动矢量。当要检测运动矢量时，进行缩小面的搜索和基本面的搜索。当检测运动矢量时，计算和输出代表检测运动矢量的精度的命中率β。然后，运动检测和运动补偿部分16基于以像上述那样的方式检测的运动矢量以块为单位进行运动补偿，以生成运动补偿图像。将生成的运动补偿图像和原始目标图像的数据供应给配置图像叠加部分17的相加率计算部分171和相加部分172。相加率计算部分171基于命中率β计算目标图像与运动补偿图像之间的相加率 α，并将计算的相加率α供应给相加部分172。相加部分172以相加率α进行目标图像的数据和运动补偿图像的数据的相加处理，从而进行图像叠加处理，以获得噪声降低的相加图像。应该注意到，下文将噪声降低的相加图像称为NR图像。将作为从相加部分172输出的叠加结果的噪声降低相加图像的图像数据存储到图像存储器40中。图像存储器40将一个帧的NR图像的数据存储和保留到图像存储器40中的IV前帧存储部分41中。除了 IV前帧存储部分41之外，图像存储器40还包括2V前帧存储部分 42。在每个周期之后将IV前帧存储部分41中的存储数据传送到2V前帧存储部分42。与将存储数据从IV前帧存储部分41传送到2V前帧存储部分42存在连锁关系地将存储在2V 前帧存储部分42中的数据读出到分辨率转换部分37中。应该注意到，虽然在显示在图I中的配置中，存储了两个帧的图像数据，但在运动检测和运动补偿部分16等获取过去更多个帧的图像数据的情况下，可以存储更多个过去帧的图像数据用作参考帧。分辨率转换部分37将从2V前帧存储部分42中读出的数据转换成用于显示或用于输出的分辨率的图像数据，并且在转换之后的图像数据要被记录和再现装置部分5记录的情况下，由运动画面编解码部分19转换图像数据。通过运动画面编解码部分19转换获得的图像数据被记录和再现装置部分5记录在记录介质上，然后在需要时由记录和再现装置部分5从记录介质中读出。 然后，将从分辨率转换部分37输出的图像数据或记录和再现装置部分5再现的图像数据供应给NTSC(国家电视系统委员会)编码器20。图像数据被NTSC编码器20转换成NTSC制式的标准彩色视频信号，并供应给由例如液晶显示面板构成的监视器显示单元
6。由于以这种方式将标准彩色视频信号供应给监视器显示单元6，所以将监视器图像显示在监视器显示单元6的显示屏上。应该注意到，尽管在图I中未示出，但可以通过视频输出端将来自NTSC编码器20的输出视频信号引出到外部。2.运动检测和运动补偿部分的处理配置运动检测和运动补偿部分16使用作为绝对差值之和的SAD值进行块匹配处理，以便进行运动矢量检测。<分层块匹配处理的概况>在基于块匹配的一般运动矢量检测处理中，按像素单元(即，以一个像素或多个像素为单位)相继移动参考块，并计算与各个移动位置上的参考块有关的SAD值。然后，从计算的SAD值当中检测指示最小值的SAD值，然后基于呈现最小SAD值的参考块位置检测
运动矢量。但是，对于像刚才所述那样的运动矢量检测处理，由于在搜索范围内按像素单元相继移动参考块，所以用于计算SAD值的匹配处理的次数与搜索范围成比例地增加。因此， 存在使匹配处理时间增加并且也使SAD表的容量增大的问题。因此，为每个目标图像或目标帧和参考图像或参考帧生成缩小图像，将生成的缩小图像用于进行块匹配。然后，根据针对缩小图像的运动检测的结果进行基于原始目标图像的块匹配。应该注意到，下文将缩小图像称为缩小面，而将未缩小的原始图像称为基本面。于是，在本例中，首先对缩小面进行块匹配，然后将块匹配的结果用于进行对基本面的块匹配。图4和5例示了目标帧或图像和参考帧或图像的图像缩小。尤其，在本例中，在水平方向和垂直方向都将基本面目标帧130缩小到原来的1/η(η是正值)，以生成，例如，像在图4中看到那样的缩小面目标块132。于是，划分基本面目标帧130形成的多个基本面目标块131的每一个对应于缩小面目标帧中,在水平和垂直方向尺寸缩小到1/ηX I/η的缩小面目标块133。然后，依照目标帧的图像缩小率I/η缩小每个参考帧。尤其，在水平和垂直方向都使基本面参考帧134缩小到原来的1/η，变成像在图5中看到那样的缩小面参考块135。然后，在缩小面参考块135上检测在基本面参考帧134上检测的与运动补偿块103有关的运动矢量104,作为缩小成1/ηΧ1/η的缩小面运动矢量136。应该注意到，目标帧和参考帧的图像缩小率彼此相等。但是，为了减少算术运算量，可以将彼此不同的图像缩小率用于目标帧或图像和参考帧或图像。在这种情况下，通过像像素内插那样的处理调整帧的像素数以便进行匹配。并且，虽然在垂直方向和水平方向的缩小率彼此相等，但在垂直方向和水平方向之间缩小率可以不同。例如，如果将I/η的缩小率应用于水平方向而将l/m(m是正值并且不等于η)的缩小率应用于垂直方向，则缩小屏幕图像相对于原始屏幕图像具有1/nXl/m 的尺寸。图6A 6C例示了缩小面参考矢量与基本面参考矢量之间的关系。假设在基本面参考帧134中，以像在图6A中所看到那样的方式确定运动检测原点105和搜索范围106。 此时，在缩小到1/ηX I/η的缩小面参考帧135上，搜索范围是像在图6Β中看到的那样缩小到1/nXl/n的缩小面搜索范围137。并且，在本例中，将代表缩小面参考巾贞135上相对于运动检测原点105的位置位移量的缩小面参考矢量138设置在缩小面搜索范围137内。然后，评估缩小面参考矢量138 所指的位置上缩小面参考块139与缩小面目标块131 (在图6A 6C中未示出)之间的相关性。在这种情况下，由于在缩小面上进行块匹配，所以可以减少缩小面参考帧135内要对其计算SAD值的缩小面参考块位置(即，缩小面参考矢量)的数量。由于以这种方式减少了计算SAD的次数(即，匹配处理的次数)，所以可以相应地提高处理速度，以及可以相应地缩小SAD表的规模。通过设置在响应缩小面搜索范围137确定的缩小面匹配处理范围143中的多个缩小面参考块139与缩小面目标块131之间的块匹配进行的相关性评估像显示在图7中的那样获得。通过相关性评估，计算缩小面参考帧135中缩小面运动矢量136。因为图像缩小到 1/nXl/n，所以缩小面运动矢量136的精度降低到一个像素的η倍。因此，即使将计算的缩小面运动矢量136增大到η倍，也不能在基本面参考帧134上获得一个像素精度的运动矢量 104。但是，显而易见，在基本面参考帧134中，在通过将缩小面运动矢量136增大到η 倍获得的运动矢量的附近存在一个像素精度的运动矢量104。因此，在本例中，如图6C和7所示，把基本面参考帧134上将缩小面运动矢量136 增大到η倍获得的运动矢量，即，基本面参考矢量141所指的位置当作中心。在估计可能存在运动矢量104的小区域中，设置基本面搜索范围140，并响应如此设置的基本面搜索范围 140设置基本面匹配处理范围144。然后，作为指示基本面搜索范围140中的位置的元素，像显示在图6C中的那样设置基本面参考帧134上的基本面参考矢量141，并将基本面参考块142设置成基本面参考矢量141所指的位置。在这些设置下，对基本面参考帧134进行块匹配。以这种方式设置的基本面搜索范围140和基本面匹配处理范围144可能是非常小的范围。尤其，基本面搜索范围140和基本面匹配处理范围144与像在图7中看到的那样， 将缩小面搜索范围137和缩小面匹配处理范围143扩大作为缩小率的倒数倍的η倍获得的搜索范围137'和匹配处理范围143'相比可能非常小。于是，在不进行分层匹配地只对基本面进行块匹配处理的情况下，在基本面上，在搜索范围137'和匹配处理范围143'内设置多个参考块，以便进行确定与目标块的相关值的算术运算。相反，在分层匹配处理中，像从图7中看到的那样，可以只在非常小的范围中进行匹配处理。因此，显著减少了设置在作为这样非常小范围的基本面搜索范围140和基本面匹配处理范围144中的基本面参考块的数量，以及可以使匹配处理的次数(即，相关值算术运算的次数)和要保留的SAD值的数量非常小。因此，可以实现可以高速进行处理和可以缩小SAD表的规模的优点。<运动检测和运动补偿部分的配置的例子>图8示出了运动检测和运动补偿部分16的配置的例子的方块图。参照图8，运动检测和运动补偿部分16包括保留目标块102的像素数据的目标块缓冲部分161、和保留参考块108的像素数据的参考块缓冲部分162。缓冲部分161和162对应于显示在图I中的缓冲存储器16a。运动检测和运动补偿部分16进一步包括计算与目标块102与参考块108之间的对应像素有关的SAD值的匹配处理部分163。运动检测和运动补偿部分16进一步包括从自匹配处理部分163输出的SDA值信息中计算运动矢量的运动矢量计算部分164、和控制运动检测和运动补偿部分16的组件的控制部分165。然后，将存储在图像存储器40中的图像数据供应给运动检测和运动补偿部分16 中的目标块缓冲部分161和参考块缓冲部分162。在拾取静止画面图像时，在存储器控制器8的读取控制下从图像存储器40中读出随后图像并将其写入目标块缓冲部分161中。尤其，从图像存储器40中读出存储在图像存储器40中的缩小面目标图像Prt的图像帧或基本面目标图像Pbt的图像帧当中的缩小面目标块或基本面目标块，并将其写入目标块缓冲部分161中。关于缩小面目标图像Prt或基本面目标图像Pbt，针对第一图像，从图像存储器40 中读出按下快门按钮之后首先拾取的帧的图像，并且将它作为目标块102写入目标块缓冲部分161中。当通过与参考图像的块匹配进行图像的叠加时，将叠加之后的NR图像写入图像存储器40中，并且用NR图像重写目标块缓冲部分161的目标块102。将存储在图像存储器40中的缩小面参考图像Prr或基本面参考图像Pbr的图像帧当中的缩小面匹配处理范围或基本面匹配处理范围中的图像数据写入参考块缓冲部分 162中。关于缩小面参考图像Prr或基本面参考图像Pbr，将第一拾取帧之后的拾取帧作为参考块108写入图像存储器40中。在这种情况下，在取出相继拾取的多个拾取图像的同时进行图像叠加处理的情况下，作为基本面参考图像和缩小面参考图像，将第一拾取帧之后的拾取帧一个一个地相继取到图像存储器40中。在相继拾取的多个拾取图像被取到图像存储器40中之后，由运动检测和运动补偿部分16和图像叠加部分17进行运动矢量检测。然后，在要进行图像叠加的情况下，保留多个拾取帧。下文将相继拾取的多个拾取图像被取到图像存储器40中之后的处理称为图像拾取后相加。尤其，在图像拾取后相加时，作为基本面参考图像和缩小面参考图像，将第一拾取帧之后的所有多个拾取帧存储到图像存储器40中并保留在图像存储器40中。尽管成像装置在图像拾取和图像拾取后相加期间可以使用任何加法，但在本实施例中，采用图像拾取后相加的处理要考虑到即使需要花费一些处理时间，但需要降低了噪声的干净图像。另一方面，在运动画面图像拾取时，将来自图像校正和分辨率转换部分15的拾取图像帧作为目标块102输入运动检测和运动补偿部分16中。将从来自图像校正和分辨率转换部分15的目标帧中提取的目标块写入目标块缓冲部分161中。并且，将正好在目标帧之前和存储在图像存储器40中的拾取帧确定为参考块108。将来自这个参考帧(即，来自基本面参考图像Pbr或缩小面参考图像Prr)的基本面匹配处理范围或缩小面匹配处理范围写入参考块缓冲部分162中。在拾取这样的运动画面图像时，将来自运动检测和运动补偿部分16的至少早一个帧和要用于与目标帧的块匹配的拾取图像帧保留成基本面参考图像Pbr和牵涉面参考图像Prr。匹配处理部分163对存储在目标块缓冲部分161中的目标块和存储在参考块缓冲部分162中的参考块进行与缩小面有关的匹配处理和与基本面有关的匹配处理。这里，考虑存储在目标块缓冲部分161中的数据是缩小面目标块中的图像数据和存储在参考块缓冲部分162中的数据是从缩小屏幕参考屏幕图像中提取的缩小面匹配处理范围中的图像数据的情况。在这种情况下，匹配处理部分163进行缩小面匹配处理。并且，存储在目标块缓冲部分161中的数据是基本面目标块的图像数据。在存储在参考块缓冲部分162中的数据是从基本面目标块中提取的基本面匹配处理范围中的图像数据的情况下，匹配处理部分163进行基本面匹配处理。为了在块匹配中检测目标块与参考块之间的相关性的强度，匹配处理部分163使用图像数据的亮度信息进行SAD值计算。然后，匹配处理部分163检测最小SAD值，并检测呈现最小SAD值的参考块作为最闻相关性参考块。应该注意到，在本实施例中，对亮度信号和色差信号两者进行SAD值的计算，并加权相加亮度信号的SAD值和色差信号的SAD值以获得最终SAD值。亮度信号和色差信号的这种处理的例子将在下文描述。运动矢量计算部分164从匹配处理部分163的匹配处理的结果中检测参考块相对应目标块的运动矢量。在本例中，运动矢量计算部分164检测并保留SAD值的最小值。运动矢量计算部分164在系统CPU I的控制下控制运动检测和运动补偿部分16 的分层块匹配处理的处理操作。控制部分165进行的控制操作的例子将在下文描述。<目标块缓冲器的配置的例子>图9示出了目标块缓冲器的配置的例子的方块图。参照图9，所示的目标块缓冲部分161包括基本面缓冲部分1611、缩小面缓冲部分1612、缩小处理部分1613和选择器
1614、1615和1616。尽管在图9中未示出，但依照来自控制部分165的选择控制信号有选择地控制选择器1614、1615和1616。基本面缓冲部分1611临时保留基本面目标块。基本面缓冲部分1611将基本面目标块发送到图像叠加部分17，并将基本面目标块发送到选择器1616。缩小面缓冲部分1612临时保留缩小面目标块。缩小面缓冲部分1612将缩小面目标块供应到选择器1616。在运动画面图像拾取时,缩小处理部分1613接收如上所述从图像校正和分辨率转换部分15发送给它的目标块。将来自缩小处理部分1613的缩小面目标块供应给选择器
1615。在运动画面图像拾取时，选择器1614输出来自数据转换部分14的目标块，即，基本面目标块。在静止画面图像拾取时，选择器1614输出从图像存储器40读出的基本面目标块或缩小面目标块。这样的输出是依照来自控制部分165的选择控制信号有选择输出的。 将输出供应给基本面缓冲部分1611、缩小处理部分1613和选择器1615。依照来自控制部分165的选择控制信号，选择器1615在运动画面图像拾取时，选择和输出来自缩小处理部分1613的缩小面目标块，而在静止画面图像拾取时，选择和输出来自图像存储器40的缩小目标块。将选择器1615的输出供应给缩小面缓冲部分1612。依照来自控制部分165的选择控制信号，选择器1616在缩小面上的块匹配时输出来自缩小面缓冲部分1612的缩小面目标块。但是，在基本面上的块匹配时，选择器1616输出来自基本面缓冲部分1611的基本面目标块。将输出的缩小面目标块或基本面目标块发送给匹配处理部分163。<参考块缓冲器的配置的例子>参考块缓冲器的配置的例子的方块图显示在图10中。参照图10，参考块缓冲部分 162包括基本面缓冲部分1621、缩小面缓冲部分1622和选择器1623。尽管在图10中省略了，但依照来自控制部分165的选择控制信号有选择地控制选择器1623。基本面缓冲部分1621临时存储来自图像存储器40的基本面参考块，将基本面参考块供应给选择器1623，并将基本面参考块作为运动补偿块供应给图像叠加部分17。缩小面缓冲部分1622临时存储来自图像存储器40的缩小面参考块。缩小面缓冲部分1622将缩小面参考块供应给选择器1623。依照来自选择器1615的选择控制信号，选择器1623在缩小面之间的块匹配时输出来自缩小面缓冲部分1622的缩小面参考块。在基本面之间的块匹配时，选择器1623输出来自基本面缓冲部分1621的基本面参考块。将输出的缩小面参考块或基本面参考块发送给匹配处理部分163。<图像叠加部分的配置的例子>图像叠加部分17的配置的例子的方块图显示在图11中。参照图11，图像叠加部分17包括相加率计算部分171、相加部分172、基本面输出缓冲部分173、缩小面生成部分 174和缩小面输出缓冲部分175。图像叠加部分17的输出图像数据经过数据压缩部分35压缩并且存储到图像存储器40中。相加率计算部分171接收来自运动检测和运动补偿部分16的目标块和运动补偿块，并响应要采用的相加方法是简单相加方法还是平均相加方法确定它们之间的相加率。 相加率计算部分171将确定的相加率与目标块和运动补偿块一起供应给相加部分172。将作为相加部分172相加的结果的基本面NR图像经过压缩之后写入图像存储器 40中。并且，通过缩小面生成部分174将作为相加部分172相加的结果的基本面NR图像转换成缩小面NR图像，并将来自缩小面生成部分174的缩小面NR图像写入图像存储器40 中。3.运动检测和运动补偿部分的控制配置现在，描述运动检测和运动补偿部分16中的运动检测操作和运动补偿操作的控制处理的例子。图12和13示出了运动检测和运动补偿部分16的控制部分165的不同配置。图12示出了按照本实施例的第一配置，它包括独占用于在CPU为所有其它处理访问所有从属设备的同时需要基于管线操作的高速操作的运动画面NR处理的辅助CPU。图 13示出了从第一配置发展而来的第二配置。在显示在图13中的第二配置中，CPU没有与从属设备的接口，以及辅助CPU是在CPU的配置被简化的时候响应从以块为单位的处理到管线处理的处理粒度而配备的。关于实时控制和矩形控制，可以从两种不同观点出发配置控制部分，两种不同观点包括可以进行充分利用高速处理的控制的一种配置、和可以进行利用灵活性的控制的另一种配置。这里的灵活性表示可以为所有块执行指令，以及在可以充分使用硬件资源的同时，CPU必须进行复杂的处理，因此使CPU与各个处理部分之间的接口复杂化了。随着灵活性增加，CPU可以控制的内容也增加，并且使接口复杂化。高速处理被认为与灵活性相对。通过限制可以控制的东西，可以集体进行固定在一定程度上的处理，并且减轻CPU的处理负担。另一方面，由于限制了接口，所以可用处理内容受到限制。本实施例中的控制部分165实现了灵活性与高速处理之间的平衡。为此，在控制部分165中准备了平衡灵活性和高速处理的多种配置。尤其，控制部分165包括可编程地控制运动检测以便实现运动检测的(灵活)可编程CPU 1651、和为运动检测处理部分纳入事先确定的控制，即，专用于高速处理的实时控制部分1652。下面描述进行图12的实时控制的配置。控制部分165包括用作第一控制部分的可编程CPU 1651、和作为辅助CPU的用作第二控制部分的实时控制部分1652。实时控制部分1652依照来自可编程CPU 1651的指令，控制运动检测和运动补偿部分16中的图像处理部分的处理操作。实时控制部分1652是硬件控制部分，在预定处理状态下控制相关元件以便依照指令输入进行运动测检。尤其，实时控制部分1652可以设置图像的操作模式和尺寸，即，像素数量，并依照来自可编程CPU 1651的指令，在设置的操作模式下和利用设置的图像尺寸自动对一个帧进行处理。此时，实时控制部分1652向目标块缓冲部分161、参考块缓冲部分162、匹配处理部分163和运动矢量计算部分164发出开始指令，并等待结束通知。可编程CPU 1651通过系统总线2接收存储在程序存储器中和从程序存储器中读出的程序。可编程CPU 1651依照该程序进行过程中的控制处理。在图12中，将第一程序 la、第二程序Ib和第三程序Ic有选择地加载到可编程CPU 1651中。要加载哪个程序由系统CPU I (例如，依照成像装置的操作模式)来控制。在实时控制时，加载进行实时控制的程序。在本实施例中，当要进行从运动画面的图像信号中运动矢量的检测处理时，进行实时控制。尤其，当成像装置处在进行基于运动画面的图像拾取的运动矢量检测和基于检测的处理的模式下，进行使用可编程CPU 1651和实时控制部分1652的控制。另一方面，当要进行从静止画面的图像信号中检测运动矢量的检测处理时，进行使用下文参考图13所述的通用指令设置部分1653和1654的通用控制。应该注意到，可以将控制指令直接从可编程CPU 1651发送给运动检测和运动补偿部分16中的图像处理部分。取决于要加载的程序，可以使运动检测和运动补偿部分16 中的图像处理部分依照来自可编程CPU 1651的直接指令进行运动检测操作和运动补偿操作。下文将依照来自可编程CPU 1651的直接指令进行运动检测操作和运动补偿操作的控制状态称为通用控制状态。现在，描述显示在图13中的配置。在图13的配置中，除了上文参考图12所述的可编程CPU 1651和实时控制部分 1652之外，运动检测和运动补偿部分16还包括通用指令设置部分1653和1654。通用指令设置部分1653被配置成依照来自可编程CPU 1651的指令产生对一个块进行处理的指令。 同时，通用指令设置部分1654被配置成依照来自可编程CPU 1651的指令产生进行图像数据的矩形处理的指令。可编程CPU 1651不直接将指令发给处理部分161 164，因此CPU 具有非常简单的配置。通用指令设置部分1653和1654将控制指令发送给目标块缓冲部分161、参考块缓冲部分162、匹配处理部分163和运动矢量计算部分164，以便进行运动检测操作和运动补偿操作。于是，在矩形处理控制时，可编程CPU 1651通过作为矩形处理部分的通用指令设置部分1653和1654访问处理部分。例如，如果发出指定沿着水平方向划分一个帧的屏幕图像获得的矩形之一的指令，则通用指令设置部分1653和1654以块为单位检测这个尺寸
的运动矢量。在这种矩形处理时，容易为运动矢量检测改变块尺寸和分层层数，并且，尽管不能进行运动矢量检测处理的并行化，但程序的自由度高。另一方面，在实时处理时，虽然用于检测运动矢量的块尺寸和分层层数是固定的，但可以并行化缩小面上的运动矢量检测和基本面上的运动矢量检测，并且可以进行高速操作。图14A和14B例示了与通用操作控制状态的概况相比的实时操作控制状态的概况。这里，通用操作控制状态是可编程CPU 1651直接进行其控制的状态。尤其，图14A例示了实时操作控制状态，而图14B例示了通用操作控制状态。在实时操作控制状态下，如果从系统CPU I发出开始操作的指令，则可编程CPU 1651发出开始将保留在图像存储器40中的图像数据确定为参考帧的运动检测和运动补偿的指令。这里在实时操作控制状态下，一个帧的图像尺寸固定为1，440个像素XI，080个像素，而缩小面是1/4缩小面。实时控制部分1652接收该指令，并进行读出块并行地进入参考块缓冲部分162 中、作为匹配处理所需的图像块的64个像素X32个像素为一块的数据的处理。此外，实时控制部分1652还进行读出1/4缩小面的数据的处理。相反，在进行例示在图14B中的通用操作时，可编程CPU 1651依次将指令发送给处理部分，以便进行所需块数的处理。于是，在进行通用操作时，可编程CPU 1651上的负担较重，难以将处理并行化。图15A和15B为了比较分别例示了实时操作控制状态的概况和作为通用控制状态的优化控制状态的矩形处理状态的概况。实时操作控制状态与上文参考图14A所述的相同。在进行例示在图15B中的矩形处理操作时，可编程CPU 1651 一次性输出指令以便进行缩小面的处理和一次性输出指令以便进行基本面的处理。接收各自指令的作为矩形处理部分的通用指令设置部分1653和1654按事先确定的过程进行基本面和缩小面的处理达等于块数的次数。在进行矩形处理时，可以指定图像尺寸和分层层数。这使得易于应付，例如，像要进行运动检测的分层层数随图像尺寸而变那样的情况。例如，在分层层数是3的情况下，缩小面上的运动检测处理、中间面上的运动鉴别处理和基本面上的运动鉴别处理可以按这个次序进行。
图16例示了在实时操作控制状态下来自控制部分的指令的输出状态和在通用操作控制状态下来自控制部分的指令的输出状态。在实时操作控制状态下来自控制部分的指令的输出状态显示在图16的右侧。此时，可编程CPU 1651将开始实时操作的一条指令输出到实时控制部分1652。实时控制部分 1652接收一条指令，并将八条指令输出到相关部分。依照八条指令进行如下八种处理。·将目标块写入目标块缓冲部分中(步骤S211)；·将匹配处理范围写入参考块缓冲部分中(步骤S212)；·将目标块传送到匹配处理部分(步骤S213)；·将匹配处理范围传送到匹配处理部分(步骤S214)；·开始匹配处理(计算SAD值)(步骤S215)；·从最小SAD值中计算运动矢量(步骤S216)；·将目标块传送到图像叠加部分(步骤S217);以及·将运动补偿图像传送到图像叠加部分(步骤S218)。八个步骤中的处理依照各自指令分别在合适定时上执行。同时，在例示在图16的左侧上的通用控制状态下，可编程CPU 1651相继输出在八个步骤上进行处理的八条指令。图17例示了依照来自实时控制部分1652的八条指令进行处理的流程图。参照图17，并行地在步骤S211中将目标块写入目标块缓冲部分161中和在步骤 S212中将匹配处理范围写入参考块缓冲部分162中。然后，在步骤S213和S214中也并行地进行将数据传送到匹配处理部分163中的传送处理，并且在步骤S215中让匹配处理部分 163开始计算。然后，当完成这样SAD值的计算时，在步骤S216中让运动矢量计算部分164 计算运动矢量。然后，当完成这样运动矢量的计算时，在步骤S217中将目标块传送到图像叠加部分中以及在步骤S218中将运动补偿图像传送到图像叠加部分中。在分层状态下管理依照来自实时控制部分1652的指令传送的目标块和参考块。 尤其，如图18所示，在计算了目标块坐标之后，通过设置缩小面和基本面管理一个帧的图像数据的分块和分层。然后，根据缩小面和基本面的数据进行运动检测和运动补偿。在只进行运动检测的情况下，进行上文所述的步骤S211 S216中的处理。但是，为了获得运动补偿图像，进行上文所述的步骤S211 S218中的处理。并且，根据对块的指令和终止中断，依照上文参考图17所述的流程进行处理。〈矩形处理的例子〉图19例示了通过矩形处理的分层块匹配。参照图19，在例示的例子中，通过缩小率1/a · 1/b缩小基本面目标帧201和基本面参考帧301，以生成缩小面目标帧211和缩小面参考帧311，其中a > I和b > I。并且，将基本面目标帧201和基本面参考帧301缩小到Ι/b，以生成中间面目标帧 221和中间面参考帧321。尽管可以任意确定缩小面或中间面与基本面的缩小率，但最好是设置在从1/2到 1/8，也就是说，用像素数来表示的话，从1/4到1/64的范围内。应该注意到，在图19的例子中，缩小面与中间面的缩小率是1/4，即，a = 4，以及中间面与基本面的缩小率是1/4，BP,b = 4o此外，在生成缩小面或中间面时，可以任意确定其方法，但是，如果应用仅仅通过响应缩小率取出原始图像的像素的样本生成缩小面或中间面的方法，则易出现反射成分， 因此，要在第一分层上，即，在缩小面上检测的运动矢量易相对于正确运动矢量位移。因此， 通过在将具有基于缩小率的截止频带的低通滤波器应用于原始画面之后，响应缩小率进行二次取样。在本例中，生成包括通过依照缩小率二次取样消失了的那些像素的亮度平均值， 将它用作缩小面像素或中间面像素的亮度值。尤其，在Ι/a缩小的情况下，计算aXa个像素的正方形区域中的亮度平均值，将这个亮度平均值用作缩小面像素或中间面像素的亮度值。在本方法的情况下，即使首先生成中间面，然后从中间面中生成缩小面，也可以获得与直接从原始图像中生成缩小面时获得的结果相同的结果。因此，本方法是有效的。应该注意到，当要生成缩小面时，沿着水平方向的缩小率和沿着垂直方向的缩小率可以像上述那样相同，也可以彼此不同。在以像上述那样的方式生成缩小面和中间面之后，首先在缩小面目标帧211上设置缩小面目标块212，以及在缩小面参考帧311上设置缩小面搜索范围313。然后，用于缩小面的运动矢量检测装置401对缩小面搜索范围中的多个缩小面参考块312进行上述的块匹配处理，以检测呈现最小SAD值的缩小面参考块位置。然后，根据缩小面参考块位置的检测来检测缩小面运动矢量MVs。在本例中，运动矢量检测装置401将缩小面目标块212的尺寸，即，沿着水平方向若干个像素X沿着垂直方向若干个像素的一个块作为块匹配处理单位地进行处理。在缩小面运动矢量MVs的计算结束之后，在等于缩小面目标帧211乘以a的中间面目标帧221中设置中间面目标块222。在图19的例子中，用于中间面的运动矢量检测装置402将尺寸等于用于缩小面的运动矢量检测装置401中的块匹配处理单位的一个块作为中间面目标块地进行块匹配处理。这里，相同尺寸的块是包括相等数量的像素和包括沿着水平方向相等数量的像素X沿着垂直方向相等数量的线条的块。在本例中，由于缩小面具有等于中间面的Ι/a的尺寸，所以中间面目标块222包括在中间面目标帧与缩小面目标块212相对应的区域中。于是，将所有中间面目标块222设置成用于中间面的运动矢量检测装置402的块匹配处理对象。然后，在尺寸等于缩小面参考帧311的a倍的中间面参考帧321中，设置中心在缩小面运动矢量MVs上的中间面搜索范围。由运动矢量检测装置402对中间面搜索范围323 中的多个中间面参考块322进行块匹配处理，并检测呈现最小SAD值的中间面参考块位置， 以检测中间面运动矢量MVm。用于中间面的运动矢量检测装置402在设置在中间面搜索范围323中的中间面目标块的搜索范围中对每个中间面目标块进行块匹配处理。因此，对中间面目标块进行运动矢量的检测。然后，从以这种方式检测的多个运动矢量当中，检测呈现最小SAD值的运动矢量作为中间面上的运动矢量，即，作为中间面运动矢量MVm。在中间面运动矢量MVm的计算结束之后，在尺寸等于中间面目标帧221的b倍的基本面目标帧201中设置基本面目标块202。
16
在图19的例子中，用于基本面的运动矢量检测装置403也将尺寸等于运动矢量检测装置401和402的块匹配处理单位的一个块作为处理单位块地进行块匹配处理。这里， 等于运动矢量检测装置401和402的尺寸是[相等像素数=沿着水平方向的相等像素数X 沿着垂直方向的相等线条数]。然后，像上文所述那样以处理单位块为单位获取中间面运动矢量MVm。于是，将基本面目标帧201中作为运动矢量检测装置201的对象的基本面目标块202设置成包括尺寸等于如图19中的斜线所指的缩小面目标块的b个块。同时，在尺寸等于中间面参考帧321的b倍的基本面参考帧301中，设置中心在缩小面运动矢量MVs和中间面运动矢量MVm的合矢量上的基本面搜索范围303。运动矢量检测装置403对基本面搜索范围303中的多个基本面参考块302进行上文所述的块匹配处理，并检测呈现最小SAD值的基本面参考块，以便检测基本面运动矢量MVb。缩小面运动矢量MVs和中间面运动矢量MVm是以相等尺寸的处理单位块为单位获得的。因此，设置成中心在缩小面运动矢量MVs和中间面运动矢量MVm的合矢量上的基本面搜索范围303是比包括b个基本面目标块202的区域大一点的区域。运动矢量检测装置403在与设置在基本面搜索范围303中的每个基本面目标块有关的搜索范围内对b个基本面目标块202进行块匹配处理。从而，运动矢量检测装置403 对每个基本面目标块进行运动矢量的检测。然后，从以这种方式检测的运动矢量当中，检测呈现最小SAD值的运动矢量作为基本面上的运动矢量，即，作为基本面运动矢量MVb。然后，检测局部运动矢量LMV作为以像上述那样的方式确定的缩小面运动矢量 MVs、中间面运动矢量MVm和基本面运动矢量MVb的合矢量。局部运动矢量LMV是基本面目标中贞210与基本面参考巾贞301之间与基本面目标块有关的局部运动矢量。在相继切换目标块和参考块的同时对目标帧和参考帧的所有区域进行像上述那样的分层块匹配处理。因此，通过矩形处理计算出设置在目标帧中的多个目标块单元的所有多个局部运动矢量LMV。图25例示了在本实施例的例子中，在进行矩形处理的情况下，当响应图像尺寸进行分层块匹配处理时分层数量和缩小面的缩小率的设置的例子。例如，在一个帧由像素数量多达320X240个像素的数据形成的图像数据的情况下，在一个分层中，换句话说，不使用缩小面地进行块匹配处理。在一个帧由像素数量多达640X480个像素的数据形成的图像数据的情况下，在两个分层中进行块匹配处理，并且将1/2设置成缩小率。在一个帧由像素数量多达I. 2M个像素的数据形成的图像数据的情况下，在两个分层中进行块匹配处理，并且将1/4设置成缩小率。在一个帧由像素数量多达4. 7M个像素的数据形成的图像数据的情况下，在三个分层中进行块匹配处理，并且将1/4和1/2设置成缩小率。在一个帧由像素数量多达19M个像素的数据形成的图像数据的情况下，在三个分层中进行块匹配处理，并且将1/4和1/4设置成缩小率。在一个帧由像素数量多达75M个像素的数据形成的图像数据的情况下，在四个分层中进行块匹配处理，并且将1/4，1/4和1/2设置成缩小率。在尺寸还要大的图像数据的情况下，在四个分层中进行块匹配处理，并且将1/4，1/4和1/4设置成缩小率。在矩形处理的情况下，可以容易地进行像例示在图25中那样的基于图像尺寸的设置的改变，并且可以进行适合要拾取的图像的尺寸的有利运动检测和运动补偿。应该注意到，例示在图25中的设置是一个例子，该设置不局限于该例子。<实时处理的例子>图20例示了按时序进行实时处理。参照图20，横坐标轴表示时间的推移。例示在图20中的实时处理是对于每个帧一个一个地供应运动画面的图像信号的处理运动画面的图像信号的例子。在图20的例子中，从目标块缓冲部分161的基本面缓冲部分中保留目标块的阵列缓冲器BKTO-A BKTO-D的四个阵列当中，使用至少三个阵列。并且，沿着时间方向划分缩小面匹配处理、基本面匹配处理和运动补偿块传输处理的三种处理，以便在三个匹配处理时段，g卩，三个目标块的匹配处理时段上成为管线。假设在例示在图20中的处理方法中，使用配备在基本面缓冲部分中的四个阵列缓冲器BKTO-A BKTO-D当中的三个阵列缓冲器BKTO-A BKT0-C。在例示的例子中，在运动画面NR处理中的块匹配处理的管线化中，设置三个匹配处理时段MA，MB和MC。三个匹配处理时段MA，MB和MC的每一个包括与一个目标块有关的所有匹配处理内容，以及三个匹配处理时段MA，MB和MC是三个目标块的匹配处理时段。尤其，匹配处理时段MA，MB和MC每一个中的处理内容包括所有如下处理。尤其， 进行从图像存储器40读入缩小面目标块和基本面目标块的读入处理。然后，从图像存储器 40中读入缩小面匹配处理范围和基本面匹配处理范围。此外，进行缩小面匹配处理、基本面匹配处理、和将基本面目标块和运动补偿块传送到图像叠加部分17的传送输出处理。在三个匹配处理时段MA，MB和MC中提供彼此完全相同的信号处理内容。在本例中，以如下方式控制对目标块的哪一个进行通过三个匹配处理时段MA，MB 和MC中的处理进行的传送输出处理。尤其，在本例中，将与一个目标块有关的缩小面匹配处理、基本面匹配处理和运动补偿块传送处理的三种处理分配到三个匹配处理时段MA，MB和MC，并相继进行这三种处理。然后，作为一个单位重复进行三个匹配处理时段MA，MB和MC的处理。例如，在匹配处理时段MA内进行与某一个目标块TGB有关的缩小面匹配处理，以及在下一个匹配处理时段MAB内进行与该目标块TGB有关的基本面匹配处理。然后，在进一步的随后匹配处理时段MAC内进行与该目标块TGB有关的运动补偿块的输出传送。然后，在进行与某个目标块有关的缩小面匹配处理的同时，并行地读出前一个目标块的基本面匹配处理范围。并且，在从图像存储器40中读出与某个目标块有关的缩小面匹配处理范围的同时，进行与根据在前一个匹配处理时段内通过基本面匹配处理确定的最终运动矢量生成的前第二个目标块有关的运动补偿块的输出传送处理。这样，实现了分层块匹配处理的管线化处理。由图20中的斜线和网格线所指和通过箭头标记连接的处理是针对一个帧的图像数据的处理。尤其，当利用三个匹配处理时段时，将与在前第二个匹配处理时段MA中写入的目标块有关的运动补偿块和基本面目标块传送到叠加部分。但是，在图 20的例子中，针对两种情况例示了计算运动矢量的流程，包括从缩小面上的匹配处理的结果中计算运动矢量并将它用在基本面上的匹配处理中的一种情况、和从基本面上的匹配处理的结果中计算运动矢量并使用运动补偿块的另一种情况。4.拾取图像的降噪处理的概况的流程〈在拾取静止画面图像时〉下面参考图21和22描述通过根据具有上述配置的本实施例的成像装置拾取的静止画面图像叠加图像进行降噪处理的流程图。图21和22的流程图的步骤由图像叠加部分 17在CPU I的控制下和受系统CPU I控制的运动检测和运动补偿部分16的控制部分165 执行。首先，如果按下快门按钮，则本实施例的成像装置在系统CPU I的控制下进行多个图像的高速图像拾取。在本例中，在步骤SI中取出要根据静止画面图像拾取叠加的M个帧的拾取图像数据并将其存储到图像存储器40中。这里，M是等于或大于2的整数。然后，在步骤S2中，将参考帧设置成存储在图像存储器40中的M个帧按时间的第 N个。这里，N是等于或大于2的整数，并且N的最大值是M。尤其，控制部分165将N值的初始值设置成N = 2。然后，在步骤S3中，控制部分165将第一图像帧设置成目标图像或目标帧，并将N = 2图像设置成参考图像或参考帧。然后，在步骤S4中，控制部分165设置目标帧中的目标块，然后在步骤S5中，运动检测和运动补偿部分16将目标块从图像存储部分4读到目标块缓冲部分161中。并且，在步骤S6中，运动检测和运动补偿部分16将匹配处理范围中的像素数据从图像存储器40读到参考块缓冲部分162中。然后，在步骤S7中，控制部分165从参考块缓冲部分162中中读出搜索范围内的参考块，和匹配处理部分163进行分层匹配处理。对搜索范围中的所有参考矢量重复这些处理，并输出高精度的基本面运动矢量。此后，在步骤S8中，控制部分165依照以像上述那样的方式检测的高精度的基本面运动矢量，从参考块缓冲部分162中读出经过所检测运动矢量补偿的运动补偿块。然后， 控制部分165在步骤S9中与目标块同步地在后一级将运动补偿发送到图像叠加部分17。然后，图像叠加部分17在步骤SlO中在系统CPU I的控制下进行目标块和运动补偿块的叠加，并将叠加块的NR图像数据存储到图像存储部分40中。换句话说，图像叠加部分17将叠加块的NR图像数据输出到图像存储器40以便写入图像存储器40中。然后，在步骤Sll中，控制部分165确定是否对目标帧中的所有目标块都完成了块匹配。如果确定还未对所有目标块完成块匹配处理，则该处理返回到步骤S4，在步骤S4中设置目标帧中的下一个目标块，此后重复步骤S4到Sll中的处理。另一方面，如果控制部分165在步骤Sll中确定对目标帧中的所有目标块都完成了块匹配，则该处理前进到步骤S12。在步骤S12中，控制部分165确定是否对要叠加的所有参考帧都完成了处理，也就是说，M = N是否成立。如果在步骤S12中未作出M = N的确定，则在步骤S13中将N设置成N+1，也就是说，N = N+1。然后，在步骤S14中，将在步骤SlO中叠加生成的NR图像确定为目标块图像或目标巾贞，并将第N+1图像确定为参考图像或参考巾贞。此后，该处理返回到步骤S4,重复从步骤S4开始的步骤中的处理。尤其，在M大于3的情况下，将在所有目标块中叠加获得的图像确定为下一个目标图像，并将第三图像之后的图像确定为参考图像，然后对新确定的目标图像和参考图像重复上述的处理。一直重复到完成第M图像的叠加。然后，如果在步骤S12中确定M = 2，则结束这个处理例程。5.分层块匹配处理的流程的例子运动检测和运动补偿部分16进行分层块匹配处理的操作的例子的流程例示在图 23和24中。应该注意到，尽管对例示在图23和24中的处理流程的描述与对上文所述的匹配处理部分163和运动矢量计算部分164的处理例子的流程的描述部分重叠，但为了有助于理解本例的操作，给出了如下描述。首先，在图23中的步骤71中，运动检测和运动补偿部分16从目标块缓冲部分161 中读入目标块的缩小面，即，缩小面目标块。然后，然后在步骤S72中，运动检测和运动补偿部分16将缩小面最小SAD值的初始值设置成保留在运动矢量计算部分164中的最小SAD 值Smin的初始值，作为缩小面最小SAD值Smin的初始值，例如，设置像素间差值的最大值。然后在步骤S73中，匹配处理部分163设置缩小面搜索范围。然后，匹配处理部分 163设置所设置缩小面搜索范围内的缩小面参考矢量(Vx/n，Vy/n l/n是缩小率)，并设置计算SAD值的缩小面参考块位置。然后在步骤S74中，匹配处理部分163从参考块缓冲部分162中读入设置缩小面参考块的像素数据，并确定缩小面目标块与缩小面参考块之间的像素数据之差的绝对值的总和，即，缩小面SAD值。然后，匹配处理部分163在步骤S75中将所确定缩小面SAD值输出到运动矢量计算部分164。然后在步骤S76中，运动矢量计算部分164将匹配处理部分163计算的缩小面SAD 值Sin和保留在其中的缩小面最小SAD值Smin相互比较。然后，运动矢量计算部分164确定计算的缩小面SAD值Sin是否小于保留到那时的缩小面最小SAD值Smin。如果在步骤S76中确定计算的缩小面SAD值Sin低于缩小面最小SAD值Smin，则该处理前进到步骤S77，在步骤S77中进行保留缩小面最小SAD值Smin及其位置信息的更新。尤其，在SAD值比较处理中，输出计算的缩小面SAD值Sin低于缩小面最小SAD值 Smin的比较结果。因此，计算的缩小面SAD值Sin及其位置信息，即，最小图像参考矢量被更新成新缩小面最小SAD值Smin的信息。该处理从步骤S77前进到步骤S78。并且，如果在步骤S76中确定计算的缩小面 SAD值Sin等于或大于缩小面最小SAD值Smin，则该处理不在步骤S77中进行保留信息的更新处理地前进到步骤S78。在步骤S78中，匹配处理部分163确定是否在缩小面搜索范围内的所有位置或缩小面参考块上，即，对所有缩小面参考矢量都完成了匹配处理。如果确定在缩小面搜索范围中还有未处理的缩小面参考块，则该处理返回到步骤S73，重复从步骤S73开始的步骤中的处理。另一方面，如果匹配处理部分163在步骤S78中确定在缩小面搜索范围内的缩小面参考块的所有位置上，即，对所有缩小面参考矢量都完成了匹配处理，则在步骤S79中进行如下处理。尤其，匹配处理部分163接收缩小面最小SAD值Smin的位置信息，即，缩小面运动矢量。然后，匹配处理部分163在基本面目标帧中将基本面目标块设置在中心在通过将接收的缩小面运动矢量乘以缩小率的倒数，即，乘以η获得的矢量所指的位置坐标上的位置。并且，匹配处理部分163针对基本面目标帧将基本面搜索范围设置在中心在乘以η的矢量所指的坐标位置上的相对较小范围上。然后在步骤S80中，匹配处理部分163从目标块缓冲部分161中读入基本面目标块的像素数据。现在参照图20，在步骤S81中，匹配处理部分163将保留在运动矢量计算部分164 中的最小SAD值Smin的初始值设置成基本面最小SAD值的初始值。作为基本面最小SAD 值Smin的初始值，例如，设置像素间差值的最大值。然后在步骤S82中，匹配处理部分163在在步骤S79中设置的基本面搜索范围中设置基本面参考矢量(Vx，Vy)，并设置计算SAD值的基本面参考块位置。然后在步骤S83 中，匹配处理部分163从参考块缓冲部分162中读入所设置基本面参考块的像素数据。然后在步骤S84中，匹配处理部分163确定基本面目标块与基本面参考块之间的像素数据之差的绝对值的总和，即，基本面SAD值，并将所确定基本面SAD值传信到运动矢量计算部分 164。然后在步骤S85中，运动矢量计算部分164将匹配处理部分163计算的基本面SAD 值Sin和保留的基本面最小SAD值Smin相互比较。然后，运动矢量计算部分164根据比较确定计算的基本面SAD值Sin是否低于保留到那时的基本面最小SAD值Smin。如果在步骤S85中确定计算的基本面SAD值Sin小于基本面最小SAD值Smin，则该处理前进到步骤S86，在步骤S86中进行保留基本面最小SAD值Smin及其位置信息的更新。尤其，输出计算的基本面SAD值Sin小于基本面最小SAD值Smin的比较结果的信息。因此，计算的基本面SAD值Sin及其位置信息，即，参考矢量被确定为基本面最小SAD 值Smin的新信息并用于更新。该处理从步骤S86前进到步骤S87。同时，当在步骤S85中确定计算的基本面SAD 值Sin等于或大于基本面最小SAD值Smin时，则该处理不在步骤S86中进行保留信息的更新处理地前进到步骤S87。在步骤S87中，匹配处理部分163确定是否在基本面搜索范围内的基本面参考块的所有位置上，即，对所有基本面参考矢量都完成了匹配处理。如果该确定证明在基本面搜索范围中还有未处理的基本面参考块，则该处理返回到步骤S82，重复从步骤S82开始的步骤中的处理。另一方面，如果匹配处理部分163在步骤S87中确定在基本面搜索范围中的基本面参考块的所有位置上，即，对所有参考图像参考矢量都完成了匹配处理，则匹配处理部分 163在步骤S88中进行如下处理。尤其，匹配处理部分163接收基本面最小SAD值Smin的位置信息，并保留基本面SAD值。到此结果与一个参考帧有关的本例的块匹配处理。应该注意到，虽然在上文所述的实施例中，按照本公开技术的图像处理装置应用于成像装置，但本公开技术不仅可以应用于成像装置，而且可以应用于各种图像处理装置。并且，虽然在上述的实施例中，本公开技术应用于使用块匹配技术进行基于图像叠加的降噪处理的情况，但本公开技术不局限于该特定情况。换句话说，本公开技术也可以应用于读出写入图像存储器中的图像数据并将其用于运动检测等的所有图像处理装置。本公开技术包含与公开在2011年I月5日向日本专利局提交的日本优先权专利申请JP 2011-000802中的主题有关的主题，特此通过引用并入其全部内容。
虽然使用特定术语描述了本公开技术的优选实施例，但这样的描述只是例示性的，不言而喻，可以不偏离所附权利要求书的精神或范围地作出改变和变更。
权利要求
1.一种图像处理装置，其包含图像处理部分，适用于计算多个帧之间的图像信号的运动矢量；第一控制部分，适用于可编程地控制所述图像处理部分以便进行运动检测；以及第二控制部分，适用于在事先确定的处理状态下控制所述图像处理部分以便进行运动检测。
2.按照权利要求I所述的图像处理装置，其中所述第二控制部分由硬件配置。
3.按照权利要求2所述的图像处理装置，其中所述第一控制部分操作来处理图像信号是静止画面的信号的图像信号；以及所述第二控制部分操作来处理图像信号是运动画面的信号的图像信号。
4.一种图像处理方法，其包含计算多个帧之间的图像信号的运动矢量的图像处理；可编程地控制图像处理的进行以便进行运动检测的第一控制处理；以及在事先确定的处理状态下控制图像处理以便进行运动检测的第二控制处理。
5.按照权利要求4所述的图像处理方法，其中所述第二控制处理由硬件执行。
6.按照权利要求5所述的图像处理方法，其中执行所述第一控制处理以便处理图像信号是静止画面的信号的图像信号；以及执行所述第二控制处理以便处理图像信号是运动画面的信号的图像信号。
全文摘要
一种图像处理装置包括图像处理部分，适用于计算多个帧之间的图像信号的运动矢量；第一控制部分，适用于可编程地控制所述图像处理部分以便进行运动检测；以及第二控制部分，适用于在事先确定的处理状态下控制所述图像处理部分以便进行运动检测。
文档编号H04N5/232GK102595047SQ20121000185
公开日2012年7月18日 申请日期2012年1月5日 优先权日2011年1月5日
发明者小笠原贵, 沼田怜, 青木纯一 申请人:索尼公司