专利名称：颜色校正处理装置以及颜色校正处理方法、动态摄像机颜色校正装置以及使用其的影像 ...的利记博彩app
技术领域：
本发明(第1发明)涉及对用多个摄像装置所拍摄到的图像进行 颜色校正处理的颜色校正处理装置，且涉及可以提高对照明环境变化
等的适应性的颜色校正处理装置。此外，本发明(第2发明)涉及对
由摄像机拍摄所得的图像进行校正的动态摄像机颜色校正装置、及使 用此动态摄像机颜色校正装置的影像检索装置。
背景技术：
关于第1发明，目前众所周知有跟踪监视系统，其用计算机对用 多个摄像机所拍摄到的图像进行图像处理，并对人物等目标进行跟踪 监视。在这种跟踪监视系统中，如果各摄像机的特性、照明环境、设 置条件等不同，那么各摄像机所拍摄到的同一个目标(例如人物等) 的图像视觉、特别是目标的颜色视觉会因各摄像机而不同。因此，为 了使用多个摄像机进行目标跟踪，而必须实现在多个摄像机间产生不 同颜色视觉的同一目标的一致性，即必须维持颜色的恒定性。现有的 跟踪监视系统中，通过使用目标的颜色信息，对多个摄像机间的目标 的颜色进行校正处理，从而实现多个摄像机所拍摄到的同一目标的一 致性。由此，可提高多个摄像机间的目标一致性的精度，从而提高多 个摄像机间的目标跟踪精度。
这种跟踪监视系统中，例如，在照明环境发生了变化的情况下， 必须根据照明环境的变化来对目标的颜色信息进行更新。现有的作为 检测照明环境变化的方法，众所周知的是为了检测图像变化而对两个 图像区域所对应的像素间的偏差进行检测的方法。此方法公开在例如
美国专利第4779095号说明书中。此外，作为检测照明环境的变化的
另一方法，众所周知的是如下方法，即为了检测到新场景的开始而存 储影像，使用影像信号的代表值来实现对场景变化的检测。此方法公
开在例如美国专利第4823184号说明书中。此外，作为检测照明环境 的变化的其它方法，众所周知的是如下方法，即根据多个图像的特性， 制成各个图像的特征向量，当对各向量的差异进行计算所得的值(具 有目标特征的值)相对于各图像而出现变化时，检测出场景的变化。 此方法例如公开在美国专利第4912770号说明书中。
然而，现有的跟踪监视系统中，例如，如果追加跟踪对象的目标， 那么随之将追加目标的颜色信息。此时，即便是在已保存和新追加的 目标相同的目标的颜色信息的情况下，也将伴随目标的追加而追加目 标的颜色信息。这样一来，如果追加了颜色校正处理所不需要的目标 的颜色信息，那么目标的颜色信息将会变得过多。也就是说，如果目 标的颜色信息增加，则用于颜色校正处理的信息量增多，因此颜色校 正处理所需的时间变长，颜色校正处理的动作也将变得不稳定。
此外，在照明环境发生了变化的情况下，将无法使用此前所使用 的目标的颜色信息，由此将增加相应量的不必要的颜色信息。而且， 在照明环境发生了变化时，必须立即对应于此变化获得新颜色信息。 然而，现有的照明环境变化的检测方法中，计算负荷非常大，并不适 于实时处理。
第2发明中，现有的使用摄像机对人物或物体进行跟踪、检索的 装置，大多使用的是利用人物或物体的颜色信息的装置。在使用颜色 信息的情况下，为了对摄像机的个体差异、光源环境的影响进行校正， 有如下方法，即利用设置好的摄像机进行一次比色图表等特定颜色图 案的拍摄，并逐个地导入摄像机图案。这种技术例如公开在日本专利 特开平11-186487号公报中。
然而，在为监视系统的情况下，通常是设置在屋内、屋外的任意
场所。特别是在屋外时，因日照等动态变化而使得监视目标的颜色在 视觉上随着时间、天气等不断变化。因此，必须对暂时导入到所设置 的摄像机中的摄像机参数进行动态更新。进而，考虑到所设置的摄像 机台数、日照环境的多样性，必须使摄像机参数更新自动化。
发明内容
发明要解决的问题
本发明(第1发明)是在上述背景下完成的。本发明(第1发明) 的目的在于提供一种计算负荷小且可以实时应对照明环境变化的颜色 校正处理装置。
本发明(第2发明)是在上述背景下完成的。本发明(第2发明) 的目的在于提供一种不会受到摄像机设置环境、日照环境等摄像环境 变动的影响，可以对图像的颜色加以适当校正的颜色校正装置及使用 其的影像检索装置。
解决问题的方法
技术领域：
本发明(第1发明)的其中一种形式是颜色校正处理装置，其具
备颜色集合信息存储部，其存储包含作为颜色校正对象的源颜色的 颜色信息、及颜色校正后的基准色的颜色信息的颜色集合信息；颜色 校正部，其使用颜色集合将多个摄像装置拍摄到的各源图像中和源颜 色在相似范围内的颜色校正为基准色；区域选择部，其从各源图像中 选择特定的源区域；区域颜色确定部，其确定源区域颜色作为代表源 区域的颜色；以及颜色集合更新部，其使用源区域颜色，对颜色集合 的源颜色进行更新。
本发明(第1发明)的另外一种形式是颜色校正处理方法，存储 颜色集合信息，所述颜色集合信息包含作为颜色校正对象的源颜色的 颜色信息、及颜色校正后的基准色的颜色信息；从由多个摄像装置拍 摄到的各源图像中选择特定的源区域；确定源区域颜色作为代表源区
域的颜色；使用源区域颜色，对颜色集合的源颜色进行更新；使用颜 色集合，将多个源图像中和源颜色在相似的范围内的颜色校正为基准 色。
本发明(第2发明)的其中一种形式是动态摄像机颜色校正装置， 对从拍摄监视区域的摄像部输入的图像进行颜色校正，其具备补色 部，其根据特定的比色图表来确定颜色校正参数；颜色校正部，其根 据颜色校正参数，对摄像部拍摄到的图像进行颜色校正并输出颜色校 正图像；背景提取部，其从颜色校正图像中提取背景图像；背景确认 部，其确认背景图像是否为背景；颜色提取部，其从已确认的背景图 像中提取颜色信息；以及颜色比较部，其在已提取的颜色信息发生了 变化的情况下，变更颜色校正参数。
本发明(第2发明)的另外一种形式是影像检索装置，其具备 上述的动态摄像机颜色校正装置；运动区域提取部，其从经颜色校正 部校正过的摄像图像中提取图像内发生运动的区域；人判别部，其判 别经运动区域提取部提取的区域中是否包含人物，并从区域中提取人 物区域；区域分割部，其对经人判别部提取的人物区域进行区块分割； 代表色计算部，其从经区域分割部区块分割而成的各区域中，提取颜 色信息和纹理信息；数据库，其存储经代表色计算部提取的颜色信息 和纹理信息；人物检索部，其对存储在数据库内的颜色信息及纹理信 息和用户想要检索的人物的颜色信息及纹理信息加以比较，并计算出 得分；以及检索结果显示部，其显示经人物检索部计算出的得分。
本发明(第2发明)的另外一种形式是影像检索装置，其具备 上述的动态摄像机颜色校正装置；运动域提取部，其从经颜色校正部 校正过的摄像图像中提取图像内发生运动的区域；人判别部，其判别 经运动区域提取部提取的区域中是否包含人物，并从区域中提取人物 区域；区域分割部，其对经人判别部提取的人物区域进行区块分割； 代表色计算部，其从经区域分割部区块分割而成的各区域中，提取颜
色信息和纹理信息；数据库，其存储经代表色计算部提取的颜色信息 和纹理信息；人物检索部，其对存储在数据库内的颜色信息及纹理信 息和用户想要检索的人物的颜色信息及纹理信息加以比较，计算出得 分，并发送再现命令以再现特定得分的摄像图像；压縮部，其以规定 的压縮方式对经颜色校正部校正的摄像图像进行压縮；存储器，其存 储经压縮部压縮的摄像图像；展开部，其根据经人物检索部发送的再 现命令，将存储在存储器中的经压縮部压縮的摄像图像读出，并以规 定的扩展方式扩展；以及显示部，其显示经展开部展开的摄像图像。
本发明(第2发明)的另外一种形式是与多个摄像机连接的影像 检索装置，其具备上述的动态摄像机颜色校正装置；运动区域提取 部，其从经颜色校正部校正过的摄像图像中提取图像内发生运动的区 域；人判别部，其判别经运动区域提取部提取的区域中是否包含人物， 并从区域中提取人物区域；区域分割部，其对经人判别部提取的人物 区域进行区块分割；代表色计算部，其从经区域分割部区块分割而成 的各区域中，提取颜色信息和纹理信息；检索人物数据库，存储特定 人物的颜色信息和纹理信息；人物匹配部，其对存储在检索人物数据 库中的颜色信息及纹理信息和经代表色计算部计算出的颜色信息及纹 理信息加以比较，在为同一人物的情况下，发送摄像机切换命令，以 使经颜色校正部校正的拍摄有代表色计算部检测出的人物的摄像图像 得以显示；影像切换部，其根据经人物匹配部发送的摄像机切换命令， 切换到对经颜色校正部校正过的摄像图像进行拍摄的摄像机；以及显 示部，其对经影像切换部切换且经颜色校正部校正的摄像图像进行监
视和显示。
本发明(第2发明)的另外一种形式是颜色校正装置，根据颜色 校正参数来对从拍摄监视区域的摄像部输入的图像进行颜色校正，其 具备背景区域提取部，其提取图像中的背景区域；颜色信息提取部， 其提取背景区域的颜色信息；颜色信息比较部，其对存储在参考表中 的初始运行时的背景区域的颜色信息和所提取的颜色信息加以比较；
以及参数变更部，其根据比较结果来变更颜色校正参数。
如以下所说明的那样，本发明存在其它的形式。因此，本发明的 公开，是要提供本发明的其中一部分形式，而不是限定此处所描述和 请求保护的范围。
图1是本发明(第1发明)实施方式中的颜色校正处理装置的框图。
图2是用以说明本发明实施方式中的摄像机图像的概略图。
图3是本发明实施方式中的区域选择部的框图。
图4是本发明实施方式中的区域颜色确定部的框图。
图5是本发明实施方式中的颜色校正部的框图。
图6是说明本发明实施方式中的颜色集合信息的表。
图7是本发明实施方式中的目标相似判定部的框图。
图8是本发明实施方式中的照明变化检测部的框图。
图9是本发明实施方式中的颜色集合更新部的框图。
图IO是表示本发明实施方式中，使用源目标的目标颜色进行颜色
校正处理以及源颜色更新处理时的整体流程的流程图。
图11是表示本发明实施方式中，使用源目标的目标颜色进行颜色
校正处理时的流程的流程图。
图12是表示本发明实施方式中，使用源目标的目标颜色进行源颜
色的更新处理时的流程的流程图。
图13是表示本发明实施方式中，使用对应区域的对应区域颜色，
进行颜色校正处理以及源颜色的更新处理时的整体流程的流程图。
图14是表示本发明实施方式中，使用对应区域的对应区域颜色进
行源颜色更新处理时的流程的流程图。
图15是表示本发明实施方式中，使用对应区域的对应区域颜色进
行颜色校正处理时的流程的流程图。
图16是本发明(第2发明)第1实施方式中的动态摄像机颜色校
正装置的框图。
图17A是本发明第1实施方式中的比色图表的示意图。
图17B是理论上的UV色空间和比色化图表的理论上的UV值的一例。
图17C是用摄像机对UV色空间和比色化图表进行拍摄时的UV 值的一例。
图18是用以说明本发明第1实施方式中的动态摄像机颜色校正装 置的动作的流程图。
图19是用以说明本发明第1实施方式中的动态摄像机颜色校正装 置的颜色校正动作的示意图。
图20是本发明第l实施方式中的动态摄像机颜色校正装置的参考 表的一例。
图21是用以说明本发明第1实施方式中的动态摄像机颜色校正装 置的动作的流程图。
图22是本发明第2实施方式中的动态摄像机颜色校正装置的框图。
图23A是本发明第2实施方式中的用摄像机对UV色空间和背景 色进行拍摄时的U V值的 一 例。
图23B是用摄像机对UV色空间和背景色进行拍摄时的UV值的
另一例。
图24是用以说明本发明第2实施方式中的动态摄像机颜色校正装 置的动作的流程图。
图25是本发明第3实施方式中的动态摄像机颜色校正装置的框图。
图26是用以说明本发明第3实施方式中的动态摄像机颜色校正装 置的动作的流程图。
图27是本发明第3实施方式中的经区块分割后的背景图像的一例。
图28是本发明第4实施方式中的动态摄像机颜色校正装置的框图。
图29是用以说明本发明第4实施方式中的动态摄像机颜色校正装 置的动作的流程图。
图30A是本发明第4实施方式中的当前图像以及背景像素的一例。 图30B是依时序生成的背景像素的直方图的一例。 图31是用以说明本发明第4实施方式中的动态摄像机颜色校正装 置的动作的流程图。
图32是本发明第5实施方式中的动态摄像机颜色校正装置的框图。
图33是用以说明本发明第5实施方式中的动态摄像机颜色校正装 置的动作的流程图。
图34是用以说明本发明第5实施方式中的动态摄像机颜色校正装 置的动作的流程图。
图35是本发明第6实施方式中的包含动态摄像机颜色校正装置的 影像检索装置的框图。
图36是用以说明本发明第6实施方式中的包含动态摄像机颜色校 正装置的影像检索装置的动作的流程图。
图37是用以说明本发明第6实施方式中的包含动态摄像机颜色校 正装置的影像检索装置的动作模仿图。
图38是用以说明本发明第6实施方式中的包含动态摄像机颜色校 正装置的影像检索装置的动作的流程图。
图39是本发明第7实施方式中的包含动态摄像机颜色校正装置的 影像检索装置的框图。
图40是用以说明本发明第7实施方式中的包含动态摄像机颜色校 正装置的影像检索装置的动作的流程图。
图41是用以说明本发明第7实施方式中的包含动态摄像机颜色校 正装置的影像检索装置的动作的流程图。
图42是本发明第8实施方式中的包含动态摄像机颜色校正装置的 影像检索装置的框图。
图43是用以说明本发明第8实施方式中的包含动态摄像机颜色校 正装置的影像检索装置的动作的流程图。
1颜色校正处理装置
2摄像机
源图像获取部
6区域选择部(区域选择单元)
7区域颜色确定部(区域颜色确定单元)
8颜色校正部(颜色校正单元)
9照明变化检测部(照明变化检测单元)
10颜色集合更新部(颜色集合更新单元)
11颜色集合信息存储部(颜色集合信息存储单元)
12目标相似判定部(目标相似判定单元)
13基准目标存储部
14源目标提取部(源目标提取单元)
15背景图像获取部(背景图像获取单元)
16对应区域搜索部(对应区域搜索单元)
17目标颜色确定部(目标颜色确定单元)
18对应区域颜色确定部(对应区域颜色确定单元)
21区域分割部(区域分割单元)
24特征量获取部
25特征量相似判定部
29颜色距离计算部
30照明变化判定部
35加权计算部
100、700、 1000、1300、 1700 动态摄像机间颜色校正装置
2000监视装置
110摄像机
120颜色校正部
121、1321背景提取部
122、1322背景确认部
123颜色提取部
124参考表
125颜色比较部
126、726补色部
1027更新时刻判别部
1328、1329缓冲器
1730背景变化确认部
2031运动区域提取部
2032人判别部
2033区域分割部
2034代表色计算部
2035DB
2036、2436人物检索部
2037检索结果显示部
2038键盘/鼠标
2439压缩部
2440存储器
2441展开部
2442显示部
2743人物匹配部
2744检索人物DB
2745影像切换部
200比色图表的一例
210理论上的UV色空间
211比色图表的uv值的一例
220摄像机拍摄后的UV色空间
221摄像机拍摄后的比色图表的uv值的一例
400摄像机拍摄后的比色图表图像
401颜色校正处理区块
402颜色校正后的比色图表图像
800、 810 摄像机拍摄后的UV色空间
801、 811 摄像机拍摄后的背景色的UV值的一例
具体实施例方式
以下详细说明本发明。但是，以下的详细说明和附图不是限定发 明的。而是发明的范围是由附上的权利要求书规定。
以下详细说明本发明。但是，以下的详细说明和附图不是限定发 明的。而是发明的范围是由附上的权利要求书规定。
本发明(第1发明)的颜色校正处理装置具备颜色集合信息存 储部，其存储包含作为颜色校正对象的源颜色的颜色信息、及颜色校 正后的基准色的颜色信息的颜色集合信息；颜色校正部，其使用颜色 集合，将多个摄像装置拍摄到的各源图像中和源颜色在相似范围内的 颜色校正为基准色；区域选择部，其从各源图像中选择特定的源区域； 区域颜色确定部，其确定源区域颜色作为代表源区域的颜色；以及颜 色集合更新部，其使用源区域颜色，对颜色集合的源颜色进行更新。
根据此结构，使用源区域的源区域颜色替换并更新颜色集合的源 颜色。因此，即便在追加了跟踪对象的目标的情况下，或照明环境发 生了变化的情况下，也无需保存颜色校正处理所不需要的信息。由此， 为了进行颜色校正处理而保存的信息量较少即可，从而使计算负荷得 以减轻。因此，颜色校正处理所需的时间变短，颜色校正处理的动作 稳定。此外，由于计算负荷小，所以也可以实时应对照明环境的变化。
此外，本发明的颜色校正处理装置也可以具有如下结构，即，区 域选择部具备源目标提取部，所述源目标提取部从多个源图像中，提 取在背景图像中移动的前景目标(例如人物等)来作为源目标；区域 颜色确定部具备目标颜色确定部，所述目标颜色确定部将源目标的平 均色确定为作为源区域颜色的目标颜色，在颜色校正处理装置中，具
备对源目标和规定的基准目标是否相似进行判定的目标相似判定部， 颜色集合更新部在判定源目标和基准目标相似时，使用源目标的目标 颜色，对颜色集合的源颜色进行更新。
根据此结构，即便是在追加了跟踪对象的目标的情况下，在源目 标与基准目标相似时，使用源目标的目标颜色(源目标的平均色)， 对颜色集合的源颜色进行更新，从而无需保存颜色校正处理所不需要 的颜色集合的信息。由此，为了进行颜色校正处理所保存的信息量较 少即可，从而使计算负荷得以减轻。
此外，本发明的颜色校正处理装置也可以具有如下结构，g卩，目 标相似判定部通过对源目标和基准目标的特征量进行比较，来判定源 目标和基准目标的相似度。
根据此结构，可以使用源目标和基准目标的特征量(例如移动速 度、大小、纵横比等)来判定目标的相似度，从而使得源目标和基准 目标的一致性精度提高，由此使源目标的跟踪精度得到提高。
此外，本发明的颜色校正处理装置也可以具有如下结构，即，颜 色集合更新部将对源目标的目标颜色和颜色集合的源颜色进行加权平 均处理所得的加权平均色，用作更新用的源颜色。
根据此结构，即便是在源目标的目标颜色和颜色集合的源颜色的 颜色差异较大的情况下，也可以通过调整加权的程度，来调整更新用 的源颜色的颜色。
此外，本发明的颜色校正处理装置也可以具有如下结构，即，颜 色集合信息存储部中存储有颜色集合信息，所述颜色集合信息包含获 取了源颜色的颜色信息的区域信息，区域选择部具有从多个源图像 中获取背景图像的背景图像获取部，以及从背景图像中搜索与源颜色
的区域信息相对应的对应区域(例如行道树或道路等)的对应区域搜 索部，区域颜色确定部具有对应区域颜色确定部，所述对应区域颜色 确定部将对应区域的平均色确定为作为源区域颜色的对应区域颜色， 在颜色校正处理装置中具有照明变化检测部，所述照明变化检测部是 根据对应区域颜色来检测源图像中的照明环境变化，颜色集合更新部 在判定照明环境发生了变化时，使用对应区域颜色来更新颜色集合的 源颜色。
根据此结构，即便是在照明环境发生了变化的情况下，也可以在 判定照明环境发生了变化时，使用对应区域颜色来更新颜色集合的源 颜色，从而无需保存颜色校正处理所不需要的颜色集合的信息。由此， 为了进行颜色校正处理所保存的信息量较少即可，从而使计算负荷得 以减轻。
此外，本发明的颜色校正处理装置也可以具有如下结构，即，照 明变化检测部具有颜色距离计算部，其计算出对应区域颜色和源颜 色的颜色距离；以及照明变化判定部，其在对应区域颜色和源颜色的 颜色距离大于规定的临界颜色距离时，判定照明环境发生了变化。
根据此结构，可以使用对应区域颜色和源颜色的颜色距离(色空 间上的两个色坐标间的距离)来判定照明环境有无发生变化，因此与 现有的检测照明环境变化的方法相比，计算负荷得以减轻，且对照明 环境变化等的适应性提高。
此外，本发明的颜色校正处理装置也可以具有如下结构，即，背 景图像获取部以规定的时间间隔从多个源图像中获取背景图像，照明 变化检测部以规定的时间间隔来检测源图像的照明环境变化。
根据此结构，以规定的时间间隔从源图像中获取背景图像，并检 测照明环境的变化。因此，可以根据照明环境发生变化的频率来调整
规定的时间间隔，以此来调整进行照明环境变化的检测计算的频率， 从而与一直检测照明环境变化的情况相比，计算负荷得以减轻。
此外，本发明的颜色校正处理装置也可以具有如下构成，即，颜 色校正部具有将对应区域分割为多个小区域的区域分割部，针对多个 小区域中的每个小区域，使用对应区域颜色来更新颜色集合的源颜色。
根据此结构，在对应区域(例如行道树)由颜色各不相同的多个 小区域(例如，树叶部分和树干部分)构成时，可以使用多个小区域 中的每个小区域的对应区域颜色来更新源颜色，从而使对应区域的一
致性精度得到提高。
本发明的颜色校正处理方法中，存储颜色集合信息，所述颜色集 合信息包含作为颜色校正对象的源颜色的颜色信息、及颜色校正后的 基准色的颜色信息，从多个摄像装置拍摄到的各源图像中选择特定的 源区域，确定源区域颜色作为代表源区域的颜色，使用源区域颜色， 对颜色集合的源颜色进行更新，并使用颜色集合，将多个源图像中和 源颜色在相似范围内的颜色校正为基准色。
此外，本发明的颜色校正处理方法也可以为如下，g卩，从源图像 中提取在背景图像中移动的前景目标来作为源目标，将源目标的平均 色确定为作为源区域颜色的目标颜色，判定源目标和规定的基准目标 是否相似，并在判定源目标和基准目标相似时，使用源目标的目标颜 色，对颜色集合的源颜色进行更新。
此外，本发明的颜色校正处理方法也可以为如下，即，存储颜色 集合信息，所述颜色集合信息包含获取了源颜色的颜色信息的区域信 息，从多个源图像中获取背景图像，并从背景图像中搜索与源颜色的 区域信息相对应的对应区域，将对应区域的平均色确定为作为源区域 颜色的对应区域颜色，根据对应区域颜色，来检测源图像中的照明环
境的变化，并在判定照明环境发生了变化时，使用对应区域颜色对颜 色集合的源颜色进行更新。
本发明(第1发明)，通过设置有使用源区域颜色对颜色集合的 源颜色进行更新的颜色集合更新部，而无需保存颜色校正处理所不需 要的颜色集合的信息，从而使计算负荷得以减轻，且可实时应对照明 环境的变化。
本发明(第2发明)的动态摄像机颜色校正装置对从拍摄监视区 域的摄像部输入的图像进行颜色校正，其具备补色部，其根据特定 的比色图表来确定颜色校正参数；颜色校正部，其根据颜色校正参数， 对摄像部所拍摄到的图像进行颜色校正并输出颜色校正图像；背景提 取部，其从颜色校正图像中提取背景图像；背景确认部，其确认背景 图像是否为背景；颜色提取部，其从被确认的背景图像中提取颜色信 息；以及颜色比较部，其在提取的颜色信息发生了变化的情况下，变 更颜色校正参数。
根据此结构，提取监视区域内的背景图像，并确认背景图像颜色 的变化，对颜色校正参数进行逐次更新，由此不受摄像部摄像环境的 变化影响可自动对摄像图像进行颜色校正。
此外，本发明的动态摄像机颜色校正装置也可以具有如下结构， 即具有将背景图像的颜色信息与背景图像的位置信息相对应地存储的 参考表。
此外，在本发明的动态摄像机颜色校正装置中，也可以具有如下 结构，即，颜色校正部根据颜色比较部变更的颜色校正参数，对全色 空间的颜色校正参数进行更新。
根据此结构，利用补色部并使用经变更的背景像素的颜色来进行补色，并更新所有颜色校正参数，由此可以实现更高精度的颜色校正。
此外，本发明的动态摄像机颜色校正装置也可以具有如下结构， 即，具有更新时刻判别部，所述更新时刻判别部检测背景图像的像素 信息，并根据背景图像的像素信息和作为基准的像素信息的差异，来 判别是否使颜色比较部起作用。
根据此结构，可以知道进行颜色比较的时刻。
此外，本发明的动态摄像机颜色校正装置也可以具有如下结构， 即，更新时刻判别部将背景图像分割成规定的区域，并计算出各区域 的平均亮度值。
根据此结构，更新时刻判别部仅在与初始运行时相比发生较多的 曰照变动时，对颜色校正参数进行更新等，从而可以减轻进行颜色校 正的CPU或者DSP的处理负荷。
此外，本发明的动态摄像机颜色校正装置也可以具有如下结构， 即，具有存储经颜色校正部校正过的图像的第1缓冲器及第2缓冲器， 背景提取部从存储在第1缓冲器中的图像中提取多个背景图像群1，背
景确认部从存储在第2缓冲器中的图像中提取多个背景图像群2，颜色 比较部检测背景图像群1以及背景图像群2的像素信息，并根据背景 图像群1以及背景图像群2的像素信息的变化来进行颜色比较处理。
此外，本发明的动态摄像机颜色校正装置也可以具有如下结构， 即，背景提取部针对依时序存储在第1缓冲器中的图像的每个像素生 成直方图并提取频率高的亮度，背景确认部针对依时序存储在第2缓 冲器中的图像的每个像素生成直方图并提取频率高的亮度。
根据此结构，利用背景提取部和背景确认部来提取多个背景像素，
由此即便是在树叶或旗帜等发生摆动的情况下等，也可以高精度地进 行颜色校正。
此外，本发明的动态摄像机颜色校正装置也可以具有如下结构， 即，具有对经背景确认部确认过的背景图像中的物体是否移动过进行 确认的背景变化确认部。
此外，本发明的动态摄像机颜色校正装置也可以具有如下结构， 即，背景变化确认部求出前一帧的背景图像和当前的背景图像的差分。
根据此结构，利用背景变化确认部对前一帧的背景图像(群)和 当前的背景图像(群)进行比较，由此，即便是在背景图像中所含的 停靠车辆等己移动的情况下等，也可以高精度进行颜色校正。
此外，本发明的影像检索装置具备上述动态摄像机颜色校正装 置；运动区域提取部，其从经颜色校正部校正过的摄像图像中提取图 像内发生过运动的区域；人判别部，其判别经运动区域提取部提取的 区域中是否包含人物等，并从区域中提取人物区域；区域分割部，其 对经人判别部提取的人物区域进行区块分割；代表色计算部，其从经 区域分割部区块分割而成的各区域中，提取颜色信息和纹理信息；数 据库，其存储经代表色计算部提取的颜色信息和纹理信息；人物检索 部，其对存储在数据库内的颜色信息以及纹理信息和用户想要检索的 人物的颜色信息以及纹理信息加以比较，并计算出得分；以及检索结 果显示部，其显示经人物检索部计算出的得分。
根据此结构，利用动态摄像机颜色校正装置动态进行颜色校正， 由此不会受到摄像机的个体差异、日照变动等的影响，可以实现准确 的人物检索。
此外，本发明的影像检索装置具备上述动态摄像机颜色校正装
置；运动区域提取部，其从经颜色校正部校正过的摄像图像中提取图 像内发生过运动的区域；人判别部，其判别经运动区域提取部提取的 区域中是否包含人物等，并从区域中提取人物区域；区域分割部，其 对经人判别部提取的人物区域进行区块分割；代表色计算部，其从经 区域分割部区块分割而成的各区域中，提取颜色信息和纹理信息；数 据库，其存储经代表色计算部提取的颜色信息和纹理信息；人物检索 部，其对存储在数据库内的颜色信息以及纹理信息和用户想要检索的 人物的颜色信息以及纹理信息加以比较，计算出得分，并发送再现命 令以再现特定得分的摄像图像；压縮部，其以规定的压縮方式对经颜 色校正部校正过的摄像图像进行压縮；存储器，其存储经压縮部压縮 的摄像图像；展开部，其根据经人物检索部发送的再现命令，将存储 在存储器中的经压縮部压縮的摄像图像读出，并以规定的扩展方式扩 展；以及显示部，其将经展开部展开的摄像图像加以显示。
此外，本发明的影像检索装置也可以具有如下结构，即压缩部从 经颜色校正部校正过的摄像图像中间断地选取任意帧，以规定的压縮 方式进行压縮。
根据此结构，由动态摄像机颜色校正装置动态进行颜色校正，并 将被颜色校正的影像存储到存储器中，且由显示部显示，由此不会受 到摄像机的个体差异、日照变动等的影响，可以再现所需的人物影像。
进而，本发明的影像检索装置与多个摄像机连接，其具备上述 动态摄像机颜色校正装置；运动区域提取部，其从经颜色校正部校正 过的摄像图像中提取图像内发生过运动的区域；人判别部，其判别经 运动区域提取部提取的区域中是否包含人物等，并从区域中提取人物 区域；区域分割部，其对经人判别部提取的人物区域进行区块分割； 代表色计算部，其从经区域分割部区块分割而成的各区域中，提取颜 色信息和纹理信息；检索人物数据库，其存储特定人物的颜色信息和 纹理信息；人物匹配部，其对存储在检索人物数据库中的颜色信息以
及纹理信息和经代表色计算部计算出的颜色信息以及纹理信息加以比 较，并在为同一人物的情况下，发送摄像机切换命令，以使经颜色校 正部校正的拍摄有代表色计算部检测到的人物的摄像图像得以显示； 影像切换部，其根据经人物匹配部发送的摄像机切换命令，切换到对 经颜色校正部校正过的摄像图像进行拍摄的摄像机；以及显示部，其 对经影像切换部切换且经颜色校正部校正的摄像图像进行监视和显 示。
根据此结构，动态摄像机颜色校正装置动态进行颜色校正，人物 匹配部预先比较是否为存储在检索人物DB (DataBase)中的人物，在 为同一人物的情况下，利用影像切换部切换摄像机，由此将不会受到 摄像机的个体差异、日照变动等的影响，即便是所需的人物在摄像机 间移动，也可以进行监视。
本发明(第2发明)中，自动提取监视区域内的背景图像，并确 认背景图像颜色的变化，对颜色校正参数进行逐次更新，由此不受摄 像部的摄像环境的变化的影响，可自动地对摄像图像进行颜色校正。
(第1发明的实施方式)
以下，就本发明(第1发明)的实施方式的颜色校正处理装置， 使用图1 图9来说明。本实施方式中，如图2所示，例示了跟踪监视 系统中所使用的颜色校正处理装置的情况，在此跟踪监视系统中，用 计算机对两个摄像机拍摄到的两个摄像机图像进行图像处理，对在此 两个摄像机图像间移动的目标(例如人物等)进行跟踪监视。
以下的说明中，将两个摄像机称作摄像机A以及摄像机B。而且， 将摄像机A拍摄到的图像称作源图像A，且将摄像机B拍摄到的图像 称作源图像B。本实施方式中，将摄像机A和摄像机B配置在彼此远 离的位置上(参考图2)。而且，作为监视对象的人物在摄像机A的 源图像A和摄像机B的源图像B间移动。
本发明实施方式的颜色校正处理装置的框图示于图1。如图1所 示，颜色校正处理装置1具备设置在设有两个摄像机2 (摄像机A
以及摄像机B)的监视场所的两个客户端单元3 (客户端单元A以及客 户端单元B);以及设置在中央监视场所的一个服务器单元4。
如图1所示，客户端单元3具备源图像获取部5、区域选择部6、 区域颜色确定部7、颜色校正部8、照明变化检测部9、颜色集合更新 部10、及颜色集合信息存储部11。此外，服务器单元4具备目标相似 判定部12、及基准目标存储部13。
源图像获取部5，从摄像机2 (摄像机A或者摄像机B)中获取源 图像(源图像A或者源图像B)。本实施方式中，在源图像获取部5 中，以预先设定的规定帧频(例如，间隔1秒或者间隔5秒等)获取 源图像。
图3是表示区域选择部6的结构的框图。如图3所示，区域选择 部6具有源目标提取部14，所述源目标提取部14从源图像中提取背景 图像中移动的前景目标作为源目标。此外，区域选择部6具备背景 图像获取部15，其从源图像中获取将源目标除去后的背景图像；对应 区域搜索部16，其从背景图像中搜索与后述的颜色集合的源颜色的区 域信息相对应的对应区域。本实施方式中，背景图像的获取是以规定 的时间间隔(例如，间隔1分钟或者间隔5分钟)来进行的。这样一 来，区域选择部6可以从源图像中选择特定的源区域(源目标、背景 图像的对应区域)。
图4是表示区域颜色确定部7的结构的框图。如图4所示，区域 颜色确定部7具备目标颜色确定部17，所述目标颜色确定部17计算出 源目标的平均色，并将所述平均色确定为目标颜色。例如，在源目标 具有各种颜色的情况下，源目标的平均色成为与亮度相对应的灰度等
级的颜色信息。或者，源目标的平均色也可以具有颜色信息，所述颜
色信息包含RGB颜色信息的各自的平均色。此外，区域颜色确定部7 具备对应区域颜色确定部18，所述对应区域颜色确定部18计算出对应
区域的平均色，并将所述平均色确定为对应区域颜色。例如，在对应 区域具有大致相同颜色的情况下，对应区域的平均色成为代表大致相 同颜色的中心颜色的颜色信息。即，对应区域的平均色，也可以称作 对应区域的代表色。作为此对应区域的代表色，除了对应区域的平均 色以外，例如也可以使用对应区域中所含的颜色的最频值(最频繁出
现的颜色)。这样一来，区域颜色确定部7可以确定源区域颜色(源 目标颜色、对应区域颜色)来作为代表源区域(源目标、对应区域) 的颜色。
图5是表示颜色校正部8的结构的框图。如图5所示，颜色校正 部8具备源目标存储部19，所述源目标存储部19存储源目标的目标信 息(目标的颜色信息或位置信息等)。此外，颜色校正部8具备对 应区域存储部20，其存储对应区域的对应区域信息(对应区域的颜色 信息或位置信息等)；区域分割部21，将对应区域分割成多个小区域。 此外，颜色校正部8具备相似区域搜索部22，其搜索源图像的特定 源区域(源目标、对应区域或者小区域)中，具有和源颜色在相似范 围内的颜色的区域；区域颜色替换部23，其将搜索到的区域的颜色替 换为后述的颜色集合的基准色。这样一来，颜色校正部8构成为可以 使用存储在颜色集合信息存储部11中的颜色集合信息，将源图像(源 图像A或者源图像B)中和源颜色在相似范围内的颜色校正为基准色。
在颜色集合信息存储部11中，例如，存储有如图6所示的颜色集 合信息。颜色集合信息具有作为颜色校正对象的源颜色的颜色信息； 表示已获取了源颜色的颜色信息的原区域的区域信息；及颜色校正所 使用的基准色的颜色信息。
本实施方式中，例如，灰度等级的源颜色的颜色信息(灰度3、灰
度2)作为从图2所示的源图像(源图像A以及源图像B)的源目标(例 如人物)中获取的颜色集合信息被存储。基准色的颜色信息(灰度1)，
例如是从存储在基准目标存储部13中的人物的基准目标中获取的。另
外，此情况下，由于源目标(例如人物)在源画面中移动，并非总是 停留在固定区域，因此源颜色的区域信息并不是作为颜色集合信息而 存储的。
此外，本实施方式中，例如，绿色的源颜色的颜色信息(绿色8、 绿色6)和区域信息(2b、 4e)作为从图2所示的源图像(源图像A以 及源图像B)的背景图像的对应域的小区域(例如行道树的树叶部分) 中获取的颜色集合信息被存储。基准色的颜色信息(绿色7)，例如， 是从存储在基准目标存储部13中的行道树的基准目标的树叶部分中获 取的。此外，褐色的源颜色的颜色信息(褐色2、褐色3)和区域信息 (2c、4f)作为从背景图像的对应域的小区域(例如行道树的树干部分) 中获取的颜色集合信息被存储。基准色的颜色信息(褐色7)，例如是 从存储在基准目标存储部13中的行道树的基准目标的树干部分中获取 的。
图7是表示目标相似判定部12的结构的框图。如图7所示，目标 相似判定部12具备特征量获取部24、及特征量相似判定部25。特征 量获取部24从颜色校正部8的源目标存储部19中获取源目标的特征 量，并且从基准目标存储部13中获取基准目标的特征量。例如，图2 中例示基准目标的例子。本实施方式中，例如使用行道树、人物、及 道路等目标作为基准目标。而且，例如使用目标的移动速度及大小、 纵横比等特征量作为目标的特征量。特征量相似判定部25通过对源目 标的特征量和基准目标的特征量进行比较，来判定源目标和基准目标 的相似度。如此，使目标相似判定部12构成为可以判定源目标和基准 目标是否相似。
图8是表示照明变化检测部9的结构的框图。如图8所示，照明
变化检测部9具备颜色集合信息获取部26，其从颜色集合信息存储 部11中获取颜色集合信息；源颜色获取部27，其根据颜色集合信息获 取与对应区域(或者小区域)相对应的源颜色(参考图6)。此外，照 明变化检测部9具备对应区域颜色获取部34，其获取对应区域的颜 色信息(对应区域颜色)；颜色距离计算部29，其使用最小平方法等 比较方法计算出所述源颜色和对应区域颜色的颜色距离D;以及照明 变化判定部30，其在颜色距离D大于规定的临界颜色距离Ds时判定 照明发生了变化。如此，照明变化检测部9构成为可以检测出源图像 中的照明环境的变化。
本实施方式中，源颜色和对应区域颜色的颜色距离D，例如，可 通过下述式l计算出。此处，源颜色的HSV色空间中的坐标为(hl、 sl、 vl)，而对应区域颜色的HSV色空间中的坐标为(h2、 s2、 v2)。
D={ (hi—h2) 2+ (sl —s2) 2+ (vl—v2) 2}0.5 (式l)
图9是表示颜色集合更新部10的结构的框图。如图9所示，颜色 集合更新部10具备颜色集合信息获取部31、源颜色获取部32、源区 域信息获取部33、区域颜色获取部34、加权计算部35、及源颜色替换 部36。
颜色集合更新部10中，在判定源目标和基准目标相似时，通过源 区域信息获取部33获取源目标的目标信息，并通过区域颜色获取部34 获取源目标的目标颜色。此外，通过颜色集合信息获取部31获取颜色 集合信息，且通过源颜色获取部32获取与源目标相对应的源颜色。而 且，在加权计算部35中，对目标颜色和源颜色进行加权平均处理，且 在源颜色替换部36中，将加权平均处理前的旧的源颜色，替换为加权 平均处理后的新的源颜色。如此使颜色集合更新部IO构成为可以使用 源目标的目标颜色，来自动地更新颜色集合的源颜色。
本实施方式中，在加权计算部35中，使用下述式2对目标颜色和
源颜色进行加权平均处理。此处，Cs是进行加权平均处理前的(更新 前的)颜色集合的源颜色的颜色信息，Co是目标颜色的颜色信息。此 外，A是加权系数(0《A《1)。而且，Cs'是通过加权平均处理所得 的(更新后的)颜色集合的源颜色的颜色信息。
<formula>formula see original document page 33</formula> (式2)
此外，颜色集合更新部10中，在判定源图像中的照明环境发生了 变化时，通过源区域信息获取部33，获取对应区域的对应区域信息， 且通过区域颜色获取部34，获取对应区域的对应区域颜色。此外，通 过颜色集合信息获取部31获取颜色集合信息，且通过源颜色获取部32 获取与对应区域相对应的源颜色。而且，和上述相同，在加权计算部 35中，对目标颜色和源颜色进行加权平均处理，且在源颜色替换部36 中，将加权平均处理前的旧的源颜色，替换为加权平均处理后的新的 源颜色。此时，上述式2中的Co，使用对应区域颜色(对应区域的平 均色)来代替目标颜色的颜色信息。如此使颜色集合更新部IO构成为 可以使用对应区域的对应区域颜色，自动地更新颜色集合的源颜色。
使用图10 图15来说明以以上方式构成的颜色校正处理装置1 的动作。
首先，使用图10 图12来说明在本发明实施方式的颜色校正处理 装置1中，使用源目标的目标颜色，进行颜色校正处理以及源颜色的 更新时的动作。
图10是表示在本实施方式的颜色校正处理装置1中，使用源目标 的目标颜色，进行颜色校正处理以及源颜色的更新处理时的整体流程 的流程图。本实施方式中，客户端单元3的源图像获取部5，总是以规 定的帧频从摄像机2获取源图像。
如图IO所示，在使用源目标的目标颜色进行颜色校正处理以及源 颜色的更新处理时，首先，在区域选择部6的源目标提取部14中，从
源图像中提取源目标(S11)。接着，在区域颜色确定部7的目标颜色 确定部17中，将源目标的代表色(例如源目标的平均色)确定为目标 颜色(S12)。并且，在颜色校正部8中，使用源目标的目标颜色，进 行颜色校正处理(S13)。
图11是表示在颜色校正部8中，使用源目标的目标颜色进行颜色 校正处理(S13)时的流程的流程图。如图11所示，在使用目标颜色 进行颜色校正时，首先，在源目标存储部19中存储源目标的目标信息 (S131)。并且，相似区域搜索部22从目标信息中获取源目标的目标 颜色的颜色信息(S132)，并从颜色集合信息存储部11中获取颜色集 合的源颜色的颜色信息(S133)。
并且，在相似区域搜索部22中，搜索具有和源颜色在相似范围内 的颜色的源目标(S134)。在搜索到具有和源颜色在相似范围内的颜 色的源目标的情况下，在区域颜色替换部23中，将源目标的颜色替换 为与此源颜色相对应的基准色(S135)，并结束颜色校正处理。另一 方面，在未搜索到具有和源颜色在相似范围内的颜色的源目标的情况 下，不进行颜色的替换便结束处理。
在进行如上述那样的颜色校正处理(S13)后，服务器单元4的目 标相似判定部12的特征量获取部24获取源目标和基准目标的特征量 (S14)。并且，在目标相似判定部12的特征相似判定部中，根据源 目标和基准目标的特征量，对源目标和基准目标进行相似判定(S15)。
在判定源目标和基准目标相似的情况下，在客户端单元3的颜色 集合更新部10中，使用源目标的目标颜色，进行源颜色的更新处理 (S16)。另一方面，在判定源目标和基准目标不相似的情况下，不迸
行源颜色的更新便结束处理。
图12是表示在颜色集合更新部10中，使用源目标的目标颜色进
行源颜色的更新处理(S16)时的流程的流程图。如图12所示，在使 用目标颜色来进行源颜色的更新时，首先，通过颜色集合更新部10的 源区域信息获取部33，获取源目标的目标信息(S161)。并且，通过 区域颜色获取部34，从源目标的目标信息中获取目标颜色(S162)。 此外，颜色集合信息获取部31中，从颜色集合信息存储部11中获取 颜色集合信息(S163)。并且，在源颜色获取部32中，从颜色集合信 息中搜索并获取与源目标相对应的源颜色(S164)。
此后，在颜色集合更新部10的加权计算部35中，对目标颜色和 源颜色进行加权平均处理(S165)，并根据目标颜色和源颜色来求得 新的源颜色。并且，在源颜色替换部36中，将颜色集合中的旧的源颜 色替换为新的源颜色(S166)。这样，使颜色集合的源颜色自动更新。
其次，使用图13 图15来说明在本发明的实施方式的颜色校正处 理装置1中，使用对应区域的对应区域颜色，进行颜色校正处理以及 源颜色更新时的动作。
图13是表示在本实施方式的颜色校正处理装置1中，使用背景图 像的对应区域的对应区域颜色，进行颜色校正处理以及源颜色的更新 处理时的整体流程的流程图。本实施方式中，客户端单元3的源图像 获取部5也总是以规定的帧频从摄像机2中获取源图像。
如图13所示，在使用对应区域的对应区域颜色进行颜色校正处理 以及源颜色的更新处理时，首先，在区域选择部6的背景图像获取部 15中，从源图像中获取背景图像(S21)。此背景图像的获取是以规定 的时间间隔(例如，间隔1分钟或者间隔5分钟)来进行的。接着， 在区域选择部6的对应区域搜索部16中，从背景图像中搜索和颜色集
合的源颜色的区域信息相对应的对应区域(S22)。并且，在区域颜色
确定部7的对应区域颜色确定部18中，计算出对应区域的代表色(例 如，对应区域的平均色)，并将所述代表色确定为对应区域颜色(S23)。
接着，在照明变化检测部9中，分别获取颜色集合的源颜色和对 应区域颜色，并通过颜色距离计算部29计算出颜色集合的源颜色和对 应区域颜色的颜色距离D (S24)。并且，在照明变化判定部30中， 判定颜色距离D是否大于临界颜色距离Ds (S25)。在此判定的结果 为颜色距离D大于临界颜色距离Ds的情况下，判定照明环境发生了变 化，并进行源颜色的更新处理(S26)。另一方面，在判定结果为颜色 距离D在临界颜色距离Ds以下的情况下，判定照明环境未发生变化， 不进行源颜色的更新处理。
图14是表示在颜色集合更新部10中，使用对应区域的对应区域 颜色进行源颜色的更新处理(S26)时的流程的流程图。如图14所示， 在使用对应区域颜色进行源颜色的更新时，首先，通过颜色集合更新 部10的源区域信息获取部33获取对应区域的对应区域信息(S261)。 并且，通过区域颜色获取部34从对应区域的对应区域信息中获取对应 区域颜色(S262)。此外，颜色集合信息获取部31从颜色集合信息存 储部11中获取颜色集合信息(S263)。并且，在源颜色获取部32中， 从颜色集合信息中搜索并获取与对应区域相对应的源颜色(S264)。
此后，在颜色集合更新部10的加权计算部35中，进行对应区域 颜色和源颜色的加权平均处理(S265)，并根据对应区域颜色和源颜 色求得新的源颜色。并且，在源颜色替换部36中，将颜色集合中的旧 的源颜色替换为新的源颜色(S266)。这样，使颜色集合的源颜色自 动更新。
如上所述，对一个颜色集合完成源颜色的更新处理(S26)后，对 所有颜色集合是否完成源颜色的更新进行判断(S27)。在此判断结果
为判断出所有颜色集合并未完成颜色集合的更新的情况下，再次从背 景图像中，搜索和颜色集合的源颜色的区域信息相对应的对应区域
(S22)，并计算出平均色(S23)。并且，判定照明环境有无发生变 化(S24 S25)，并对剩余的颜色集合重复进行源颜色更新处理(S26)。
并且，使用如上被更新的颜色集合，在颜色校正部8中进行颜色 校正处理(S28)。
图15是表示在颜色校正部8中，使用对应区域的对应区域颜色进 行颜色校正处理(S28)时的流程的流程图。如图15所示，在使用对 应区域颜色进行颜色校正时，首先，在对应区域存储部20中存储对应 区域的对应区域信息(S281)。
其次，在颜色校正部8的区域分割部21中，判断是否将对应区域 分割为小区域(S282)。本实施方式中，例如，在对应区域由如行道 树那样的多个颜色区域(例如，树叶的绿色区域和树干的褐色区域这 两个区域)构成的情况下，判断为必须将对应区域分割为小区域，并 进行区域分割处理(S283)。另一方面，在对应区域由如道路那样的 单一颜色区域(例如路面的灰色区域)构成的情况下，判断为不必将 对应区域分割为小区域。
此后，在颜色校正部8的区域搜索部中，从被存储的对应区域信 息中，获取对应区域(或者小区域)的对应区域颜色的颜色信息(S284)， 并从颜色集合信息存储部11中，获取颜色集合的源颜色的颜色信息 (S285)。并且，在相似区域搜索部22中，搜索具有和源颜色在相似 范围内的颜色的对应区域(或者小区域)(S286)。
在此检索结果为搜索到具有和源颜色在相似范围内的颜色的对应 区域(或者小区域)的情况下，在区域颜色替换部23中，将对应区域 (或者小区域)的颜色替换为与此源颜色相对应的基准色(S287)，
并结束颜色校正处理。另一方面，在未搜索到具有和源颜色在相似范 围内的颜色的对应区域(或者小区域)的情况下，不进行颜色的替换 便结束处理。
根据这样的发明的实施方式中的颜色校正处理装置l，通过设置有 使用源区域颜色(目标颜色、对应区域颜色)对颜色集合的源颜色进 行更新的颜色集合更新部10，而无需保存颜色校正处理所不需要的颜 色集合的信息，从而可以减轻计算负荷，并实时应对照明环境的变化。
艮P，本实施方式中，在颜色集合更新部10中，使用源区域(源目 标、对应区域)的源区域颜色(目标颜色、对应区域颜色)来替换并 更新颜色集合的源颜色。因此，即便是在追加跟踪对象的目标的情况 下，或照明环境发生了变化的情况下，也无需保存颜色校正处理所不 需要的颜色集合信息。由此，为了进行颜色校正处理所保存的信息量 较少即可，从而可以减轻计算负荷。因此，颜色校正处理所需的时间 縮短，颜色校正处理的动作稳定。此外，因为计算负荷小，所以即便 是照明环境发生变化也可以实时应对。
此外，本实施方式中，即便是在追加了跟踪对象的目标的情况下， 在目标相似判定部12中，也进行源目标是否和基准目标相似的判定。 而且，在判定源目标和基准目标相似时，在颜色集合更新部10中，使 用源目标的目标颜色(源目标的平均色)对颜色集合的源颜色进行更 新。由此，无需保存颜色校正处理所不需要的颜色集合信息。因此， 为了进行颜色校正处理所保存的信息量较少即可，从而计算负荷得以 减轻。
此外，本实施方式中，在目标相似判定部12中，可以使用源目标 和基准目标的特征量(例如移动速度、小大、纵横比等)来判定目标 的相似度，因此使源目标和基准目标的一致性精度得到提高，源目标 的跟踪精度得以提高。
此外，本实施方式中，在颜色集合更新部10中，将对目标颜色和 源颜色进行加权平均处理所得的加权平均色用作更新用的源颜色。由 此，即便是在源目标的目标颜色和颜色集合的源颜色之间颜色差异较 大的情况下，也可以通过调整加权的程度，来调整更新用的源颜色的 颜色。
此外，本实施方式中，在照明环境发生了变化的情况下，在照明
变化检测部9中，判定照明环境发生了变化。而且，在判定照明环境 发生了变化时，在颜色集合更新部10中，使用对应区域颜色来更新颜
色集合的源颜色。由此，无需保存颜色校正处理所不需要的颜色集合 的信息。因此，为了进行颜色校正处理所保存的信息量较少即可，从 而可以减轻计算负荷。
此外，本实施方式中，在照明变化检测部9中，使用对应区域颜 色和源颜色的颜色距离(色空间中的两个色坐标间的距离)来判定照 明环境有无发生变化。由此，相比于现有的检测照明环境变化的方法， 计算负荷得以减轻，从而使得对照明环境变化等的适应性提高。
此外，本实施方式中，在区域选择部6的背景图像获取部15中， 以规定的时间间隔(例如间隔1分钟或者间隔5分钟)，从源图像中 获取背景图像。而且，在进行照明变化检测时，根据此背景图像检测 照明环境的变化。因此，通过根据照明环境变化的频率调整规定的时 间间隔，可以调整进行照明环境变化检测计算的频率，从而相比于一 直检测照明环境变化的情况，计算负荷得到减轻。
此外，本实施方式中，在颜色校正部8中，当对应区域(例如行 道树)由具有各不相同的颜色的多个小区域(例如树叶部分和树干部 分)构成时，使用多个小区域中的每个小区域的对应区域颜色，更新 源颜色。由此，对应区域的一致性精度得到提高。
以上，举例说明了本发明的实施方式，但本发明的范围并不限定 于这些说明，而是可以在权利要求书中记载的范围内根据目的而进行 变更、变形。
例如，在以上说明中，作为摄像装置，举例说明了以规定的帧频 进行静止图像拍摄的摄像机2的情况，但本发明的范围并不限定于此，
通常也可以是进行动态图像拍摄的摄像机(Video Camera)。
此外，在以上说明中，以颜色校正处理装置1由两个客户端单元3 和一个服务器单元4构成为例进行了说明，但本发明的范围并不限定 于此。例如，各客户端单元3也可以构成为具有服务器单元4的功能 (目标相似判定单元、基准目标存储单元)。
此外，在以上说明中，举例说明了作为摄像装置的摄像机2为两 个的情况，但本发明的范围并不限定于这些说明，即便是摄像装置为 三个以上的情况同样也可以实施。
此外，在以上说明中，举例说明了摄像机A以及摄像机B的拍摄 区域局部重叠的情况(参考图2)，但本发明的范围并不限定于此，即 便是摄像机A以及摄像机B的拍摄区域不重叠的情况同样也可以实施。
此外，在以上说明中，以通过颜色校正处理装置1自动进行颜色 集合的选择以及更新为例进行了说明，但本发明的范围并不限定于此， 也可以是用户手动进行颜色集合的选择，并使用此颜色集合的区域信 息进行颜色集合的更新。
(第2发明的实施方式)
以下，使用附图来说明本发明(第2发明)实施方式的动态摄像 机颜色校正装置。
(第1实施方式)
图16表示本发明第1实施方式的动态摄像机颜色校正装置的结 构。动态摄像机颜色校正装置IOO与输出彩色图像的摄像机110连接。
动态摄像机颜色校正装置100由如下部分构成补色部126，其根据特 定的比色图表确定颜色校正参数；颜色校正部120，其根据颜色校正参 数，对摄像机IIO拍摄到的图像进行颜色校正；背景提取部121，其从 经由颜色校正部120输入的影像(颜色校正图像)中提取背景信息； 背景确认部122，其对经由颜色校正部120输入的影像的像素是否为背 景像素进行确认；颜色提取部123，其根据从背景提取部121以及背景 确认部122输出的影像，计算出像素的位置信息和颜色信息；参考表 124，其将背景像素的位置信息和颜色信息表格化；颜色比较部125， 其对存储在参考表124中的位置信息以及颜色信息、和经由背景确认 部122以及颜色提取部123提取的位置信息以及颜色信息进行比较， 在不一致的情况下向颜色校正部120发出颜色校正值变更命令。另外， 颜色校正参数包含于颜色校正部中。
另外，图16中，和动态摄像机颜色校正装置IOO连接的摄像机110 表示的是一例，而并未限定摄像机110的数量。此外，图16的粗箭头 表示影像信号，例如，当摄像机110输出的是NTSC制式的信号时， 粗箭头表示的是NTSC制式的信号。
关于如以上方式构成的动态摄像机颜色校正装置IOO，对初始运行 动作和通常运行动作这两种动作来进行说明。初始运行动作是，为进 行动态颜色校正，在设置摄像机时仅进行一次的动作。通常运行动作 是使用在所述初始运行动作时设定的初始值进行动态颜色校正的动 作，此动作是本发明的主要部分。
首先，使用图17、图18、图19来说明初始运行动作。用摄像机 对相同物体进行拍摄。当在早晨进行拍摄时，由于太阳的光量较弱， 所以拍得较暗，当在白天进行拍摄时，由于太阳的光量较强，所以拍 摄得较亮，而在傍晚进行拍摄时，拍摄得略带红色。因此，必须进行 颜色校正以使早晨拍摄到的色空间和傍晚拍摄到的色空间等同于白天 拍摄到的色空间。
图17A是比色图表的示意图，图17B是理论上的UV色空间和比 色图表的理论上的UV值的一例，图17C是用摄像机对UV色空间和 比色图表进行拍摄时的UV值的一例。
例如，RGB色空间中，R (红色)为0 255， G (绿色)为0 255， B为0 255，色空间中存在有255x255x255= 1677万种颜色。为了使 色空间相同，用摄像机对1677万种颜色进行拍摄并加以颜色校正即可， 但准备1677万种颜色，并用摄像机进行拍摄，将耗费巨大工时，并不 现实。因此，通常是使用如下方法，S卩，将三维RGB色空间变换成除 去了亮度信息的二维UV空间，用摄像机对具有UV空间中的数种代表 色的比色图表200 (图17A)进行拍摄，并补足代表色以外的颜色。
图17B表示在UV色空间中UV色空间在理论上可表现的范围 210。此外，表示比色图表200的代表色的理论值211a、 211b、 211c、...、 211n。将用摄像机110对比色图表200的代表色进行拍摄所得的图像 (由RGB这3种颜色构成)再次变换到UV空间时，取得图17C中所 示的UV值221a、 221b、 221c、…、221n。
由于已知理论值21 la和UV值221a、理论值21 lb和UV值 221b、...、理论值211n和UV值221n相对应，因此可以补足代表色以 外的色空间220 (图17C)。另外，图17中的代表色数表示的是一例， 而并未限定代表数。此外，色空间不限定于UV色空间。
图18表示用以说明本发明第l实施方式中的动态摄像机颜色校正 装置的初始运行动作的流程图。首先，摄像机110对比色图表200进
行拍摄(S300)。补色部126从摄像机110的摄像图像中提取比色图 表200 (S301)，并对比色图表200的固有颜色和摄像机IIO拍摄到的 比色图表200的颜色加以比较(S302)。补色部126根据比较结果， 对比色图表200以外的颜色进行补色，并将颜色校正参数发送到颜色 校正部120 (S303)。
图19是用以说明动态摄像机颜色校正装置的颜色校正动作的示意 图。例如，当在太阳光量较多的白天对比色图表200进行拍摄时，摄 像机110的摄像比色图表400被拍摄得有些跳跃。但是，通过颜色校 正部120，根据颜色校正参数进行颜色校正402，由此作为比色图表200 所固有的色空间的比色图表402被输出。
返回图18，摄像机IIO对监视区域进行拍摄(S304)。摄像图像 是在由颜色校正部120根据颜色校正参数进行颜色校正(S305)后， 输入到背景提取部121。在摄像机IIO所拍摄到的图像中存在前景和背 景。前景是指人、车辆之类的经常运动的物体，背景是指墙壁、地面 之类的不运动的物体。背景提取部121,通过仅提取除去了前景信息的 背景信息来生成背景图像(S306)。
现示出进行背景提取(背景图像的生成)的算法的一例。在作为 数帧摄像机摄像图像的摄像机摄像图像群中，可以假定与前景相比背 景中包含非常多的信息。通过使用从存在任意个数的母集团中获取最 频值的最小平方中值法，将帧内每个像素的最频值作为背景像素，从 而生成背景图像。
从由背景提取部121提取的背景图像中，颜色提取部123获取除 去了例如Y (亮度)U、 V (颜色)之类的亮度信号的颜色信息(S307)。 经变换的颜色信息与背景像素的位置信息相对应地存储到参考表124 中(S308)。
图20表示参考表的一例。此参考表是摄像机110为NTSC制式、 颜色信息为YUV规格时的例子，位置为720x480，存储的U、 V范围 是从16到240的范围。
图21表示用以说明本发明第1实施方式中的动态摄像机颜色校正 装置的通常运行动作的流程图。使用图21来说明此通常运行动作。摄 像机IIO，对监视区域进行拍摄(S600)。摄像图像经颜色校正部120 被颜色校正(S601)后，被输入到背景确认部122。
背景确认部122使用差分法或者运动矢量法，根据所输入的摄像 图像，按象素单位确认为背景还是前景(S602)。例如，在使用差分 法的情况下，求出当前帧的摄像图像和其前一帧的摄像图像的差分， 提取运动区域，并将此运动区域以外部分作为背景。
关于经背景确认部122确认为背景的像素，颜色提取部123获取 除去了亮度信号的颜色信息(S603)。获取颜色信息的算法，与步骤 S307相同。提取的颜色信息和此像素的位置信息被发送到颜色比较部 125 (S604)。
颜色比较部125根据位置信息对经由S604发送来的颜色信息和存 储在参考表124中的颜色信息进行比较(S605)。在颜色信息的值不 同的情况下(S606)，判断为因日照变动等而导致初始设定动作时所 设定的色空间发生了变化，颜色比较部125将颜色校正值变更命令、 参考表124的颜色信息及经由背景确认部122的颜色信息发送到颜色 校正部122 (S606)。
颜色校正部120根据参考表124的颜色信息和经由背景确认部122 的颜色信息，对颜色校正参数进行更新(变更)，以将当前的背景色 作为初始设定动作时的背景色输出(S607)。在颜色信息的值相同的 情况下(S606)，返回到步骤S600。
根据这样的本发明第1实施方式的动态摄像机颜色校正装置，利 用背景提取部121、颜色提取部123，将初始设置时由摄像机IIO拍摄
到的背景的位置/颜色信息保存到参考表124中，利用背景确认部122、 颜色提取部123提取运行中的摄像机110的背景，利用颜色比较部125 来进行是否因日照变动而导致色空间发生变化的比较，利用颜色校正 部122更新颜色校正参数，由此，可以不受摄像机110的设置环境或 日照变动等摄像环境的变化的影响而自动地对摄像图像进行适当颜色 校正。
(第2实施方式)
接着，说明本发明第2实施方式的动态摄像机颜色校正装置。图 22表示本发明第2实施方式的动态摄像机颜色校正装置的结构。另外， 图22中和图16共用的部分标上相同的标记而省略其说明。
图22中，本实施方式涉及的动态摄像机颜色校正装置700除具有 实施方式1中所说明的颜色校正部120、背景提取部121、背景确认部 122、颜色提取部123、参考表124、及颜色比较部125以外，还具有 补色部726。
关于以以上方式构成的动态摄像机颜色校正装置700，对初始运行 动作和通常运行动作这两种动作来进行说明。初始运行动作因与所述 图18的步骤S300 步骤S308相同，故省略说明。
使用图23、图24来说明通常运行动作。图23是用摄像机对UV 色空间和背景色进行拍摄时的UV值的一例。此外，图24是用以说明 本发明第2实施方式中的动态摄像机颜色校正装置的动作的流程图。 此处，图24的步骤S900 步骤S907，因与前述图21的步骤S600 步 骤S607相同，故省略说明。
由摄像机IIO拍摄到的UV色空间，例如是图17B所示的UV色 空间220。此外，将存储在参考表124中的背景像素的U、V值设为801a、 802b、 ...、 801n。因日照变动等而使背景像素的颜色801a变化为811a。
补色部726从背景像素的颜色801a、 802b、 ...、 801n中，搜索和 背景像素的颜色801a及811a接近的颜色(S908)。如图23那样在和 801b相接近的情况下，补色部726使用除去颜色801a和801b后的811a、 801c、 ...、 801n进行补色，并更新颜色校正参数(S909)。
根据如以上所述的本发明第2实施方式的动态摄像机颜色校正装 置，利用补色部726，使用经变更的背景像素的颜色来进行补色，并更 新全体颜色校正参数，以此可以实现较高精度的颜色校正。
(第3实施方式)
接着，说明本发明第3实施方式的动态摄像机颜色校正装置。图 25表示本发明第3实施方式的动态摄像机颜色校正装置的结构。另外， 在图25中，对和图16、图22共用的部分标上相同标记并省略其说明。
图25中，本实施方式涉及的动态摄像机颜色校正装置1000除具 有实施方式1中说明的颜色校正部120、背景提取部121、背景确认部 122、颜色提取部123、参考表124、颜色比较部125、及实施方式2中 说明的补色部726以外，还具有更新时刻判别部1027。
有关以以上方式构成的动态摄像机颜色校正装置1000，对初始运 行动作和通常运行动作这两种动作来进行说明。初始运行动作，因与 前述图18的步骤S300 步骤S308相同，故省略说明。
使用图26、图27来说明通常运行动作。图26是用以说明本发明 第3实施方式中的动态摄像机颜色校正装置的动作流程图。此处，图 26的步骤S1100 步骤S1109，因与前述图24的步骤S900 步骤S909
相同，故省略说明。此外，图27表示经区块分割后的背景图像的一例。
如图27所示，更新时刻判别部1027将从背景确认部122输入的 背景图像矩形分割成NxM个(S1110)。另外，图27中所示的N二4、 M = 4的16分割表示的是一例，但并未限定N、 M的分割数。更新时 刻判别部1027计算经分割而成的各区域的平均亮度值(S1111)。
在首次通常运行动作的情况下，将首次的各区域的平均亮度值作 为初始运行动作时的平均亮度值加以存储(S1112)。更新时刻判别部 1027，对经分割而成的各区域的、初始运行动作时的平均亮度值和当 前帧的平均亮度值进行比较(S1113)。
在亮度值发生了较大变化的情况下(S1113:是)，判断为日照发 生了变动，并进入步骤S1103 步骤S1109的处理。而在亮度值变化不 大的情况下(S1113:否)，判断为日照未发生变动，返回到步骤S1100。
根据这样的本发明第3实施方式的动态摄像机颜色校正装置，更 新时刻判别部1027检测背景图像的亮度值，并根据所述背景图像的亮 度值和初始运行时的亮度值(作为基准的亮度值)的差来判别是否使 颜色比较部125起作用，仅在相比于初始运行时日照发生了较多变动 时，进行颜色校正参数的更新，由此可以减轻进行颜色校正的CPU或 者DSP的处理工作量。另外，更新时刻判别部也可以根据颜色信息， 来判别是否使颜色比较部125起作用。
(第4实施方式)
接着，说明本发明第4实施方式的动态摄像机颜色校正装置。图 28表示本发明第4实施方式的动态摄像机颜色校正装置的结构。另外， 图28中对与图16、图22、图25共用的部分标上相同标记并省略其说明。
图28中，本实施方式涉及的动态摄像机颜色校正装置1300，除具 有实施方式1中说明的颜色校正部120、颜色提取部123、参考表124、 颜色比较部125、及实施方式2中说明的补色部726、实施方式3中说 明的更新时刻判别部1027以外，还具有背景提取部1321、背景确认部 1322、缓冲器1328、及缓冲器1329。
关于以上述方式构成的动态摄像机颜色校正装置1300，对初始运 行动作和通常运行动作这两种动作来进行说明。首先，使用图29、图 30来说明初始运行动作。图29是用以说明本发明第4实施方式的动态 摄像机颜色校正装置的动作的流程图。此处，图29的步骤S1400 步 骤S1405，因与前述图18的步骤S300 步骤S305相同，故省略说明。
图30A是当前图像以及背景图像的一例，图30B是依时序生成的 背景像素的直方图的一例。如图30A所示，在家门前有树叶，且树叶 随风等摇动的情况下，在图30A的矩形像素中，存在树叶和家这两种 背景色。因此，背景提取部1321必须提取这两种背景色。
以下，对提取两种背景色的算法的一例进行说明。将根据颜色校 正参数被颜色校正部120颜色校正的摄像图像，存储在缓冲器1328中 (S1406)。背景提取部1321生成依时序存储的摄像图像的各像素的 直方图(图30B) (S1407)。根据生成的直方图，使用例如Mixtureof Gaussian法或者临界值法等，提取频率高的亮度b (树叶的亮度)、亮 度c(家的亮度)(S1408)。图30B中，横轴为亮度，但并不限定于 亮度，也可以包含颜色。
颜色提取部123，从亮度b、亮度c的各像素的位置信息及像素信 息中，获取除去了例如Y (亮度)U、 V (颜色)之类的亮度信号的两 个颜色信息(S1409)。经变换的颜色信息，以像素的位置信息和两个 颜色信息相对应的方式存储到参考表124中(S1410)。接着，使用图31来说明通常运行动作。图31是用以说明本发明 第4实施方式的动态摄像机颜色校正装置的动作的流程图。此处，图
31的步骤S1600 步骤S1609，因和前述图24的步骤S900 步骤S909 相同，故省略说明。
用摄像机110拍摄到的监视区域图像，存储到缓冲器1329中 (S1614)。背景确认部1322生成依时序存储的摄像图像的各像素的 直方图(图30B) (S1615)。根据生成的直方图，使用例如Mixture of Gaussian法或者临界值法等，提取频率高的亮度b (树叶的亮度)、亮 度c (家的亮度)(S1616)。
如图27所示，更新时刻判别部1027将背景图像矩形分割成NxM 个(S1617)。另外，图27的N二4、 M = 4的16分割表示的是一例， 并不限定N、 M的分割数。
计算出经分割而成的各区域中，亮度b和亮度c这两种区域的平 均亮度值(S1618)。在首次进行通常运行动作的情况下，将首次的各 区域平均亮度值作为初始运行动作时的平均亮度值加以存储(S1619)。 对经分割而成的各区域的、初始运行动作时的两种平均亮度值，分别 和两种当前帧的平均亮度值加以比较(S1620)。
在经比较的两种亮度值中的任何一个发生较大变化的情况下 (S1620:是)，进入步骤S1603 步骤S1609。而在经比较的两种亮 度值中的任何一个均未发生较大变化的情况下(S1620:否)，则返回 到步骤S1600。此外，记载了提取两种背景色的算法，但并不限定于两 种。
根据这样的本发明第4实施方式的动态摄像机颜色校正装置，通 过背景提取部1321和背景确认部1322来提取多个背景像素，由此即 便是在树叶或旗帜等发生摇动的情况下，也可以高精度地进行颜色校
正。
(第5实施方式)
接着，说明本发明第5实施方式的动态摄像机颜色校正装置。图 32表示本发明第5实施方式的动态摄像机颜色校正装置的结构。另外， 图32中对和图16、图22、图25、图28共用的部分标上相同标记并省 略其说明。
图32中，本实施方式涉及的动态摄像机颜色校正装置1700，除具 有实施方式1中说明的颜色校正部120、颜色提取部123、参考表124、 颜色比较部125、及实施方式2中说明的补色部726、实施方式3中说 明的更新时刻判别部1027、实施方式4中说明的背景提取部1321、背 景确认部1322、缓冲器1328、及缓冲器1329以外，还具有背景变化 确认部1730。
关于以上述方式构成的动态摄像机颜色校正装置1700，对初始运 行动作和通常运行动作这两种动作来进行说明。初始运行动作因与前 述图29的步骤S1400 步骤S1410相同，故省略说明。
使用图33、图34来说明通常运行动作。图33以及图34是用以说 明本发明第5实施方式的动态摄像机颜色校正装置的动作的流程图。 此处，图33的步骤S1800 步骤S1820，因与前述图31的步骤S1600 步骤S1620相同，故省略说明。
将经背景确认部1322提取的背景图像(群)，发送到背景变化确 认部1730。背景变化确认部1730求出前一帧的背景图像(群)和当前 的背景图像(群)的差分(S1821)。
背景变化确认部1730用当前帧的背景图像(群)覆盖前一个帧的 背景图像(群)并保存(S1822)。在差分结果存在较大差异的情况下
(S1823:是)，进入步骤S1904 步骤S1910 (参考图34)。
图34的步骤S1904 步骤S1910，因与前述图29的步骤S1404 步骤S1410相同，故省略说明。在差分结果不存在较大差异的情况下 (S1823:否)，进入步骤S1817 步骤S1820、步骤S1803 步骤S1809
的处理。
根据这样的本发明第4实施方式的动态摄像机颜色校正装置，通 过由背景变化确认部1730对前一帧的背景图像(群)和当前的背景图 像(群)进行比较，由此即便是在背景图像中所含的停靠车辆等移动 的情况下，也可以高精度地进行颜色校正。
(第6实施方式)
接着，说明本发明第6实施方式的包含动态摄像机颜色校正装置 的影像检索装置。图35表示本发明第6实施方式的包含动态摄像机颜 色校正装置的影像检索装置的结构。另外，图35中对与图16共用的 部分标上相同标记并省略其说明。
图35中，本实施方式的影像检索装置由摄像机110、监视装置 2000、数据库(DB) 2035、人物检索部2036、检索结果显示部2037、 及键盘/鼠标2038构成。
监视装置2000由上述实施方式1涉及的动态摄像机颜色校正装置 100、运动域提取部2031、人判别部2032、区域分割部2033、代表色 计算部2034构成。
关于以以上方式构成的本实施方式6的影像检索装置，对存储动 作、检索动作进行说明。首先，使用图36、图37来说明存储动作。图 36是用以说明本发明第6实施方式中的包含动态摄像机颜色校正装置 的影像检索装置的动作的流程图。此外，图37是此动作的说明图。另
外，动态摄像机颜色校正装置100的动作因与上述实施方式1的动作 相同，故省略说明。
经颜色校正部120处理过的摄像图像被输入到运动区域提取部
2031 (S2100)。运动区域提取部2031进行背景差分处理，所述背景 差分处理计算出被输入的摄像图像和预先保存的背景图像的差分值 (S2101)。
接着，运动域提取部2031判别摄像图像中是否有运动(S2102)。 具体而言，运动区域提取部2031在S2102的背景差分处理中，在差分 值大于预先决定的值的情况下判定影像中有运动，反之，判定图像中 无运动。
另外，运动区域提取部2031可在S2101中，进行背景差分处理以 外的处理，且在S2102中，根据此背景差分处理以外的处理结果来判 定图像中是否有运动。
在与输入到运动区域提取部2031中的摄像图像所对应的影像中有 运动的情况下，运动区域提取部2031提取此影像内的运动区域 (S2103)。进而，运动区域提取部2031将运动区域的摄像图像输出 到人判定部2032。
人判定部2032如果被输入有来自运动区域提取部2031的运动区 域的摄像图像，则进行椭圆霍夫处理(elliptic Hough process ) (S2104 )。 接着，人判定部2032判定是否满足运动区域的摄像图像是人物的条件 (S2105)。
具体而言，人判定部2032在通过S2104的椭圆霍夫处理，在运动 区域内可以检测出类似于人脸的椭圆形状的区域的情况下，判定满足 此运动区域是人物的条件。此外，在未检测出类似于人脸的椭圆形状
的区域的情况下，则判定不满足此运动区域是人物的条件。
另外，人判定部2032在S2104中也可进行椭圆霍夫处理以外的处 理(例如，导出存储对象运动区域整体形状、大小等的处理)，且在 S2105中，根据此椭圆霍夫处理以外的处理结果来判定是否满足运动区 域是人物的条件。
在不满足运动区域为人的条件的情况下(S2105:否)，返回到步 骤S2100。而在满足运动区域为人的条件的情况下(S2105:是)，人 判定部2032将运动区域的摄像图像输出到区域分割部2033。
区域分割部2033将来自人判定部2032的运动区域摄像图像分割 成多个区块区域(S2106)。例如，如图37那样，区域分割部2033将 人分割成头部、上半身、下半身、鞋子这四个部分。分割算法可以使 用K-Mean法，也可以使用重复式区域扩展法。另外，对运动区域的分 割数及区块区域的形状、分割算法并未作出特别限定。
区域分割部2033将与被分割的各区块区域相对应的摄像图像输出 到代表色计算部2034。代表色计算部2034对各区块区域使用规定的颜 色变换算法(例如，将RGB表色系变换成HSV表色系或Lab表色系、 YUV表色系)，计算出各区块区域的代表色(S2107)。例如，也可以 使用区域内的颜色的平均值、最频值、整个直方图。
进而，代表色计算部2034获取各区块区域的纹理信息(S2108)。 例如，可以是基于二维加博变换的空间-频率分析方法或纵、横、斜向 的边缘直方图。
接着，代表色计算部2034将代表色信息、纹理信息输出到DB2035 中。DB2035存储代表色信息、纹理信息(S2109)。另外，DB2035也 可以将进行拍摄的摄像机110的识别编号、摄像日期及时间、縮略图
像与代表色信息、纹理信息相对应地存储。
通过重复上述步骤S2100 步骤S2109的处理，DB2035中存储着 与多个人物相对应的代表色信息、纹理信息。
接着，使用图38来说明检索动作。图38是用以说明本发明第6 实施方式中的包含动态摄像机颜色校正装置的影像检索装置的动作的 流程图。
首先，用户利用键盘/鼠标2038，向人物检索部2036发送人物检 索命令(S2300)。人物检索命令，例如可以是存储在DB2035中的縮 略图像，也可以是红色、蓝色、黄色之类的ll种知觉代表色，也可以 是日期及时间、摄像机110的识别编号。
此外，也可以进行如下精确检索，g卩，检索具有上半身为红色、 下半身为黑色和白色的条纹状纹理，在2005年11月11日10时10分 2005年11月11日20时45分之间，由摄像机编号1拍摄到的人物。
人物检索部2036如果被输入了人物检索命令，则从DB2035中读 出与人物检索命令相对应的人物所对应的代表色信息、纹理信息 (S2301)。例如，在发出摄像机编号1的人物及人物检索命令的情况 下，并不读出由摄像机编号2拍摄到的人物。
接着，人物检索部2036依照人物检索命令，对与所读出的人物相 对应的代表色信息、纹理信息进行得分计算(S2302)。例如，从DB2035 中读出人物A、人物B、人物C的代表色信息、纹理信息。此外，人 物检索命令是命令检索和人物D的上半身颜色相似的人。
使人物A的上半身颜色信息为二维坐标(Al、 A2)，人物B的 上半身颜色信息为二维坐标(Bl、 B2)，人物C的上半身颜色信息为
二维坐标(Cl、 C2)，人物D的上半身颜色信息为二维坐标(Dl、 D2)，计算出D的坐标和A、 B、 C的坐标间的欧几里得距离(Euclidean distance)。另外，也可以使用欧几里得距离以外的方法，进行得分计算。
接着，检索结果显示部2037按照人物检索部2036计算出的得分 顺序，显示例如縮略图像(S2303)。另外，监视装置2000也可以具 有实施方式2的动态摄像机颜色校正装置700、实施方式3的动态摄像 机颜色校正装置900、实施方式4的动态摄像机颜色校正装置1300、 实施方式5的动态摄像机颜色校正装置1700，来代替动态摄像机颜色 校正装置100。
另外，本实施方式的监视装置2000中，动态摄像机颜色校正装置 100，也可以安装在摄像机110内部。此外，本实施方式6的监视装置 2000中的运动区域提取部2031、人判定部2032、区域分割部2033、 代表色计算部2034也可以安装在摄像机110内部。
根据这样的本发明第6实施方式，通过利用动态摄像机颜色校正 装置100动态进行颜色校正，由此不会受到摄像机的个体差异、日照 变动等的影响，从而可以进行高精度的人物检索。
(第7实施方式)
接着，说明本发明第7实施方式的包含动态摄像机颜色校正装置 的影像检索装置。图39表示本发明第7实施方式的包含动态摄像机颜 色校正装置的影像检索装置的结构。另外，图39中对与图16、图35 共用的部分标上相同标记，并省略其说明。
图39中，本实施方式的影像检索装置，除具有摄像机IIO、实施 方式6中说明的监视装置2000、 DB2035、人物检索部2036、及键盘/ 鼠标2038以外，还具有压縮部2439、存储器2440、展开部2441、及
显示部2442。
监视装置2000由上述实施方式1涉及的动态摄像机颜色校正装置 100、上述实施方式6涉及的运动区域提取部2031、人判别部2032、 区域分割部2033、及代表色计算部2034构成。
关于以上述方式构成的本实施方式7的影像检索装置，对DB存 储动作、存储器存储动作、及显示动作来进行说明。存储动作因与前 述的图36的步骤S2100 步骤S2109相同，故省略说明。
使用图40来说明存储器存储动作。图40是用以说明本发明第7 实施方式的包含动态摄像机颜色校正装置的影像检索装置的动作的流 程图。
颜色校正部120将经过颜色校正的摄像图像输出到压縮部2439中
(52500) 。压縮部2439将摄像图像以规定的压縮方式进行压縮
(52501) ，并将压縮后的摄像图像存储到存储器2440中(S2502)。 此处，作为规定的压縮方式，可使用例如MPEG (Movging Picture Experts Group)方式、JPEG (Joint Photographic Experts Group)方式等。
另外，存储器2440也可以将进行拍摄的摄像机110的识别编号、 摄像日期及时间与压縮图像相对应地存储。通过重复上述步骤S2500 步骤S2502的处理，将摄像图像存储到存储器2440中。
使用图41来说明显示动作。图41是用以说明本发明第7实施方 式中的包含动态摄像机颜色校正装置的影像检索装置的动作的流程 图。此处，图41的步骤S2600 步骤S2602因与前述图38的步骤 S2300 步骤S2302相同，故省略说明。
向展开部2441发送人物再现命令，以使由人物检索部2036计算
出的最高得分的人物的图像得以再现(S2603)。例如，在最高得分为 在2005年11月11日10时10分00秒由摄像机编号1拍摄的人物的 情况下，人物再现命令要求展开2005年11月11日IO时10分00秒 2005年11月11日10时11分OO秒的摄像机编号1的压縮图像。
展开部2441依照人物再现命令，从存储器2440中读出压縮图像 (S2604)，并以规定的扩展方式加以扩展(S2605)。此处，规定的 扩展方式是采用和压縮部2439的压縮方式相对应的扩展方式。经扩展 的图像显示在显示部2442中(S2606)。
另外，监视装置2000也可以具有实施方式2的动态摄像机颜色校 正装置700、实施方式3的动态摄像机颜色校正装置900、实施方式4 的动态摄像机颜色校正装置1300、实施方式5的动态摄像机颜色校正 装置1700，来代替动态摄像机颜色校正装置100。
此外，也可以通过压縮部2439来选择要压縮的帧，并间断地进行 压縮。由此，可以减少处理数据量。此外，动态摄像机颜色校正装置 100也可以安装在摄像机110内部。此外，运动区域提取部2031、人 判定部2032、区域分割部2033、代表色计算部2034也可以安装在摄 像机110内部。
根据这样的本发明的第7实施方式，通过动态摄像机颜色校正装 置100动态进行颜色校正，并将经颜色校正过的影像存储到存储器2440 中，且由显示部2442来进行显示，由此不会受到摄像机的个体差异、 日照变动等的影响，可以再现所需的人物影像。
(第8实施方式)
接着，说明本发明第8实施方式的包含动态摄像机颜色校正装置 的影像检索装置。图42表示本发明第7实施方式的包含动态摄像机颜 色校正装置的影像检索装置的结构。另外，图42中对与图16、图35、
图39共用的部分标上相同标记并省略其说明。
图42中，本实施方式的影像检索装置除具有摄像机110、实施方 式6中说明的监视装置2000、及显示部2442以外，还具有人物匹配部 2743、及影像切换部2745。
监视装置2000由上述实施方式l涉及的动态摄像机颜色校正装置 100、上述实施方式6涉及的运动域提取部2031、人判别部2032、区 域分割部2033、及代表色计算部2034构成。
使用图43来说明以以上方式构成的本实施方式8的影像检索装 置。图43是用以说明本发明第8实施方式中的包含动态摄像机颜色校 正装置的影像检索装置的动作的流程图。此处，图43的步骤S2800 步骤S2808因与前述图36的步骤S2100 步骤S2108相同，故省略说 明。
将由代表色计算部2034生成的人物的代表色信息、纹理信息，发 送到人物匹配部2743。此外，在检索人物DB2744中预先存储特定人 物的代表色信息、纹理信息。
人物匹配部2743读出存储在检索人物DB2744中的代表色信息、 纹理信息(S2809)。对从检索人物DB2744中读出的代表色信息、纹 理信息和从代表色计算部2034发送的代表色信息、纹理信息加以比较 (S2810)，来判别是否为同一人物。比较方法，例如，可以是前述得 分计算(参考S2302)中所描述的欧几里得距离。
在为同一人物的情况下(S2811:是)，向影像切换部2745发送 摄像机切换命令，以对与生成此人物的代表色信息、纹理信息的代表 色计算部2034相对应的摄像机识别编号进行监视并显示(S2812)。 由显示部2442来显示经切换的摄像图像(S2813)。在并非是同一人
物的情况下(S2811:否)，返回到步骤S2800。
另外，监视装置2000也可以具有实施方式2的动态摄像机颜色校 正装置700、实施方式3的动态摄像机颜色校正装置900、实施方式4 的动态摄像机颜色校正装置1300、实施方式5的动态摄像机颜色校正 装置1700，来代替动态摄像机颜色校正装置100。
此外，动态摄像机颜色校正装置100也可以安装在摄像机110内 部。此外，运动区域提取部2031、人判定部2032、区域分割部2033、 代表色计算部2034也可以安装在摄像机110内部。
根据这样的本发明的第7实施方式，通过动态摄像机颜色校正装 置100动态进行颜色校正，在人物匹配部2743中进行是否为预先存储 在检索人物DB2744中的人物的比较，并在为同一人物的情况下，由影 像切换部2745来切换摄像机，由此不会受到摄像机的个体差异、曰照 变动等影响，即便所希望的人物在摄像机之间移动也可以进行监视。
以上说明了目前所能考虑到的本发明的较佳实施方式，但应理解 的是对本实施方式可进行多种变形，而且，旨在本发明的实质精神和 范围内的变形均包含在附上的权利要求书中。
工业利用可能性
如以上所述，本发明(第1发明)涉及的颜色校正处理装置，无 需保存颜色校正处理所不需要的颜色集合的信息，从而具有计算负荷 减轻，可以实时应对照明环境变化的效果，从而可以用作跟踪监视系 统等中所使用的颜色校正处理装置等。
此外，如以上所述，本发明(第2发明)具有不受摄像机设置环境、 日照环境等摄像环境变动的影响，可以适当地校正图像颜色的效果，从
而可以用于动态摄像机颜色校正装置以及使用其的影像检索装置等。
权利要求
1.一种颜色校正处理装置，其特征在于具备颜色集合信息存储部，其存储包含作为颜色校正对象的源颜色的颜色信息、及颜色校正后的基准色的颜色信息的颜色集合信息；颜色校正部，其使用所述颜色集合，将多个摄像装置拍摄到的各源图像中和所述源颜色在相似范围内的颜色校正为所述基准色；区域选择部，其从所述各源图像中选择特定的源区域；区域颜色确定部，其确定源区域颜色作为代表所述源区域的颜色；以及颜色集合更新部，其使用所述源区域颜色，对所述颜色集合的源颜色进行更新。
2. 根据权利要求l所述的颜色校正处理装置，其特征在于 所述区域选择部具备源目标提取部，所述源目标提取部从所述源图像中，提取在背景图像中移动的前景目标来作为源目标，所述区域颜色确定部具备目标颜色确定部，所述目标颜色确定部将所述源目标的平均色，确定为作为所述源区域颜色的目标颜色，颜色校正处理装置中，具备目标相似判定部，所述目标相似判定部判定所述源目标和规定的基准目标是否相似，所述颜色集合更新部在判定所述源目标和所述基准目标相似时，使用所述源目标的目标颜色，对所述颜色集合的源颜色进行更新。
3. 根据权利要求2所述的颜色校正处理装置，其特征在于 所述目标相似判定部通过对所述源目标和所述基准目标的特征量进行比较，来判定所述源目标和所述基准目标的相似度。
4. 根据权利要求2所述的颜色校正处理装置，其特征在于 所述颜色集合更新部将对所述源目标的目标颜色和所述颜色集合的源颜色进行加权平均处理所得的加权平均色，用作更新用的源颜色。
5. 根据权利要求l所述的颜色校正处理装置，其特征在于 所述颜色集合信息存储部中存储有颜色集合信息，所述颜色集合信息包含获取了所述源颜色的颜色信息的区域信息，所述区域选择部具备背景图像获取部以及对应区域搜索部，所述 背景图像获取部从所述多个源图像中获取背景图像，所述对应区域搜 索部从所述背景图像中搜索与所述源颜色的区域信息相对应的对应区 域，所述区域颜色确定部具备对应区域颜色确定部，所述对应区域颜 色确定部将所述对应区域的平均色确定为作为所述源区域颜色的对应 区域颜色，颜色校正处理装置中具备照明变化检测部，所述照明变化检测部 根据所述对应区域颜色检测所述源图像中的照明环境的变化，所述颜色集合更新部在判定照明环境发生了变化时，使用所述对 应区域颜色对所述颜色集合的源颜色进行更新。
6. 根据权利要求5所述的颜色校正处理装置，其特征在于 所述照明变化检测部具备颜色距离计算部，其计算出所述对应区域颜色和所述源颜色的颜 色距离；以及照明变化判定部，其在所述对应区域颜色和所述源颜色的颜色距 离大于规定的临界颜色距离时，判定照明环境发生了变化。
7. 根据权利要求5所述的颜色校正处理装置，其特征在于 所述背景图像获取部以规定的时间间隔，从所述多个源图像中获取所述背景图像，所述照明变化检测部以所述规定的时间间隔，来检测所述源图像 中的照明环境的变化。
8. 根据权利要求5所述的颜色校正处理装置，其特征在于 所述颜色校正部具备区域分割部，所述区域分割部将所述对应区 域分割成多个小区域，针对所述多个小区域中的每个小区域，将和所述源颜色在相似范 围内的颜色校正成所述基准色。
9. 一种颜色校正处理方法，其特征在于存储颜色集合信息，所述颜色集合信息包含作为颜色校正对象的 源颜色的颜色信息、及颜色校正后的基准色的颜色信息，从用多个摄像装置拍摄到的各源图像中选择特定的源区域， 确定源区域颜色来作为代表所述源区域的颜色， 使用所述源区域颜色，对所述颜色集合的源颜色进行更新， 使用所述颜色集合，将所述多个源图像中和所述源颜色在相似范 围内的颜色校正为所述基准色。
10. 根据权利要求9所述的颜色校正处理方法，其特征在于 从所述源图像中，提取在背景图像中移动的前景目标来作为源目标，将所述源目标的平均色确定为作为所述源区域颜色的目标颜色， 判定所述源目标和规定的基准目标是否相似，在判定所述源目标和所述基准目标相似时，使用所述源目标的目 标颜色，对所述颜色集合的源颜色进行更新。
11. 根据权利要求9所述的颜色校正处理方法，其特征在于 存储颜色集合信息，所述颜色集合信息包含获取了所述源颜色的颜色信息的区域信息，从所述多个源图像中获取背景图像，从所述背景图像中，搜索与所述源颜色的区域信息相对应的对应 区域，将所述对应区域的平均色确定为作为所述源区域颜色的对应区域 颜色， 根据所述对应区域颜色，来检测所述源图像中的照明环境的变化， 在判定照明环境发生了变化时，使用所述对应区域颜色对所述颜 色集合的源颜色进行更新。
12. —种动态摄像机颜色校正装置，其对从拍摄监视区域的摄像 部输入的图像进行颜色校正，其具备补色部，其根据特定的比色图表来确定颜色校正参数； 颜色校正部，其根据所述颜色校正参数，对所述摄像部拍摄到的 图像进行颜色校正并输出颜色校正图像；背景提取部，其从所述颜色校正图像中提取背景图像； 背景确认部，其确认所述背景图像是否为背景；颜色提取部，其从所述被确认的背景图像中提取颜色信息；以及 颜色比较部，其在所述被提取的颜色信息发生了变化的情况下， 变更所述颜色校正参数。
13. 根据权利要求12所述的动态摄像机颜色校正装置，其具备 将所述背景图像的颜色信息与背景图像的位置信息相对应并存储的参考表。
14. 根据权利要求12所述的动态摄像机颜色校正装置，其中 所述颜色校正部，根据所述颜色比较部变更的颜色校正参数，对全色空间的颜色校正参数进行更新。
15. 根据权利要求12所述的动态摄像机颜色校正装置，其中 具备更新时刻判别部，所述更新时刻判别部检测所述背景图像的像素信息，并根据所述背景图像的像素信息和作为基准的像素信息的 差，来判别是否使所述颜色比较部起作用。
16. 根据权利要求15所述的动态摄像机颜色校正装置，其中所 述更新时刻判别部将所述背景图像分割成规定的区域，并计算各区域 的平均亮度值。
17. 根据权利要求15所述的动态摄像机颜色校正装置，其中 具备存储经所述颜色校正部校正过的图像的第1缓冲器及第2缓冲器，所述背景提取部从存储在所述第1缓冲器中的图像中提取多个背 景图像群1，所述背景确认部从存储在所述第2缓冲器中的图像中提取多个背景图像群2，所述颜色比较部检测所述背景图像群1以及背景图像群2的像素 信息，并根据所述背景图像群1以及背景图像群2的像素信息的变化， 来进行所述颜色比较处理。
18. 根据权利要求17所述的动态摄像机颜色校正装置，其中 所述背景提取部针对依时序存储在所述第1缓冲器中的图像的每个像素生成直方图并提取频率高的亮度，所述背景确认部针对依时序存储在所述第2缓冲器中的图像的每 个像素生成直方图并提取频率高的亮度。
19. 根据权利要求15所述的动态摄像机颜色校正装置，其具备 对经所述背景确认部确认过的背景图像中的物体是否有移动进行确认的背景变化确认部。
20. 根据权利要求19所述的动态摄像机颜色校正装置，其中 所述背景变化确认部求出前一帧的背景图像和当前的背景图像的差分。
21. —种影像检索装置，其具备权利要求12所述的动态摄像机颜色校正装置；运动区域提取部，其从经所述颜色校正部校正过的摄像图像中提 取图像内发生运动的区域；人判别部，其判别经所述运动区域提取部提取的区域中是否包含人物，并从所述区域中提取人物区域；区域分割部，其对经所述人判别部提取的人物区域进行区块分割； 代表色计算部，其从经所述区域分割部区块分割而成的各区域中，提取颜色信息和纹理信息；数据库，其存储经所述代表色计算部提取的颜色信息和纹理信息； 人物检索部，其对存储在所述数据库内的颜色信息及纹理信息、和用户想要检索的人物的颜色信息及纹理信息加以比较，并计算出得分；以及检索结果显示部，其显示经所述人物检索部计算出的得分。
22. —种影像检索装置，其具备权利要求12所述的动态摄像机颜色校正装置；运动区域提取部，其从经所述颜色校正部校正的摄像图像中提取 图像内发生运动的区域；人判别部，其判别经所述运动区域提取部提取的区域中是否包含人物，并从所述区域中提取人物区域；区域分割部，其对经所述人判别部提取的人物区域进行区块分割； 代表色计算部，其从经所述区域分割部区块分割而成的各区域中，提取颜色信息和纹理信息；数据库，其存储经所述代表色计算部提取的颜色信息和纹理信息； 人物检索部，其对存储在所述数据库内的颜色信息及纹理信息和用户想要检索的人物的颜色信息及纹理信息加以比较，计算出得分，并发送再现命令以再现特定得分的摄像图像；压缩部，其以规定的压縮方式对经所述颜色校正部校正的摄像图像进行压縮；存储器，其存储经所述压縮部压縮的摄像图像；展开部，其根据经所述人物检索部发送的再现命令，将存储在所 述存储器中的经所述压縮部压縮的摄像图像读出，并以规定的扩展方 式扩展；以及显示部，其显示经所述展开部展开的摄像图像。
23. 根据权利要求22所述的影像检索装置，其中 所述压縮部从经所述颜色校正部校正过的摄像图像中，间断地选取任意帧，以规定的压縮方式进行压縮。
24. —种影像检索装置，其与多个摄像机连接，其具备 权利要求12所述的动态摄像机颜色校正装置；运动区域提取部，其从经所述颜色校正部校正的摄像图像中提取图像内发生运动的区域；人判别部，其判别经所述运动区域提取部提取的区域中是否包含人物，并从所述区域中提取人物区域；区域分割部，其对经所述人判别部提取的人物区域进行区块分割； 代表色计算部，其从经所述区域分割部区块分割而成的各区域中，提取颜色信息和纹理信息；检索人物数据库，其存储有特定人物的颜色信息和纹理信息； 人物匹配部，其对存储在所述检索人物数据库中的颜色信息及纹理信息、和经所述代表色计算部计算出的颜色信息及纹理信息加以比较，在为同一人物的情况下，发送摄像机切换命令，以使经所述颜色校正部校正的、拍摄有所述代表色计算部检测到的人物的摄像图像得以显示；影像切换部，其根据经所述人物匹配部发送的摄像机切换命令， 切换到对经所述颜色校正部校正过的摄像图像进行拍摄的摄像机；以 及显示部，其对经所述影像切换部切换且经所述颜色校正部校正过 的摄像图像进行监视和显示。
25. —种颜色校正装置，根据颜色校正参数来对从拍摄监视区域 的摄像部输入的图像进行颜色校正，其具备-背景区域提取部，其提取所述图像中的背景区域； 颜色信息提取部，其提取所述背景区域的颜色信息； 颜色信息比较部，其对存储在参考表中的初始运行时的背景区域 的颜色信息和所提取的颜色信息加以比较；以及参数变更部，其根据比较结果来变更所述颜色校正参数。
全文摘要
本发明的颜色校正处理装置(1)具备颜色集合信息存储部(11)，其存储包含源颜色和基准色的颜色集合信息；区域选择部(6)，其从用两个摄像机(2)拍摄到的各源图像中选择特定的源区域；区域颜色确定部(7)，其确定源区域颜色来作为代表源区域的颜色；颜色集合更新部(10)，其使用源区域颜色来更新颜色集合的源颜色；颜色校正部(8)，其使用颜色集合将两个源图像中与源颜色在相似范围内的颜色校正为基准色。本发明的颜色校正处理装置无需保存颜色校正处理所不需要的颜色集合的信息，由此可减轻计算负荷，并可实时地应对照明环境的变化。
文档编号G06T1/00GK101371271SQ200780002210
公开日2009年2月18日 申请日期2007年1月5日 优先权日2006年1月10日
发明者严海林, 外馆弘理, 李作裕, 横光澄男 申请人:松下电器产业株式会社