污物检测方式的利记博彩app

专利名称：污物检测方式的利记博彩app
技术领域：
本发明涉及检测附着在图像传感器表面上的污物或异物的技术，该 图像传感器露出在定点设置的监视摄像机或检査装置等中使用的、拍摄 图像的装置外部。
背景技术：
在监视摄像机或检査装置的用途中，在图像传感器的性能范围内尽 可能拍摄鲜明的图像是非常重要的。但是，在露出于装置外部的传感器 表面上附着的污物或异物会成为拍摄鲜明图像的障碍，若使用在这样的 条件下拍摄到的图像进行处理，则有可能导致装置误动等。
在制造物的检査装置等中，对相同形状的ti体进行拍摄时，通过与 之前预先拍摄的基准图像进行比较，若存在不同映射方式的部分，则可 以判断为混入了污物或异物，但是在检查不同形状的物体时，不能与预 先拍摄到的基准图像进行比较。并且，为进行污物检测，定期拍摄相同 基准图像进行比较的情况下，需要用于拍摄相同基准图像的时间和功夫， 并且，在不能拍摄基准图像的用途中，不能采用该方法。
并且，在专利文献1中记载的检测附着在传感器表面的污物或异物 的技术中，设置反射镜，使得监视摄像机的传感器表面映射到拍摄图像 的端部，对该拍摄图像进行图像处理，从而检测污物"异物。该现有技术 存在如下问题，由于在传感器外设置反射镜，导致装置大型化或成本提 高，并且，拍摄图像的部分被隐蔽，导致作为监视摄像机的性能也下降。
并且，在专利文献2记载的检测附着在传感器表面的污物或异物的 技术中，驱动镜头或光圈等摄像系统，制作不同的拍摄条件，拍摄多个 图像，将该多个图像间的不变部分判断为污物或异物。该现有技术存在 如下问题，要设置镜头或光圈等可动部，从而成本提高，并且，由于将多个图像间的不变部分判断为污物，所以有可能将本来不是污物的背景 作为不变部分判断为污物。
专利文献l:日本特开2001-8193号公报 专利文献2:日本特开2004-172820号公报

发明内容
本发明中，利用被摄体区域提取部从由不设置可动系统而固定在定 点上的图像拍摄部拍摄到的拍摄图像中自动检测作为比较对象的被摄 体，提取该被摄体内侧的图像区域。由此，能够抑制错误地将背景等误 判为污物。并且，将通过提取被摄体内侧的图像区域而得到的最近的多 个区域提取图像保持在区域提取图像存储部中。而且，对保持在污浊度 计算部中的区域提取图像进行比较。在污浊度计算部中，针对每个像素 比较所保持的被摄体区域图像，在其表示附着了污物时产生的可能性高 的状况的情况下，进行如下处理，g卩，提高存储于污浊度存储部的该像 素的污浊度值。在表示了不是污物的可能性高的状况的情况下，相反进 行降低存储于污浊度存储部的该像素的污浊度值的处理。这样，在每次 拍摄图像时，进行被摄体区域提取和污浊度计算，更新污浊度存储部的 信息。最终在污物判断部中，根据存储于污浊度存储部的污浊度的信息， 将是否附着有污物或污物附着程度作为判断结果输出。
根据本发明，在比较多个拍摄图像的像素值之前，提取各拍摄图像 中的被摄体区域，从而能够可靠地只检测出重叠在想拍摄的被摄体上而 妨碍处理的污物。与现有技术不同，能够防止错误地将背景等判断为污 物。并且，污浊度计算部重复比较多个图像，对是污物的概率高的像素 进行提取，根据其概率信息，利用污物判断部判断是否附着污物，因此， 不会将1张拍摄图像中一眼看去像是污物的、图像中的图案错误地判断 为污物。
此外，根据本发明，与现有技术不同，无需在运用之前预先拍摄好 基准图像(基准纸等)这样的初始设定(calibration),能够非常简单地开 始运用。用户看到污物判断部的输出，进行装置的清扫或更换等，从而能够防止因在附着了污物的状态下持续运用而导致监视装置等的性能下 降等。并且，可使用判断结果来自动停止装置的使用，能够防止在附着 了污物的状态下运用而引起的弊端。
此外，与现有技术不同，无需污物检测专用的硬件，且无需机械地 驱动摄像系统来设定不同的拍摄条件，可以利用无驱动部的装置检测异 物，能够减少因具有驱动系统而产生的维护作业的人手和功夫，因此与 现有技术相比，可实现低成本化。


图1是表示本发明的第一实施方式涉及的污物检测方式的结构的框图。
图2A是用于说明本发明的第一实施方式涉及的污物检测方式的动 作的流程图。
图2B是用于说明本发明的第一实施方式涉及的污物检测方式的动 作的流程图。
图3是用于说明本发明的第一实施方式涉及的污物检测方式的概念 性动作的流程图。
图4是表示本发明的实施方式中使用的污浊度函数的一例的曲线图。
图5是计算本发明的实施方式中使用的污浊度的表。 图6是参照本发明的实施方式中使用的特定像素的附近来计算污浊 度的说明图。
图7是用于说明利用本发明的实施方式涉及的污物判断部实施的第
一污物判断方法的图。
图8是用于说明图7所示的第一污物判断方法的动作的流程图。 图9是用于说明利用本发明的实施方式涉及的污物判断部实施的第
二污物判断方法的图。
图10是用于说明图9所示的第二污物判断方法的动作的流程图。 图11是表示本发明的第二实施方式涉及的污物检测方式的结构的框
7图。
图12A是用于说明本发明的第二实施方式涉及的污物检测方式的动 作的流程图。
图12B是用于说明本发明的第二实施方式涉及的污物检测方式的动 作的流程图。
图13是表示本发明的第三实施方式涉及的污物检测方式的结构的框图。
图14A是用于说明本发明的第三实施方式涉及的污物检测方式的动 作的流程图。
图14B是用于说明本发明的第三实施方式涉及的污物检测方式的动 作的流程图。
图14C是用于说明本发明的第三实施方式涉及的污物检测方式的动 作的流程图。
图15是表示本发明的第四实施方式涉及的污物检测方式的结构的框图。
图16A是用于说明本发明的第四实施方式涉及的污物检测方式的动 作的流程图。
图16B是用于说明本发明的第四实施方式涉及的污物检测方式的动 作的流程图。
图17是用于说明本发明的第四实施方式涉及的污浊度存储初始化 部的动作的流程图。
具体实施例方式
下面，参照附图，详细说明本发明的实施方式。 [第一实施方式]
图1是表示本发明的第一实施方式涉及的污物检测方式的结构的框 图。图1中，本发明的第一实施方式涉及的污物检测方式包括如下部分 来构成图像拍摄部11，其用于监视等，并且不设置可动系统，固定在 能够始终连续拍摄图像的定点上；拍摄图像存储部12，其存储图像拍摄部ll拍摄到的图像；被摄体区域提取部13，其检测到存储于拍摄图像存 储部12的拍摄图像中映射有目标被摄体(例如车辆等)，提取所述被摄
体的区域，生成区域提取图像；区域提取图像存储部14，其蓄积通过由 被摄体区域提取部13进行区域提取得到的最近的2张以上拍摄图像；污 浊度计算部15，其针对每个像素，比较区域提取图像存储部14中蓄积的 多个区域提取图像，计算污浊度；污浊度存储部16，其针对每个像素， 存储计算出的污浊度；以及污物判断部17，其对从污浊度存储部16读出 的每个像素的污浊度进行评价，输出有无附着污物或污浊程度。
图2A和图2B是表示用于说明本发明的第一实施方式涉及的污物检 测方式的动作的流程图的图。在图2A的步骤Sll中，图像摄像部11拍 摄最新的图像I,。接着，在步骤S12中，将拍摄到的图像I,保存到拍摄 图像存储部12中。在步骤S13中，被摄体区域提取部13对保存在拍摄 图像存储部12中的图像L进行图像处理，提取作为拍摄对象的被摄体区 域，生成区域提取图像Ei。在步骤S14中，将提取出的被摄体区域的图 像Ei保存到区域提取图像存储部14中。若在区域提取图像存储部14中 存在作为图像Ei存储的图像，则其作为前一个图像E2保存。
在步骤S15中，污浊度计算部15将表示图像中任意1个像素的像素 坐标变量(X, Y)初始化，以表示最初的像素(左上端等)。在步骤S16 中，从存储于区域提取图像存储部14的最新图像E,读出像素坐标变量(X, Y)所指的像素的像素值A,。在步骤S17中，从存储于区域提取图像存 储部14的前1次的图像E2读出像素坐标变量(X，Y)所指的像素的像素 值八2。在步骤S18中，根据像素值A,, A2，计算表示该像素上是否附着 有污物的污浊度Pi。污浊度Pi作为像素值Ah A2的函数，表示为P产F(A,， A2)。
在图2B的步骤S19中，读出污浊度存储部16的像素坐标变量(X， Y)
所表示的像素的污浊度P2。在步骤S20中，根据污浊度Pi，P2，计算新的
污浊度P3。污浊度P3作为污浊度P,, P2的函数，可以表示为P产G(Ph P2)。 并且，在步骤S21中，作为污浊度存储部16的像素坐标变量(X，Y)所
指的像素的污浊度的值，写入P3。在步骤S22中，判断像素坐标变量(X， Y)是否是图像中的最后像 素、即是否对所有像素进行了处理。若未对所有像素进行了处理，则进 入步骤S23，在步骤S23中更新像素坐标变量(X，Y)，以表示下一像素， 返回到图2A的步骤S16。另一方面，若对所有像素进行了处理，则进入 步骤S24，在步骤S24中，污物判断部17求取将存储于污浊度存储部16 的所有像素的污浊度合计得到的值P，将其与污物判断阈值Pth进行比较。 在步骤S25中，判断值P是否大于阈值Pth。若大于阈值Pth，则进入步骤 S26，在步骤S26中判断为"附着有污物"，输出判断结果，然后结束处理。 另一方面，若不大于阈值Pth，则进入步骤S27，在步骤S27中，判断为"未 附着污物"，然后返回到图2A的步骤S11。
这样，根据本发明的第一实施方式涉及的污物检测方式，比较多个 拍摄图像的像素值之前，提取各拍摄图像中的被摄体区域，从而能够可 靠地仅检测与想要拍摄的被摄体重叠而妨碍处理的污物。与现有技术不 同，能够防止错误地将背景等判断为污物。并且，污浊度计算部重复比 较多个图像，对是污物的概率高的像素进行提取，根据其概率信息，利 用污物判断部判断是否附着污物，因此，不会将1张拍摄图像中一眼看 去像是污物的、图像中的图案判断为污物。
此外，根据本发明，与现有技术不同，无需在运用之前预先拍摄好 基准图像(基准纸等)这样的初始设定(calibration),能够非常简单地开 始运用。用户看到污物判断部的输出，进行装置的清扫或更换等，从而 能够防止因在附着了污物的状态下持续运用而导致监视装置等的性能下 降等。并且，还可使用判断结果来自动停止装置的使用，能够防止在附 着了污物的状态下运用而引起的弊端。
此外，与现有技术不同，无需污物检测专用的硬件，且无需机械地 驱动摄像系统来设定不同的拍摄条件，可以利用无驱动部的装置检测异 物，能够减少因具有驱动系统而产生的维护作业的人手和功夫，因此与 现有技术相比，可实现低成本化。
图3是用于说明上述的本发明的第一实施方式涉及的污物检测方式 的概念性动作的流程图。本图中，举出图像拍摄部ll为定点固定摄像机的例子，利用该摄像机连续拍摄图像，将拍摄到的图像持续蓄积到摄像
图像存储部12中。设目标被摄体为车辆，被摄体区域提取部13仅提取 处理被摄体区域，将其存储到区域提取图像存储部14中。本实施方式中， 仅将作为拍摄对象的被摄体区域设为污物检测的对象区域，仅检测重叠 映射到被摄体的污物 异物，以便不会将映射到被摄体周围的背景图像错 误地检测为污物，异物。
污浊度计算部15在2张以上拍摄图像中分别提取出的区域内，对每 个像素进行比较。利用所附着的污物在拍摄到不同被摄体的情况下也以 相同像素值映射在相同位置的性质，将像素值相等的像素作为污物候补， 将其记录到污浊度存储部16中。此时，不只是通过1次比较来判断为附 着污物，而根据比较结果，提高或降低污浊度。这样的图像比较重复多 次，从而逐渐收敛各像素中的污浊度，真正的污物部位的污浊度增高， 不是污物的部分的污浊度下降。从而，在作为对象的被摄体为比较相似 的图像、即在污物"异物以外的部分具有包含相似像素值的区域的情况下， 也仍通过累计多个图像的比詨结果，来使污物，异物以外的像素部分相抵 消，污浊度下降，而对于真正的污物"异物的像素而言，由于污浊度增高， 因此能够防止误检测。
在此，说明本发明的实施方式涉及的污浊度的计算方法。本实施方 式中，能够使用以下所示的几种污浊度计算法。 (第一污浊度计算法)
将污浊度设为P，将最新的拍摄图像的任意坐标(x，y)的像素值设 为A (x, y)，将前一个拍摄图像的任意坐标(x, y)的像素值设为B (x, y) 时，污浊度P采用如下函数来计算。
P=F (A (x，y) ，B (x,y))
函数的内容是任意的，使用例如具有图4所示特性的函数，即，当 像素值之差(A (x，y) -B (x，y))的绝对值小时，污浊度P最大。 (第二污浊度计算法)
将最新的拍摄图像的任意坐标(x, y)的像素值A (x, y)和前一个 拍摄图像的任意坐标(x, y)的像素值B (x， y)分别设为纵轴、横轴的
ii值，参照图5所示的表，将该值用作污浊度P的值(图5的表中没有该
值的情况下，根据附近的值，进行插值，将其插入值设为污浊度的值)。
图5是表示以如下方式进行污物检测滤波处理的表在像素靠近黑色、
且A (x,y) ，B (x，y)为接近值的情况下，污浊度P增大。 (第三污浊度计算法)
图6是说明第三污浊度计算法的图，在计算最新的拍摄图像的任意 坐标(x， y)的污浊度时，不仅使用该坐标(x， y)的像素值，还使用坐 标(x，y)附近的像素值，计算污浊度P。该情况下，如图6 (a)所示， 仅在中心像素为相同的像素值且附近像素也相似时，判断为污浊度大。 并且，如图6 (c)所示，在附着污物时，如果不是特征图像，则即使周 围的图案相似，也判断为污浊度小。即，虽然中心像素为相同的像素值， 但包括周围来看时，其图案不是附着污物时的特征性图像图案时，判断 为污浊度小。另外，如图6 (b)所示，虽然中心像素为相同的像素值， 但在附近的像素不相似时，判断为污浊度小。
接着，说明利用本发明的实施方式涉及的污物判断部实施的污物判 断方法。在本实施方式中，可以采用以下所示的几种污物判断方法。 (第一污物判断方法)
本发明的实施方式涉及的第一污物判断方法如图7所示，求取存储 于污浊度存储部的图像整体的污浊度的合计，若该合计值超过预先决定 的阈值Pjum一thresh，则判断为附着了污物。使用该判断方法，能够在 传感器表面整体上附着浅或细的污物的情况下，判断为污物。
图8是用于说明本发明的实施方式涉及的第一污物判断方法的流程 图。在图8的步骤S31中，将图像整体的污浊度的合计值？_311111初始化。 接着，在步骤S32中，将表示图像中任意1个像素的像素坐标变量(x，y) 初始化，以表示最初的像素(左上端等)。在步骤S33中，从污浊度存储 部读出像素坐标变量(x,y)的污浊度P (x,y)。在步骤S34中，将图像 整体的污浊度的合计值P-Sum和读出的污浊度P (x,y)求和，更新图像 整体的污浊度的合计值P—sum。在步骤S35中，判断像素坐标变量(x,y) 是否是图像中的最后像素、即判断是否对所有像素进行了处理。若未对所有像素进行处理，则进入步骤S36，在步骤S36中，更新 像素坐标变量(x,y),以表示下一像素，返回到步骤S33。另一方面，若 对所有像素进行了处理，则进入步骤S37，在步骤S37中，判断图像整体 的污浊度的合计值P—sum是否超过阈值P_sum_thresh。若超过阈值，则 进入步骤S38，在步骤S38中判断为"附着有污物"，结束污物判断。另一 方面，若未超过阈值，则进入步骤S39，在步骤S39中判断为"未附着污 物"，结束污物判断。
(第二污物判断方法)
本发明的实施方式涉及的第二污物判断方法，如图9所示，依次调 查存储于污浊度存储部的图像整体的污浊度，对污浊度大于预先决定的 阈值P一thresh的像素的个数N进行计数，若该像素数N超过预先决定的 阈值Njhresh，则判断为附着有污物。使用该判断方法，存在浓的污物 或能够明确判断为污物的部分的情况下，能够判断为污物。另外，替代 上述的污浊度大于阈值的像素的总数N，也可以采用污浊度大于阈值的 像素的总面积进行判断。
图10是用于说明本发明的实施方式涉及的第二污物判断方法的流 程图。在图10的步骤S41中，将污浊度大于闕值P—thresh的像素的个数 N初始化。接着，在步骤S42中，将表示图像中任意1个像素的像素坐 标变量(x，y)初始化，以表示最初的像素(左上端等)。在步骤S43中， 从污浊度存储部读出像素坐标变量(x,y)的污浊度P (x,y)。在步骤S44 中，判断污浊度P (x,y)是否大于阈值P一thresh。
若在步骤S44的判断中，污浊度P (x, y)不大于阈值P—thresh，则 进入步骤S45，在步骤S45中更新像素坐标变量(x，y)，以表示下一像素， 返回到步骤S43。另一方面，在步骤S44的判断中，若污浊度P (x, y) 大于阈值P—thresh,则进入步骤S46，在步骤S46中将像素的个数N加1 。 接着，在步骤S47中，判断像素坐标变量(x,y)是否是图像中的最后像 素、即判断是否对所有像素进行了处理。
若未对所有像素进行处理，则返回到步骤S45，在歩骤S45中，更 新像素坐标变量(x,y)，以表示下一像素，返回到步骤S43。另一方面，若对所有像素进行了处理，则进入步骤S48，在步骤S48中，判断像素数 N是否超过预先决定的阈值N_thresh。若像素数N超过阈值N一thresh， 则进入步骤S49，在步骤S49中判断为"附着有污物"，结束污物判断。另 一方面，若像素数N未超过预先确定的阈值Njhresh，则进入步骤S50， 在步骤S50中判断为"未附着污物"，结束污物判断。
像这样，污物判断部采用上述方式判断了污物的基础上，污物判断 部输出有无污物附着、以及污物附着程度。污物判断部输出有无污物附 着以及污物附着程度，所以能够可靠地在判断为污物附着前发出警告。 并且，还可通过将其作为日志记录，来确认传感器的状态变化。
图13是表示本发明的第三实施方式涉及的污物检测方式的结构的 框图。图13中，本发明的第三实施方式涉及的污物检测方式包括如下部 分来构成图像拍摄部31，其用于监视等，不设置可动系统，固定在能 够始终连续拍摄图像的定点上；拍摄图像存储部32，其存储图像拍摄部 31拍摄到的图像；被摄体区域提取部33，其检测到存储于拍摄图像存储 部32的拍摄图像中映射有目标被摄体，提取所述被摄体的区域，生成区 域提取图像；区域提取图像存储部34，其蓄积通过由被摄体区域提取部 33进行区域提取得到的多个最近的拍摄图像和提取区域屏蔽信息，该提 取区域屏蔽信息用于区分与区域提取的边界相关的像素是否在被摄体区 域内；污浊度计算部35，其对每个像素，对在区域提取图像存储部34中 蓄积的多个最近的区域提取图像进行比较，计算污浊度；污浊度存储部 36，其对每个像素，存储计算出的污浊度；以及污物判断部37，其参照 存储于污浊度存储部36的各像素的污浊度时，参照存储于区域提取图像 存储部34的提取区域屏蔽信息，从而判断该像素是否在被摄体区域内， 在该像素位于被摄体区域内的情况下，增高该像素的污浊度的比重，判 断附着污物。
图14A、图14B以及图14C是表示用于说明本发明的第三实施方式 涉及的污物检测方式的动作的流程图的图。在图14A的步骤S71中，图 像摄像部31拍摄最新的图像^。接着，在步骤S72中，将拍摄到拍摄的 图像L保存到拍摄图像存储部32中。步骤S73中，被摄体区域提取部33 对保存在拍摄图像存储部72中的图像I,进行图像处理，提取作为拍摄对象的被摄体区域，生成区域提取图像E,和提取区域屏蔽信息M,。在步骤 S74中，将提取的被摄体区域的图像E,和提取区域屏蔽信息M,保存在区 域提取图像存储部74中。作为图像和屏蔽信息E^Mi存储于区域提取图 像存储部74的图像和屏蔽信息作为前一个图像和屏蔽信息E2"M2保存。
在步骤S75中，污浊度计算部35将表示图像中任意1个像素的像素 坐标变量(X， Y)初始化，以表示最初的像素(左上端等〉。在步骤S76 中，从存储于区域提取图像存储部34的最新图像Ei读出像素坐标变量(X， Y)所指的像素的像素值A^在步骤S77中，从存储于区域提取图像存储 部34的上一次的图像E2读出像素坐标变量(X，Y)所指的像素的像素值 A2。在步骤S78中，根据像素值AhA2，计算表示该像素上是否附着有污 物的污浊度P,。污浊度Pi作为像素值Al5 A2的函数，表示为P产F(A" A2)。
在图14B的步骤S79中，读出污浊度存储部36的像素坐标变量(X， Y)所表示的像素的污浊度P2。在步骤S80中，根据污浊度P,，P2，计算 新的污浊度P3。污浊度P3作为污浊度Pl5 P2的函数，可以表示为P3=G(Pb P2)。而且，在步骤S8i中，作为污浊度存储部36的像素坐标变量(X, Y) 所指的像素的污浊度的值，写入P3。在步骤S82中，判断像素坐标变量 (X,Y)是否是图像中的最后像素、即判断是否对所有像素进行了处理。 若未对所有像素进行处理，则进入步骤S83，在步骤S83中，更新像素坐 标变量(X，Y)，以表示下一像素，返回到图14A的步骤S76。另一方面， 若对所有像素进行了处理，则进入步骤S84，在步骤S84中，污物判断部 37将表示图像中任意1个像素的像素坐标变量(x,y)初始化，以表示最 初的像素(左上端等)。而且，在步骤S85中，从污浊度存储部36读出 像素坐标变量(x，y)的污浊度P (x，y)。并且，在步骤S86中，从区域 提取存储部34读出像素坐标变量(x，y)的提取区域屏蔽信息M (x，y)。
在图14C的步骤S87中，若提取区域屏蔽信息M (x,y)大于0，则 将污浊度P (x,y)乘以系数K,倍，作为新的污浊度P (x,y),并且，若 提取区域屏蔽信息M (x，y)为0，则将污浊度P (x，y)设为Kz倍，作 为新的污浊度P (x， y)。其中，系数K,设定为大于系数K2，两个系数 K，K2位于1和0之间。即，在步骤S87中，在像素坐标变量(x,y)的
17提取区域屏蔽信息M (x，y)大于0的情况下，即与被摄体区域的边界相 关的像素在被摄体区域内的情况下，将该像素坐标变量(x，y)的污浊度 的比重设定为高于如下情况时的比重来评价污浊度像素坐标变量(x，y) 的提取区域屏蔽信息M (x,y)为0的情况、即与被摄体区域的边界相关
的像素不在被摄体区域内的情况。
在步骤S88中，判断像素坐标变量(x， y)是否是图像中的最后像素、 即判断是否对所有像素进行了处理。若未对所有像素进行处理，则进入 步骤S89，在步骤S89中更新像素坐标变量(x,y)，以表示下一像素，返 回到图14B的步骤S85。另一方面，若对所有像素进行了处理，则进入 步骤S90，在步骤90中，求取所有像素的污浊度P (x，y)合计，计算值 P，将其与污物判断阈值Pth进行比较。在步骤S91中，判断值P是否大 于阈值Pth。若值P大于阈值Pth,则进入步骤S92，在步骤S92中判断为 "附着有污物"，输出判断结果，然后结束处理。另一方面，若值P不大 于阈值Pth，则进入步骤S93，在步骤S93中，判断为"未附着污物"，然 后返回到图14A的步骤S71。
像这样，根据本发明的第三实施方式涉及的污物检测方式，在利用 污物判断部判断为附着有污物时，比起被摄体区域外的像素的污浊度， 更加重视由被摄体区域提取部作为被摄体区域提取的像素的污浊度，在 进行污物判断时，施加权重，进行污物判断，从而不对不是附着在图像 的端部等的污物、即不重叠在被摄体上而附着在不那么重要的部分上的 污物重视，而是重视主要重叠在被摄体上的污物来进行检测。
[第四实施方式〗
图15是表示本发明的第四实施方式涉及的污物检测方式的结构的 框图。在图15中，本发明的第四实施方式涉及的污物检测方式包括如下 部分来构成图像拍摄部41，其用于监视等，不设置可动系统，固定在 能够始终连续拍摄图像的定点上；拍摄图像存储部42，其存储图像拍摄 部41拍摄到的图像；被摄体区域提取部43，其检测到存储于拍摄图像存 储部42的拍摄图像中映射有目标被摄体(例如车辆等)，提取所述被摄 体的区域，生成区域提取图像；区域提取图像存储部44，其蓄积通过由被摄体区域提取部43进行区域提取得到的最近的2张以上拍摄图像；污
浊度计算部45，其对每个像素比较区域提取图像存储部44中蓄积的多个 区域提取图像，计算污浊度；污浊度存储部46，其对每个像素存储计算 出的污浊度；污物判断部47,其评价从污浊度存储部46读出的每个像素 的污浊度，输出有无污物附着或污浊程度；污浊度存储初始化部48，其 由定时器49进行起动，定期将存储于污浊度存储部46的所有像素的污 浊度信息初始化；以及定时器49，其向污浊度存储初始化部48输出定期 的定时。
图16A和图16B是表示用于说明本发明的第四实施方式涉及的污物 检测方式的动作的流程图的图。在图16A的步骤S101中，图像摄像部 41拍摄最新的图像^。接着，在步骤S102中，将拍摄到的图像I,保存到 拍摄图像存储部42中。在步骤S103中，被摄体区域提取部43对保存在 拍摄图像存储部42中的图像I!进行图像处理，提取作为拍摄对象的被摄 体区域，生成区域提取图像E,。在步骤S104中，将提取的被摄体区域的 图像E,保存到区域提取图像存储部44中。若在区域提取图像存储部44 中存在作为图像E,存储的图像，则作为前一个图像E2保存。
在步骤S105中，调查污浊度存储部46是否被锁定，确认到污浊度 存储部46未被锁定，进入步骤S106。在步骤S106中，锁定污浊度存储 部46。对于与这些动作相关的污浊度存储部46的初始化动作，将在图 17中详细说明。而且，在步骤S107中，污浊度计算部45将表示图像中 任意1个像素的像素坐标变量(X， Y)初始化，以表示最初的像素(左 上端等)。在步骤S108中，从存储于区域提取图像存储部44的最新的图 像E,读出像素坐标变量(X， Y)所指的像素的像素值Ap在步骤S109 中，从存储于区域提取图像存储部44的上一次的图像E2读出像素坐标变 量(X，Y)所指的像素的像素值A2。
在图16B的步骤S110中，根据像素值A,，A2，计算表示该像素上是 否附着有污物的污浊度P,。污浊度P,作为像素值A,，A2的函数，表示为 P产F (A,， A2)。在步骤Slll中，读出污浊度存储部46的像素坐标变量 (X,Y)所表示的像素的污浊度P2。在步骤S112中，根据污浊度P,，P2，
19计算新的污浊度P3。污浊度P3作为污浊度Pi, P2的函数，可以表示为P3=G
(PhP2)。并且，在步骤S113中，作为污浊度存储部46的像素坐标变量
(X，Y)所指的像素的污浊度的值，写入P3。
在步骤S114中，判断像素坐标变量(X,Y)是否是图像中的最后像 素、即判断是否对所有像素进行了处理。若未对所有像素进行处理，则 进入步骤S115，在步骤S115中更新像素坐标变量(X, Y)，以表示下一 像素，返回到图16B的步骤S108。另一方面，若对所有像素进行了处理， 则进入步骤S116，在步骤116中，污物判断部47求取将存储于污浊度存 储部46的所有像素的污浊度合计得到的值P，将其与污物判断阈值Pth 进行比较。并且，在步骤S117中，解除污浊度存储部46的锁定。在步 骤S118中，判断值P是否大于阈值Pth。若值P大于阈值Pth，则进入步 骤S119，在步骤S119中判断为"附着有污物"，输出判断结果，然后结束 处理。另一方面，若值P不大于阈值Pth,则进入步骤S120，在步骤S120 中，判断为"未附着污物"，然后返回到图16A的步骤S101。
图17是表示用于说明本发明的第四实施方式涉及的污浊度存储初 始化部的动作的流程图的图。在图17中，首先污浊度存储初始化部48 以借助定时器49的定期的定时输出来起动为前提。并且，在步骤SI21 中，判断污浊度存储部46是否被锁定，从而确认污浊度存储部46没被 锁定，进入到步骤S122。在步骤S122中，锁定污浊度存储部46。而且， 在步骤S123中，将污浊度存储部46的所有像素的污浊度的值初始化为0。 在步骤S124中，解除污浊度存储部46的锁定。由此，结束污浊度存储 初始化的动作。
像这样，根据本发明的第四实施方式涉及的污物检测方式，通过定 期将污浊度存储部的存储内容初始化，能够防止长期持续处理的结果导 致在污浊度存储部中持续残留不正确的信息，能够确保污物判断精度。
产业上的可利用性
在上述中只说明了监视装置中的用途的应用，但不限于在监视装置 上的应用，还可以在使用图像传感器的制造物的检査装置、生物体认证 装置等多个方面进行应用。
权利要求
1. 一种污物检测方式，其特征在于，所述污物检测方式包括图像拍摄部，其不设置可动系统，固定在始终连续拍摄图像的定点上；拍摄图像存储部，其存储该图像拍摄部拍摄到的图像；被摄体区域提取部，其对在该拍摄图像存储部所存储的拍摄图像中映射有目标被摄体的情况进行检测，提取所述被摄体的区域，生成区域提取图像；区域提取图像存储部，其蓄积通过由该被摄体区域提取部进行区域提取得到的多个最近的拍摄图像；污浊度计算部，其针对每个像素，比较所述区域提取图像存储部中所蓄积的所述多个最近的区域提取图像，计算表示可能是污物的污浊度；污浊度存储部，其针对每个像素，存储计算出的污浊度；以及污物判断部，其对从该污浊度存储部读出的每个像素的污浊度进行评价，判断污物的附着情况。
2. 根据权利要求1所述的污物检测方式，其特征在于，在由所述污 物判断部判断为附着有污物时，通过图像整体的所述污浊度的合计是否 超过了预先设定的阈值的情况来进行判断。
3. 根据权利要求1所述的污物检测方式，其特征在于，在由所述污 物判断部判断为附着有污物时，通过所述污浊度超过预先设定的阈值而 可确定为污物的像素的总量来进行判断。
4. 根据权利要求1所述的污物检测方式，其特征在于，在所述污浊 度计算部计算各像素的污浊度时，对所述多个最近的区域提取图像的相 同位置的像素进行比较，在像素值接近的情况下，提高该像素的污浊度， 在像素值的差距大的情况下，降低该像素的污浊度。
5. 根据权利要求1所述的污物检测方式，其特征在于，所述污浊度 计算部具有污物检测滤波器，并在所述污物检测滤波器的输出大的情况 下，提高该像素的污浊度，在所述污物检测滤波器的输出小的情况下，降低该像素的污浊度，其中，该污物检测滤波器通过与关注像素周边部 的像素值进行比较，对是污物的概率高的像素进行检测。
6. —种污物检测方式，其特征在于，所述污物检测方式包括 图像拍摄部，其不设置可动系统，固定在始终连续拍摄图像的定点上；拍摄图像存储部，其存储该图像拍摄部拍摄到的图像； 被摄体区域提取部，其对在该拍摄图像存储部所存储的拍摄图像中映射有目标被摄体的情况进行检测，提取所述被摄体的区域，生成区域提取图像；区域提取图像存储部，其蓄积通过由该被摄体区域提取部进行区域 提取得到的多个最近的拍摄图像；区域提取图像校正部，其计算所蓄积的所述区域提取图像所有像素 的亮度合计，校正亮度，使得该亮度与预先设定的亮度基准一致，将其 结果再蓄积到所述区域提取图像存储部；污浊度计算部，其针对每4像素，对在所述区域提取图像存储部中 进行亮度校正后蓄积的所述多个最近的区域提取图像进行比较，计算表 示可能是污物的污浊度；污浊度存储部，其针对每个像素，存储计算出的所述污浊度；以及污物判断部，其对从该污浊度存储部读出的每个像素的污浊度进行 评价，判断污物的附着情况。
7. 根据权利要求6所述的污物检测方式，其特征在于，在所述污浊 度计算部计算各像素的污浊度时，降低高亮度像素等表示能够明确断定 为不是污物的像素值的像素的污浊度。
8. —种污物检测方式，其特征在于，所述污物检测方式包括 图像拍摄部，其不设置可动系统，固定在始终连续拍摄图像的定点上；拍摄图像存储部，其存储该图像拍摄部拍摄到的图像； 被摄体区域提取部，其对在该拍摄图像存储部所存储的拍摄图像中 映射有目标被摄体的情况进行检测，提取所述被摄体的区域，生成区域提取图像；区域提取图像存储部，其蓄积通过由该被摄体区域提取部进行区域 提取得到的多个最近的拍摄图像和提取区域屏蔽信息，该提取区域屏蔽信息用于区分与区域提取的边界相关的像素是否在被摄体区域内；污浊度计算部，其针对每个像素，对在该区域提取图像存储部中蓄 积的所述多个最近的区域提取图像进行比较，计算表示可能是污物的污浊度；污浊度存储部，其针对每个像素，存储计算出的所述污浊度；以及 污物判断部，其在参照存储于该污浊度存储部的各像素的污浊度时， 参照存储于所述区域提取图像存储部的所述提取区域屏蔽信息，从而判 断该像素是否在被摄体区域内，在该像素位于被摄体区域内的情况下， 增大该像素的污浊度的比重，判断污物的附着情况。
9. 根据权利要求1~8中的任意一项所述的污物检测方式，其特征在 于，该污物检测方式具备将所述污浊度存储部的存储内容初始化的污浊 度存储初始化单元，定期起动该污浊度存储初始化单元，将所述污浊度 存储部的存储内容初始化。
10. 根据权利要求1~9中的任意一项所述的污物检测方式，其特征在 于，所述污物判断部输出有无污物附着和污物附着程度，作为污物判断 结果。
全文摘要
本发明的污物检测方式，利用被摄体区域提取部从由不设置可动系统而固定在定点上的图像拍摄部拍摄到的拍摄图像中自动检测作为比较对象的被摄体，提取该被摄体内侧的图像区域。将提取了被摄体内侧的图像区域的最近的多个区域提取图像保持在区域提取图像存储部中。而且，对保持在污浊度计算部中的区域提取图像进行比较。在污浊度计算部中，对每个像素对所保持的被摄体区域图像进行比较，在表示附着了污物时产生的可能性高的状况的情况下，提高存储于污浊度存储部的该像素的污浊度值，在相反的情况下，进行降低存储于污浊度存储部的该像素的污浊度值的处理。在每次拍摄图像时，进行被摄体区域提取和污浊度计算，更新污浊度存储部的信息。在污物判断部中，根据存储于污浊度存储部的污浊度的信息，将是否附着有污物或污物附着程度作为判断结果输出。
文档编号G06T1/00GK101460971SQ20068005485
公开日2009年6月17日 申请日期2006年6月8日 优先权日2006年6月8日
发明者浜壮一, 福田充昭, 远藤利生, 青木隆浩 申请人:富士通株式会社