专利名称：单色监视相机中阴影和高光检测方法
单色监视相机中阴影和高光检测方法 技术领域根据本发明的方法涉及阴影和高光检测，更具体地讲，涉及一种能在单 色监视相机中检测阴影和高光的方法。
背景技术：
为安全目的，监视相机在公共场所被广泛安装。但是需要附加劳动力来 检查是否有敏感事件发生。因此，监视系统中的热点话题在于能够检测、跟 踪和分析人和其他对象的动作的智能相机的研究。运动对象的检测和跟踪是很多处理图像序列的应用的核心。这些应用中 的主要挑战是识别对象投下并在场景中随对象移动的阴影。由于阴影点被错 误地分类到前景，所以在对运动对象分段并提取时，阴影可产生严重的问题。 阴影可引起对象的合并，对象形状失真甚至对象丟失(由于阴影投在另一对 象上)。由于阴影和对象共享两个重要的视觉特征，所以引起与阴影检测相关的困难。首先，由于阴影点通常显著不同于背景，所以它们可^企测为前景；其 次，阴影具有和投下该阴影的对象相同的运动。为此，无论是对于静止图像 还是图像序列(视频)，阴影识别都至关重要，并且现在已经成为活跃的研究领域。通常，有三种方法来识别阴影和对象区域。第一种方法是基于假定光源、对象形状和地面对系统都是已知的结构。 因此，假设有某个阴影和对象结合的区域，这种方法能够猜到哪一部分是对 象，以及哪一部分是对象投下的阴影。例如，在公开号为20070110309名称 为"Shadow Detection in Images"美国专利申请以及名称为"Method for detecting and separating the shadow of moving objects in a sequence of digital images"的第5592567号美国专利中，如果阴影区域在对象的左边或右边，那 么它总是在垂直方向上非常狭窄。
第二种方法是基于图像的不变性，比如颜色和紋理(分别参见公开号为20060290780名称为"Method for Modeling Cast Shadows in Videos"的美国专利 申请和名称为"Video Safety Detector with Shadow Elimination"的第6469734号 美国专利)。颜色不变性是指在阴影区域，亮度降低，因此相应像素的强度 降低，但是其色调和饱和度改变相对较小。因此，在这种方法中，测试色调 和饱和度信息来识别阴影和对象。而紋理不变性是指即使在阴影区域强度 降低，但是其边缘不会移动。但是在前景对象中，边缘和强度都改变。第三种方法是基于边缘宽度。阴影区域包括本影区域和半阴影区域。半 阴影区域是本影和背景之间的窄带。半阴影区域是从背景到本影区域的逐渐 的改变。因此，阴影区域的边缘宽而平滑，而对象的边缘窄而尖锐。在网址 tittp:〃cvrr.ucsd.edu/aton/publications/pdfpapers/TRshadow.pdf上由Andrea Prati, Ivana Mikic发表的题为"Detecting Moving Shadows: Formulation, Algorithms andEvaluation"技术报告中，给出了 一种估计边缘宽度的方法，因此，该特征 被用于识别对象和阴影边缘。发明内容提供本发明的 一方面来解决上述和/或其他方面的问题以及缺点。根据本发明的一方面，可不受比如干净的背景、紋理背景和光源未知的假设的限制而在相机监^L系统中从前景区域识别阴影区域和高光区域。根据本发明的 一方面，提供了 一种在监视系统中从前景区域检测阴影和高光区域的方法，所述方法包括捕获新图像；将新图像和背景模型相比较，并通过新图像来更新背景模型；获得所述新图像和背景模型之间的差图像；通过估计差图像中边缘的锐度并扩展背景区域来提取半阴影区域；基于半阴影区域提取结果来提取阴影区域。根据本发明的一方面，背景模型是像素分布的集合，并且以混合高斯模型来描述每个像素的分布!]^''^(""巧)，其中，w,是每个单高斯的权值， N(u, cj)是中心为u、方差为cj的高斯分布。根据本发明的一方面，通过新图像更新背景模型的步骤可包括确定新 图像中的像素是否属于混合高斯模型中的一个高斯；如果所述像素属于所述 高斯，则更新所述高斯的中心和方差，增加所述高斯的权值并减小其他高斯 的权值；如果所述像素不属于任何高斯，则删除具有最小wi的高斯，并增加
以所述像素的颜色为中心的新高斯。根据本发明的一方面，获得差图像的步骤可包括将新图像中的像素与背景模型中每个高斯的中心相比较，并找到最近的背景高斯；确定所述像素和所述最近的背景高斯的中心之间的距离是否小于最近的背景高斯的相应方差；如果所述距离小于所述相应方差，则将所述像素标记为背景，并将差图 像中的相应差设置为0;如果所述距离不小于所述相应方差，则将相应的距 离作为相应差存储在差图像中。根据本发明的一方面，提取半阴影区域的步骤可包括分别计算新图像 中像素在小范围内和大范围内的梯度gl和g2;通过将gl除以g2或者通过 gl除以g2与常量A的和来估计所述像素的锐度。根据本发明的一方面，估计像素的锐度的步骤还可包括如果gKthrgrad，则将所述像素的锐度设置为0，其中，thTgrad是预定的系统参数。根据本发明的一方面，在提取半阴影区域的步骤中扩展背景区域的操作 可包括找到每条水平扫描线的每个背景段，并针对每条水平扫描线来在水 平方向上逐像素扩展背景段；找到每条垂直扫描线的每个背景段，并针对每 条垂直扫描线来在垂直方向上逐像素扩展背景^a。根据本发明的一方面，在水平方向上扩展背景段的操作可包括如果在 所述背景段的紧左边的像素p的锐度小于thrsharp并且diff(p)< thrdiff,则所述 像素被标记为半阴影，然后针对下一左边的像素重复执行该操作，直到上述条 件不满足；然后以相似的方式执行段的向右的扩展操作，其中，diff(p)是像素 p和背景模型之间的差，thrsharp和thr腿是两个预定的系统参数。根据本发明的一方面，在垂直方向上扩展背景段的操作可包括如果在 所述背景段的紧上边的像素p的锐度小于thTsh邵并且diff(p)< thrdlff，则所述 像素被标记为半阴影,然后针对下一上边的像素重复执行该操作，直到上述条 件不满足；然后以相似的方式执行段的向下的扩展操作，其中，diff(p)是像素 p和背景模型之间的差，thrsharp和thr础是两个预定的系统参数。根据本发明的一方面，提取本影区域的步骤可包括当区域被半阴影像 素围绕时，将整个区域标记为本影区域；当前景区域的一部分被半阴影像素 围绕时，通过应用水平和垂直扫描将所述部分标记为本影区域。根据本发明的一方面，将所述部分标记为本影区域的步骤可包括如果 扫描线段具有半阴影-对象-半阴影模式，并且对象部分的长度小于作为系统参
数的Thrlength，则所述对象部分被标记为本影。
从下面结合附图对示例性实施例的描述中，本发明的上述和其他方面将会更清楚并更容易理解,其中图1是示出根据本发明示例性实施例的阴影检测系统的框图； 图2是显示半阴影和本影区域的示例性布局； 图3示出计算差图像的方法；图4是示出半阴影区域提取单元200的结构的框图； 图5和图6显示了两种边缘，图5显示的是宽而平緩的边缘，而图6中 的边缘窄而尖锐；图7显示用于估计每个像素的锐度的滤波器， 一个在水平方向上而另外 一个在垂直方向；图8是根据半阴影提取结果找到本影区域的展示；图9是在本影与前景对象相邻时根据半阴影提取结果找到本影区域的展示；图IO是示出从前景区域识别阴影和高光区域的方法的简要流程图；和图ll显示两个实验结果，其中， 一个是高光提取，另一个是阴影提取。
具体实施方式
参照附图将更详细地描述本发明特定示例性实施例。 图1是示出根据本发明示例性实施例的阴影检测系统的框图。所述阴影检测系统包括图像捕获单元110,捕获新图像并将新图像输入到背景模型 单元120;背景模型单元120，包含背景的分布模型并借助该新图像来更新背 景模型；差图像获得单元100，通过将新图像与背景模型相比较来获得差图 像；半阴影区域提取单元200，提取半阴影区域；和本影区域提取单元300， 提取本影区域。首先，图像捕获单元110将新图像捕获到所述系统。该图像被输入到背 景模型单元120并与背景模型相比较而得到差图像。背景模型是场景历史的统计模型。在一种实施中，该模型是没有任何前 景物体存在的一幅背景参考图像。在另一实施中，该模型是像素分布的集合。
在混合高斯模型中描述每个像素的分布。其中，wi是每个单高斯的权值，N(u, cr)是中心为u、方差为a的高斯分布。在背景模型单元120中执行背景模型的更新，为了更新混合高斯背景模 型，需要将新图像中的像素(下面，称作新像素)和每个高斯分布相比较。 如果新像素属于一个高斯，则更新它的中心和方差，并更新权值。其中，通 过对旧高斯中心和新输入像素的颜色取加权的平均来更新所述中心，通过对 旧高斯方差和新像素到旧高斯中心的距离取平均来更新方差，并通过增加该 高斯的权值并减小其他高斯的权值来更新权值。如果新像素不属于任何高斯， 则删除具有最小Wi的旧高斯，并增加以该新像素的颜色为中心的新高斯。根据背景占据像素时间多的假设，如果像素属于具有大Wi的高斯，则该 像素属于背景。否则，它是前景、阴影或高光区域。本发明的任务是识别每 个改变的像素属于哪种类型。对于高光区域，情况相似。如图ll所示，高光区域的边界也是逐渐的变 化。唯一的区别在于高光区域比原始的背景亮，而阴影区域比背景区域暗。 基于这个事实，在所述系统中，以相同的方式来检测阴影和高光。在本发明 的后面部分中，尽管使用阴影区域作为例子来解释本发明的方法，但是能够 使用相同的方法来4全测高光区域。在详细解释阴影检测之前，有必要解释半阴影区域的现象。图2显示了 半阴影和本影区域的示例性布局。通常，光源不是点光源。如果对象挡住了从光源发出的所有光，那么遮 蔽的区域是本影区域。在本影区域中，像素几乎以相同比率变暗。如果对象 挡住了部分光源，则部分发亮的区域被称作半阴影区域(图2中的右边部分)。 在半阴影区域中，遮蔽的光逐渐增加，因此差从O到最大值逐渐改变。差图像获得单元100被用于获得新图像和背景模式之间的差图像并存储 差图像。首先，差图像获得单元100将新图像像素与背景模型中每个高斯中 心相比较，并找到最近的背景高斯。然后确定与最近的背景高斯之间的距离 是否小于该最近的背景高斯的方差。如果小于，则差图像获得单元100将该 像素标记为背景，并将差图像中的相应差设置为0。否则，差图像获得单元 100在差图像中将所述距离作为相应差而存储。图3示出了计算差图像的方法。101是比如RGB的颜色空间，102是前 景或阴影的高斯，103是背景的高斯，104是输入像素。该输入像素不在任何 背景高斯的范围内，所以它到最近的背景高斯(103)的距离被存储在差图像 中。105是另一个输入像素，它在103可接受的范围内，所以105被标记为背景。图4是示出根据示例性实施例的半阴影区域提取单元200的结构的框图。 半阴影区域提取单元200包括锐度估计单元210和背景扩展单元220。 所述锐度估计单元210估计差图像中边缘的锐度。背景扩展单元220通过水 平和垂直扫描来扩展背景区域。其中，如果可不穿过任何尖锐的边缘而达到 的前景图像，则该像素被标记为半阴影。通常，半阴影区域总具有非常宽而平緩的边缘，而对象边界则倾向于具 有窄而尖锐的边缘。在本发明中，锐度估计单元210被用于估计边缘的锐度。 对于像素p，锐度估计单元210分别计算像素p在小范围内以及大范围内的 梯度，并分别获得g,和g2。通过g^g2来估计像素的锐度sharp (p)。例如， 图5显示了平緩的边缘，而图6显示了尖锐的边缘。尽管它们的绝对梯度相 似，但是根据本发明的估计方法，由于总梯度g2较小，所以gi/g2相对较大， 如图6所示。为了计算锐度，锐度估计单元210如图7所示使用滤波器。存在水平和 垂直滤波器来计算锐度。在图7中，上面的块一皮用于计算水平锐度，而下面 的块被用于计算垂直锐度。首先，通过对区域i中的多个像素的灰度值的求 和来计算Vi，这里i表示图7中的l、 2、 3和4,而像素p用S表示。然后 通过sharp (p)叫v2-v3l/(lvl-v4l+A)来计算像素p的锐度，其中，A是用于惩 罚小梯度的常量。此外，如果lv2-v3卜thr^d,这意味着p的梯度非常小，则直 接将像素p的锐度设置成O,其中，thr^d表示预定的系统参数。背景扩展单元220通过应用水平扫描和垂直扫描来提取半阴影区域。对 于每个水平扫描线，背景扩展单元220找到每个背景段并向左扩展该背景段。 假定背景段左边的像素是Pl,如果sharp(pL)<thrsharp并且diff(pL)〈thr础,则这个像 素被标记为半阴影，其中，diff(pO是像素Pt和背景模型之间的差，它被存储 在差图像中，而thrsh叩和thr础是两个系统参数。在水平方向上将重复地执行 该操作直到上述条件不满足。在完成向左的扩展操作之后，以相似的方式来 执行段的向右扩展操作。
在水平扫描之后，检测出了大部分的半阴影区域，但是由于图像噪声， 将会有一些尖锐的边缘来妨碍了水平扩展，因此，以相似的方式来对每条垂 直线进行扫描。如果紧在背景段上面的像素p的锐度Sharp(p)<thrsharp并且 diff(p)々hrd,ff,则像素p被标记为半阴影，然后操作针对下一个上面的像素来重 复执行，直到上述条件不满足，然后以相似的方式执行段的向下扩展操作。其中，diff(R)是存储在差图像中的像素PL和背景模型之间的差，而thTsharp和thrdlff是两个系统参数。在上述操作之后，通过锐度估计单元210和背景扩展单元220提取了半 阴影区域。在本影区域提取单元300中，通过空间约束来提取本影区域。图8和图 9示出了两种典型情况。图8是根据半阴影提取结果找到本影区域的展示。在本发明示例性实施 例中，如果某个区域被半阴影像素围绕，则整个区域就被标记为本影区域。 在图8中，区域302是本影区域，区域303是半阴影区域。区域302被半阴 影区域303围绕，因此这整个区域被标记为本影区域。图9是在本影与前景对象相邻时根据半阴影提取结果找到本影区域的展 示。区域301是对象区域，区域302是本影区域，区域303是半阴影区域。 在示例性实施例中，如果前景区域的一部分由半阴影区域围绕，则这部分也 应该被标记为本影区域，如图9中的区域302所示。为了确定前景区域的一 部分是否由半阴影区域围绕，本发明应用了水平和垂直扫描。如果扫描线段 具有半阴影-对象-半阴影模式并且对象部分的长度不是很长(比作为系统参数 的阈值Tlm^短)，则该对象部分4皮标记为本影。图IO是示出从前景区域中识别阴影和高光区域的方法的流程图。在步骤SIOIO,图像捕获单元IIO捕获新图像。在步骤S1020，背景模型 单元120将新图像和背景模型相比较，并利用新图像来更新背景模型。在步 骤S1030,差图像获得单元100获得新图像和背景模型之间的差图像。在步 骤S1040，半阴影区域提取单元200通过估计差图像中边缘的锐度并扩展背 景区域来提取半阴影区域。在步骤S1050，本影区域提取单元300基于半阴 影提取结果来提取本影区域。图ll显示两个实验结果。 一个是高光提取，另一个是阴影提取。在图11中，显示了两个实验结果。从左到右，四列分别是(a)原始图
像、(b)差图像、(C)锐度图像,最后一列是(d)对象和阴影(高光)提取结果。第一个是高光提取结果。在这个例子中，道路被汽车头灯照亮。第二个 例子是室内的场景。这里，背景光很强以至于在地面上存在大阴影区域。但 是可以看到亮区域的边缘非常平滑。基于根据本发明的锐度估计方法，所述 边缘的锐度小于一般对象边缘。从而阴影区域被成功提取。使用本发明，可从相机监视系统中的前景区域中识别阴影区域。并且没 有比如干净背景、紋理背景和假定光源位置的限制。尽管已经显示并描述了本发明的示例性实施例，但是，本领域的技术人 员应该理解，在不脱离由权利要求所限定的本发明的原理和精神的情况下， 可对这些示例性实施例进行各种修改。
权利要求
1、一种在监视系统中从前景区域检测阴影和高光区域的方法，所述方法包括捕获新图像；将新图像和背景模型相比较，并通过新图像来更新背景模型；获得所述新图像和背景模型之间的差图像；通过估计差图像中边缘的锐度并扩展背景区域来提取半阴影区域；基于半阴影区域提取结果来提取阴影区域。
2、 如权利要求l所述的方法，其中，背景模型是像素分布的集合，并且 以混合高斯模型来描述每个像素的颜色分布其中，wi是每个单高斯的权值，N(u, cy)是中心为u、方差为o的高 斯分布。
3、 如权利要求l所述的方法，其中，通过新图像更新背景模型的步骤包括确定新图像中的像素是否属于混合高斯模型中的 一 个高斯； 如果所述像素属于所述高斯，则更新所述高斯的中心和方差，增加所述 高斯的权值并减小其他高斯的权值；如果所述像素不属于任何高斯，则删除具有最小Wi的高斯，并增加以所述像素的颜色为中心的新高斯。
4、 如权利要求l所述的方法，其中，获得差图像的步骤包括将新图像中的像素与背景模型中每个高斯的中心相比较，并找到最近的 背景高斯；确定所述像素和所述最近的背景高斯的中心之间的距离是否小于最近的背景高斯的相应方差；如果所述距离小于所述相应方差，则将所述像素标记为背景，并将差图 像中的相应差设置为o;如果所述距离不小于所述相应方差，则将相应的距离作为相应差存储在 差图像中。
5、 如权利要求l所述的方法，其中，提取半阴影区域的步骤包括 分别计算新图像中像素在小范围内和大范围内的梯度gl和g2; 通过将gl除以g2或者通过gl除以g2与常量A的和来估计所述像素的锐度。
6、 如权利要求5所述的方法，其中，估计像素的锐度的步骤还包括 如果gl<thrgrad,则将所述像素的锐度设置为0,其中，thivad是预定的系统参数。
7、 如权利要求l所述的方法，其中，在提取半阴影区域的步骤中扩展背 景区域的操作包括找到每条水平扫描线的每个背景段，并针对每条水平扫描线来在水平方 向上逐像素扩展背景段；找到每条垂直扫描线的每个背景段，并针对每条垂直扫描线来在垂直方 向上逐像素扩展背景段。
8、 如权利要求7所述的方法，其中，在水平方向上扩展背景段的操作包括..如果在所述背景段的紧左边的像素p的锐度小于thrsharp并且diff(p)< thrdlff，则所述像素被标记为半阴影,然后针对下 一左边的像素重复执行该操 作，直到上述条件不满足；然后以相似的方式执行段的向右的扩展操作，其 中，diff(p)是保存在差图像中的像素p和背景模型之间的差，thrsharp和thrdlff 是两个预定的系统参数。
9、 如权利要求7所述的方法，其中，在垂直方向上扩展背景段的搡作包括如果在所述背景段的紧上边的像素p的锐度小于thrsharp并且diff(p)< thrdiff,则所述像素被标记为半阴影，然后针对下 一上边的像素重复执行该操 作，直到上述条件不满足；然后以相似的方式执行段的向下的扩展操作，其 中，diff(p)是像素p和背景模型之间的差，thrsharp和thr础是两个预定的系统参数。
10、 如权利要求l所述的方法，其中，提取本影区域的步骤包括 当区域被半阴影像素围绕时，将整个区域标记为本影区域；当前景区域的一部分被半阴影像素围绕时，通过应用水平和垂直扫描将 所述部分标记为本影区域。
11、如权利要求IO所述的方法，其中，将所述部分标记为本影区域的步骤包括如果扫描线段具有半阴影-对象-半阴影模式，并且对象部分的长度小于 作为系统参数的Thrlength，则所述对象部分被标记为本影。
全文摘要
本发明提供了一种在监视系统中从前景区域检测阴影和高光区域的方法，所述方法包括捕获新图像；将新图像和背景模型相比较，并通过新图像来更新背景模型；获得所述新图像和背景模型之间的差图像；通过估计差图像中边缘的锐度并扩展背景区域来提取半阴影区域；基于半阴影区域提取结果来提取阴影区域。
文档编号H04N7/18GK101399968SQ20071015176
公开日2009年4月1日 申请日期2007年9月29日 优先权日2007年9月29日
发明者马赓宇 申请人:三星电子株式会社;北京三星通信技术研究有限公司