专利名称：基于双目视觉和侧安装摄像机的客流计数方法
技术领域：
本发明是一种涉及用于客流信息采集，具体地说是涉及一种基于双目视觉和摄像机侧面安装的客流计数方 法。
背景技术：
随着人口的增长和人们出行的频繁，无论是各类交通系统，还是商场、展馆、机场码头等地都是人流涌动，这些人流的统计数据的采集逐渐变得越来越重要。如对交通系统来说，客流数量是公交管理部门合理安排公交线路、优化调度公交车辆、提高运营效率的最主要依据；对商场展馆来说，客流数量关系着经济效益的多寡和服务质量的好坏。因此对自动客流数据采集方法的研究具有重大的实用价值。目前已提出的自动客流计数方法主要有基于主动红外感应、被动红外感应、踏板压力传感、视频图像处理等方法。基于主动红外感应的系统，该技术成熟，抗干扰能力强，但无论是采用单束还是多束红外光，都不能有效解决拥挤客流的计数；被动式红外计数技术通过检测人体发出的热红外进行计数，可区分有生命和无生命的对象，但易受过人的着装、 环境温度等的影响，也无法适应拥挤客流的计数。基于踏板压力传感器的计数方法通常用于公交车场合，但要求乘客依次上下车、不可拥挤，并且无法较好的判别客流的进出方向。基于视频图像处理技术的方法目前是最有发展前途的计数方法，分为基于单目和双目摄像两类。前一种方法利用目标的灰度、色度信息进行运动目标的分割，但对计数场景中光线的变化及其敏感，阴影和干扰物对运动目标提取的影响也非常大，难以准确地进行计数；后一种方法利用了运动目标的三维信息，可以较好地解决前一种方法存在的光照变化和阴影的问题，但计算量较大。现有的基于立体视觉的计数方法主要应用于摄像机顶部安装的场合，如公交车门、建筑物出入口等，这样可以最大限度地降低客流的遮挡，实现准确地计数。但对于如室外人行道这类场合，由于人行道没有顶棚，摄像机只能固定在侧面的建筑物或立杆上，这将大大加剧客流之间的遮挡拥挤和光照阴影的影响，计数处理方法必须进行有效地处理以解决这些棘手的问题。
发明内容
本发明的目的在于针对摄像机侧安装场合的客流计数技术存在的问题，提供一种基于双目视觉的客流计数方法，它适合室外人行道、房顶高度过高的室内大门、走廊等场景中进行客流计数，方法能够很好地消除严重的光照突变、阴影、透视畸变、遮挡等的影响。为了达到上述目的，本发明的技术方案是基于双目视觉和侧安装摄像机的客流计数方法，该方法包括如下步骤(1)用平行同步的左、右摄像机获得左、右二个同步视频图像序列，并在视频图像画面预设两条互相平行并与行走方向垂直的双列计数线，预存双列计数线位置上的视差作为背景视差；(2)在双列计数线上逐点计算视差，再将两列视差分别在时间轴上展开，形成双列视差时空(3)根据一条计数线的视差与背景视差的差值提取前景目标，生成动态视差时空图；(4)对上述前景目标进行地平面映射，得到对应地平面位置的映射图像，映射图像灰度对应于前景目标的高度；(5)在映射图像中进行前景目标的区域分割、标记、匹配和计数；(6)重复循环执行步骤(1)到步骤(5)，完成实时的客流计数。上述双列计数线的间距是视频图像画面宽度的15%。上述步骤(2)中的在双列计数线上逐点计算视差的具体方法为采用归一化互相关的窗口匹配算法进行视差计算，对于CIF格式的352 X 288尺寸的图像，初始窗口的高度、宽度分别取3行和15列；采用动态窗口法解决灰度均勻区域的视差计算问题，在视差匹配窗口内统计像素的灰度方差，如果灰度方差小于某个门限，则将匹配窗口的尺寸放大50%，继续计算其灰度方差并进行判断，如此反复直至图像面积的1/20 ；最后，需要对归一化互相关NCC值进行三次样条插值，以得到亚像素级的视差计
晳社里异5口米。上述步骤(3)中根据当前计数线的视差与背景视差的差值提取前景目标，生成动态视差时空图的具体方法如下将当前帧的计数线视差与背景帧的计数线视差进行比较，如果对应像素的视差之差超过某个门限则判断该像素为前景像素，否则为背景像素；保留前景像素的视差值得到前景目标视差图像，门限取为1个像素点间距，目标提取需要在两条计数线上分别进行处理，将各帧的列计数线前景目标视差在χ轴方向的时间轴上进行展开，保留最近的 100列数据构成列视差时空图像，每有新一帧的一列进入，则将最老的一列去除，其他列右移，把最新一列置于最左边，对应两列计数线构成了的两幅动态的前景目标视差时空图，后续的客流计数算法完全基于该两幅前景目标的视差时空图像。上述步骤(4)中对上述前景目标进行地平面映射，得到对应地平面位置的映射图像，图像灰度对应于前景目标的高度前景目标映射和高度时空图生成的具体方法如下根据前景图像的对应深度信息的视差将目标映射到二维地平面上，即计算前景视差图像中的每一个前景像素点对应二维地平面的位置；映射图像中该点灰度取为目标的高度，称该映射后的图像为地平面映射高度时空图像。上述步骤(5)前景目标的区域分割、标记、匹 配和计数，具体方法如下(1)对上述两幅列映射时空图中的运动目标进行提取和标记，存入目标标记结构数组中，并丢弃小的运动目标；(2)上述运动目标的分割与合并，根据其灰度(代表客流高度)、面积、宽度等进行相应的分割和合并；(3)目标的匹配计数，当在计数线2上出现目标时，搜索与计数线1上该目标最佳匹配的目标，如果得到最佳匹配目标，根据两个匹配目标的质心在时间轴上位置关系，判断目标运动方向；如果计数线1上目标的质心在时间轴上先于计数线2上目标的质心，则该目标为正方向，反之，则为反方向，并更新各自的计数器；将两个匹配目标的信息分别从计数线1和计数线2的目标标记结构数组中删除，当在计数线2上存在多个待匹配目标时，根据代价函数求出最佳匹配目标，代价函数定义如下F (χ，yn) = aS (χ，yn) +bDx (χ，yn) +cDy (χ，yn)该函数计算计 数线1上目标χ与计数线2上待匹配目标yn的相似度，其中，S(χ, yn)为的高度灰度平均值之差的绝对值，Dx(χ，yn)为运动目标间的水平方向距离， Dy(x，yn)为运动目标间的垂直方向距离，a，b，c是加权值。F(x，yn)值越小，说明两个目标越匹配，选择使F (X，yn)值最小的目标yn为最佳匹配目标。本发明与现有基于视频的客流计数技术相比较，具有如下特征和优点本发明采用双目视觉技术进行双列计数线上的前景目标的提取，几乎不受光照变化及阴影的影响， 提高了系统的抗干扰性；利用目标的地平面映射方法提取出前景目标的地平面位置及其高度，形成双列高度时空图像，较好地解决了透视和遮挡重叠问题；在双列高度时空图像进行目标的提取、标记和匹配计数。本发明提出的计数方法适用于摄像机只能侧面安装的计数场合，如室外人行道、房顶高度过高的室内大门和走廊等，能够很好地满足系统的实时性和准确性要求。
图1是本发明中基于双目视觉和侧安装摄像机的客流计数方法的应用场景示意图。图2是本发明系统基于双目视觉和侧安装摄像机的客流计数方法的流程框图。图3是本发明中算法公式推导用的地平面背景上前景目标的映射图。
具体实施例方式以下将结合附图对本发明的基于双目视觉和侧安装摄像机的客流计数方法及其系统作进一步的详细描述。如图1所示，基于双目视觉和侧安装摄像机的客流计数方法，它包括现场双目立体摄像机及其安装方式。左、右摄像机Al，A2拍摄客流场景，场景可以是室外人行道、房顶高度过高的室内大门和走廊等场合。场景图像中设置两条与行走方向垂直的双列计数线用于算法计数，其位置和间距可根据实际情况进行调整，通常置于图像3中间位置的两边，间距是图像宽度的15%以提高计数的可靠性。实际客流在图像中左右行走，定义从计数线1至计数线2的方向为正方向S，否则为反方向。如图1 3所示，上述基于双目视觉和侧安装摄像机的客流计数方法，其如下步骤(1)、用平行同步的左、右摄像机获得左、右二个同步视频图像序列；(2)、在双列计数线上逐点计算视差，再将两列视差分别在时间轴上展开，形成双列视差时空图；(3)、根据当前一条计数线的视差与背景视差的差值提取前景目标，生成动态视差时空图；(4)、对上述前景目标进行地平面映射，得到对应地平面位置的映射图像，该映射图像的灰度对应于前晟目标的高度；(5)、在映射图像中进行前景目标的区域分割、标记、匹配和计数。上述步骤(1)中同步视频图像序列的采集方法如下平行的左、右摄像机安装在人行道的侧面，高度2. 5米以上，从2个位置俯视拍摄同一客流场景，高度通常采用人行道宽度的2/3。为适应客流的运动特性，左右摄像机必须行场同步。双列计数线在画面中由人工设置，计数线位置上的视差作为背景视差值预先进行存储。安装后的摄像机俯视角度由常规摄像机标定方法确定，为适应夜间拍摄，摄像机具有红外摄像功能，并设置红外LED灯补光。
上述步骤(2)中正确的视差计算是整个方法的基础，只须对双列计数线上的各点进行计算，其具体方法为采用归一化互相关的窗口匹配算法(该方法为本领域技术人员习知的算法，在此不再赘述)进行视差计算，对于CIF格式的352X288尺寸的图像，初始窗口的高度、宽度分别取3行和15列。这样可以保持适度的匹配窗口内像素数，既不至于造成视差的模糊，也不会出现较明显的视差噪声。采用动态窗口法(该方法为本领域技术人员习知的算法，在此不再赘述)解决灰度均勻区域的视差计算问题。在视差匹配窗口内统计像素的灰度方差，如果灰度方差小于某个门限，则将匹配窗口的尺寸放大50%，继续计算其灰度方差并进行判断，如此反复直至图像面积的1/20，该方法可有效地消除均勻区域的视差误匹配问题。安装时预先计算背景视差，为提高静止背景视差的匹配精确度，对于均勻的场景地面人为设置一些灰度变化，如粘贴一些线条和图案。最后，需要对归一化互相关NCC值进行三次样条插值，以得到亚像素级的视差计
晳社里异5口米。上述步骤(3)中前景目标的提取及其动态视差时空图生成方法如下将当前帧的计数线视差与背景帧的计数线视差进行比较，如对应像素的视差之差超过某个门限则判断该像素为前景像素，否则为背景像素。保留前景像素的视差值得到前景目标视差图像。门限取为1个像素点间距。目标提取需要在两条计数线上分别进行处理。将各帧的列计数线前景目标视差在χ轴方向的时间轴上进行展开，保留最近的 100列数据构成列视差时空图像，每有新一帧的一列进入，则将最老的一列去除，其他列右移，把最新一列置于最左边。这样，对应两列计数线构成了的两幅动态的前景目标视差时空图，后续的客流计数算法完全基于该两幅前景目标的视差时空图像。上述步骤(4)中生成前景目标的地平面映射图像方法如下地平面上各个人是互相分开的，但由于透视效应，在图像上就是相互重叠的，并且大小也有明显的差异。为了消除透视效应和重叠的影响，根据前景图像的对应深度信息的视差将目标映射到二维地平面上，即计算前景视差图像中的每一个前景像素点对应二维地平面的位置。如果在地平面中有映射点，则表明该点上有前景目标，映射图像中该点灰度取为目标的高度，否则取值为零。该映射后的图像为地平面位置的映射图像，示意图如附图3所示。假设背景场面是一个平面，OC是Y轴方向，摄像机安装位置为P，俯视角度为 α+β，其中β为摄像机在垂直方向的视角的一半，决定于镜头焦距尺寸和摄像机靶面大小。α决定于安装角度，可通过摄像机标定方式确定。图中AC线是平面上的可成像区域。 当有一个实际目标EF站立在平面上时，E点在像面上的点决定了角度di3，E点在摄像机所拍摄的图像像素坐标中的垂直方向的位置为y，若像素坐标原点取在中央，对应于A至C区间的图像高度为iH，则y和di3的关系为
权利要求
1.基于立体视觉和侧安装摄像机的客流计数方法，其特征在于，包括如下步骤(1)用平行同步的左、右摄像机获得左、右二个同步视频图像序列，并在视频图像画面预设两条互相平行并与行走方向垂直的双列计数线，预存双列计数线位置上的视差作为背景视差；(2)在双列计数线上逐点计算视差，再将两列视差分别在时间轴上展开，形成双列视差时空图；(3)根据一条计数线的视差与背景视差的差值提取前景目标，生成动态视差时空图；(4)对上述前景目标进行地平面映射，得到对应地平面位置的映射图像，映射图像灰度对应于前景目标的高度；(5)在映射图像中进行前景目标的区域分割、标记、匹配和计数；(6)重复循环执行步骤(1)到步骤(5)，完成实时的客流计数。
2.根据权利要求1所述的基于立体视觉和侧安装摄像机的客流计数方法，其特征在于，上述双列计数线的间距是视频图像画面宽度的15%。
3.根据权利要求1所述的基于立体视觉和侧安装摄像机的客流计数方法，其特征在于，上述步骤(2)中的在双列计数线上逐点计算视差的具体方法为采用归一化互相关的窗口匹配算法进行视差计算，对于CIF格式的352 X 288尺寸的图像，初始窗口的高度、宽度分别取3行和15列；在视差匹配窗口内统计像素的灰度方差，如果灰度方差小于某个门限，则将匹配窗口的尺寸放大50%，继续计算其灰度方差并进行判断，如此反复直至图像面积的1/20 ；最后，需要对归一化互相关NCC值进行三次样条插值，以得到亚像素级的视差计算结果。
4.根据权利要求3所述的基于立体视觉和侧安装摄像机的客流计数方法，其特征在于，上述步骤(3)中根据当前计数线的视差与背景视差的差值提取前景目标，生成动态视差时空图的具体方法如下将当前帧的计数线视差与背景帧的计数线视差进行比较，如果对应像素的视差之差超过某个门限则判断该像素为前景像素，否则为背景像素；保留前景像素的视差值得到前景目标视差图像，门限取为1个像素点间距，目标提取需要在两条计数线上分别进行处理，将各帧的列计数线前景目标视差在χ轴方向的时间轴上进行展开，保留最近的100列数据构成列视差时空图像，每有新一帧的一列进入，则将最老的一列去除，其他列右移，把最新一列置于最左边，对应两列计数线构成了的两幅动态的前景目标视差时空图，后续的客流计数算法完全基于该两幅前景目标的视差时空图像。
5.根据权利要求4所述的基于立体视觉和侧安装摄像机的客流计数方法，其特征在于，上述步骤(4)中对上述前景目标进行地平面映射，得到对应地平面位置的映射图像，图像灰度对应于前景目标的高度前景目标映射和高度时空图生成的具体方法如下根据前景图像的对应深度信息的视差将目标映射到二维地平面上，即计算前景视差图像中的每一个前景像素点对应二维地平面的位置；映射图像中该点灰度取为目标的高度， 得到对应地平面位置的映射图像。
6.根据权利要求5所述的基于立体视觉和侧安装摄像机的客流计数方法，其特征在于，上述步骤(5)前景目标的区域分割、标记、匹配和计数，具体方法如下(1)对上述两幅列映射时空图中的运动目标进行提取和标记，存入目标标记结构数组中，并丢弃小的运动目标；(2)上述运动目标的分割与合并，根据其灰度(代表客流高度)、面积、宽度等进行相应的分割和合并；(3)目标的匹配计数，当在计数线2上出 现目标时，搜索与计数线1上该目标最佳匹配的目标，如果得到最佳匹配目标，根据两个匹配目标的质心在时间轴上位置关系，判断目标运动方向；如果计数线1上目标的质心在时间轴上先于计数线2上目标的质心，则该目标为正方向，反之，则为反方向，并更新各自的计数器；将两个匹配目标的信息分别从计数线 1和计数线2的目标标记结构数组中删除，当在计数线2上存在多个待匹配目标时，根据代价函数求出最佳匹配目标，代价函数定义如下F (x, yn) = aS (χ, yn) +bDx (χ, yn) +cDy (x, yn)该函数计算计数线1上目标χ与计数线2上待匹配目标yn的相似度，其中，S(x，yn)为 X和In的高度灰度平均值之差的绝对值，Dx(X，yn)为运动目标间的水平方向距离，Dy(X，yn) 为运动目标间的垂直方向距离，a, b，c是加权值。F(x，yn)值越小，说明两个目标越匹配， 选择使F(x，yn)值最小的目标yn为最佳匹配目标。
全文摘要
本发明涉及基于双目视觉和侧面安装摄像机的客流计数方法。该方法步骤包括(1)用平行同步的左、右摄像机获得左、右二个同步视频图像序列，并在视频图像画面预设两条互相平行并与行走方向垂直的双列计数线，预存双列计数线位置上的视差作为背景视差；(2)在双列计数线上逐点计算视差，再将两列视差分别在时间轴上展开，形成双列视差时空图；(3)根据一条计数线的视差与背景视差的差值提取前景目标，生成动态视差时空图；(4)对上述前景目标进行地平面映射，得到对应地平面位置的映射图像，映射图像灰度对应于前景目标的高度；(5)在映射图像中进行前景目标的区域分割、标记、匹配和计数；(6)重复循环执行步骤(1)到步骤(5)，完成实时的客流计数。该方法适用于摄像机只能侧面安装的计数场合，如室外人行道、房顶高度过高的室内大门和走廊等，具有很强的实时性和鲁棒性。
文档编号G06M11/00GK102222265SQ20101014586
公开日2011年10月19日 申请日期2010年4月13日 优先权日2010年4月13日
发明者任哲 申请人:上海申腾三盛信息技术工程有限公司