Beltrami算子操作,可基于物 体的那些复杂的难于描述的高维观测获得低维表征,以便描述本征流形的显著性属性。此 外,由于可以假设从不同视角观察到的高维观测中都潜藏着同样一个此物体的低维流形, 因此,基于Laplace Beltrami算子生成的多个二维的特征投影具有空间旋转校正的能力, 使其在现实复杂的观测条件下能产生鲁棒的、一致的形状描述。
[0029] 此外,由于应用Laplace Beltrami算子来生成多个二维的特征投影的算法较为 复杂。根据本发明的又一示例,可采用对点云进行加权Laplacian计算来近似Laplace Beltrami算子操作,从而简化为了获得具有空间旋转校正的能力的二维的特征投影所需的 计算。换言之,可通过基于异质点云中的点的深度信息和平面图像信息计算的该异质点云 所对应的边权重矩阵来生成该异质点云的二维投影。图4是描述了根据本发明一个示例, 通过基于异质点云中的点的深度信息和平面图像信息计算的该异质点云所对应的边权重 矩阵来生成该异质点云的二维投影的方法400的流程图。
[0030] 如图4所示,在步骤S401中,根据异质点云中的点的深度信息和平面图像信息计 算异质点云中两点间的边权重,其中每个边权重指示异质点云中的两个点之间的关系。例 如,可通过以下公式(1)来计算异质点云中的两个点之间的边权重:
[0031] (1)
[0032] 其中,pjP p j是异质点75Γ中的点,w。是点p ;和点p』之间边的权重,dist 3D是根 据点Pi和点P .j的三维坐标计算的点P i和点P .j之间的距离,而dist visual表示根据点P ;和 点化的例如颜色信息、灰度信息和/或亮度信息之类的平面图像信息计算的点P i和点P 之间的视觉相似性。a α 2是值为[0, 1]的权衡参数,t是一个实数值的常量。也就是 说,dist3:^指示异质点云中的两个点之间的空间关系,并且dist vlsual可指示异质点云中的 两个点之间的视觉相似性。wij取值范围为[0, 1],通过以上公式(3)可以看出,如果异质 点云中的两个点之间的距离很大并且视觉相似性很低,则对应边的权重就会被置为接近〇; 如果情况相反,则权重就被置为接近1。
[0033] 然后,在步骤S402中,根据所计算的边权重,生成异质点云的边权重矩阵。具体 地,可组合在步骤S401中所计算的边权重,以生成异质点云的边权重矩阵。
[0034] 然后,可根据权重矩阵,生成对三维物体形状具有旋转校正能力的二维投影。根据 本发明的一个示例,二维投影可以通过求解边权重矩阵的特征向量来生成。具体地,在步骤 S403中,计算边权重矩阵的至少一部分特征值所对应的特征向量。例如,可首先计算边权重 矩阵的特征值。然后,可通过以下公式(2)来计算异质点云的边权重矩阵W的特征向量f:
[0035] Lf = ADf,其中 L = D-W (2)
[0036] 其中,D表示将W中的元素按列求和得到的对角阵,λ表示特征值,f表示特征值 对应的特征向量。
[0037] 接下来可在所计算的特征值中选择最小的多个(例如,3个)非零特征值 (f\,f2, f3)来表征旋转校正后的三维的物体形状,以便于后续能够基于所选择的特征值和 特征向量进一步计算出物体的显著的低维表征(即,二维投影)。最小的3个非零特征值指 示物体相互正交的三个主方向。
[0038] 在步骤S404中,根据所计算的特征向量,以生成所述二维投影。例如,可通过两两 结合在步骤S403所获得的这些特征向量来生成多个二维投影。例如,在步骤S403中选择 了 3个最小的非零特征值所对应特征向量的情况下,可按照以下公式(3)生成三个二维投 影:
[0039]
(3),
[0040] 其中年几和尽为三个最能体现物体的形状特征的二维投影。如本领域的技术人 员所能理解的,为了简化识别过程可计算更少的二维投影。另一方面,为了增加识别的准确 性,也可计算更多的二维投影。
[0041] 图5a是当立体相机拍摄的图像中的物体为被人手持的棍子时,根据图2中所示的 方法200生成的示例性异质点云#的示意图。图5b是基于图5a中所示的异质点云#根据 图4中所示的方法400生成的示例性二维投影4,4和4的示意图。
[0042] 返回图3,在获得多个二维投影后,一方面在步骤S302中,根据每个二维投影自身 的属性信息生成该二维投影的投影危险性参数,并且根据异质点云的各个二维投影的投影 危险性参数生成该异质点云的自危险性参数。例如,可根据每个二维投影中物体所呈现的 形状、大小等属性信息生成该二维投影的投影危险性参数。
[0043] 根据本发明的一个示例,可根据在二维投影计算物体的大体形状,并且当计算到 物体形状平滑圆润时,可能意味着该物体危险性低。例如,可通过以下公式(4)来计算关于 物体的大体形状的参数R :
[0044] (4)
[0045] 其中,函数RangeO度量二维投影在某个方向上的跨度,比如具体可以采用计算 这个方向上的最大值与最小值的差,3()为比较性量化函数,这个量化函数会把Range ()函 数值的差异变换到[0, 1]。当关于物体的大体形状的参数R越趋近于1时可表示物体越可 能具有危险性。
[0046] 又例如,可计算在二维投影中物体的轮廓(即,周长)与面积之间的关系,并且当 周长值与面积值相差越大时,自危险性参数可指示该物体越危险。又例如,可通过以下公式 (5)来计算在二维投影中物体的轮廓与面积之间的关系C :
[0047]
(5)
[0048] 函数Perimeter()计算二维投影中物体的轮廓线长度,函数Area()则是计算二维 投影中物体所占的面积。函数Γ ()可以利用函数PerimeterO和Area〇这两个值的比值 来实现,或者采用对概略图的面积和相同直径的圆的面积之间的归一化差异来表示。这个 复杂程度评分也可被量化到[0, 1],取值为1时表示物体越可能具有危险性。
[0049] 在每个二维投影的投影危险性参数包括在该二维投影中物体的大体形状的参数R 和在二维投影中物体的轮廓与面积之间的关系C,并且先前计算了三个二维投影的情况下, 可通过以下公式(6)生成异质点云的自危险性参数SA:
[0050]
(6)
[0051] 其中,评分融合函数? ()可以简单地采用各个评分的算术平均值,也可以引入其 他的像极值投票等更复杂的方法。SA评分的取值范围可以为[0,1]。
[0052] 另一方面,从不同的角度观察一个具有奇怪形状的物体会得到非常不同的观测数 据,而形状奇怪的物体很可能与攻击性物体相关。因此,根据对多个特征投影所有两相比较 特征的综合分析可以计算出物体形状的比较危险性参数。例如,在图5b中,&和見与户23差 异较大,因此,图5b中所示的物体很可能与攻击性物体相关。在步骤S303中,可比较各个 二维投影的属性信息,并且根据比较结果生成该异质点云的比较危险性参数。例如,在获得 了三个二维投影的情况下,可通过以下公式(7)生成异质点云的比较危险性参数SS:
[0053]
(7)
[0054] 其中,函数Diff()度量两个投影间的比较性特征,并输出一个[0, 1]的值来刻画 投影差异的显著性。具体可以采用计算面积差异的方式来表现投影所占面积的不一致性, 或者其他适合的描述方式。
[0055] 然后在步骤S304中,根据自危险性参数和比较危险性参数,生成第一危险性参 数。例如,可通过以下公式(8)来结合指示异质点云的在二维投影中呈现的属性的自危险 性参数和指示异质点云的在三维形状中呈现的属性的比较危险性参数,生成第一危险性参 数 Riskshape:
[0056]
(8)
[0057] 其中,函数M()建模了对评分SA和SS的融合策略。这里对于函数M()可以采用 有监督的方法比如线性回归,充分利用已观测的数据来提升对形状侵犯性估计的准确性。 还可对于函数M()采用其他更复杂的诸如logistic回归等。形状风险值Risk shape取值在 [0, 1],值越大表示物体越可能是危险的。
[0058] 返回图1,在步骤S103中,根据异质点云中的点的深度信息和平面图像信息,确定 该异质点云所对应的物体的表面特征,并根据表面特征生成第二危险性参数。由于在视觉 监控系统中,摄像机常常被架设在高处并且带有很大俯视角度。根据本发明的一个示例,可 首先对所述异质点云进行坐标变换,以使得其更好地表征从周围观察者所得到的对于物体 的真实视觉感受。例如,可根据异质点云中的点的深度信息和平面图像信息,对异质点云进 行坐标变换,其中平面图像信息包括平面位置信息。在坐标变换中,在异质点云中具有相同 平面位置信息的多个点中仅保留具有最小深度的点。例如,可通过以下公式(9)来对异质 点云进行坐标变换:
[0059] (9)
[0060] 其中,S表示进行坐标变换后的物体表面信息,其反映物体周围的人所感知的视 觉表观信息。m是异质点云中距离观察者最近点的索引,可以通过搜索所有具有相同坐标 (Xw,yj的2"值来得到m。#代表在(xw,yw)处被保留的平面图像信息。如上所述,在坐标 变换中,在异质点云中具有相同平面位置信息的多个点中仅保留具有最小深度的点,因此 在具有相同坐标(x w,yw)的点中可将索引为m的点所包含的平面图像信息和深度信息赋予 该点,而忽略所有其他点的信息。然后,根据坐标变换后的物体表面中的点的深度信息和平 面图像信息,确定该异质点云所对应的物体的纹理和/或材质,并根据纹理和/或材质生成 第二危险性参数。
[0061] 在图6中是描述了根据本发明一个示例,根