基于平行结构光的路缘边界检测方法及装置、工程机械的利记博彩app
【专利摘要】本发明提供了一种基于平行结构光的路缘边界检测方法及装置、工程机械。该方法包括以下步骤：接收两束平行线结构光照射路缘；获取路缘图像，并提取路缘的三维结构信息；通过获取的路缘结构信息计算工程机械到路缘的距离。在上述技术方案中，通过采用平行线结构光照射路缘，并通过对采集的路缘图像得到路缘的三维结构信息，从而能够计算出工程机械到路缘的距离，通过上述方法可以直观的得到工程机械到路缘边界的准确距离，避免了在检测时的误差，提高了检测准确性。
【专利说明】基于平行结构光的路缘边界检测方法及装置、工程机械
【技术领域】
[0001] 本发明涉及工程机械的【技术领域】，尤其涉及到一种基于平行结构光的路缘边界检 测方法及装置、工程机械。
【背景技术】
[0002] 工程机械在施工时，需要保持沿路缘行驶作业，，目前路缘边界的检测方法有：（1) 人工观测：现行移动车辆及设备主要通过人工观测路缘，估算路缘边界位置及与车辆之间 的距离。（2)摄像头监视：车身左侧安装摄像头，实时传送画面至显示屏，供机手观测判断。 (3) 图像处理方案：通过摄像机采集道路路缘图像，利用路缘的结构信息进行路缘边界定 位及距离测量。
[0003] 现有技术的缺点在于：1、人工观测劳动强度较大。2、夜晚难以看清路缘。3、人工 经验估算距离，精度不高。4、现有图像处理方案针对非结构化路缘边界检测精度低。
【发明内容】
[0004] 本发明提供一种基于平行结构光的路缘边界检测方法及装置，用以提高工程机械 在运动时检测路缘边界的精度。
[0005] 本发明提供了一种基于平行结构光的路缘边界检测方法，该基于平行结构光的路 缘边界检测方法包括以下步骤：
[0006] 接收两束平行线结构光照射路缘；
[0007] 获取路缘图像，并提取路缘的三维结构信息；
[0008] 通过获取的路缘结构信息计算工程机械到路缘的距离。
[0009] 在上述技术方案中，通过采用平行线结构光照射路缘，并通过对采集的路缘图像 得到路缘的三维结构信息，从而能够计算出工程机械到路缘的距离，通过上述方法可以直 观的得到工程机械到路缘边界的准确距离，避免了在检测时的误差，提高了检测准确性。
[0010] 优选的，所述采集路缘图像，并提取路缘的三维结构信息具体为：
[0011] 通过采集所述两束平行线结构光照射路缘边界的图像；
[0012] 建立表示所述采集的真实世界的图像的投影的图像坐标系，并根据建立的表示所 述摄像机视角的三维坐标系与真实世界的三维坐标系之间的转换关系，获取所述图像坐标 系与所述真实世界的三维坐标系之间的转换关系；
[0013] 在采集的图像中，获取每束平行线结构光在所述图像坐标系中的初始光点的坐 标，并根据设定的近邻类聚的关系获取每束平行线结构光的光点在所述图像坐标系内的光 点集合；
[0014] 根据霍夫变换将获取的每束平行线结构光的光点集合中的光点拟合出每束平行 线结构光在设定坐标系内的直线方程；
[0015] 通过获取的两束平行线结构光的直线方程计算得出路缘边界在所述设定坐标系 内的直线方程。
[0016] 优选的，所述获取每束平行线结构光在设定的坐标系中的初始点的坐标，并根据 设定的近邻类聚的关系获取每束平行线结构光的光点在所述设定坐标系内的光点集合具 体为：针对每束平行线结构光：
[0017] 在设定的坐标系内确定每个平行激光的初始光点位置及灰度值Pl(xl，yl， vail)；
[0018] 建立光点集合SI，并将初始光点加入到集合SI中；
[0019] 按照设定关系选取Sl中的任意光点Pi(xi，yi，vali)的候选光点Pj(xj，yj， valj)；
[0020] 建立候选光点集合Tl;
[0021] 对SI中的任意光点Pi(xi，yi，vali)，计算Pi与所述候选光点集Tl中每一点 Pj(xj，yj，valj)的距离；
[0022] 对SI中的光点与候选光点集Tl中的候选光点的距离进行排序，选择3个距离最 小光点加入集合Sl。
[0023] 优选的，所述设定关系为：xj〈xi±d，yj〈yi±d，valj>vali*0. 5 ;其中，d为平行激 光光条的最大高度常量。
[0024] 优选的，所述根据霍夫变换将获取的每束平行线结构光的光点集合中的光点拟合 出每束平行线结构光在设定坐标系内的直线方程具体为：
[0025] 对Sl中各光点建立极坐标方程P=xcosΘ+ysinΘ;
[0026] 对各光点方程，Θ以步长为Γ，依次求对应的p，并将对应pΘ矩阵单元累加 计数，其中，-45°彡Θ彡135。；
[0027] 对Θ为-45°到135°各行中的矩阵元素数累加，求最大的行值Θ1 ;
[0028] 对Θ1行，从最右列向左求得第一个最大值对应的Pa，从最左列向右求得第一个 最大值对应的Pb;
[0029] 依据极坐标对（Θ1，Pa)和（Θ1，pb)，建立直线方程y=fa(x)和y=fb(X);
[0030] 对θ为-45°和45°的所有行求最大值对应的座标（Θ2,PC)及对应的直线方 程y=fc(x) 〇
[0031] 优选的，所述通过获取的两束平行激光的直线方程计算得出路缘边界在所述设定 坐标系内的直线方程具体为：
[0032] 通过获取的每束平行线结构光的直线方程中的y=fa(x)和y=fc(x)获取交点； 所述交点为路缘边界上的点，通过获取的路缘边界上的点获取路缘边界在所述设定的坐标 系的直线方程。
[0033] 优选的，在提取每束平行线结构光在设定的坐标系中初始光点的坐标时，提取显 示装置上与平行激光的颜色相一致的图像分量作为处理对象。
[0034] 优选的，所述通过获取的路缘结构信息计算工程机械到路缘的距离具体为：通过 获取的路缘边界的直线方程以及获取的所述图像坐标系与所述真实世界的三维坐标系之 间的转换关系，计算出工程机械与路缘边界的距离。
[0035] 优选的，所述投射两束平行线结构光照射路缘具体为：通过设置在车体上的激光 发射器发射两束平行激光。
[0036] 优选的，所述通过摄像机采集所述两束平行线结构光照射路缘边界的图像具体 为：在工程机械上设置摄像机，且摄像机的采集范围覆盖所述激光发射器的照射范围。
[0037] 本发明还提供了一种控制装置，该控制装置包括：
[0038] 获取模块，用于获取两束平行线结构光照射路缘的图像；
[0039] 数据处理模块，用于根据路缘的图像提取路缘的三维结构信息；通过获取的路缘 结构信息计算工程机械到路缘的距离。
[0040] 在上述技术方案中，通过采用平行线结构光照射路缘，并通过对采集的路缘图像 得到路缘的三维结构信息，从而能够计算出工程机械到路缘的距离，通过上述方法可以直 观的得到工程机械到路缘边界的准确距离，避免了在检测时的误差，提高了检测准确性。
[0041] 优选的，所述控制装置提取路缘的三维结构信息具体为：
[0042] 通过采集所述两束平行线结构光照射路缘边界的图像；
[0043] 建立表示所述采集的真实世界的图像的投影的图像坐标系，并根据建立的表示所 述摄像机视角的三维坐标系与真实世界的三维坐标系之间的转换关系，获取所述图像坐标 系与所述真实世界的三维坐标系之间的转换关系；
[0044] 在采集的图像中，获取每束平行线结构光在所述图像坐标系中的初始光点的坐 标，并根据设定的近邻类聚的关系获取每束平行线结构光的光点在所述图像坐标系内的光 点集合；
[0045] 根据霍夫变换将获取的每束平行线结构光的光点集合中的光点拟合出每束平行 线结构光在设定坐标系内的直线方程；
[0046] 通过获取的两束平行线结构光的直线方程计算得出路缘边界在所述设定坐标系 内的直线方程。
[0047] 优选的，所述控制装置获取每束平行线结构光在设定的坐标系中的初始点的坐 标，并根据设定的近邻类聚的关系获取每束平行线结构光的光点在所述设定坐标系内的光 点集合具体为：
[0048] 针对每束平行线结构光：
[0049] 在设定的坐标系内确定每个平行线结构光的初始光点位置及灰度值Pl(xl，yl， vail)；
[0050] 建立光点集合SI，并将初始光点加入到集合SI中；
[0051] 按照设定关系选取Sl中的任意光点Pi(xi，yi，vali)的候选光点Pj(xj，yj valj)；
[0052] 建立候选光点集合Tl;
[0053] 对SI中的任意光点Pi(xi，yi，vali)，计算Pi与所述候选光点集Tl中每一点 Pj(xj，yj，valj)的距离；
[0054] 对SI中的光点与候选光点集Tl中的候选光点的距离进行排序，选择3个距离最 小光点加入集合Sl。
[0055] 优选的，所述设定关系为：xj〈xi±d，yj〈yi±d，valj>vali*0. 5 ;其中，d为平行线 结构光的光条的最大高度常量。
[0056] 优选的，所述控制装置根据霍夫变换将获取的平行线结构光的光点集合中的光点 拟合出平行线结构光在设定坐标系内的直线方程具体为：
[0057] 对Sl中各光点建立极坐标方程P=xcosΘ+ysinΘ;
[0058]对各光点方程，Θ以步长为Γ，依次求对应的p，并将对应ρΘ矩阵单元累加 计数，其中，-45°彡Θ彡135。；
[0059] 对Θ为-45°到135°各行中的矩阵元素数累加，求最大的行值θ1 ;
[0060] 对θ1行，从最右列向左求得第一个最大值对应的Pa，从最左列向右求得第一个 最大值对应的Pb;
[0061] 依据极坐标对（Θ1，Pa)和（Θ1，pb)，建立直线方程y=fa(x)和y=fb(X);
[0062] 对Θ为-45°和45°的所有行求最大值对应的座标（Θ2,Pc)及对应的直线方 程y=fc(x)〇
[0063] 优选的，所述控制装置通过获取的两束平行线结构光的直线方程计算得出路缘边 界在所述设定坐标系内的直线方程具体为：
[0064] 通过获取的每束平行线结构光的直线方程中的y=fa(x)和y=fc(x)获取交点； 所述交点为路缘边界上的点，通过获取的路缘边界上的点获取路缘边界在所述设定的坐标 系的直线方程。
[0065] 本发明还提供了一种基于平行结构光的路缘边界检测装置，该装置包括：
[0066] 设置在车体上的激光发射器；
[0067] 设置在所述车体上并用于采集所述激光发射器照射出的平行光的彩色摄像，所述 彩色摄像装置的采集范围覆盖所述激光发射器的照射范围；
[0068] 与所述彩色摄像装置信号连接的显示装置；
[0069] 图像处理器，用于提取路缘的三维结构信息；通过获取的路缘结构信息计算工程 机械到路缘的距离。
[0070] 在上述技术方案中，通过采用平行线结构光照射路缘，并通过对采集的路缘图像 得到路缘的三维结构信息，从而能够计算出工程机械到路缘的距离，通过上述方法可以直 观的得到工程机械到路缘边界的准确距离，避免了在检测时的误差，提高了检测准确性。
[0071] 优选的，所述图像处理器为上述任一项所述的控制装置。
[0072] 本发明还提供了一种工程机械，该工程机械包括上述的基于平行结构光的路缘边 界检测装置。
[0073] 在上述技术方案中，通过采用平行线结构光照射路缘，并通过对采集的路缘图像 得到路缘的三维结构信息，从而能够计算出工程机械到路缘的距离，通过上述方法可以直 观的得到工程机械到路缘边界的准确距离，避免了在检测时的误差，提高了检测准确性。
【专利附图】
【附图说明】
[0074] 图1为本发明实施例提供的基于平行结构光的路缘边界检测方法流程图；
[0075] 图2是本发明实施例提供的工程机械的结构示意图；
[0076] 图3为本发明实施例提供的建立坐标系的示意图；
[0077] 图4为本发明实施例提供的两束平行激光的光点类聚示意图；
[0078] 图5为本发明实施例提供的两束平行激光拟合成直线的示意图。
【具体实施方式】
[0079]以下结合附图对本发明的具体实施例进行详细说明。应当理解的是，此处所描述 的【具体实施方式】仅用于说明和解释本发明，并不用于限制本发明。
[0080] 如图1、图2及图3所示，图1为本发明实施例提供的基于平行结构光的路缘边界 检测方法流程图；图2是本发明实施例提供的工程机械的结构示意图；图3为本发明实施 例提供的建立坐标系的不意图；
[0081] 本发明实施例提供了一种基于平行结构光的路缘边界检测方法，该基于平行结构 光的路缘边界检测方法包括以下步骤：
[0082] 接收两束平行线结构光照射路缘；
[0083] 获取路缘图像，并提取路缘的三维结构信息；
[0084] 通过获取的路缘结构信息计算工程机械到路缘的距离。
[0085] 在上述实施例中，通过采用平行线结构光照射路缘，并通过对采集的路缘图像得 到路缘的三维结构信息，从而能够计算出工程机械到路缘的距离，通过上述方法可以直观 的得到工程机械到路缘边界的准确距离，避免了在检测时的误差，提高了检测准确性。
[0086] 其中的采集路缘图像，并提取路缘的三维结构信息具体为：
[0087] 通过采集所述两束平行线结构光照射路缘边界的图像；
[0088] 建立表示所述采集的真实世界的图像的投影的图像坐标系，并根据建立的表示所 述摄像机视角的三维坐标系与真实世界的三维坐标系之间的转换关系，获取所述图像坐标 系与所述真实世界的三维坐标系之间的转换关系；
[0089] 在采集的图像中，获取每束平行线结构光在所述图像坐标系中的初始光点的坐 标，并根据设定的近邻类聚的关系获取每束平行线结构光的光点在所述图像坐标系内的光 点集合；
[0090] 根据霍夫变换将获取的每束平行线结构光的光点集合中的光点拟合出每束平行 线结构光在设定坐标系内的直线方程；
[0091] 通过获取的两束平行线结构光的直线方程计算得出路缘边界在所述设定坐标系 内的直线方程。
[0092] 在上述具体实施例中通过采用平行线结构光照射路缘边界，并通过采用近邻类聚 的关系获取采集的平行线结构光照射路缘边界的图像上的光点，获取每条平行线结构光的 光点在设定坐标系上的光点集合，并根据霍夫变换得到每条平行线结构光在设定坐标系内 的直线方程，从而能够通过计算得到路缘边界的直线方程，并能够计算出工程机械到路缘 边界的距离。通过上述方法可以直观的得到工程机械到路缘边界的准确距离，避免了在检 测时的误差，提高了检测准确性。
[0093] 为了方便对本实施例的理解，下面以具体实施例对本发明实施例提供的基于平行 结构光的路缘边界检测方法进行详细描述。如图2所示，本发明实施例提供的检测方法，其 中的平行激光采用设置在工程机械上的激光发射器2发射。图像的采集通过摄像机3采集。
[0094] 步骤001、通过激光发射器2照射路缘边界1 ;
[0095] 具体的，该激光发射器2,安装于车辆或设备右侧反光镜处，激光发射器2固定在 车辆或设备右侧反光镜处，与地面平成30度夹角，用于向路缘投影平行线结构光，该平行 线结构光为两束平行激光。彩色摄像机3固定在车辆或设备右侧，光轴方向与地面成一定 夹角，以激光发射器2结构光在图像中右区域为佳（30°?60°之间，具体根据车头长短而 定）。激光发射器2和彩色摄像机3的标定是为了确定彩色摄像机3与结构光之间的空间 关系，方便后续图像上平行线结构光的检测与路缘距离计算。具体关系如图2所示。
[0096]步骤002、建立坐标系
[0097] 具体的，彩色彩色摄像机3标定涉及三个座标系，即表示真实世界的世界座标系 OwXjwZw，表示彩色摄像机3视角的彩色摄像机3座标系mz。，以及表示真实世界的图像 投影的图像座标系〇uv。
[0098] 彩色摄像机3坐标系和世界座标之间的转换关系如下：
【权利要求】
1. 一种基于平行结构光的路缘边界检测方法，其特征在于，包括以下步骤： 接收两束平行线结构光照射路缘； 获取路缘图像，并提取路缘的三维结构信息； 通过获取的路缘结构信息计算工程机械到路缘的距离。
2. 如权利要求1所述的基于平行结构光的路缘边界检测方法，其特征在于，所述采集 路缘图像，并提取路缘的三维结构信息具体为： 通过采集所述两束平行线结构光照射路缘边界的图像； 建立表示所述采集的真实世界的图像的投影的图像坐标系，并根据建立的表示所述摄 像机视角的三维坐标系与真实世界的三维坐标系之间的转换关系，获取所述图像坐标系与 所述真实世界的三维坐标系之间的转换关系； 在采集的图像中，获取每束平行线结构光在所述图像坐标系中的初始光点的坐标，并 根据设定的近邻类聚的关系获取每束平行线结构光的光点在所述图像坐标系内的光点集 合； 根据霍夫变换将获取的每束平行线结构光的光点集合中的光点拟合出每束平行线结 构光在设定坐标系内的直线方程； 通过获取的两束平行线结构光的直线方程计算得出路缘边界在所述设定坐标系内的 直线方程。
3. 如权利要求2所述的基于平行结构光的路缘边界检测方法，其特征在于，所述获取 每束平行线结构光在设定的坐标系中的初始点的坐标，并根据设定的近邻类聚的关系获取 每束平行线结构光的光点在所述设定坐标系内的光点集合具体为：针对每束平行线结构 光： 在设定的坐标系内确定每个平行线结构光的初始光点位置及灰度值PI (xl，yl， vail)； 建立光点集合S1，并将初始光点加入到集合S1中； 按照设定关系选取51中的任意光点？；[(1；[，7；[，￥31；〇的候选光点？」(1」，7」￥31」）； 建立候选光点集合T1 ; 对S1中的任意光点Pi (xi，yi，vali)，计算Pi与所述候选光点集T1中每一点Pj (xj， yj，valj)的距离； 对S1中的光点与候选光点集T1中的候选光点的距离进行排序，选择3个距离最小光 点加入集合S1。
4. 如权利要求3所述的基于平行结构光的路缘边界检测方法，其特征在于，所述设定 关系为：xj〈xi±d，yj〈yi±d，valj>vali*0. 5 ;其中，d为平行线结构光的光条的最大高度 常量。
5. 如权利要求3所述的基于平行结构光的路缘边界检测方法，其特征在于，所述根据 霍夫变换将获取的平行线结构光的光点集合中的光点拟合出平行线结构光在设定坐标系 内的直线方程具体为： 对S1中各光点建立极坐标方程p = xcos 0 +ysin 0 ; 对各光点方程，0以步长为1°，依次求对应的P，并将对应P 0矩阵单元累加计数， 其中，-45°彡0彡135。； 对0为-45°到135°各行中的矩阵元素数累加，求最大的行值0 1 ; 对9 1行，从最右列向左求得第一个最大值对应的Pa，从最左列向右求得第一个最大 值对应的P b ; 依据极坐标对（Q 1，P a)和（0 1，p b)，建立直线方程y = fa (x)和y = fb (x); 对0为-45°和45°的所有行求最大值对应的座标（0 2, pc)及对应的直线方程y =fc (x)〇
6. 如权利要求5所述的基于平行结构光的路缘边界检测方法，其特征在于，所述通过 获取的两束平行线结构光的直线方程计算得出路缘边界在所述设定坐标系内的直线方程 具体为： 通过获取的每束平行线结构光的直线方程中的y = fa(x)和y = fc(x)获取交点；所 述交点为路缘边界上的点，通过获取的路缘边界上的点获取路缘边界在所述设定的坐标系 的直线方程。
7. 如权利要求2所述的基于平行结构光的路缘边界检测方法，其特征在于，在提取每 束平行线结构光在设定的坐标系中初始光点的坐标时，提取显示装置上与平行激光的颜色 相一致的图像分量作为处理对象。
8. 如权利要求2所述的基于平行结构光的路缘边界检测方法，其特征在于，所述通过 获取的路缘结构信息计算工程机械到路缘的距离具体为： 通过获取的路缘边界的直线方程以及获取的所述图像坐标系与所述真实世界的三维 坐标系之间的转换关系，计算出工程机械与路缘边界的距离。
9. 一种控制装置，其特征在于，包括： 获取模块，用于获取两束平行线结构光照射路缘的图像； 数据处理模块，用于根据路缘的图像提取路缘的三维结构信息；通过获取的路缘结构 信息计算工程机械到路缘的距离。
10. 如权利要求9所述的控制装置，其特征在于，所述控制装置提取路缘的三维结构信 息具体为： 通过采集所述两束平行线结构光照射路缘边界的图像； 建立表示所述采集的真实世界的图像的投影的图像坐标系，并根据建立的表示所述摄 像机视角的三维坐标系与真实世界的三维坐标系之间的转换关系，获取所述图像坐标系与 所述真实世界的三维坐标系之间的转换关系； 在采集的图像中，获取每束平行线结构光在所述图像坐标系中的初始光点的坐标，并 根据设定的近邻类聚的关系获取每束平行线结构光的光点在所述图像坐标系内的光点集 合； 根据霍夫变换将获取的每束平行线结构光的光点集合中的光点拟合出每束平行线结 构光在设定坐标系内的直线方程； 通过获取的两束平行线结构光的直线方程计算得出路缘边界在所述设定坐标系内的 直线方程。
11. 如权利要求10所述的控制装置，其特征在于，所述控制装置获取每束平行线结构 光在设定的坐标系中的初始点的坐标，并根据设定的近邻类聚的关系获取每束平行线结构 光的光点在所述设定坐标系内的光点集合具体为： 针对每束平行线结构光： 在设定的坐标系内确定每个平行线结构光的初始光点位置及灰度值PI (xl，yl， vail)； 建立光点集合S1，并将初始光点加入到集合S1中； 按照设定关系选取51中的任意光点？；[(1；[，7；[，￥31；〇的候选光点？」(1」，7」￥31」）； 建立候选光点集合T1 ; 对S1中的任意光点Pi (xi，yi，vali)，计算Pi与所述候选光点集T1中每一点Pj (xj， yj，valj)的距离； 对S1中的光点与候选光点集T1中的候选光点的距离进行排序，选择3个距离最小光 点加入集合S1。
12. 如权利要求11所述的控制装置，其特征在于，所述设定关系为：xj〈xi±d， yj〈yi±d，valj>vali*0. 5 ;其中，d为平行线结构光的光条的最大高度常量。
13. 如权利要求11所述的控制装置，其特征在于，所述控制装置根据霍夫变换将获取 的平行线结构光的光点集合中的光点拟合出平行线结构光在设定坐标系内的直线方程具 体为： 对S1中各光点建立极坐标方程p = xcos 0 +ysin 0 ; 对各光点方程，0以步长为1°，依次求对应的P，并将对应P 0矩阵单元累加计数， 其中，-45°彡0彡135。； 对0为-45°到135°各行中的矩阵元素数累加，求最大的行值0 1 ; 对9 1行，从最右列向左求得第一个最大值对应的Pa，从最左列向右求得第一个最大 值对应的P b ; 依据极坐标对（Q 1，P a)和（0 1，p b)，建立直线方程y = fa (x)和y = fb (x); 对0为-45°和45°的所有行求最大值对应的座标（0 2, pc)及对应的直线方程y =fc (x)〇
14. 如权利要求13所述的控制装置，其特征在于，所述控制装置通过获取的两束平行 线结构光的直线方程计算得出路缘边界在所述设定坐标系内的直线方程具体为： 通过获取的每束平行线结构光的直线方程中的y = fa(x)和y = fc(x)获取交点；所 述交点为路缘边界上的点，通过获取的路缘边界上的点获取路缘边界在所述设定的坐标系 的直线方程。
15. -种基于平行结构光的路缘边界检测装置，其特征在于，包括： 设置在车体上的激光发射器； 设置在所述车体上并用于采集所述激光发射器照射出的平行光的彩色摄像装置，所述 彩色摄像装置的采集范围覆盖所述激光发射器的照射范围； 图像处理器，用于提取路缘的三维结构信息；通过获取的路缘结构信息计算工程机械 到路缘的距离。
16. 如权利要求15所述的基于平行结构光的路缘边界检测装置，其特征在于，所述图 像处理器为如权利要求9?14任一项所述的控制装置。
17. -种工程机械，其特征在于，包括如权利要求15或16所述的基于平行结构光的路 缘边界检测装置。
【文档编号】G01B11/14GK104482872SQ201410853508
【公开日】2015年4月1日 申请日期:2014年12月31日 优先权日:2014年12月31日
【发明者】高灿, 曾杨 申请人:中联重科股份有限公司