一种基于锁孔识别的集装箱定位方法
【专利摘要】本发明公开了一种基于锁孔识别的集装箱定位方法。它用摄像头分别拍摄下方集装箱两侧的图像，从图像中获得集装箱上下锁孔的粗定位区域并得到区域内图像，新建一个和图像I1,I2大小一样的标记矩阵b1,b2，在b1,b2中用不同的值标记前景区域、背景区域和剩余区域，根据上下锁孔粗定位图像I1,I2和对应的标记矩阵b1,b2，利用分水岭算法进行处理得到锁孔粗定位图像中锁孔的边缘，利用形心计算公式获得上下锁孔的锁孔中心点，基于双目立体视觉技术将中心点的像素坐标转换为世界坐标，将世界坐标点与吊具的锁头坐标对齐，可以实现集装箱的抓取。本发明能有效排除在光线不好的条件下，分割算法效果不佳的问题，即使在前景背景区分度较低的情况下，根据事先设置的前景背景也可以得到较好的分割效果，提高分割算法的准确率。
【专利说明】
一种基于锁孔识别的集装箱定位方法
技术领域
[0001] 本发明属于计算机视觉技术和图像处理技术领域，具体涉及一种基于锁孔识别的 集装箱定位方法。
【背景技术】
[0002] 随着贸易运输量的不断增长，货物集装箱化的比例不断提高，集装箱的运输量也 呈现不断增长趋势。从航次经济核算分析，通过缩短集装箱船舶的停泊时间可以降低停泊 成本，提高集装箱运输船舶的航行效率并充分发挥船舶单位运输成本的优势，提高经济效 益，这就对集装箱装卸作业的效率提出更高的要求。传统的手动控制抓取集装箱主要是通 过人工观察识别集装箱锁孔的位置，然后控制吊具对准集装箱角件锁孔完成整个流程。这 个过程要求操作精度高，劳动强度大，是比较耗时耗力的环节，同时容易造成人员伤亡。所 以提高装卸自动化的程度是提高集装箱效率的有效途径，其关键内容就是起吊阶段的锁孔 与吊具能否快速准确地对准连接；
[0003] 为了解决集装箱锁孔定位的问题，国内外学术界、工业界提出了很多方案，其中与 本发明较为接近的技术方案包括:宓超等(基于视觉系统的集装箱锁孔识别算法研究[C]. 第七届全国机械工程博士论坛论文集.2015)对集装箱HSV图像的Η通道进行二值化、闭运算 和去噪操作，然后把图像的灰度值在x，y方向上投影分析出集装箱锁孔的大致位置，最后通 过边缘检测和Hough圆检测算法将锁孔识别出来。该方法存在的问题是，光线的变化以及拍 摄角度的问题导致锁孔发生形变，所以Hough圆检测算法可能无法检测出锁孔的具体位置。 包起帆等(激光测距技术在桥吊下集装箱卡车定位的研究与实现[J].港口科技，2007(10): 4-8)利用安装在桥吊上的可旋转的激光扫描器对下方集装箱进行立体扫描，获得集装箱外 侧轮廓的信息，以此指导吊具司机进行操作。该方法存在的问题是，集装箱吊具的锁头和集 装箱的制造可能存在误差导致在锁头与锁孔对齐的时候存在坐标的偏差。发明专利（申请 号:CN201510447232.6，名称:集装箱锁孔自动辨识定位方法和系统）中利用摄像机采集集 装箱的图像，然后基于锁孔所在的大致位置识别锁孔并获得其图像坐标，最后将图像坐标 转换为抓取设备的设备坐标并以此定位。该方法没有考虑到光线的影响以及集装箱的磨损 问题。
[0004] 综上所述，既要实现集装箱锁孔的准确定位，又要能很好地适应新旧集装箱是集 装箱锁孔定位的难点，当前方法存在如下不足：（1)用Hough圆检测锁孔的边缘效果并不稳 定(2)集装箱外轮廓与锁头坐标存在一定偏差(3)对磨损的锁孔效果不好、光线不足条件下 识别率低等等。本发明针对这些问题提出了一种基于锁孔识别的集装箱定位方法。
【发明内容】
[0005] 为解决上述问题，本发明提供了一种基于锁孔识别的集装箱定位方法。
[0006] 所述的一种基于锁孔识别的集装箱定位方法，其特征在于包括如下步骤：
[0007]步骤1:首先利用安装在集装箱吊具上的摄像头拍摄下方集装箱某一侧的图像；
[0008] 步骤2:利用集装箱锁孔粗定位和跟踪方法从步骤1得到的集装箱图像中获得集装 箱上下锁孔的粗定位区域并得到区域内图像Ιι, 12,其中高度为height，宽度为width，单位 为像素；
[0009] 步骤3:新建一个和图像，12大小一样的标记矩阵h，b2或掩膜矩阵m，m 2，在标记 矩阵或掩膜矩阵中用不同的值标记前景区域、背景区域和剩余区域：
[0010] 步骤4:得到锁孔粗定位图像中锁孔的边缘，具体为:根据上下锁孔粗定位图像h， 12和对应的标记矩阵b^bs，利用分水岭算法进行处理;或上下锁孔粗定位图像U2和对应 的掩膜矩阵mi，m2，利用Grabcut算法进行处理；
[0011] 步骤5:根据步骤4得到的上下锁孔边缘提取点集，上锁孔边缘点集为P={(Xj，yj) j = l，2. . .N}，N为点的数量，下锁孔边缘点集为Q= {(xi，yi) | i = l ,2. . .Μ}，M为点的数量，利 用公式(4)、（5)获得上下锁孔的锁孔中心点
(4) (5)
[0014] 式中，(?，)，z' = i，2表示点Cl，C2的坐标，（Xj，yj)表示点集Ρ中点的坐标，（Xi，yi) 表示点集Q中点的坐标；
[0015] 步骤6:通过安装在集装箱吊具上的摄像头拍摄集装箱另一侧的图像，然后重复步 骤2~5，获得另一侧的锁孔中心点C3，C 4;
[0016] 步骤7:基于双目立体视觉技术将Ci，C2，C3，C4点的像素坐标转换为以吊具为参数 物建立的坐标系下的世界坐标，然后将这个四个世界坐标点与吊具的锁头坐标对齐，可以 实现集装箱的抓取。
[0017] 所述的一种基于锁孔识别的集装箱定位方法，其特征在于步骤3中在标记矩阵h， b2用不同的值标记前景区域、背景区域和剩余区域，其中前景区域、背景区域设置为不同的 值，剩余区域的值设置为〇，具体方法为：
[0018] 步骤3.1:首先在匕中的上侧和左侧设置两条值为f的线段作为背景区域，然后在匕 中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为〇作为剩余区 域： /', ??' Ο < X < i/ or Ο < ν < d , ?ζ； if 0.5 * (widih - / ) < λ: < 0.5 5：5 ( width + /) and ,.,
[0019] & {χ, ν) = < ( 1 ) 1 0.5 ^ {height - k ) < ν < 0.5 * {hei^hl + Λ ) 0, else
[0020] 0<d<min( width, height) (2)
[0021 ] 式中，（x，y)表示bi上的坐标，d为线段的宽度并且满足式（2)，width、height表示 图像Ιι，Ι2的宽度和高度，l、k表示设置的矩形的宽度和高度，min表示求较小值；
[0022]步骤3.2:首先在匕中的下侧和左侧设置两条值为f的线段作为背景区域，然后在132 中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为〇作为剩余区 域： / , ?Γ Ο < .v < d or (height - c/) < v < height i(' 0.5 ( width - /) < jt < 0.5 ^ ( + /) and .,：,..
[0023] hA-\\ v) ^ \ ( 3 ； 。 0.5 ^ {heigh/- k ) < v < 0.5 ^ ihcH^ht -l· Λ ) else
[0024] 式中，（x，y)表示b2上的坐标，d为线段的宽度并且满足式（2)，width、height表示 图像Ii，l2的宽度和高度，l、k表示设置的矩形的宽度和高度。
[0025] 所述的一种基于锁孔识别的集装箱定位方法，其特征在于步骤3中在掩膜矩阵m， m2中用不同的值设置前景、背景和可剩余区域，其中背景设置为0,前景设置为1，剩余区域 设置为2:
[0026] 步骤3.1:首先在nu中的上侧和左侧设置两条值为0的线段作为背景区域，然后在m中 心位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域： 0, if' 0 < r < d or ?) < y < d 1, if 0.5 * ( width - /) < v < 0.5 * (width + /) and Λ
[0027] τη^χ,γ) = · . ,. ·,,,/、 C6) 0.3 (height - /c > < v < 0.5 A' (height + /< ) 2, else
[0028] 0<d<min( width, height) (7)
[0029]式中，（x,y)表示mi上的坐标，d为线段的宽度并且满足式（7)，width、height表示 图像Ii，I2的宽度和高度，l、k表示设置的矩形的宽度和高度，min表示求较小值；
[0030]步骤3.2:首先在!112中的下侧和左侧设置两条值为0的线段作为背景区域，然后在111 2中 心位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域： 0, ii' 0 < .r < ?/ or i^height - c/) < y < height 1, ii' 0.5 * ( width - l) <: x < 0.5 * (width + /) and , .
[0031 ] v) = ( 〇 ) ~ ' 0.5 * (height - k ) < y < 0.5 * {height + k ) 2, else
[0032] 式中，（x,y)表示m2上的坐标，d为线段的宽度并且满足式（7)，width、height表示 图像Ii，l2的宽度和高度，l、k表示设置的矩形的宽度和高度。
[0033] 本发明的优点是:本发明能有效排除在光线不好的条件下，分割算法效果不佳的 问题。即使在前景背景区分度较低的情况下，根据事先设置的前景背景也可以得到较好的 分割效果，提高分割算法的准确率。
【附图说明】
[0034] 图1为本发明实施例步骤1采集到的集装箱图像；
[0035]图2a为本发明实施例步骤2得到的上锁孔粗定位图像；
[0036]图2b为本发明实施例步骤2得到的下锁孔粗定位图像；
[0037]图3a为本发明实施例经过步骤4得到的上锁孔中锁孔边缘图；
[0038] 图3b为本发明实施例经过步骤4得到的下锁孔中锁孔边缘图；
[0039] 图4a为本发明实施例经过步骤5得到的上锁孔中锁孔的中心点；
[0040] 图4b为本发明实施例经过步骤5得到的上锁孔中锁孔的中心点。
[0041] 图中：1_上锁孔粗定位图像中锁孔边缘，2-下锁孔粗定位图像中锁孔边缘，3-上锁 孔中心点&，4-下锁孔中心点C2。
【具体实施方式】
[0042] 下面结合实施例来详细阐述本发明一种基于锁孔识别的集装箱定位方法的具体 实施方式。
[0043] 本发明的一种基于锁孔识别的集装箱定位方法，包括如下步骤：
[0044]步骤1:首先利用安装在集装箱吊具上的摄像头拍摄下方集装箱某一侧的图像;在 本实施例中，如图1所示；
[0045] 步骤2:利用集装箱锁孔粗定位和跟踪方法从步骤1得到的集装箱图像中获得集装 箱上下锁孔的粗定位区域并得到区域内图像Ιι, 12,其中高度为height，宽度为width，单位 为像素;在本实施例中，上锁孔粗定位图像如图2a、下锁孔粗定位图像如图2b，本发明实施 例中，heigh t = 120、width =120,所述的集装箱锁孔粗定位和跟踪方法在申请号为 201610273182.9的文件中已公开，在此不再详述；；
[0046] 步骤3:新建和图像，12大小一样的标记矩阵h，b2，在匕，b2中用不同的值标记前 景区域、背景区域和剩余区域，其中前景区域、背景区域设置为不同的值，剩余区域的值设 置为〇:
[0047]步骤3.1:首先在匕中的上侧和左侧设置两条值为f的线段作为背景区域，然后在匕 中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为〇作为剩余区 域： /\ if Ο < λ: < d or 0 < v < d p·, if 0.5 ( width - /) < x < 0.5 5：i ( width -v /) and ,、
[0048] Α(-ν，V:)=、 ⑴ 0.5 * (height - Λ ) < v < 0.5 5ls {height + k ) 0, else
[0049] 0<d<min(width,height) (2)式中，（x,y)表示bi上的坐标，d为线段的宽度并 且满足式(2)，《1(1他、116181^表示图像11，12的宽度和高度，1、1^表示设置的矩形的宽度和高 度，111；[11表示求较小值;在本实施例中，(1 = 30、€ = 100、8 = 200、1 = 30、1^ = 20;
[0050]步骤3.2:首先在132中的下侧和左侧设置两条值为f的线段作为背景区域，然后在b2 中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为〇作为剩余区 域： /', if 0 < .a： < d or {height d) < v < height tf, iT 0.5 * ( width - /) < x < 0.5 * ( width + /) and λ
[0051 ] h-, ( x, v ) = i " .., ( ·3 ) 0.5 * {height - Λ ) < y < 0.5 * {height + k ) 0,clsc
[0052]式中，（x，y)表示b2上的坐标，d为线段的宽度并且满足式（2)，width、height表示 图像Ii，l2的宽度和高度，l、k表示设置的矩形的宽度和高度;在本实施例中，d = 30、f=100、 g = 200、l = 30、k = 20;
[0053] 本发明步骤3可以用Grabcut算法代替分水岭法，Grabcut算法具体为:新建一个和 图像1^12大小一样的掩膜矩阵nu，m2,在nu，m^用不同的值设置前景、背景和剩余区域，其 中背景设置为ο，前景设置为1，剩余区域设置为2:
[0054] 1)首先在m中的上侧和左侧设置两条值为0的线段作为背景区域，然后在m中心位 置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域： Ο, ??' Ο < X < d or Ο < ν < d 1, il^ 0.5 sli { widlh - / ) < x < 0.5 sls ( width -\- / ) and ? f、 \
[0055] w, (x, ν ) = · . ( 6 ) 0.5 {height k ) < < 0.5 **' (heigh! + A ) 2, eke
[0056] 0<d<min( width, height) (7)
[0057]式中，（x,y)表示mi上的坐标，d为线段的宽度并且满足式（7)，width、height表示 图像Ii，I2的宽度和高度，l、k表示设置的矩形的宽度和高度，min表示求较小值；
[0058] 2)首先在肥中的下侧和左侧设置两条值为0的线段作为背景区域，然后在肥中心位 置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域： 0, if Ο < X < d or (hc/^/u - ci) < ν < height 1, if 0.5 * ( width - /) < x < 0.5 * ( widlh l· /) and , 、
[0059] w,(x, v) = · ( ：8 ) 一 0.5 * {height - k ) < v < 0.5 * {height + k ) ^2, else
[0000]式中，（x,y)表示Π12上的坐标，d为线段的宽度并且满足式(8)，width、height表示 图像Ii，I2的宽度和高度，l、k表示设置的矩形的宽度和高度；
[0061] 步骤4:根据上下锁孔粗定位图像和对应的标记矩阵b^bs，利用分水岭算法 进行处理，或根据上下锁孔粗定位图像Ιι, 12和对应的掩膜矩阵mi，m2,利用Grabcut算法进 行处理，得到上锁孔粗定位图像中锁孔边缘1和下锁孔粗定位图像中锁孔边缘2;在本实施 例中，如附图3a、3b;
[0062] 步骤5:根据步骤4得到的上下锁孔边缘提取点集，上锁孔边缘点集为P={(Xj，yj) j = l ,2. . .Ν}，N为点的数量，下锁孔边缘点集为Q= {(xi，yi) | i = l ,2. . .Μ}，M为点的数量，利 用公式(4)、（5)计算上锁孔中心点&3和下锁孔中心点C24:
⑷ (5)
[0065] 式中，(.'V.表示上锁孔中心点d3,下锁孔中心点C24的坐标，（Xj，yj)表示 点集P中点的坐标，（xi，yi)表示点集Q中点的坐标;在本实施例中，如附图4a、4b;
[0066] 步骤6:通过安装在集装箱吊具上的摄像头拍摄集装箱另一侧的图像，然后重复步 骤2~5，获得另一侧的锁孔中心点C3，C4;
[0067] 步骤7:基于双目立体视觉技术将Q，C2，C3，C4点的像素坐标转换为以吊具为参数 物建立的坐标系下的世界坐标，然后将这个四个世界坐标点与吊具的锁头坐标对齐，可以 实现集装箱的抓取。
[0068] 本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护 范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技 术人员根据本发明构思所能够想到的等同技术手段。
【主权项】
1. 一种基于锁孔识别的集装箱定位方法，其特征在于包括如下步骤： 步骤1:首先利用安装在集装箱吊具上的摄像头拍摄下方集装箱某一侧的图像； 步骤2:利用集装箱锁孔粗定位和跟踪方法从步骤1得到的集装箱图像中获得集装箱上 下锁孔的粗定位区域并得到区域内图像II，12,其中高度为height,宽度为wi化h，单位为像 素； 步骤3:新建一个和图像II，12大小一样的标记矩阵bi，b2或掩膜矩阵mi，m2,在标记矩阵 bi，b2或掩膜矩阵mi，m2中用不同的值标记前景区域、背景区域和剩余区域； 步骤4:得到锁孔粗定位图像中锁孔的边缘，具体为:根据上下锁孔粗定位图像II，12和 对应的标记矩阵bl，b2,利用分水岭算法进行处理;或上下锁孔粗定位图像Il，l2和对应的掩 膜矩阵mi，m2，利用Grabcut算法进行处理； 步骤5:根据步骤4得到的上下锁孔边缘提取点集，上锁孔边缘点集为P={(xj，yj)|j = l，2...N}，N为点的数量，下锁孔边缘点集为Q={(Xl，yl)|i = l，2...M}，M为点的数量，利用 公式(4)、（5)获得上锁孔中屯、点Cl和下锁孔中屯、点C2:表示点Cl，C2的坐标，（Xj，y j)表示点集P中点的坐标，（Xi，yi)表示点集Q中点的坐标； 步骤6:通过安装在集装箱吊具上的摄像头拍摄集装箱另一侧的图像，然后重复步骤2 ~5，获得另一侧的锁孔中屯、点C3，C4 ; 步骤7:基于双目立体视觉技术将Cl，C2，C3，C4点的像素坐标转换为W吊具为参数物建立 的坐标系下的世界坐标，然后将运个四个世界坐标点与吊具的锁头坐标对齐，可W实现集 装箱的抓取。2. 根据权利要求1所述的一种基于锁孔识别的集装箱定位方法，其特征在于步骤3)中 在标记矩阵bi，te用不同的值标记前景区域、背景区域和剩余区域，其中前景区域、背景区域 设置为不同的值，剩余区域的值设置为0，具体方法为： 步骤3.1:首先在bi中的上侧和左侧设置两条值为f的线段作为背景区域，然后在bi中屯、 位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为0作为剩余区域：式中，（x，y)表示bi上的坐标，d为线段的宽度并且满足式（2)，width、height表示图像 Ii，l2的宽度和高度，l、k表示设置的矩形的宽度和高度，min表示求较小值； 步骤3.2:首先在b2中的下侧和左侧设置两条值为f的线段作为背景区域，然后在b2中屯、 位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为0作为剩余区域：式中，（x，y)表示b2上的坐标，d为线段的宽度并且满足式（2)，width、height表示图像 Ii，l2的宽度和高度，l、k表示设置的矩形的宽度和高度。3.根据权利要求1所述的一种基于锁孔识别的集装箱定位方法，其特征在于步骤3)中 在掩膜矩阵mi，m2中用不同的值设置前景、背景和剩余区域，其中背景设置为0,前景设置为 1，剩余区域设置为2: 步骤3.1:首先在mi中的上侧和左侧设置两条值为0的线段作为背景区域，然后在mi中屯、 位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域：0<d<min(width,hei 曲 t) (7) 式中，（x，y)表示mi上的坐标，d为线段的宽度并且满足式（7)，width、height表示图像 Ii，l2的宽度和高度，l、k表示设置的矩形的宽度和高度，min表示求较小值； 步骤3.2:首先在m2中的下侧和左侧设置两条值为0的线段作为背景区域，然后在m2中屯、 位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域：式中，（x，y)表示m2上的坐标，d为线段的宽度并且满足式（7)，width、height表示图像 Ii，l2的宽度和高度，l、k表示设置的矩形的宽度和高度。
【文档编号】G06T7/00GK106097331SQ201610403084
【公开日】2016年11月9日
【申请日】2016年6月7日
【发明人】高飞, 李定谢尔, 汪韬, 汪敏倩, 徐云静, 卢书芳, 肖刚
【申请人】浙江工业大学