成熟果实识别和定位的图像处理方法

专利名称：成熟果实识别和定位的图像处理方法
技术领域：
本发明实施例涉及图像处理技术，特别涉及一种成熟果实识别和定位的 图像处理方法。
背景技术：
随着科学技术的不断发展，基于图像处理技术的果蔬采摘机器人已经问 世，果蔬采摘机器人的出现解决了果农在采摘时节，由于种植面积大而不能 及时采摘的困扰，具有采摘成功率和采摘效率高的优点，节省了人力。
目前，果蔬采摘机器人的视觉系统是果蔬采摘机器人的关键组成部分， 视觉系统的主要作用是识别果实并对其进行三维定位以获取其具体位置信 息，然后通知机械臂移动到采摘果实的最佳位置并对其进行采摘。目前已知 的果蔬采摘机器人的视觉系统基本釆用双目立体视觉技术。在现有技术中，
完整的双目立体视觉系统包括图像获取、摄像机标定、特征提取、立体匹 配、三维信息恢复及后续处理。其中，特征提取和立体匹配是双目立体^L觉 系统中，完成识别果实并对其进行三维定位的关键步骤。正如本领域技术人 员所公知，特征提取是立体匹配的前提，但现有的特征提取方法通常是增加 算法的复杂度来提高特征提取的精度，如采用随机Hough变换算法或遗传算 法，在提高特征提取精度的同时，不断增加的复杂度使这些算法的实时性受 到了严重的限制；进一步地，立体匹配通过提取的特征实现了同一空间点在 不同图像中像点的对应关系以获取果实的三维定位信息，由于立体匹配涉及 的问题较多，至今仍未得到较好的解决，果实三維定位的精度有待进一步提 高。而且目前的图像识別方法对于果实处于相互遮挡状态时的识别比较困难， 还没有十分有效的分离方法，对成熟和未成熟果实也不能做较好的识别。现 有技术中双目立体视觉系统的特征提取和立体匹配使得果实的识别速度和定位精度受到限制，同时也降低了采摘的效率和质量。
发明人在从事本领域技术工作的长期实践中，进行了深入的研究，发 现通过用三维视觉传感器对果实图像进行扫描，能够避开现有技术中采用 复杂算法的特征提取以及存在不确定问题较多的立体匹配，不但可以实时获 取成熟果实精确的三维坐标信息，而且还可以识别未成熟果实和成熟果实 以及相互遮挡的成熟果实，提高了果蔬采摘机器人采摘成熟果实的效率和质 量。

发明内容
本发明实施例的第 一 目的是提供一种成熟果实识别和定位的图像处理 方法，利用该方法能够实时获取成熟果实精确的三维坐标，提高了果蔬采 摘机器人采摘果实的效率和质量。
本发明实施例的第二目的是提供 一种成熟果实识另'J和定位的图像处理 方法，利用该装置同样能够实时获取成熟果实精确的三维坐标，并且提高 了果蔬采摘机器人采摘果实的效率和质量。
为实现上述第 一 目的，本发明的一些实施例提供了 一种成熟果实识别和
定位的图像处理方法，包括
获取扫描图像的数据矩阵，所述扫描图像包含m"i个扫描点，使所述 数据矩阵中的元素与所述扫描图像的m*n个扫描点在位置上相对应，所述 数据矩阵为m行n列矩阵包括由所述m*n个扫描点对第 一激光的反射值 所构成的第一数据矩阵；由所述m*n个扫描点对第二激光的反射值所构成 的第二数据矩阵；由所述m*ii个扫描点到所述三维视觉传感器中心的距离 所构成的第三数据矩阵；其中m和n分别为不小于1的正整数；
根据所述数据矩阵生成所述扫描图像的成熟果实二值图像，所述成熟 果实二值图像包含成熟果实图像和背景图像；
根据所述第 一 数据矩阵中所述m * n个扫描点对第 一 激光的反射值，以3*3元素窗口逐行或逐列对所述第一激光的反射值进行扫描，判断所述3*3 元素窗口中心元素反射值是否比所述3*3元素窗口其余8个元素反射值的 高出值均大于等于50，若是，则所述3*3元素窗口中心元素在第一数据矩 阵中的位置对应所述成熟果实二值图像中成熟果实图像第一中心；
合并相邻所述成熟果实图像第一中心之间的距离小于第一预定阁值 的成熟果实图像，并获取成熟果实图像第二中心；
根据所述成熟果实图像第二中心和三维视觉传感器的中心、扫描步距 角，获取所述成熟果实图像第二中心的三维坐标。
为实现上述第二目的，本发明的另一些实施例还提供了一种成熟果实识 别和定位的图像处理装置，包括
第一获取模块，用于获取扫描图像的数据矩阵；
生成模块，用于根据所述数据矩阵生成所述扫描图像的成熟果实二值 图像，所述成熟果实二值图像包含成熟果实图像和背景图像；
第二获取模块，用于以3*3元素窗口逐行或逐列对所述数据矩阵中的 元素进行扫描，用于根据所述数据矩阵获取所述成熟果实二值图像中成熟 果实图像第一中心；
合并模块，用于合并相邻所述成熟果实图像第一中心之间的距离小于 第一预定阈值的成熟果实图像，并获取成熟果实图像第二中心；
第三获取模块，用于根据所述成熟果实图像第二中心和三维视觉传感 器的中心、扫描步距角，获取所述成熟果实图像第二中心的三维坐标。
由上述技术方案可知，本发明实施例的所提供的 一种成熟果实识别和定 位的图像处理方法，通过获取扫描图像的数据矩阵以生成成熟果实二值图 像，并获取成熟果实二值图像中的成熟果实图像第一中心，再根据成熟果 实图像第一中心分离毗邻重叠的成熟果实图像获取成熟果实图像第二中 心，最后结合三维视觉传感器的中心、扫描步距角，获取所述成熟果实图 像第二中心的三维坐标，实现了成熟果实识别和定位，与现有技术采用双目立体视觉系统的特征提取和立体匹配识别和定位果实相对比，本发明实施 例的成熟果实识别和定位的图像处理方法，通过用三维视觉传感器对果实 图像进行扫描，能够避开现有技术中采用复杂算法的特征提取以及存在不 确定问题较多的立体匹配，不但可以实时获取成熟果实精确的三维坐标信 息，而且还可以识别未成熟果实和成熟果实以及相互遮挡的成熟果实，提高
了果蔬采摘机器人采摘成熟果实的效率和质量；
本发明实施例所提供的一种成熟果实识别和定位的图像处理装置，通 过第一获取模块获取扫描图像的数据矩阵，生成模块根据所述数据矩阵生
成所述扫描图像的成熟果实二值图像，由第二获取模块以3*3元素窗口逐 行或逐列对所述数据矩阵中的元素进行扫描以获取成熟果实图像第 一 中 心，再由合并模块合并相邻所述成熟果实图像第 一 中心之间的距离小于第 一预定阈值的成熟果实图像并获取成熟果实图像第二中心，最后由第三获 取模块根据所述成熟果实图像第二中心和三维视觉传感器的中心、扫描步 距角，获取所述成熟杲实图像第二中心的三维坐标。与现有技术采用双目 立体视觉系统的特征提取和立体匹配识别和定位果实相对比，本发明实施例 的成熟果实识别和定位的图像处理装置，通过用三维视觉传感器对果实图 像进行扫描，能够避开现有技术中采用复杂算法的特征提取以及存在不确 定问题较多的立体匹配，不但可以实时获取成熟果实精确的三维坐标信息，
蔬采摘机器人采摘成熟果实的效率和质量。


图l为本发明实施例成熟果实识别和定位的图像处理方法的流程图； 图2为本发明实施例建立成熟果实分割模型的方法流程图； 图3为本发明实施例成熟果实分割模型示意9图4为本发明实施例成熟果实镜面反射特征示意图5为本发明实施例建立毗邻重叠成熟果实分离模型的方法流程图6为本发明实施例三维坐标系统的示意图7为本发明实施例成熟果实中心三维坐标获取方法的流程图8为本发明实施例成熟果实识别和定位的图像处理装置的示意图。
具体实施例方式
下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。
本发明实施例所提供的成熟果实识别和定位的图像处理，主要是针对在 自然条件下，对已经成熟的果实进行识别和定位的图像处理，以下各实施例 中果实可以选择以红富士苹果为例。
图1为本发明实施例成熟果实识别和定位的图像处理方法的流程图。 如图l所示，本发明实施例成熟果实识别和定位的图像处理方法，包括
步骤ll、获取扫描图像的数据矩阵；
该步骤可以具体为处理器获取由三维视觉传感器通过RS-2 32总线 输出的对应三维视觉传感器扫描图像的数据矩阵，所述三维视觉传感器的 扫描图像即为其扫描范围，包含m"i个扫描点，对应扫描图像具有n"n个 扫描点，在所述三维视觉传感器对其扫描图像进行扫描时，其垂直扫描步 距角和水平扫描步距角均为Q.225度，并且同时发出波长为685nm的第一 激光(或简称685nm激光)和波长为8 30nm的第二激光(或简称8 3 0nni激 光)对扫描图像内的每一个扫描点进行逐行或逐列扫描；使所述数据矩阵 中的元素与所述扫描图像的扫描点在位置上相对应，所述数据矩阵为m行 n列矩阵，具体地，所述数据矩阵包括由所述m*n个扫描点对第一激光 的反射值所构成的第一数据矩阵，由所述,n个扫描点对第二激光的反射 值所构成的第二数据矩阵，由所述m * n个扫描点到所述三维视觉传感器中心的距离所构成的第三数据矩阵，其中m和n分别为不小于1的正整数。 步骤12、根据所述数据矩阵生成所述扫描图像的成熟果实二值图像， 所述成熟果实二值图像包含成熟果实图像和背景图像；
该步骤可以具体为所述第一数据矩阵、第二数据矩阵和第三数据矩 阵中的元素与所述成熟果实二值图像的像素在位置上相对应，所述扫描图 像中可包括成熟果实、未成熟果实、树枝、树叶正面和树叶反面，根据所 述第一数据矩阵和所述第二数据矩阵中相同位置元素的比值，判断所述比 值是否大于第二预定阈值，若是，则所生成的成熟果实二值图像中对应位 置的像素被设置为成熟果实图像的像素，其值可为1，否则所生成的成熟 果实二值图像中对应位置的像素被设置为背景图像的像素，其值可为0。
其中，所述第二预定阈值具体由成熟分割模型所提供。图2为本发明实施 例建立成熟果实分割模型的方法流程图。图3为本发明实施例成熟果实分 割模型示意图。如图2、图3所示，建立成熟果实分割模型的方法包括 步骤12Q1、获if又坐标点；
该步骤可以具体为扫描图像中成熟果实和未成熟果实的扫描点在不 同距离下对所述第一激光和第二激光的反射值，以第一激光和第二激光的 反射值组合成坐标点，建立成熟果实分割模型，具体地，分别获取成熟红 富士苹果和未成熟红富士苹果在250咖、3G0mm、 35 0mm、 400i加i、 "Omm、 5 0Omni和5 5 Omm距离下对6 8 5nm激光和8 3Onni激光的反射值，横坐标为8 30腿 激光反射值，纵坐标为685nm激光反射值，如图2所示，标识謹为以成熟红 富士苹果在2 5 0mm、 300mm、 35 0mm、 4 00mm、 4 5 0,i、 5 0 0mm和5 5 0mn^巨离下 对685nm激光和8 3Onra激光的反射值作为在所述成熟果实分割模型中的第 一坐标点，标识▲为以未成熟红富士苹果在25 0mm、 300mm、 35 0mm、 400mm、 45 Omm、 5 0Omm和55 Omm距离下对68 5nm激光和8 3Onm激光的反射值作为在所 述成熟果实分割模型中的第二坐标点，建立成熟果实分割模型；进一步地， 如图2所示，在成熟果实分割模型中，还包括树枝、树叶正面和树叶反面
ii在25 0mm、 300mm、 35 0mm、 400mm、 45 0mm、 5 00mm和5 5 0,距离下对685nm激 光和8 3 Onm激光的反射值作为在所述成熟果实分割模型中的坐标点，分别 以标识□、标识*和标识△表示。
步骤1202、用直线方程Y4X拟合坐标点；
如图3所示，拟合第一坐标点的斜率为K0=2.1，拟合第二坐标点的斜 率Kl-O. 96，斜率KO和Kl分别为成熟果实和未成熟果实斜率，为了提高 直线方程Y=KX拟合的精度，进一步可以使上述不同的距离更加接近，这 样取得坐标点则更加多，例如；分别获取成熟红富士苹果和未成熟红富士 苹果在250mm、 27 5麵、300mm、 325nm、 350mm、 375nra、 400mm、 425nm、 450mm、 475nm、 500mm、 525nm和550mm 3巨离下只于685nm夕效光和830nn"鼓光的反射 值，以构成坐标点；进一步地，分别拟合以标识口、标识參和才示识A为坐 标点的斜率分別为K2=0, 67， K3=0. 49 , K4-0. 23,斜率K2、 K3和K4分 别为树枝、树叶正面和树叶反面的斜率。
步骤12Q3、确定分割成熟果实的阈值；
如图3所示，根据第一坐标点的斜率K0=2. 1和第二坐标点的斜率 K1=0. 96确定斜率Kt= ( K0+K1 ) /2=1. 5 3,则Kt即为分割成熟果实第二预 定阈值，即成熟果实图形像素点的斜率空间为(Kt, +~ ) = ( 1. 53， +~ )。
步骤13、以3*3元素窗口逐行或逐列对所述数据矩阵中的元素进行扫 描，获取所述成熟果实二值图像中第一成熟果实图像中心；
利用成熟果实的镜面反射特征可以获取成熟果实的中心，进 一 步可以 获取成熟果实的可能数目。所述成熟果实的镜面反射特征是指 一般具有 类圆特征的成熟果实，在所述三维视觉传感器的扫描过程中，果实表面的 中心部位对所述两种激光的反射值高于果实表面的其他部分；
因为成熟红富士苹果对685nm激光的反射率高于对830nm激光的反射 率，所以本实施例选择扫描点对68 5nm激光的反射值，分析成熟红富士苹 果的镜面反射特征，如图4为本发明实施例成熟果实镜面反射特征示意图所示，如图4所示，横坐标为扫描的位置，纵坐标为685nm激光的反射值， 进一步对应到所述数据矩阵中，该步骤选择由所述m*n个扫描点对波长 685nm的第 一激光的反射值所构成的第一数据矩阵，以分析成熟红富士苹 果的镜面反射特征；
该步骤可以具体为根据所述第 一数据矩阵中所述m*n个扫描点对第 一激光(波长为685nm)的反射值，以3*3元素窗口逐行对所述反射值进 行扫描，判断所述3*3元素窗口中心元素反射值是否比所述3*3元素窗口 其余8个元素反射值的高出值均大于等于50，若是，则所述3*3元素窗口 中心元素在第一数据矩阵中的位置对应所述成熟果实二值图像中成熟果 实图像第一中心。
步骤14、合并相邻所述成熟果实图像第一中心之间的距离小于第一预 定阈值的成熟果实图像，并获取成熟果实图像第二中心；
该步骤可以具体为在成熟果实二值图像中，以像素为单位，获取相 邻两个成熟果实图像的成熟果实图像第一中心之间的距离，如果所述相邻 两个成熟果实图像的成熟果实图像第一中心之间的距离大于第一预定阔 值，则为两个成熟果实；进一步地，对两个所述成熟果实图像第一中心之 间的距离小于第 一预定阈值的成熟果实图像，则合并成一个成熟果实图 像，并获取对应所述第一数据矩阵中元素反射值大的所述成熟果实图像第 一中心作为所述成熟果实图像第二中心。其中，所述第一预定阈值具体由
毗邻重叠成熟果实分离模型所提供。图5为本发明实施例建立毗邻重叠成 熟果实分离模型的方法流程图。如图5所示，所述毗邻重叠成熟果实分离 模型的方法包括
步骤1401、获取成熟果实的平均直径；
该步骤可以具体为在本实施例中对200个成熟红富士苹果的直径作 统计分析，得到平均直径D=9. 6cm。
步骤14 02 、根据成熟果实的平均直径和成熟果实图像第二中心到三维视觉传感器中心的距离，确定第一预定阈值。
该步骤可以具体为根据成熟果实的平均直径D和成熟果实图像第二 中心到三维视觉传感器中心的距离P，确定第一预定阈值4NT (K*D/P)， 其中，INT表示对K*D/P的值取整，K为比例系数，所述成熟果实图像第二 中心到三维视觉传感器中心的距离P具体为，以对应所述成熟果实图像第 二中心的所述第三数据矩阵中的元素为中心，3*3个元素的平均值。步骤 15、根据所述成熟果实图像第二中心和三维视觉传感器的中心、扫描步距 角，获取所述成熟果实图像第二中心的三维坐标；
该步骤可以具体为图6为本发明实施例三维坐标系统的示意图。如 图6所示，本发明实施例的三维坐标系统，以三维视觉传感器中心作为坐 标原点O,建立三维坐标系统，三维坐标系统的XOY平面与扫描图像平面的 第100行(从上方0行开始)扫描线相交，三维坐标系统的YOZ平面与扫描 图像平面的第60列(从左边O列开始)扫描线相交。图7为本发明实施例成 熟果实中心三維坐标获取方法的流程图。如图5所示，成熟果实中心三维 坐标获耳又方法包4舌
步骤1501、获取成熟果实图像第二中心C点对应二值图像的平面坐标 (x， y)，平面坐标(x， y)对应在所述数据矩阵的表示，即为对应成熟 果实图像第二中心C的元素在所述数据矩阵中的第x行、第y列；
步骤1 5 02 、根据成熟果实图像第二中心C点对应二值图像的平面坐标 (x, y)和三维视觉传感器的扫描步距角0.225°,获取成熟果实图像第二中 心C点相对坐标原点0的水平夹角a = 0.225° *(.)'-60)和垂直夹角 ^ = 0.225。 * (100 -义)，最后采用如下公式获取成熟果实图像第二中心C点的三 维坐标(Uc,Zc):
14Zc =尸x tanx Vl + tan2 + tan2 a)(l + tan2 / );
上述公式中的P,为所述成熟果实图像第二中心到三维视觉传感器中 心的距离。
本实施例中所提供的 一 种成熟果实识别和定位的图像处理方法，通过 获取扫描图像的数据矩阵以生成成熟果实二值图像，并获取成熟果实二值 图像中的成熟果实图像第一中心，再根据成熟果实图像第一中心分离毗邻 重叠的成熟果实图像获取成熟果实图像第二中心，最后结合三维视觉传感 器的中心、扫描步距角，获取所述成熟果实图像第二中心的三维坐标，实 现了成熟果实识别和定位。本发明实施例的成熟果实识别和定位的图像处 理方法，不但可以识别相互遮挡的果实，而且还可以未成熟果实和成熟果 实，实时获取成熟果实精确的三维坐标信息，提高了果蔬采摘机器人采摘 果实的效率和质量。
图8为本发明实施例成熟果实识别和定位的图像处理装置的示意图。 如图8所示，本发明实施例的成熟果实识别和定位的图像处理装置包括， 第一获取模块21、生成模块22、第二获取模块23、第三获取模块M和合 并模块25。
其中，第一获取模块21获取扫描图像的数据矩阵，所述三维视觉传 感器的扫描范围包含n"n个扫描点，因此扫描图像具有m*n个扫面点，具 体地，第一获取模块21还包括第一构成单元211、第二构成单元212和第 三构成单元213，第一构成单元211根据所述m*n个扫描点对第一激光的 反射值构成第一数据矩阵，第二构成单元212根据所述mm个扫描点对第 二激光的反射值构成第二数据矩阵，第三构成单元213根据所述m*n个扫 描点到所述三維视觉传感器中心距离构成的第三数据矩阵；
生成模块22包括比值单元221和第一判断单元222,比值单元"1 与第一构成单元211和第二构成单元212连接，获取所述第一数据矩阵和 所述第二数据矩阵中相同位置元素的比值；第一判断单元2"与比值单元
15221,判断所述比值是否大于第二预定阈，若大于，则所生成的成熟果实 二值图像中对应位置的像素为所述成熟果实的图像的像素，其值可为1, 否则所生成的成熟果实二值图像中对应位置的像素为所述背景图像的像 素，其值可为0;
第二获取模块23包括扫描单元231和第二判断单元232，扫描单元 231与第一构成单元211连接，对所述第一数据矩阵中所述m*n个扫描点 对第一激光的反射值，以3*3元素窗口逐行或逐列对所述反射值进行扫描； 第二判断单元232与第一判断单元222和扫描单元231连接，判断所述3*3 元素窗口中心元素反射值是否比所述3*3元素窗口其余8个元素反射值的 高出值均大于等于50,若是，则所述3*3元素窗口中心元素在第一数据矩 阵中的位置对应所述成熟果实二值图像中成熟果实图像第一中心；
合并模块25包括第三判断单元251和第一获取单元252，第三判断单 元251与第一判断单元222和第二判断单元232连接，在成熟果实二值图 像中，第三判断单元251判断相邻所述成熟果实图像第一中心之间的距离 小于第一预定阈值的成熟果实图像合并成一个成熟果实图像；第一获取单 元252与第三判断单元251连接，在所述相邻所述成熟果实图像第一中心 中，第一获取单元2 52获取对应所述第一数据矩阵中元素反射值大的所述 成熟果实图像第一中心为所述成熟果实图像第二中心。
第三获取模块24包括建立三维坐标系统单元M1和第二获取单元242， 建立三维坐标系统单元241以三維视觉传感器的中心为三维坐标的原点0 建立三维坐标系统，三维坐标系统的XOY平面与扫描图像平面的第1 OO行 (从上方O行开始)扫描线相交，三维坐标系统的YOZ平面与扫描图像平面 的第60列(从左边O列开始)扫描线相交；第二获取单元242与建立三维坐 标系统单元241所述第三构成单元213和第一获取单元252连接，结合图6所 示，根据所述成熟果实图像第二中心C在所述成熟果实二值图像中的位置， 和所述成熟果实图像第二中心C到所述三维视觉传感器的中心0距离以及所述三维视觉传感器的扫描步距角0.225。，获取成熟果实图像第二中心C点 相对坐标原点0的水平夹角a = 0.225。 * (>> - 60)和垂直夹角- = 0.225° * (100 - ;c), 最后采用如下公式获取成熟果实图像第二中心C点的三维坐标(Uc,Zc),
上述公式中的P,为所述成熟果实图像第二中心到三维视觉传感器中 心的距离。
本实施例中所提供的一种成熟果实识别和定位的图像处理装置，首先 由第一获取模块中的第一构成单元、第二构成单元和第三构成单元获取扫 描图像的第一数据矩阵、第二数据矩阵和第三数据矩阵，生成模块中的比 值单元利用第二数据矩阵和第三数据矩阵相同位置元素的比值，通过第一 判断单元生成成熟果实二值图像，并采用第二获取模块的扫描单元对第一 数据矩阵扫面以及第二判断单元获取成熟果实二值图像中的成熟果实图 像第一中心，再由合并模块的第三判断单元相邻所述成熟果实图像第一中 心之间的距离小于第一预定阈值的成熟果实图像合并成一个成熟果实图 像，第一获取单元获取成熟果实图像第二中心，最后通过第三获取模块中
的建立三维坐标系统单元以三维视觉传感器的中心为三维坐标的原点o建 立三維坐标系统，并由其中第二获取单元结合三维视觉传感器的中心、扫 描步距角，获取所述成熟果实图像第二中心的三维坐标，实现了成熟果实 识别和定位。与现有技术采用双目立体视觉系统的特征提取和立体匹配识別 和定位果实相对比，本实施例通过用三维视觉传感器对果实图像进行扫描， 可以避免采用复杂算法的特征提取以及存在不确定问题较多的立体匹配，不 ^旦可以识别相互遮档的果实，而且还可以未成熟果实和成熟果实，实时获 取成熟果实精确的三维坐标信息，提高了果蔬采摘机器人采摘果实的效率
Zc =尸x tancc/^/(1 + tan2 + tan2 / );
1和质量。
最后应说明的是以上实施例仅用以说明本发明实施例的技术方案而非 对其进行限制，尽管参照较佳实施例对本发明实施例进行了详细的说明，本
领域的普通技术人员应当理解其依然可以对本发明实施例的技术方案进行 修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱 离本发明实施例技术方案的精神和范围。
权利要求
1、一种成熟果实识别和定位的图像处理方法，其特征在于，包括获取扫描图像的数据矩阵，所述扫描图像包含m*n个扫描点，使所述数据矩阵中的元素与所述扫描图像的m*n个扫描点在位置上相对应，所述数据矩阵为m行n列矩阵包括由所述m*n个扫描点对第一激光的反射值所构成的第一数据矩阵；由所述m*n个扫描点对第二激光的反射值所构成的第二数据矩阵；由所述m*n个扫描点到所述三维视觉传感器中心的距离所构成的第三数据矩阵；其中m和n分别为不小于1的正整数；根据所述数据矩阵生成所述扫描图像的成熟果实二值图像，所述成熟果实二值图像包含成熟果实图像和背景图像；根据所述第一数据矩阵中所述m*n个扫描点对第一激光的反射值，以3*3元素窗口逐行或逐列对所述第一激光的反射值进行扫描，判断所述3*3元素窗口中心元素反射值是否比所述3*3元素窗口其余8个元素反射值的高出值均大于等于50，若是，则所述3*3元素窗口中心元素在第一数据矩阵中的位置对应所述成熟果实二值图像中成熟果实图像第一中心；合并相邻所述成熟果实图像第一中心之间的距离小于第一预定阈值的成熟果实图像，并获取成熟果实图像第二中心；根据所述成熟果实图像第二中心和三维视觉传感器的中心、扫描步距角，获取所述成熟果实图像第二中心的三维坐标。
2、 根据权利要求1所述的成熟果实识别和定位的图像处理方法，其 特征在于，所述根据所述数据矩阵生成所述扫描图像的成熟果实二值图像 包括使所述第 一 数据矩阵、第二数据矩阵和第三数据矩阵中的元素与所述 成熟果实二值图像的像素在位置上相对应；获取所述第一数据矩阵和所述第二数据矩阵中相同位置元素的比值；判断所述比值是否大于第二预定阈值，若是，则所生成的成熟果实二值图像中对应位置的像素被设置为所述成熟杲实的图像的像素，否则所生 成的成熟果实二值图像中对应位置的像素被设置为所述背景图像的像素。
3、 根据权利要求2所述的成熟果实识别和定位的图像处理方法，其特 征在于，所述获取成熟果实图像第二中心包括在所述成熟果实二值图像中，对相邻所述成熟果实图像第一中心之间 距离小于第一预定阈值的两个成熟果实图像合并成一个成熟果实图像，并 获取在位置上对应所述第一数据矩阵中对第一激光反射值大的成熟果实 图像第一中心为所述成熟果实图像第二中心。
4、 根据权利要求3所述的成熟果实识别和定位的图像处理方法，其 特征在于，所述根据所述成熟果实图像第二中心和三维视觉传感器的中 心、扫描步距角，获取所述成熟果实图像第二中心的三維坐标包括以三维视觉传感器的中心为三维坐标的原点建立三维坐标系统，根据所述成熟果实图像第二中心在所述成熟果实二值图像中的位置，和所述成 熟果实图像第二中心到所述三维视觉传感器的中心距离以及所述三维视 觉传感器的扫描步距角，获取所述成熟果实图像第二中心的三维坐标，所 述成熟果实图像第二中心到所述三维视觉传感器的中心距离为，在第三数 据矩阵中以在位置上对应所述成熟果实图像第二中心的所述第三数据矩 阵中的元素为中心，该元素以及与之毗邻8个元素的平均值。
5、 一种成熟果实识别和定位的图像处理装置，其特征在于，包括 第一获取模块，用于获取扫描图像的数据矩阵；生成模块，用于根据所述数据矩阵生成所述扫描图像的成熟果实二值 图像，所述成熟果实二值图像包含成熟果实图像和背景图像；第二获取模块，用于以3*3元素窗口逐行或逐列对所述数据矩阵中的 元素进行扫描，用于根据所述数据矩阵获取所述成熟果实二值图像中成熟 果实图像第一中心；合并模块，用于合并相邻所述成熟果实图像第一中心之间的距离小于第一预定阈值的成熟果实图像，并获取成熟果实图像第二中心；第三获取模块，用于根据所述成熟果实图像第二中心和三维视觉传感 器的中心、扫描步距角，获取所述成熟果实图像第二中心的三维坐标。
6、 根据权利要求5所述的成熟果实识别和定位的图像处理装置，其 特征在于，所述扫描图像包含,n个扫描点，使所述数据矩阵中的元素与 所述扫描图像的扫描点在位置上相对应，所述数据矩阵为ffl行n列矩阵， 所述第一获取模块还包括第一构成单元，用于根据所述nmi个扫描点对第一激光的反射值构成 第一数据矩阵；第二构成单元，用于根据所述n^n个扫描点对第二激光的反射值构成 第二数据矩阵；第三构成单元，用于根据所述,n个扫描点到所述三维视觉传感器中 心距离构成的第三数据矩阵。
7、 根据权利要求6所述的成熟果实识别和定位的图像处理装置，其 特征在于，使所述第一数据矩阵、第二数据矩阵和第三数据矩阵中的元素 与所述成熟果实二值图像的像素在位置上相对应，所述生成模块还包括比值单元，与所述第一数据矩阵和所述第二数据矩阵连接，用于获取 所述第一数据矩阵和所述第二数据矩阵中相同位置元素的比值；第一判断单元，与所述比值单元连接，判断所述比值是否大于第二预 定阈值，若是，则所生成的成熟果实二值图像中对应位置的像素被设置为 所述成熟果实的图像的像素，否则所生成的成熟果实二值图像中对应位置 的像素被设置为所述背景图像的像素。
8、 根据权利要求7所述的成熟果实识别和定位的图像处理装置，其 特征在于，所述第二获取模块包括扫描单元，与所述第一构成单元连接，用于对所述第一数据矩阵中所 述n"n个扫描点对第一激光的反射值，以3*3元素窗口逐行或逐列对所述反射值进行扫描；第二判断单元，与所述第一判断单元和所述扫描单元连接，用于判断所 述3*3元素窗口中心元素反射值是否比所述3*3元素窗口其余8个元素反射 值的高出值均大于等于50，若是，则所述3*3元素窗口中心元素在第一数 据矩阵中的位置对应所述成熟果实二值图像中成熟果实图像第 一 中心。
9、 根据权利要求8所述的成熟果实识别和定位的图像处理装置，其 特征在于，所述合并模块包括第三判断单元，与所述第一判断单元和所述第二判断单元连接，用于 在成熟果实二值图像中，判断相邻所述成熟果实图像第 一 中心之间距离是 否小于第一预定阈值，若是，则将相邻所述成熟果实图像第一中心之间距 离小于第一预定阈值的两个成熟果实图像合并成一个成熟果实图像；第一获取单元，与所述第三判断单元连接，用于获取在位置上对应所 述第 一数据矩阵中对第 一激光反射值大的成熟果实图像第 一 中心为所述 成熟杲实图像第二中心。
10、 根据权利要求9所述的成熟果实识别和定位的图像处理装置，其 特征在于，所述第三获取模块包括建立三维坐标系统单元，用于以三维视觉传感器的中心为三维坐标的 原点建立三维坐标系统；第二获取单元，与所述建立三维坐标系统单元、所述第三构成单元和 第一获取单元连接，用于根据所述成熟果实图像第二中心在所述成熟果实 二值图像中的位置，和所述成熟果实图像第二中心到所述三维视觉传感器 的中心距离以及所述三维视觉传感器的扫描步距角，获取所述成熟果实图 像第二中心的三维坐标，所述成熟果实图像第二中心到所述三维视觉传感 器的中心距离为，在第三数据矩阵中以在位置上对应所述成熟果实图像第 二中心的所述第三#:据矩阵中的元素为中心，该元素以及与之毗邻8个元 素的平均值。
全文摘要
本发明实施例公开了一种成熟果实识别和定位的图像处理方法，其中该方法包括获取扫描图像的数据矩阵；根据所述数据矩阵生成所述扫描图像的成熟果实二值图像；以3*3元素窗口逐行或逐列对所述数据矩阵中的元素进行扫描，获取所述成熟果实二值图像中成熟果实图像第一中心；合并相邻所述成熟果实图像第一中心之间的距离小于第一预定阈值的成熟果实图像，并获取成熟果实图像第二中心；根据所述成熟果实图像第二中心和三维视觉传感器的中心、扫描步距角，获取所述成熟果实图像第二中心的三维坐标。本发明实施例可以避免采用复杂算法的特征提取以及存在不确定问题较多的立体匹配，能够实时获取成熟果实精确的三维坐标信息。
文档编号G01B11/00GK101493313SQ20091007838
公开日2009年7月29日 申请日期2009年2月27日 优先权日2009年2月27日
发明者军 乔, 刚 刘, 刘兆祥 申请人:中国农业大学