专利名称：一种基于物体表面颜色的快速跟踪方法与装置的利记博彩app
技术领域：
本发明属于机器人领域中的视觉跟踪技术领域，具体地说是用于获得运动物体的表面图像，根据图像的颜色特征，选取出特定物体并实现快速跟踪的方法和装置。
背景技术：
目前，在基于视觉的快速运动物体跟踪研究中，需要被跟踪的物体具有明显的颜色特征，所以，都采用在物体表面粘贴单一颜色色标的方法(其典型结构见“胡英、赵姝颖、徐心和，色标设计与辨识算法研究，中国图像图形学报，第7卷(A版)，12期，2002年12月，1291~1295页”)。粘贴色标的方法有一定局限性，不能适用于智能监控、流水线零件跟踪等场合。
发明内容
本发明的目的是提供一种基于物体表面颜色的快速跟踪方法，可适用于视觉跟踪的简单、快速、有效的图像处理方法。
本发明的另一个目的是提供一种实现基于物体表面颜色的快速跟踪方法的装置。
为了实现上述目的，本发明的技术方案是提供一种基于物体表面颜色的快速跟踪方法，其在物体运动过程中，按照如下步骤进行图像识别第一步首先将需要进行识别和跟踪的物体从背景中分离出来，然后实时采集图像，对每一幅图像，经过与计算出的HSV的阈值比较，将符合颜色范围的象素区域保留下来，其余部分作为背景剔除，将物体图像分割出来F(x，y)＝1(t1＜＝F(x，y)＜＝t2)
F(x，y)＝0(其它)；第二步将已经分割的物体二值化，生成二值化的黑白图像，并对该二值图像滤波处理，得到平滑的黑白图像；第三步用Canny算子锐化边缘，并用膨胀算法以达到去除小孔的效果；第四步使用边缘提取算法，得到物体的轮廓；第五步基于形状特征的图像识别，根据被跟踪物体的几何模型，剔除不符合几何模型的像素区域，找到被跟踪物体图像的质心；第六步确定物体图像的质心后，将物体图像质心的位置与给定图像点位置的差作为反馈控制量，控制机器人带动摄像机运动，将物体的图像始终保持在摄像机的视野内，跟踪该运动物体。
所述的快速跟踪方法，其所述第五步基于形状特征的图像识别，是使用形状参数，形状参数F在一定程度上描述了区域的紧凑性，它是根据区域的周长B和区域的面积A计算出来的F＝B*B/(4*PI*A)其中，形状参数对圆形区域取到最小值1，而当区域为其它形状时F总大于1。
所述的快速跟踪方法，其还包括在运动跟踪之前，进行学习，其采用在线学习的方法a)在进行跟踪任务之前，经过图象采集卡，得到一幅数字化的RGB彩色图像；b)用户使用鼠标选择需要跟踪的物体的矩形区域；c)操作系统将选取的局部图像以BMP文件形式存储在计算机上，作为后面识别所需要的阈值和对实时采集的图像进行分割的依据；d)将该局部彩色图像转化为HSV模型，对其H、S两个分量分别做直方图，得到选定区域的H、S阈值。
所述的快速跟踪方法，其所述H、S阈值，在随后的实时图像识别中，该阈值作为物体分割的标准不会变化，直到用户重新进行学习。
所述的快速跟踪方法，其在不对摄像机进行标定的情况下，利用图像中的给定点与物体质心的误差为控制反馈量，实现快速、准确的视觉跟踪。
所述的快速跟踪方法，其以物体表面颜色信息为依据，识别物体，进行视觉跟踪。
一种实现基于物体表面颜色的快速跟踪方法的装置，包括机器人、机器人控制系统，视觉处理系统组成，其机器人控制系统由主控计算机和机器人控制器组成，视觉处理系统由摄像机、图像采集卡及图像处理计算机组成，其中，摄像机安装在机器人末端，摄像机输出端接图像采集卡，图像采集卡置于图像处理计算机内，机器人与机器人控制器电连接，机器人控制器与图像处理计算机分别和主计算机电连接。
所述的装置，其所述机器人为五自由度机器人，是由一个三自由度的直角坐标机器人和一个两自由度的旋转手腕组成，旋转手腕安装在直角坐标机器人垂直轴的末端，该旋转手腕上固接有摄像机；机器人由一台主控计算机和机器人控制器控制。
所述的装置，其所述图像采集卡及图像处理计算机，是选用PCI总线图象采集卡，将图像卡安装在主频为≥2.8G的通用PC机中，构成图像处理系统。
本发明的突出特点是摄像机不需要标定，不需要粘贴色标，能够对表面覆盖多种颜色的物体进行快速跟踪。
本发明图像处理方法简洁，速度快，效果好，独立成为一个单元，适应性强，移植性强。图像处理中采用了基于颜色信息的学习方法，对物体变化、环境光线的改变有很好的适应性。在不对摄像机进行标定的情况下，使用摄像机和图像采集卡，得到运动物体的图像，采用特别的图像处理算法，对物体表面的颜色特征和颜色块的面积进行学习，学习的结果作为运动物体跟踪过程中，识别物体和界定物体的标准。得到被跟踪物体的图像后，计算出图像质心位置c(uc，vc)，以物体图像质心位置c(uc，vc)与图像中给定点s(us，vs)之间的像素差e，作为视觉反馈量，控制机器人带动摄像机运动，利用机器人的旋转关节跟踪运动物体，反映迅速，跟踪速度快，能够始终保持物体的图像在摄像机的视野内。本发明阐述的视觉处理方法，对环境光线的变化不敏感，而且适用于表面多种颜色覆盖的运动物体跟踪。
本发明适合于智能监控、工业产品自动检测、流水线视觉控制等领域。
图1为本发明实现基于物体表面颜色的快速跟踪方法的装置的原理图；图2为本发明基于物体表面颜色的快速跟踪方法对运动图像处理过程示意图。
具体实施例方式
一种实现基于物体表面颜色的快速跟踪方法的装置，包括机器人、机器人控制系统，视觉处理系统组成，整体装置的原理如图1所示。机器人控制系统装置由主控计算机和机器人控制器组成，视觉处理系统由摄像机、图像采集卡，以及图像处理计算机组成。其中，本发明将摄像机安装在机器人末端，摄像机输出端接图像采集卡，图像采集卡置于图像处理计算机内，机器人与机器人控制器电连接，机器人控制器与图像处理计算机分别和主计算机电连接。
在图像处理算法中，采用在线学习的方法，在进行跟踪任务之前，经过图象采集卡，得到一幅数字化的RGB彩色图像。用户使用鼠标选择需要跟踪的物体的矩形区域。系统将选取的局部图像以BMP文件形式存储在计算机上，作为后面识别需要的阈值和对实时采集的图像进行分割的依据。将该局部彩色图像转化为HSV模型，对其H、S两个分量分别做直方图，得到选定区域的H、S阈值。在随后的实时图像识别中，该阈值作为物体分割的标准不会变化，直到用户重新进行学习。
这种学习过程的好处是在跟踪物体变化的情况下，无需对程序内部进行任何改动，每次当条件变化，比如光线发生明显变化，被跟踪物体变化的情况下，只要在跟踪前，拍摄一幅当前图片，用鼠标选中被跟踪物体就完成了学习的过程。
跟踪开始时，程序首先读取物体的区部图片BMP文件，对该BMP文件生成跟踪物体的HSV直方图以及阈值，图像卡以并行工作的方式实时采集图像，每幅图像都与该阈值进行比较，剔除背景，分割物体，找到物体的图像边缘和中心点。在被跟踪物体没有发生变化，光线也没有强烈变化的情况下，都不需要进行重新学习，直至跟踪过程完成。完整的处理过程如图2所示。
在运动物体跟踪时，机器人带动摄像机运动，使运动物体始终处于摄像机的视野范围内，这个过程中，物体图象识别的步骤如下第一步首先将需要进行识别和跟踪的物体从背景中分离出来。背景即图像上静止不动的象素的集合，它不属于任何在摄像机前运动的物体。然后实时采集图像，对每一幅图像，经过与刚才计算出的HSV的阈值比较，将符合颜色范围内的象素区域保留下来，其余部分作为背景剔除，将物体得图像分割出来。
F(x，y)＝1(t1＜＝F(x，y)＜＝t2)F(x，y)＝0(其它)第二步将已经分割的物体二值化，生成二值化的黑白图像。对该二值图像滤波处理得到平滑的黑白图像。
第三步用Canny算子锐化边缘，并用膨胀算法以达到去除小孔的效果。
第四步使用边缘提取算法，得到物体的轮廓。
第五步基于形状特征的图像识别，根据物体的几何模型，找到物体的中心点。使用形状参数，形状参数F在一定程度上描述了区域的紧凑性，它是根据区域的周长B和区域的面积A计算出来的F＝B*B/(4*PI*A)其中，形状参数对圆形区域取到最小值1，而当区域为其它形状时，F总大于1。例如在识别球状物体的时候，首先通过面积阈值将面积过小的噪音虑除。然后考虑F最接近1的区域，可以将图片中规则的圆与其它形状区别出来。如果需要识别的其它规则形状，比如正方形，可以通过正方形的特征得到正方形的F值接近于4/PI(＝1.3)。
第六步确定物体的中心点后，控制机器人带动摄像机运动，将物体的图像始终保持在摄像机的视野内，跟踪该运动物体。
下面给出本发明的一个实例。实例中，将摄像机安装在一台五自由度的机器人末端，机器人是由一个三自由度的直角坐标机器人和一个两自由度的旋转手腕组成，旋转手腕安装在直角坐标机器人垂直轴的末端，机器人由一台主控制计算机和控制器控制。将一台工业用标准彩色摄像机固定在旋转手腕上，选用OK系列PCI总线图象采集卡，将图像卡安装在主频为2.8G的通用PC机中，构成图像处理系统。整个装置的工作原理如图1所示。
应用实例系统，在自然采光照射下，对一台遥控小汽车进行跟踪。遥控车表面为黄绿相间的颜色，前后车窗为黑色，使用本发明中描述的学习方法，在运动跟踪之前，进行学习，得到遥控车表面颜色的H、S阈值。使用遥控器控制小车运动，按照图2所示的流程，采用第一步到第六步的图像识别方法，实现了遥控小车的运动跟踪。
可见，本发明中的方法和装置，能够在摄像机无标定情况下，不需要粘贴色标，对表面颜色复杂的物体，实现快速视觉跟踪。
权利要求
1.一种基于物体表面颜色的快速跟踪方法，其特征在于在物体运动过程中，按照如下步骤进行图像识别第一步首先将需要进行识别和跟踪的物体从背景中分离出来，然后实时采集图像，对每一幅图像，经过与计算出的HSV的阈值比较，将符合颜色范围的象素区域保留下来，其余部分作为背景剔除，将物体图像分割出来。这一步可能会分割出多个颜色相近的物体。F(x，y)＝1(t1＜＝F(x，y)＜＝t2)F(x，y)＝0(其它)；第二步将已经分割的物体图像二值化，生成二值化的黑白图像，并对该二值图像滤波处理，得到平滑的黑白图像；第三步用Canny算子锐化边缘，并用膨胀算法以达到去除小孔的效果；第四步使用边缘提取算法，得到物体的轮廓；第五步基于形状特征的图像识别，根据被跟踪物体的几何模型，剔除不符合几何模型的像素区域，找到被跟踪物体图像的质心；第六步确定物体图像的质心后，将物体图像质心的位置与给定图像点位置的差作为反馈控制量，控制机器人带动摄像机运动，将物体的图像始终保持在摄像机的视野内，跟踪该运动物体。
2.如权利要求1所述的快速跟踪方法，其特征在于所述第五步基于形状特征的图像识别，是使用形状参数，形状参数F在一定程度上描述了区域的紧凑性，它是根据区域的周长B和区域的面积A计算出来的F＝B*B/(4*PI*A)其中，形状参数对圆形区域取到最小值1，而当区域为其它形状时F总大于1。
3.如权利要求1所述的快速跟踪方法，其特征在于还包括在运动跟踪之前，进行学习，其采用在线学习的方法a)在进行跟踪任务之前，经过图象采集卡，得到一幅数字化的RGB彩色图像；b)用户使用鼠标选择需要跟踪的物体的矩形区域；c)操作系统将选取的局部图像以BMP文件形式存储在计算机上，作为后面识别所需要的阈值和对实时采集的图像进行分割的依据；d)将该局部彩色图像转化为HSV模型，对其H、S两个分量分别做直方图，得到选定区域的H、S阈值。
4.如权利要求3所述的快速跟踪方法，其特征在于所述H、S阈值，在随后的实时图像识别中，该阈值作为物体分割的标准不会变化，直到用户重新进行学习。
5.如权利要求1所述的快速跟踪方法，其特征在于在不对摄像机进行标定的情况下，利用图像中的给定点与物体质心的误差为控制反馈量，实现快速、准确的视觉跟踪。
6.如权利要求1所述的快速跟踪方法，其特征在于以物体表面颜色信息为依据，识别物体，进行视觉跟踪。
7.一种实现基于物体表面颜色的快速跟踪方法的装置，包括机器人、机器人控制系统，视觉处理系统组成，其特征在于机器人控制系统由主控计算机和机器人控制器组成，视觉处理系统由摄像机、图像采集卡及图像处理计算机组成，其中，摄像机安装在机器人末端，摄像机输出端接图像采集卡，图像采集卡置于图像处理计算机内，机器人与机器人控制器电连接，机器人控制器与图像处理计算机分别和主计算机电连接。
8.如权利要求7所述的装置，其特征在于所述机器人为五自由度机器人，是由一个三自由度的直角坐标机器人和一个两自由度的旋转手腕组成，旋转手腕安装在直角坐标机器人垂直轴的末端，该旋转手腕上固接有摄像机；机器人由一台主控计算机和机器人控制器控制。
9.如权利要求7所述的装置，其特征在于所述图像采集卡及图像处理计算机，是选用PCI总线图象采集卡，将图像卡安装在主频为≥2.8G的通用PC机中，构成图像处理系统。
全文摘要
一种基于物体表面颜色的快速跟踪方法与装置，在计算机中安装图像采集卡，通过摄像机和图像采集卡，将运动物体的图像采集到计算机中。然后采用特定的图像处理算法，根据物体表面颜色块的特性，选取出需要的物体，给出物体图像的质心位置。将物体图像质心的位置与给定图像点位置的差作为反馈控制量，控制机器人运动，从而带动摄像机运动，实现对物体的快速跟踪。本发明图像处理方法简洁，速度快，独立成为一个单元，适应性强，移植性强。图像处理中采用了基于颜色信息的学习方法，对物体变化、环境光线的改变有很好的适应性。能够始终保持物体在摄像机的视野内。本发明适合于智能监控、工业产品自动检测、流水线视觉控制等领域。
文档编号B25J19/02GK1721144SQ20041006887
公开日2006年1月18日 申请日期2004年7月13日 优先权日2004年7月13日
发明者赵晓光, 谭民, 杜欣, 汪建华, 徐德, 李原, 梁自泽, 景奉水 申请人:中国科学院自动化研究所