基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置及方法
【专利摘要】本发明公开了一种基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置及方法，特点包括带动视频采集装置在育苗池中全方位、不同水层采样的双向卷扬机与电机、用于承载电机的浮子，用于采集幼苗视频的视频采集装置，步骤如下：将视频采集装置放置在水中，分别由双向卷扬机与电机带动在育苗池中采集幼苗视频，将采集到的不同水层不同方位的幼苗图像，运用图像处理技术估计整个育苗池中幼苗的数目和密度；打开光诱光源，将拍摄到的视频运用图像处理技术计算出目标的游泳速度和群心坐标来反应幼苗的运动能力和光诱能力，优点是具有结构简单、监测范围广、使用便利、准确度高的特点，适合于自动化水产养殖苗期生物数量估计和行为监测。
【专利说明】基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置及方法
【技术领域】
[0001]本发明涉及一种水下鱼虾蟹苗计量装置，尤其是涉及一种基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置及方法。
【背景技术】
[0002]在水产养殖人工育苗过程中，幼苗的数量统计和密度估计对养殖密度控制、幼苗存活率评估、科学投饵和幼苗销售等有很好的指导作用，是实现自动化水产养殖和管理的重要环节。在育苗过程中通过监测生物行为，识别生物的发育状况，采取相应的控制措施，可以提高产品的成活率，降低养殖风险。传统的水产苗种数量估计和行为监测普遍采用人工统计和观察的方法，这种方法不仅费时费力，而且可能诱发幼苗的应激反应或者造成幼苗物理上的伤害，其测量结果也容易受到人的主观因素和经验值的影响。因此，在育苗过程中需要一种水下数量估计与行为监测装置，在保证幼苗不受人为因素干扰与损伤的前提下，能够自动、准确、快速地估计幼苗数量和监测幼苗行为。
[0003]现有的中国专利名称为便携式深水网箱水下监视器(申请号为200710113317.6)，该发明是将摄像机置于一密封箱体内，通过调整手持伸缩拉杆长度和摄像机探头角度，可以观察到网箱的任何部位。该方法解决了深水网箱养殖的水下监控问题，针对性强，但不适用于育苗池中幼苗的行为监测和数量估计。
[0004]现有的中国专利名称为一种水下摄像机(申请号为20101025050526.7)，该发明采用简单的机构可使摄像机在水下沿水平和垂直方向分别进行360度，±90度旋转，因此能够全方位观察水下情况。但是该装置只适用于小水体观察，不适用于大水体高密度的生物监测。
【发明内容】
[0005]本发明所要解决的技术问题是提供一种可以自动均匀获取育苗池内幼苗图像然后进行数量估计，准确性高并且不会对幼苗产生伤害，同时大大节省了人力成本的，结构简单的基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置及方法。
[0006]本发明解决上述技术问题所采用的技术方案为:
1、一种基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置，包括若干个定滑轮、主不锈钢丝绳、用于控制所述的主不锈钢丝绳沿定滑轮移动的双向卷扬机、用于计数与监测鱼虾蟹苗行为的视频采集装置、卷有绳索的电机和用于固定所述的电机的浮子，所述的定滑轮均布在育苗池的侧壁上，所述的主不锈钢丝绳通过各个所述的定滑轮架设在育苗池上且其两端系在所述的双向卷扬机上，所述的视频采集装置的下方设置有沉砣，所述的电机通过所述的绳索与所述的视频采集装置连接且通过控制所述的绳索的收放来控制所述的视频采集装置在水中的深度，所述的浮子通过副不锈钢丝绳与所述的主不锈钢丝绳固定连接，所述的视频采集装置在育苗池中沿所述的主不锈钢丝绳的运动轨迹移动。[0007]所述的视频采集装置包括用于视频图像采集的摄像机、用于使所述的摄像机隔离水的密封箱体、用于观察幼苗行为的幼苗观察层、红外背光源灯箱、光诱光源和计算机，所述的摄像机通过可水平和竖直方向移动的可调支架悬挂于所述的密封箱体内上方，所述的红外背光源灯箱位于所述的密封箱体外正下方，所述的幼苗观察层为所述的密封箱体的透明底板和所述的红外背光源灯箱的上表面之间围成的空腔，所述的光诱光源位于所述的幼苗观察层的一侧，所述的摄像机通过网线与所述的计算机的数据接口连接。
[0008]所述的密封箱体的侧壁与所述的红外背光源灯箱的侧壁分别设置有若干个固定块，且所述的密封箱体上的固定块与所述的红外背光源灯箱上的固定块上下对称设置，上下相对应的两个所述的固定块贯穿有不锈钢长螺栓且通过所述的不锈钢长螺栓一体连接，所述的不锈钢长螺栓的两端分别穿出所述的固定块且其两端分别设置有用于调节上下相对应的两个固定块之间间距的螺母。可通过调整螺栓的旋转距离来调节幼苗观察层的高度。
[0009]所述的密封箱体的透明底板的中央区域为平面且其边缘区域为向上倾斜的斜面，所述的红外背光源灯箱的上表面的中央区域为平面且其边缘区域为向下倾斜的斜面。有利于幼苗 能顺利流入幼苗观察层。
[0010]所述的红外背光源灯箱包括透明矩形密封盒、位于所述的矩形密封盒内的红外LED灯板和电源线，所述的红外LED灯板由红外LED灯管和限流电阻焊接而成，所述的矩形密封盒内部设置有用于使光线均匀的漫反射透光片，所述的电源线的出线口采用防腐蚀胶水密封。
[0011]所述的网线通过圆孔与所述的计算机连接，所述的圆孔与所述的网线的空隙之间填充有密封材料，所述的密封箱体采用防腐蚀材料制成，所述的幼苗观察层的高度为l-3cm，所述的光诱光源由透明壳体和位于所述的透明壳体内的白色LED灯组成，所述的摄像机以每秒钟5-25帧的速度米集图像。
[0012]2、一种基于计算机视觉的水下鱼虾蟹苗数量估计方法，具体步骤如下:
(1)将上述基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置放入育苗池，由双向卷扬机和电机带动，控制视频采集装置拍摄不同方位、不同水层的幼苗，获得视频图像，通过网线传输到计算机中；
(2)通过计算机图像处理技术对步骤(1)采集的视频图像进行预处理，即增加对比度，去掉模糊和噪声；
(3)将步骤(2)预处理后的图像采用局部阈值法进行分割得到二值图像；
(4)将步骤(3)得到的二值图像进行形态学处理，即先通过开运算平滑对象的轮廓，断开目标之间的连接，再通过闭运算填充比结构元素小的孔洞；
(5)将步骤(4)形态学处理后的图像进行滤波操作，然后根据幼苗的形状参数进行目标识别；所述的幼苗的形状参数包括幼苗投影面积(Projected area)、幼苗等效椭圆长短轴比(Ratio of Equivalent Ellipse Axes)和幼苗圆形度(Heywood CircularityFactor)；
(6)计算每帧图像中步骤(5)识别出的目标总数，并计算幼苗观察层中图像采集视野范围内的水体体积，将目标总数除以水体体积，得到幼苗在水中的估算密度值，然后将估算密度值乘以修正系数&得到幼苗在水中的修正密度值；其中修正系数^为一定水体积内的幼苗实际数量与相同水体积图像采集视野范围内的幼苗估计数量的比值；
(7)计算获得不同方位、不同水层的幼苗在水中的修正密度值，将各个修正密度值累加取平均得到水体内幼苗平均密度值，将幼苗平均密度值与育苗池水体体积相乘，得到育苗池水体内幼苗的总数量，完成对整个育苗池中幼苗数量的估计。取样量越大，在不同方位、不同水层取得的样本越丰富，得到的结果越接近真实值。
[0013]3、一种基于计算机视觉的水下幼苗行为监测方法，具体步骤如下:
(1)将上述基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置放入育苗池，打开光诱光源5-20s，同时由双向卷扬机和电机带动控制视频采集装置拍摄不同方位、不同水层的幼苗，获得打开光诱光源这段时间内生物聚集的视频图像，通过网线将视频图像传输到计算机中处理；
(2)通过计算机图像处理技术对步骤(I)得到的视频图像进行预处理，即增加对比度，去掉模糊和噪声；
(3)将步骤(2)预处理后的图像采用局部阈值法进行分割，得到二值图像；
(4)将步骤(3)得到的二值图像进行形态学处理，即先通过开运算平滑对象的轮廓，断开目标之间的连接，再通过闭运算填充比结构元素小的孔洞；
(5)将步骤(4)形态学处理后的图像进行滤波操作，然后根据幼苗的形状参数进行目标识别；所述的幼苗的形状参数包括幼苗投影面积(Projected area)、幼苗等效椭圆长短轴比(Ratio of Equivalent Ellipse Axes)和幼苗圆形度(Heywood CircularityFactor)；
(6)将步骤(5)识别出的目标进行标记，对各个目标分别进行形心位置和面积计算，根据帧差图像求出幼苗的群体平均游速SK，即得到目标的运动能力参数；根据群心坐标和群心分布坐标的方差求出幼苗群体的位置和密集程度，根据群体密集程度随光诱光源打开时间的变化，以及在光诱光源打开后群体的群心坐标趋向于光诱光源位置的变化速度，得到趋光性参数；
(7)将步骤(6)得到的幼苗群体的趋光性参数和运动能力参数分别与预先设定的阈值进行比较，若趋光性参数低于预先设定的阈值时，则可判断幼苗的健康状态出现问题，若运动能力参数和趋光性参数都低于各自预先设定的阈值时，则可判断幼苗的健康状态出现较严重的问题。健康的幼苗的趋光性很强，当幼苗的健康状态不佳时，苗体的趋光性降低。
[0014]步骤(6)中具体参数的量化如下:
群体平均游速SK:采用帧差法，以游动的体长倍数为单位来衡量幼苗的群体活跃度。
[0015]幼苗的运动会引起相邻两帧图像中幼苗位置分布的差异，通过对间隔一定时间连续采集的数字图像序列进行阈值分割后前后两帧图像相减，产生的负数用零代替得到帧差图像，求出幼苗在前后两帧采集过程中产生的运动区域的投影面积，并与后一帧图像中幼苗的投影面积相除，得到幼苗相当于体长倍数的游动速度。图像采集和处理的速度必须满足在相邻两帧之间幼苗游过的距离不超过一倍体长，计算方法如下:
将幼苗在前后两帧图像在采样间隔时间内产生的运动区域的投影面积，与后一帧图像中幼苗的投影面积相除，得到每个幼苗相当于体长倍数的游动距离，再除以间隔时间便得到每个幼苗的体长倍数游速，将这些结果取平均值，得到幼苗群体总的平均游速，可以表示目标运动能力参数。[0016]群心坐标:
计算出了图像中各个目标的面积和形心位置后，采用Israeli和Kimmel (1996)的方法计算幼苗群的重心坐标Cf，CT，表示幼苗群在水平Z和垂直7轴方向的平均位置；各条鱼在Z和7坐标轴方向上的空间标准差5ZZT，切7，一定程度上能表示幼苗群体的密集程度:
【权利要求】
1.一种基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置，其特征在于:包括若干个定滑轮、主不锈钢丝绳、用于控制所述的主不锈钢丝绳沿定滑轮移动的双向卷扬机、用于计数与监测鱼虾蟹苗行为的视频采集装置、卷有绳索的电机和用于固定所述的电机的浮子，所述的定滑轮均布在育苗池的侧壁上，所述的主不锈钢丝绳通过各个所述的定滑轮架设在育苗池上且其两端系在所述的双向卷扬机上，所述的视频采集装置的下方设置有沉砣，所述的电机通过所述的绳索与所述的视频采集装置连接且通过控制所述的绳索的收放来控制所述的视频采集装置在水中的深度，所述的浮子通过副不锈钢丝绳与所述的主不锈钢丝绳固定连接，所述的视频采集装置在育苗池中沿所述的主不锈钢丝绳的运动轨迹移动。
2.根据权利要求1所述的基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置，其特征在于:所述的视频采集装置包括用于视频图像采集的摄像机、用于使所述的摄像机隔离水的密封箱体、用于观察幼苗行为的幼苗观察层、红外背光源灯箱、光诱光源和计算机，所述的摄像机通过可水平和竖直方向移动的可调支架悬挂于所述的密封箱体内上方，所述的红外背光源灯箱位于所述的密封箱体外正下方，所述的幼苗观察层为所述的密封箱体的透明底板和所述的红外背光源灯箱的上表面之间围成的空腔，所述的光诱光源位于所述的幼苗观察层的一侧，所述的摄像机通过网线与所述的计算机的数据接口连接。
3.根据权利要求2所述的基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置，其特征在于:所述的密封箱体的侧壁与所述的红外背光源灯箱的侧壁分别设置有若干个固定块，且所述的密封箱体上的固定块与所述的红外背光源灯箱上的固定块上下对称设置，上下相对应的两个所述的固定块贯穿有不锈钢长螺栓且通过所述的不锈钢长螺栓一体连接，所述的不锈钢长螺栓的两端分别穿出所述的固定块且其两端分别设置有用于调节上下相对应的两个固定块之间间距的螺母。
4.根据权利要求2所 述的基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置，其特征在于:所述的密封箱体的透明底板的中央区域为平面且其边缘区域为向上倾斜的斜面，所述的红外背光源灯箱的上表面的中央区域为平面且其边缘区域为向下倾斜的斜面。
5.根据权利要求2所述的基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置，其特征在于:所述的红外背光源灯箱包括透明矩形密封盒、位于所述的矩形密封盒内的红外LED灯板和电源线，所述的红外LED灯板由红外LED灯管和限流电阻焊接而成，所述的矩形密封盒内部设置有用于使光线均匀的漫反射透光片，所述的电源线的出线口采用防腐蚀胶水密封。
6.根据权利要求2-5中任一项所述的基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置，其特征在于:所述的网线通过圆孔与所述的计算机连接，所述的圆孔与所述的网线的空隙之间填充有密封材料，所述的密封箱体采用防腐蚀材料制成，所述的幼苗观察层的高度为l-3cm，所述的光诱光源由透明壳体和位于所述的透明壳体内的白色LED灯组成，所述的摄像机以每秒钟5-25帧的速度采集图像。
7.一种基于计算机视觉的水下鱼虾蟹苗数量估计方法，其特征在于具体步骤如下: (I)将权利要求1-6中任一项所述的基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置放入育苗池，由双向卷扬机和电机带动，控制视频采集装置拍摄不同方位、不同水层的幼苗，获得视频图像，通过网线传输到计算机中；(2)通过计算机图像处理技术对步骤(1)采集的视频图像进行预处理，即增加对比度，去掉模糊和噪声； (3)将步骤(2)预处理后的图像采用局部阈值法进行分割得到二值图像； (4)将步骤(3)得到的二值图像进行形态学处理，即先通过开运算平滑对象的轮廓，断开目标之间的连接，再通过闭运算填充比结构元素小的孔洞； (5)将步骤(4)形态学处理后的图像进行滤波操作，然后根据幼苗的形状参数进行目标识别；所述的幼苗的形状参数包括幼苗投影面积(Projected area)、幼苗等效椭圆长短轴比(Ratio of Equivalent Ellipse Axes)和幼苗圆形度(Heywood CircularityFactor)； (6)计算每帧图像中步骤(5)识别出的目标总数，并计算幼苗观察层中图像采集视野范围内的水体体积，将目标总数除以水体体积，得到幼苗在水中的估算密度值，然后将估算密度值乘以修正系数&得到幼苗在水中的修正密度值；其中修正系数^为一定水体积内的幼苗实际数量与相同水体积图像采集视野范围内的幼苗估计数量的比值； (7)计算获得不同方位、不 同水层的幼苗在水中的修正密度值，将各个修正密度值累加取平均得到水体内幼苗平均密度值，将幼苗平均密度值与育苗池水体体积相乘，得到育苗池水体内幼苗的总数量，完成对整个育苗池中幼苗数量的估计。
8.一种基于计算机视觉的水下幼苗行为监测方法，其特征在于具体步骤如下: (1)将权利要求1-6中任一项所述的基于计算机视觉的水下鱼虾蟹苗数量估计与行为监测装置放入育苗池，打开光诱光源5-20s，同时由双向卷扬机和电机带动控制视频采集装置拍摄不同方位、不同水层的幼苗，获得打开光诱光源这段时间内生物聚集的视频图像，通过网线将视频图像传输到计算机中处理； (2)通过计算机图像处理技术对步骤(1)得到的视频图像进行预处理，即增加对比度，去掉模糊和噪声； (3)将步骤(2)预处理后的图像采用局部阈值法进行分割，得到二值图像； (4)将步骤(3)得到的二值图像进行形态学处理，即先通过开运算平滑对象的轮廓，断开目标之间的连接，再通过闭运算填充比结构元素小的孔洞； (5)将步骤(4)形态学处理后的图像进行滤波操作，然后根据幼苗的形状参数进行目标识别；所述的幼苗的形状参数包括幼苗投影面积(Projected area)、幼苗等效椭圆长短轴比(Ratio of Equivalent Ellipse Axes)和幼苗圆形度(Heywood CircularityFactor)； (6)将步骤(5)识别出的目标进行标记，对各个目标分别进行形心位置和面积计算，根据帧差图像求出幼苗的群体平均游速SK，即得到目标的运动能力参数；根据群心坐标和群心分布坐标的方差求出幼苗群体的位置和密集程度，根据群体密集程度随光诱光源打开时间的变化，以及在光诱光源打开后群体的群心坐标趋向于光诱光源位置的变化速度，得到趋光性参数； (7)将步骤(6)得到的幼苗群体的趋光性参数和运动能力参数分别与预先设定的阈值进行比较，若趋光性参数低于预先设定的阈值时，则可判断幼苗的健康状态出现问题，若运动能力参数和趋光性参数都低于各自预先设定的阈值时，则可判断幼苗的健康状态出现较严重的问题。
9.根据权利要求8中所述的一种基于计算机视觉的水下幼苗行为监测方法，其特征在于步骤(6)中所述的群体平均游速SK:采用帧差法，以游动的体长倍数为单位来衡量幼苗的群体活跃度，计算方法如下:将幼苗在前后两帧图像在采样间隔时间内产生的运动区域的投影面积，与后一帧图像中幼苗的投影面积相除，得到每个幼苗相当于体长倍数的游动距离，再除以间隔时间便得到每个幼苗的体长倍数游速，将这些结果取平均值，得到幼苗群体总的平均游速，即表示目标运`动`能力参数。
【文档编号】G06K9/00GK103761565SQ201410007771
【公开日】2014年4月30日 申请日期:2014年1月7日 优先权日:2014年1月7日
【发明者】徐建瑜, 郝明珠, 王春琳, 蒋霞敏, 张超 申请人:宁波大学