专利名称：基于视觉感知网的非刚体目标行为观测装置及方法
技术领域：
本发明涉及基于视觉感知网的非刚体目标行为观测装置及方法，属于智能视频监控技术和图像处理技术。
背景技术：
鸟类是自然生态系统的重要组成部分，对维持生态平衡和生物多样性具有不可替代的作用。然而，全球气候变化、人类活动以及环境污染严重影响鸟类生存状况以及活动行为。鸟类个体数量、物种分布、种群特性和种群数量的变化直接或间接反映气候变化与鸟类活动行为之间耦合关系、交互作用及气候效应，由于鸟类主要在白天活动，无论是种群还是 群落水平上，鸟类都是最容易观察和调查的动物，是环境监测的非常有效的指示物种，由于鸟类对环境变化很敏感，也可以作为判断环境好坏的重要指标。因此，如何科学地有效地通过无干扰观测技术，实现鸟类个体记录、物种鉴别、疫情监测、新物种发现、物种空间分布、种群特性和种群数量统计，为鸟类生态学的研究提供先进的信息技术手段。也可以为研究气候变化与鸟类活动行为之间耦合关系、交互作用及反演生态环境和气候效应提供先进的信息技术手段。为鸟类生态学的研究提供先进的信息技术手段。以往的鸟类行为观测主要依靠人的肉眼、望远镜、雷达、卫星跟踪等来监视和记录鸟类的行为，这些观测方法在一定程度上都存在着或多或少的缺陷。例如，在自然环境中，用人眼、望远镜等人工的方式，无法稳定、连续地进行重复性的监视工作，且存在人为因素影响大、易受天气干扰、人工投入成本大、难以长时间收集数据的弊端。在噪声环境中使用雷达系统同时跟踪未知数目的多个目标时，很难在实现低“漏警率”的同时又保持低“虚警率”，再加上雷达的造价昂贵，所以雷达系统的应用有其局限性。卫星跟踪由于所需要的费用十分昂贵，并受到一些制约因素如卫星跟踪器的总体重量、电池供电时间、晶片回收等的影响，使其无法得到广泛的应用。随着科学技术的进步，3S技术(GIS、GPS、RS)、分子生物学技术、无线电遥测技术、温度记录仪、声谱分析和电子微芯片技术等一系列现代技术在鸟类生物学研究中得到了广泛的应用，为提高鸟类生物学研究水平和研究领域拓展发挥了重要作用。然而这些现代技术主要用于鸟类的地理分布、栖息地利用方式、迁徙、个体识别和遗传等范畴的研究，温度记录仪的应用虽然为鸟类繁殖节律研究提供了数据支持，但对于繁殖鸟在产卵、孵化、育雏过程中的行为特征仍然无法回答，特别是对那些体型小、行动敏捷、营巢位置隐蔽和筑巢方式复杂的鸟类采用直接观察法十分困难。近年来，基于视频的鸟类观测技术，以其非接触、获取信息量大，便于利用视频图像信息技术处理，日益成为动物学家和相关研究人员普遍推崇的鸟类观测手段。目前，基于视频的鸟类观测技术，以其非接触、获取信息量大，便于利用视频图像信息处理技术处理，日成为动物学家和相关研究人员普遍推崇的鸟类观测手段。然而，由于鸟类栖息地范围广、环境变化多端，且飞行速度快和飞行状态具有高度不确定性和高度时变性，成为制约鸟类行为观测系统推广应用的瓶颈。面临的主要困难主要有1单个监控摄像头的视角范围有限，难以满足鸟类栖息地的大范围监测；2由于鸟类飞行速度快且随机出现，且飞行状态有别于其它刚体类飞行物，即便鸟类飞入监控视域内，受观测视角约束，即使是同一种鸟类，相互之间差别也很大，而不同鸟类的形态在某种程度上很相似，进一步增加了观测和识别的困难；3网络化的多摄像协同观测，在解决大范围监测的同时带来了海量数据的存储和传输困难，进而影响观测的时效性。
发明内容
技术问题针对目前观测系统和方法的不足，本发明的目的是提供一种基于视觉感知网的非刚体目标行为观测装置及方法。具体的说，本发明所述的基于视觉感知网的非刚体目标行为观测装置，由六个无线网络节点和一个基站组成，无线节点之间可以多跳方式通信对观测区域实施多层次、多尺度选择性的主动感知和跟踪记录该区域活动的鸟类进行观测分析。技术方案所述的多摄像头仿生物机制的智能感知宽带无线网状网络系统，由带无线通信接口的节点、无线通信链路以及基站组成，其特征在于各无线网络节点利用 802. Ilg组网标准和TCP/IP协议互联为无线网状网，在应用层自定义协议以自组织各无线网络节点实现信息的交互，进而协同完成对监视区域协作监视。一种基于视觉感知网的非刚体目标行为观测装置，其特征是，由一个基站和通过多跳通信方式与基站通信的多个无线节点组成的智能感知宽带无线网状网络，每个无线节点中包括以下模块前端一体化摄像头，用于视频信息的采集；视频同步器，与一体化摄像头连接，用于协调一体化摄像头协作工作和控制视频信号的输入；视频编码器，用于模拟视频的数字化和视频制式转换；图像帧存储器，用于量化和对数字化编码后信息的存储；通用I/O,用于开关量信号的输入和输出；CPLD，用于总线扩展和系统时序电路和逻辑电路的实现；中央处理单元，用于对数字化的视频进行智能处理；无线通信接口，用于各无线节点之间互联和交换信息；FLASH,用于存放系统软件；SDRAM，用于系统在处理数据时，存放数据；RS485，用于中央处理单元和PTZ控制器之间通信，交换控制命令；PTZ控制器模块，通过所述RS485与所述中央处理单元互通，用于对一体化摄像头的控制；PTZ控制器模块分别用于对三个摄像头的PTZ控制，摄像头的PTZ控制指pan摆动、tilt倾斜，zoom缩放；D/A模块，与所述中央处理单元连接，用于将数字化的视频转换为模拟视频。所述一体化摄像头由二个C⑶摄像头组成。所述一体化摄像头中的三个C⑶摄像头物理位置为三角形关系，且位于同一平面。三个CXD摄像头相互之间的距离可调为3-lOcm，三个CXD摄像头的工作模式为6种。所述视频同步器与所述中央处理单元通过I2C总线连接，视频同步器接收中央处理单元的决策命令，选择输出1-3路模拟视频至所述视频编码器。所述视频编码器将模拟视频信息编码后的数字视频信息输入至所述图像帧存储器，所述中央处理单元从图像帧存储器读取视频帧。所述的FLASH、视频编码器、图像帧存储器和通用I/O分别与CPLD连接，由CPLD产生工作所需的时序信号和逻辑信号。所述PTZ控制器包括以下模块中央处理器、时钟芯片、行程开关、协议开关/地址、电源接口、键盘接口、步进电机控制器、步进电机控制器、、E2PROM, RS485通信模块；
中央处理器，与所述RS485连接，对PTZ控制器命令处理和控制，时钟芯片，与中央处理器连接，行程开关，与中央处理器连接，用于限制一体化摄像头活动的范围，协议开关/地址，采用8位拨码开关，与中央处理器的8个输入/输出口连接，用于选择控制一体化摄像头运动的协议、命令传输所需的通信参数配置和对一体化摄像头定义地址；多个步进电机控制器，分别与中央处理器连接，分别控制水平方向和垂直方向驱动摄像头动作的步进电机；E2PROM,与中央处理器连接，用于存放控制器的配置参数。基于权利要求I所述的观测装置的基于视觉感知网的非刚体目标行为观测方法，其特征是，包括以下步骤中央处理单元和PTZ控制器之间通过RS485通信，交换控制命令；由PTZ控制器模块控制前端一体化摄像头进行视频信息的采集；视频同步器协调一体化摄像头协作工作和控制视频信号的输入；并接收中央处理单元的决策命令，选择输出1-3路模拟视频至视频编码器；视频编码器将模拟视频信息编码后的数字视频信息输入至图像帧存储器；由中央处理单元从图像帧存储器读取视频帧进行处理；由D/A模块将数字化的视频转换为模拟视频；所述的视频编码器、图像帧存储器分别与CPLD连接，由CPLD产生工作所需的时序信号和逻辑信号。对所述图像帧进行处理的步骤为将每个输入视频帧和一张背景图像相比较，如果同位置的像素特征、像素区域特征存在一定程度的差别，则视频帧中这些位置的像素点或像素区域就构成前景运动目标区域；对这些前景像素点作进一步处理，得到运动目标位置、大小、形状信息，具体包含以下4个步骤I)预处理，对图像进行滤波，消除一体化摄像头噪声和环境噪声，如果发生一体化摄像头振动，则在背景建模前，还包含对视频帧进行位置修正的步骤；2)背景建模，构建背景图像；3)前景检测，阈值分割，利用当前视频帧与背景模型的差异检测出运动区域如果差值大于一定阈值，则判定该像素为组成前景运动目标的像素；4)后处理，去除不属于真实运动目标的参考像素，得到真正的前景运动目标。本发明所达到的有益效果本发明通过研究人类视觉的主动注意过程和多特征图像的选择注意过程的基础上，建立基于视觉感知网的非刚体目标行为观测装置及方法，通过网络各节点协作，不同节点完成对目标的不同特征进行感知，或同一特征在不同角度进行感知，达到对目标的实施全方位、多尺度、精细地跟踪感知和观测。
图I是本发明的系统架构图；图2是本发明的三摄像头的位置关系图； 图3是本发明的无线网络节点的硬件组成原理框图；图4是本发明PTZ控制器的组成原理框图；图5是本发明PTZ控制器的的软件流程图；图6a-图6f是本发明中摄像头工作模式示意图；图7是本发明的无线网络节点的通信方式；图8是本发明的运动目标检测的算法流程图；图9是本发明的多视觉传感器选择算法流程。
具体实施例方式下面结合附图对本发明做进一步详细描述。如图I所示，本发明的技术方案，多摄像头仿生物机制的智能感知宽带无线网状网络系统由6个无线节点100、200、300、400、500、600和一个基站700组成，基站采用现有技术集成。本发明的系统架构中，无线节点100、200、300、400、500、600有6个，其中2个带PTZ控制器，4个不带PTZ控制器。每个无线节点100、200、300、400、500、600是系统的核心单元，如图3所示，主要包括一组由三个CXD摄像头11、12、13组成的前端一体化摄像头1，用于视频信息的采集;视频同步器2，用于协调三个摄像头协作工作和控制视频信号的输入；视频编码器3，用于模拟视频的数字化和视频制式转换；图像帧存储器4，用于量化和编码后信息的存储；通用1/05,用于开关量信号的输入和输出；CPLD6，用于总线扩展和系统时序电路和逻辑电路的实现；中央处理单元9，用于对数字化的视频进行智能处理等；无线通信接口 7，用于各无线节点之间互联和交换信息；FLASH8，用于存放系统软件；SDRAMl I，用于系统在处理数据时，存放数据；RS485 12，用于中央处理单元和PTZ控制器之间通信，交换控制命令；
PTZ控制器模块13，用于对摄像头的控制；D/A10，用于将数字化的视频转换模拟视频。一体化摄像头I中的三个CXD摄像头11、12、13物理位置为三角形关系，且位于同一平面，如图2所示，且位于同一平面，各摄像头的距离可调为3-lOcm，其工作模式为6种，如图6a_图6f所示，黑色的圆圈表示摄像头工作，白色表示不工作状态。其中，6a图为一体化摄像头中的I号摄像头11工作，称为工作模式I。图6b为一体化摄像头2号摄像头12工作，称为工作模式2。图6c为3号摄像头13工作，称为工作模式3。图6d中I号摄像头11和2号摄像头12工作，称为工作模式4。图6e中I号摄像头11和3号摄像头13工作，称为工作模式5。图6f中2号摄像头12和3号摄像头13工作，称为工作模式6。本实施例中无线节点中的视频编码器3选用采用PHILIPS视频编解码芯SAA7114，D/A10选用PHILIPS视频解码芯片SAA7121，中央处理单元9选用TI公司的TMS320DM642处理器；SDRAMl I为64位同步动态存储器接口，存储空间4M*64位，映射到中央处理单元9 的CEO端口，存储范围定位为0x80000000-0x81FFFFFFF，其工作时钟由中央处理单元9的CLKOUTI端口提供，软件配置为CPU时钟/4 ；FLASH8为8位异步静态存储器接口，存储空间4M*8位，映射到中央处理单元9的CEl端口，存储范围定位到0x90000000-0x9007FFFF。对照图3，本发明的一体化摄像头I、视频同步器2之间通过三根同轴电缆连接，视频同步器2 —侧的接口为BNC标准接口，支持热插拔，同时视频同步器2与中央处理单元9通过I2C总线连接，视频同步器2接收中央处理单元9的决策命令，选择输出1-3路模拟视频至视频编码器3。对视频编码器3的参数配置命令由CPLD6通过I2C总线实现，编码后的数字视频通过视频编码器3输入至图像帧存储器4，中央处理单元9从图像帧存储器4读取图像帧。FLASH8、视频编码器3、图像帧存储器4和通用1/05分别与CPLD6连接，它们工作所需的时序信号和逻辑信号由CPLD6产生。D/A10与中央处理单元9连接单向连通，由中央处理单元9控制完成数字视频到模拟视频的转换。PTZ控制器模块13通过RS48512与中央处理单元9互通,对前端一体化摄像头I的操作控制命令由中央处理单元9产生并经过RS48512输入至PTZ控制器模块13，由PTZ控制器模块13执行对前端一体化摄像头I中的三个摄像头的操作控制命令。PTZ控制器13，支持热拔插，如图4所示，其组成单元主要包括中央处理器13-1、时钟芯片13-2、行程开关13-3、协议开关/地址13_4、电源接口13-5、键盘接口 13-6、步进电机控制器13-7、步进电机控制器13-8、步进电机控制器13_9、E2PR0M13-10、RS485通信模块13-11。中央处理器13_1选用型号为ATmegal28单片机完成PTZ控制器命令处理和控制软件运行，时钟芯片13-2与中央处理器13-1之间通过2根线连接，行程开关13-3与中央处理器13-1之间只有I根线连接，用于限制摄像头活动的范围，协议开关/地址13-4采用8位拨码开关，与中央处理器13-1的8个输入/输出口连接，用于选择控制摄像头运动的协议、命令传输所需的通信参数配置和对摄像头定义地址。PTZ控制器的软件工作流程如图5所示。步进电机控制器13-6、步进电机控制器13-7和步进电机控制器13-8分别与中央处理器I通过4线连接，分别对水平方向和垂直方向驱动摄像头11、摄像头12和摄像头13动作的步进电机控制。E2PR0M13-10与中央处理器13_1通过2根线连接，用于存放控制器的配置参数，RS48512与中央处理器13-1之间通过3根线连接，RS48512选用MAXM公司生产的MAX485芯片将TTL电平转换为RS — 485标准电平。对照图7，本发明的多跳通信方式，通过无线节点100将信息发送给无线节点300，再转发给由无线节点500，由无线节点500提交基站700。为确保节点间协同监视区域，本发明在应用层自定义协议，包括节点状态信息工作参数和状态更新协议和节点间信息交互协议。本发明的节点状态信息工作参数和状态更新协议，是这样实现的，每个节点都维持一张如表一所示的数据结构，以无线节点100为例说明，该表记录相邻节点的基本工作参数和状态信息，表中的每隔30秒-一分钟信息刷新一次，表中IP地址可以根据实际应用配置，当需要和相邻的某节点协同监视区域或区域的目标时，查询该表中相邻节点的工作参数和状态信息，建立和相邻节点的会话连接，会话连 接建立之后，节点间信息交互的按照下面自定义的协议，封装各类信息，和相邻节点交换和传输相关信息。为确保节点间信息的可靠传输，在应用层自定义了一套建立在UDP协议之上协议规范，如表I所示表I
相邻节点摄像头工作 IP地址工作节点类 PTZ PTZ协议类型模式状态型 地址
200模式 I 10. 14.3.31 在线有 PTZ 02 SONY 协议
300模式 3 10. 14.3.32 在线无 PTZ 03 SONY 协议
400模式2 10. 14.3.33 在线冇 PTZ 04 SONY 协议
500模式 5 10. 14.3.34 在线无 PTZ 05 SONY 协议
600模式6 10. 14.3.35 在线无 PTZ 06 SONY 协议
700无 I0* !4.3.36 在线基站无无表 2
条目I头信息I有效载荷图像、图像特征数据、控制命令长度&说明头信息包含了包格式的头部分，长度固定为26消息体具体信息内容，长度可变，为头信息中所包含的信息长度。头信息协议格式表 权利要求
1.一种基于视觉感知网的非刚体目标行为观测装置，其特征是， 由一个基站和通过多跳通信方式与基站通信的多个无线节点组成的智能感知宽带无线网状网络，每个无线节点中包括以下模块 前端一体化摄像头，用于视频信息的采集； 视频同步器，与一体化摄像头连接，用于协调一体化摄像头协作工作和控制视频信号的输入； 视频编码器，用于模拟视频的数字化和视频制式转换； 图像帧存储器，用于量化和对数字化编码后信息的存储； 通用1/0，用于开关量信号的输入和输出； CPLD，用于总线扩展和系统时序电路和逻辑电路的实现； 中央处理单元，用于对数字化的视频进行智能处理； 无线通信接口，用于各无线节点之间互联和交换信息； FLASH，用于存放系统软件； SDRAM，用于系统在处理数据时，存放数据； RS485，用于中央处理单元和PTZ控制器之间通信，交换控制命令； PTZ控制器模块，通过所述RS485与所述中央处理单元互通，用于对一体化摄像头的控制； D/A模块，与所述中央处理单元连接，用于将数字化的视频转换为模拟视频。
2.根据权利要求I所述的基于视觉感知网的非刚体目标行为观测装置，其特征是，所述一体化摄像头由二个C⑶摄像头组成。
3.根据权利要求2所述的基于视觉感知网的非刚体目标行为观测装置，其特征是，所述一体化摄像头中的三个CXD摄像头物理位置为三角形关系，且位于同一平面。
4.根据权利要求2或3所述的基于视觉感知网的非刚体目标行为观测装置，其特征是，三个CXD摄像头相互之间的距离可调为3-lOcm，三个CXD摄像头的工作模式为6种。
5.根据权利要求2所述的基于视觉感知网的非刚体目标行为观测装置，其特征是，所述视频同步器与所述中央处理单元通过I2 C总线连接，视频同步器接收中央处理单元的决策命令，选择输出1-3路模拟视频至所述视频编码器。
6.根据权利要求5所述的基于视觉感知网的非刚体目标行为观测装置，其特征是，所述视频编码器将模拟视频信息编码后的数字视频信息输入至所述图像帧存储器，所述中央处理单元从图像帧存储器读取视频帧。
7.根据权利要求I所述的基于视觉感知网的非刚体目标行为观测装置，其特征是，所述的FLASH、视频编码器、图像帧存储器和通用I/O分别与CPLD连接，由CPLD产生工作所需的时序信号和逻辑信号。
8.根据权利要求I所述的基于视觉感知网的非刚体目标行为观测装置，其特征是， 所述PTZ控制器包括以下模块 中央处理器、时钟芯片、行程开关、协议开关/地址、电源接口、键盘接口、步进电机控制器、步进电机控制器、、E2PROM, RS485通信模块； 中央处理器，与所述RS485连接，对PTZ控制器命令处理和控制， 时钟芯片，与中央处理器连接，行程开关，与中央处理器连接，用于限制一体化摄像头活动的范围， 协议开关/地址，采用8位拨码开关，与中央处理器的8个输入/输出口连接，用于选择控制一体化摄像头运动的协议、命令传输所需的通信参数配置和对一体化摄像头定义地址； 多个步进电机控制器，分别与中央处理器连接，分别控制水平方向和垂直方向驱动摄像头动作的步进电机； E2PROM,与中央处理器连接，用于存放控制器的配置参数。
9.基于权利要求I所述的观测装置的基于视觉感知网的非刚体目标行为观测方法，其特征是，包括以下步骤 中央处理单元和PTZ控制器之间通过RS485通信，交换控制命令； 由PTZ控制器模块控制前端一体化摄像头进行视频信息的采集； 视频同步器协调一体化摄像头协作工作和控制视频信号的输入；并接收中央处理单元的决策命令，选择输出1-3路模拟视频至视频编码器； 视频编码器将模拟视频信息编码后的数字视频信息输入至图像帧存储器； 由中央处理单元从图像帧存储器读取视频帧进行处理； 由D/A模块将数字化的视频转换为模拟视频； 所述的视频编码器、图像帧存储器分别与CPLD连接，由CPLD产生工作所需的时序信号和逻辑信号。
10.根据权利要求9所述的基于视觉感知网的非刚体目标行为观测方法，其特征是，对所述图像帧进行处理的步骤为 将每个输入视频帧和一张背景图像相比较，如果同位置的像素特征、像素区域特征存在一定程度的差别，则视频帧中这些位置的像素点或像素区域就构成前景运动目标区域；对这些前景像素点作进一步处理，得到运动目标位置、大小、形状信息，具体包含以下4个步骤 1)预处理，对图像进行滤波，消除成像噪声和环境噪声，如果发生振动，则在背景建模前，还包含对视频帧进行位置修正的步骤； 2)背景建模，构建背景图像； 3)前景检测，阈值分割，利用当前视频帧与背景模型的差异检测出运动区域如果差值大于一定阈值，则判定该像素为组成前景运动目标的像素； 4)后处理，去除不属于真实运动目标的参考像素，得到真正的前景运动目标。
全文摘要
本发明公开了一种基于视觉感知网的非刚体目标行为观测装置和观测方法，由PTZ控制器模块控制前端一体化摄像头采集视频信息；视频同步器协调一体化摄像头协作工作并接收中央处理单元的决策命令，选择输出模拟视频至视频编码器；视频编码器将模拟视频编码后输入至图像帧存储器；中央处理单元从图像帧存储器读取视频帧进行处理；D/A模块将数字化的视频转换为模拟视频。本发明在研究人类视觉的主动注意过程和多特征图像的选择注意过程的基础上，建立基于视觉感知网的非刚体目标行为观测装置，通过网络各节点协作，不同节点完成对目标的不同特征进行感知，或同一特征在不同角度进行感知，达到对目标的实施全方位、多尺度、精细地跟踪感知和观测。
文档编号H04N7/18GK102970519SQ20121049881
公开日2013年3月13日 申请日期2012年11月29日 优先权日2012年11月29日
发明者张学武, 周嵩人, 李苇, 周云, 周卓贇, 刘小敏, 李敏, 张卓, 奚吉, 林善明, 范新南 申请人:河海大学常州校区