专利名称：基于机器视觉的生物芯片点样过程实时检测系统及分析方法
技术领域：
本发明涉及的是一种针对生物芯片点样过 程的机器视觉检测系统，尤其涉及基于 机器视觉的生物芯片点样过程实时检测系统及分析方法，该系统可以实现对生物芯片制造 过程的自动化质量监控和实时分析，属于生物芯片技术领域。
背景技术：
生物芯片的出现是近年来高新技术领域中极具时代特征的重大进展，是物理学、 微电子学与分子生物学综合交叉形成的高新技术。生物芯片技术通过微加工工艺在厘米见 方的芯片上集成有成千上万个与生命相关的信息分子，它可以对生命科学与医学中的各种 生物化学反应过程进行集成，从而实现对基因、配体、抗原等生物活性物质进行高效快捷的 测试和分析。利用生物芯片技术，通过自动化的检测软件，能够在短时间内分析大量的生物 分子，使人们快速准确地获取样品中的生物信息，一次可以对被检测对象进行多个指标的 检验，效率是传统检测手段的成百上千倍。点样法是生物芯片制备的一种重要方法，该方法将抗体、探针、PCR技术扩增cDNA 或基因组DNA等不同探针样品，通过由阵列复制器或阵列点样机及电脑控制的机器人，准 确、快速地定量点样于带正电荷的尼龙膜或硅片等相应位置上。点样的方式分两种，其一为 接触式点样，即点样针直接与固相支持物表面接触，将样品留在固相支持物上；其二为非接 触式点样，即喷点，它是以压电原理将样品通过毛细管直接喷至固相支持物表面。打印法的 优点是探针密度高；缺点是定量准确性及重现性不好，打印针易堵塞且使用寿命有限。喷印 法的优点是定量准确，重现性好，使用寿命长；缺点是喷印的斑点大，因此探针密度低。点样 机器人有一套计算机控制三维移动装置、多个打印/喷印头、一个减震底座，上面可放内盛 探针的多孔板和多个芯片。根据需要还可以有温度和湿度控制装置、针洗涤装置。打印/ 喷印针将探针从多孔板取出直接打印或喷印于芯片上。检验点样仪是否优秀的指标包括点 样精度、点样速度、一次点样的芯片容量、样点的均一性、样品是否有交叉污染及设备操作 的灵活性、简便性等等。其中，点样点的大小均一性、形状均一性、阵列整齐度对芯片的质量 有重要的影响，对这些参数进行实时检测和客观统计有非常重要的意义。目前对点样过程及效果的评判主要是通过人眼来进行的，首先在点样过程中，操 作者紧盯着和视频显微镜连接的监视器，由人来判断是否出现点样异常；其次在点样完成 之后，操作人员将载有样品点阵的膜或者其他固相载体交给检验班组，然后由检验人员凭 其经验用肉眼观测，寻找出个别漏点、形状畸形、或者与大多数点大小悬殊较大的点，据此 剔除不合格的芯片，并粗略统计点样合格率。这种人工检测方法的缺点是不客观(即每个 检验人员的经验都不一样，当时操作者的状态也不一样)，不准确(都是大致和模糊的估 算，没有量化概念)，不实时(即不能在点样过程中判断是否合格，而是离线判断，这样就不 能即时根据点样效果检查仪器状态)，容易使人疲劳易漏检(生物芯片上的点样点是大量 的、且分布密度很大的，这样的检测对象很容易使人疲劳)；总而言之，这种人工检测的方法费时、费力、不可靠，没有自动化程度可言，没有严密的量化数据，不能实时对点样过程进 行自动监控，芯片和芯片之间质量也无法进行比较。
发明内容
本发明所要解决的技术问题之一是针对现有人工检测生物芯片质量的方法的缺 点，不客观、不准确、不实时、不自动化，芯片和芯片之间质量也无法进行比较，容易使人疲 劳易漏检，质检人员工作难度大的问题。而提供一种基于机器视觉的生物芯片点样过程实 时检测系统及分析方法，生物芯片点样过程实时检测系统提供了相应的智能视觉实时检测 系统，可以替代现有人工检测生物芯片质量的方法，可以自动化地、实时地、高速地检测生 物芯片的点样点状况，可以实时提示异常状况，从而降低了质检人员的工作难度，也对芯片 质量的量化统计提供了科学数据。本发明涉及一种针对生物芯片点样过程的机器视觉检测系统，可以在生物芯片点 样过程中，对相应的生物制品点样点进行实时抓拍图像、实时图像预处理、目标分割、几何 参数计算、报警、保存图片、给出点样统计结果等。该系统可以实现对生物芯片制造过程的 自动化质量监控和实时分析，适用于生物芯片。本发明所需要解决的技术问题之二是提供基于上述生物芯片点样过程实时检测 系统的分析方法。作为本发明第一方面一种基于机器视觉的生物芯片点样过程实时检测系统，其特 征在于，包括一图像拍摄设备，该图像拍摄设备跟随点样设备的点样头进行同步三维运动并对 点样区域进行拍摄以获取点样区域图像；一图像采集设备，该图像采集设备与所述图像拍摄设备信号连接，对图像拍摄设 备拍摄的图像进行采集并完成图像的数模转换；一图像处理设备，该图像处理设备与所述图像采集设备信号连接，对图像采集设 备所采集的点样区域图像进行处理、分析，并输出处理结果。所述图像采集设备和图像处理设备安装在所述点样设备的工控机中。所述图像拍摄设备包括一光学照明部件，该光学照明部件对点样区域进行照明，以增强点样区域的目标 点和背景对比度；一光学成像部件，该光学成像部件对点样区域进行拍摄，以获取点样区域图像并 进行光电转换成视频信号输入至图像采集设备。在本发明的图像拍摄设备中，所述光学照明部件和光学成像部件安装一个壳体 内，其中光学照明部件布置于所述光学成像部件的周围，所述壳体通过一图像拍摄设备安 装支架安装在点样设备的点样头上。所述光学成像部件能够对目标点样点进行放大拍摄。所述光学成像部件的视频输出端通过一图像噪声去除部件连接图像采集设备；所 述图像噪声去除部件可以去除因为静电、接地不良、电机磁场引起的图像斑点噪声和横纹噪声。所述图像处理设备设置有
与图像拍摄设备连接，对图像拍摄设备拍摄的图像进行点样过程同步采集，并完 成数据转移到内存的图像采集模块；对图像采集模块采集的图像噪声进行信号处理到达进一步滤除目的的图像预处 理模块；实时从图像预处理模块处理得图像中把目标点样点从图像背景中以二值化的方 式提取出来的图像分割模块；对图像分割模块分割的结果计算其面积参数、位置参数、型心参数的图像模式分 析模块；根据图像分析模块的结果来提示并对异常点样点报警，并对整个点样过程给出统 计结果的结果输出控制模块。所述光学照明部件采用若干个LED灯以中心对称方式排列在光学成像部件的周 围而构成。所述LED灯采取斜射照明方式，所有的LED灯照射方向在点样点所在平面上汇聚 成一点。LED灯的发光颜色要按照色度学中的补色律，根据点样点的颜色来定，越能够将点 样点从背景中突现出来就越好。所述LED灯的数目最少两个，最多不限，只要镜头周围空间可以排列得下就行。所述光学成像部件采用输出数字信号的数字相机，该数字相机由滤光片、6 25mm焦距的镜头、镜头接圈、CXD摄像头芯片部分组成；滤光片安装在镜头的前端，其工作 波长由点样点的颜色波长来决定的，目的是仅让点样点颜色波长附近的光通过，一定程度 上滤除杂色光、背景光、外界光的干扰作用；所述镜头通过镜头接圈与CCD摄像头芯片部分 连接，镜头主要将点样点以清晰地成像到C⑶摄像头芯片部分的成像面上，镜头焦距的选 择跟物距、接圈的调节范围及放大倍数都有一定的耦合关系；镜头接圈主要是方便连续调 节像距；CCD摄像头芯片部分主要完成光电转换，将相应的点样点图像以模拟信号表示。所述图像噪声去除部件为一视频干扰隔离器，该视频干扰隔离器通过串联方式接 入光学成像部件与图像采集设备之间的视频传输线中，目的是去除视频信号通过电缆传输 后常常出现的图像翻滚、扭曲、抖动及干扰条纹等故障；所述视频干扰隔离器为有源视频干 扰隔离器或无源视频干扰隔离器，从滤除噪声的效果来说，有源的视频干扰隔离器滤除噪 声的效果好于无源的视频干扰隔离器，但有源的视频干扰隔离器要额外提供工作电源。本 发明的视频干扰隔离器优选为有源视频干扰隔离器。所述图像采集设备为一图像采集卡，该图像采集卡通过PCI插槽安装在工控机 上，并通过视频数据线与视频干扰隔离器、数字相机串联起来，所述图像采集卡由工控机触 发采集视频数据，并完成信号的模数转换过程。本发明的图像采集模块采集图像的过程是采用点样点间隙拍摄的方法，点样过程是连续、高速进行的，即点样头在χ-y平台上快速移动，到达指定位置后，作短暂的停顿时 段Tl (毫秒)，然后依靠压电原理点样耗时T2 (毫秒)，然后再作短暂的等待时段T3 (毫秒) 后采集图像拍摄设备所拍摄图像，并对采集的图像进行存储并输入图像预处理模块、图像 分割模块、图像模式分析模块自动分析；接着，开始启动，奔往下一个指定点，到达指定位置 后，继续重复以上的“停顿——点样——等待——拍摄——启动”过程。
所述等待时段T3是指点样点样品已经在点样基质上展开并稳定下来的时间；该 等待时段T3的长短可以通过试验确定。为了实时分析点样情况，图像采集模块由工控机在 等待时段T3之后触发。由于生物样品的颜色都比较浅，和基质背景的区分不明显，本发明的图像预处理 模块通过增强算法加大目标和背景的灰度等级差，以进一步降低椒盐噪声和高斯噪声，增 强图像的对比度。由于图像采集模块采集的图像视野范围较大，里面包含了很多点样点以及其它无 关信息，本发明的图像分割模块采用定位和分割的方法，对图像进行定位和分割，以缩小图 像分析范围，只对含有当前的点样点的小范围图像进行分析，而忽略其它点样点、点样头。本发明的图像分割模块主要是对定位后的小范围图像进行分析，通过自适应阈值 算法将图像二值化，即将点样点以黑色表示，点样基质背景以白色表示。所述的自适应阈值算法为双峰法、大津法取阈值、熵法取阈值、矩法取阈值、最小 误差法或鲁棒性很强的自适应分割算法中的一种或它们的组合。由于点样空间的限制，很 难构建一个封闭的光学条件非常好环境，为了避免日光灯及其它 外界干扰，所以本发明的 图像分割模块必须采取鲁棒性很强的自适应分割算法将图像采集模块所采集的图像进行 图像二值化处理获取以黑色表示点样点的二值化图像。本发明的图像模式分析模块对图像分割模块分割后以黑色表示点样点的二值化 图像进行分析，用黑色区域象素的个数和来代表点样点面积，从而反映点样点大小；用黑色 象素区域的型心代表点样点位置，从而反映点样阵列的整齐程度；根据黑色区域的形状，计 算其形状参数，从而反映点样点的外观圆度质量。本发明的结果输出控制模块根据图像模式分析模块计算出点样点的质量参数以 后，可以根据用户的设置决定是否实时显示计算结果，是否提示点样异常情况，是否中断点 样过程，是否进行补点进行等；同时，在一轮点样结束之后，可以给出详细的统计结果，如点 样点面积的平均值、中值、众值、CV值、标准差等统计参数，并且以文本格式或者excel表格 形式保存统计结果，以供备档。作为本发明第二方面的基于机器视觉的生物芯片点样过程实时检测系统的分析 方法，其在使用机器视觉系统之前，要对整个图像拍摄设备的光学系统进行调节，使得目标 点样点在图像中清晰；然后采用ROI预选方法对图像拍摄设备预先设置ROI区域，将自动搜 索目标点样点限制在这个ROI区域中，这样可以大大提高图像处理速度；其图像处理设备 采用自适应的阈值确定方法来自动确定图像的阈值，把目标点样点从图像背景中以二值化 的方式提取出来，并采用面积、形状因子来反映点样点的外观质量，采用型心坐标来反映点 样阵列的整齐程度。所述自适应阈值算法为双峰法、大津法取阈值、熵法取阈值、矩法取阈值、最小误 差方法或鲁棒性很强的自适应分割算法中的一种或它们的组合。优选为鲁棒性很强的自适 应分割算法。每次图像拍摄设备位置若有变动，都要首先重新确定ROI区域。本发明设定ROI区域的方法可以是手动，也可以用数据输入。由于采用了上述技术方案，本发明具有的有益效果1、本发明的图像拍摄设备采用合理的光源，可以使得点样点从背景中突现出来。
2、本发明采用视频干扰隔离器并配合高效的增强算法，使得图像噪声大大降低并 增强了对比度。3、本发明的图像分割模块采用定位和分割的方法，将目标区域有效地缩小，大大 减小了图像运算的工作量。4、本发明的图像分割模块通过自适应阈值算法将图像二值化，即将点样点以黑色 表示，点样基质背景以白色表示，有效地克服了图像光照的变化和周围环境的影响。5、本发明图像的模式分析设计了一种能反映芯片质量的几何参数指标，并且给出 量化的计算结果，实时性和精确性都是人工无法做到的。6、结果输出控制模块本发明可以代替人工的现场值守，同时解决了大量数据统计 的烦杂性和耗时问题。本发明使检测过程与点样同步进行，检测速度可达每秒钟5个，可以给出量化的 检测结果，克服了人工检测的易疲劳、主观性较强、结果模糊的缺点。本发明实现了生物芯 片点样点质量检测的自动化和智能化，使得检测过程更加客观、准确、实时和高速。
以下结合附图和具体实施方式
来进一步说明本发明。
图1基于机器视觉的生物芯片点样过程实时检测系统配置在生物芯片点样设备 上的结构示意图。图2为本发明基于机器视觉的生物芯片点样过程实时检测系统的原理框图。图3为数字相机的安装结构示意图。图4为两个正常点样点的图片。图5为与正常点相比面积相差10%的点样点图片。图6为与正常点相比面积相差20%的点样点图片。图7为与正常点相比面积相差30%的点样点图片。
具体实施例方式为了使本发明的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具 体图示，进一步阐述本发明。参见图1，图1是基于机器视觉的生物芯片点样过程实时检测系统配置在生物芯 片点样设备上的结构示意图。该生物芯片点样设备上的结构示意图为现有设备，其包括一 基台20，在基台20的底面设置有调节脚21，通过调节调节脚21可以调节基台20的水平。在基台20上安装有点样平台8，点样平台8上可以用来放置生物芯片22。在点样 平台8上安装有被伺服电机驱动的X向运动部件1，被伺服电机驱动的X向运动部件1由伺 服电机带动丝杆驱动，该伺服电机与丝杆固定在点样平台8的下部，控制被伺服电机驱动 的X向运动部件1在点样平台8的平面上进行X向，即点样平台8的长度方向运动。在X向运动部件1上安装有被伺服电机驱动的Y向运动部件3，被伺服电机驱动的Y向运动部件3，由伺服电机带动丝杆驱动，该伺服电机与丝杆固定在被伺服电机驱动的 X向运动部件1的横梁上，控制被伺服电机驱动的Y向运动部件3在点样平台8的平面进行 Y向，即点样平台8的宽度方向运动。
在被伺服电机驱动的Y向运动部件3上安装有被伺服电机驱动的ζ向运动部件2。被伺服电机驱动的Z向运动部件2，也是由伺服电机带动丝杆驱动，该电机与丝杆固定在被 伺服电机驱动的Y向运动部件3的横梁上，控制被伺服电机驱动的Z向运动部件2在点样 平台8的垂直于平面进行Z向，即点样平台8的高度方向运动。这样被伺服电机驱动的X向运动部件1、被伺服电机驱动的Z向运动部件2和被 伺服电机驱动的Y向运动部件3三个运动部件就可以完成3个方向自由度的运动，点样头 (图中未示出)通过针架13安装在ζ向运动部件3上，这样点样针就可以移动到(行程范 围内的)点样平面上任意位置和任意高度。X向运动部件1、Y向运动部件3和ζ向运动部件2的伺服电机与工控机6控制连 接，工控机6上装有点样设备的应用软件，该应用软件完成对应点样工艺流程的各个动作 的控制，如三轴的位置控制、针头清洗、吸样、点样、延时等等。通过工控机6即可控制X向 运动部件1、Y向运动部件3和ζ向运动部件2实现X轴方向、Y轴方向以及Z轴方向的三 维运动，实现生物芯片22的点样。参见图2，本具体实施方式
的基于机器视觉的生物芯片点样过程实时检测系统包 括图像拍摄设备100、图像采集设备200和图像处理设备300，图像拍摄设备100跟随点样 设备的点样头进行同步三维运动并对点样区域进行拍摄以获取点样区域图像，图像采集设 备200与图像拍摄设备100信号连接，对图像拍摄设备100拍摄的图像进行采集并完成图 像的数模转换；图像处理设备300与图像采集设备200信号连接，对图像采集设备200所采 集的点样区域图像进行处理、分析，并输出处理结果。图像采集设备200和图像处理设备300安装在点样设备的工控机6中，其中图像 采集设备200为一图像采集卡5，图像采集卡5可以采取微视的V200采集卡。该图像采集 卡5通过PCI插槽安装在工控机6上，而图像处理设备可采用软件的形式嵌在工控机6原 有的应用软件中，所嵌入的软件能够实现图像采集设备200的初始化以及对图像采集设备 200的软件触发，按照功能来区分，所嵌入的软件可以将图像处理设备300分为图像采集模 块310、图像预处理模块320、图像分割模块330、图像模式分析模块340、结果输出控制模块 350。图像拍摄设备100通过一图像拍摄设备安装支架安装在点样设备的点样头上，该 图像拍摄设备100包括光学照明部件100和光学成像部件120以及壳体部分，其中光学照 明部件110对点样区域进行照明，以增强点样区域的目标点和背景对比度；光学成像部件 120对点样区域进行拍摄，以获取点样区域图像。参见图3，光学成像部件120可以采用输出数字信号的数字相机9，该数字相机9 具体结构包括组合在一起的摄像头盒子前盖16和摄像头盒子后盖15 (构成数字相机9的 壳体部分)以及安装在摄像头盒子前盖16中心位置的CXD摄像头芯片部分18，CXD摄像头 芯片部分18可以采取sony的彩色1/3”的CXD摄像头，PAL制式，12V供电；C⑶摄像头主 要完成光电转换，将相应的点样点图像以模拟信号表示。CCD芯片部分18中间设置镜头接 圈19，镜头接圈19的末端嵌入镜头20，镜头20可以为焦距16mm的标准针孔镜头。镜头20 主要将点样点以清晰地成像到CXD摄像头芯片部分18的成像面上，镜头接圈19主要是方 便连续调节像距。镜头20焦距的选择跟物距、镜头接圈19的调节范围及放大倍数都有一 定的耦合关系。
滤光片(图中未示出)安装在镜头20的前端，其工作波长由点样点的颜色波长来 决定的，目的是仅让点样点颜色波长附近的光通过，一定程度上滤除杂色光、背景光、外界 光的干扰。光学照明部件120由两个LED照明灯17构成，两个LED照明灯17安装在摄像头盒 子前盖16上，并在镜头20为中心在镜头20周围以对称方式排列，两个LED照明灯17采取 同向斜射照明方式，其照射方向要保证能够在点样点所在平面上汇聚在一点，两个LED照 明灯17的发光颜色要按照色度学中的补色律，根据点样点的颜色来定，越能够将点样点从 背景中突现出来就越好。壳体部分的摄像头盒子背盖15与摄像头盒子前盖16的一侧凸出，内嵌摄像头的 Y向调整杆10，摄像头的Y向调整杆10是调整数字相机9位置的部件，摄像头的Y向调整 杆10通过紧固螺丝14轴设于摄像头支架前端臂11的一端上，而摄像头支架前端臂11另 一端又通过紧固螺丝14轴设于摄像头支架12的一端上，而摄像头支架12得另一端通过紧 固螺丝14轴设于点样头的一根支撑杆2A上。这样只要松开几个紧固螺丝14，通过调整摄 像头的Y向调整杆10、摄像头支架前端臂11、摄像头支架12的位置就可以实现数字相机9 的俯仰调节、平移调节、高低调节多自由度的调整，调整好数字相机9的位置后，拧紧几个 紧固螺丝14是实现数字相机位置的固定。上述内嵌摄像头的Y向调整杆10、摄像头支架前 端臂11和摄像头支架12构成图像拍摄设备安装支架。
上述图像采集设备200，也就是图像采集卡5通过视频数据线23与数字相机9中 的CCD摄像头芯片部分18连接起来，图像采集卡5由工控机6触发采集CCD摄像头芯片部 分18所拍摄的图像，并完成所拍摄图像信号的模数转换过程。在CCD摄像头芯片部分18 与图像采集卡5之间可以串入一视频干扰隔离器4，该视频干扰隔离器4为图2中所示的图 像噪声去除部件400，以去除因为静电、接地不良、电机磁场引起的图像斑点噪声和横纹噪 声。视频干扰隔离器4为有源视频干扰隔离器或无源视频干扰隔离器，从滤除噪声的效果 来说，有源的视频干扰隔离器滤除噪声的效果好于无源的视频干扰隔离器，但有源的视频 干扰隔离器要额外提供工作电源。本实施方式中的视频干扰隔离器4为有源视频干扰隔离图像处理设备300中的图像采集模块310与图像噪声去除部件400连接，对图像 拍摄设备100中光学成像部件120拍摄的图像进行点样过程同步采集，并完成数据转移到 内存。图像采集模块310采集图像的过程是采用点样点间隙拍摄的方法，点样头按预设的 点阵分布在点样平台8的平面上做位置移动。数字相机9随着点样头的运动而运动。点 样过程是连续、高速进行的，即点样头在x_y平台上快速移动，到达指定位置后，作短暂的 停顿时段Tl (90-100毫秒)，然后依靠压电原理点样耗时T2 (25-40毫秒)，然后再作短暂 的等待时段T3 (90-100毫秒)后采集图像拍摄设备100所拍摄图像，并对采集的图像进行 存储并输入图像预处理模块320、图像分割模块330、图像模式分析模块340自动分析；接 着，开始启动，奔往下一个指定点，到达指定位置后，继续重复以上的“停顿——点样——等 待——拍摄——启动”过程。等待时段T3是指点样点样品已经在点样基质上展开并稳定下来的时间；该等待 时段T3的长短可以通过试验确定。为了实时分析点样情况，图像采集模块由工控机在等待 时段T3之后触发。
由于生物样品的颜色都比较浅，和基质背景的区分不明显，图像预处理模块320 通过增强算法对噪声进行信号处理，以加大目标和背景的灰度等级差，以进一步降低椒盐 噪声和高斯噪声，增强图像的对比度。增强算法的目的是采用技术手段，将图像转换成更适 合于机器分析识别的形式，以便从图像中获取所要的信息。增强算法与目标物的特性和处 理目的有关，因此，不存在通用的增强算法。本专利结合生物芯片的具体情况，先用中值滤 波或者高斯滤波方法去噪，然后用灰度变换方法增强图像的对比度。由于图像采集模块310采集的图像视野范围较大，里面包含了很多点样点以及其 它无关信息，图像分割模块330采用定位和分割的方法对图像进行定位和分割，其中定位 方法将目标区域有效地缩小，大大减小了图像运算的工作量，使图像分割模块330只对含 有当前的点样点的小范围图像进行分析，而忽略其它点样点、点样头。分割方法是通过自适 应阈值算法将图像二值化，这里将点样点以黑色表示，点样基质背景以白色表示。其中自适 应阈值算法为双峰法、大津法、熵法、矩法、最小误差方法或鲁棒性很强的自适应分割算法 中的一种或它们的组合。为了保证分割结果的稳定行、可靠行，可以采取了同时用这几种方 法求解各自阈值，然后以这5个阈值的中值作为最佳阈值。这样分割方法非常稳定。但是由于点样空间的限制，很难构建一个封闭的光学条件非常好环境，为了避免 日光灯及其它外界干扰，所以本发明的图像分割模块必须采取鲁棒性很强的自适应分割算 法将图像采集模块所采集的图像进行图像二值化处理获取以黑色表示点样点的二值化图 像。图像模式分析模块340对图像分割模块330分割后以黑色表示点样点的二值化图 像进行分析，用黑色区域象素的个数和来代表点样点面积，从而反映点样点大小；用黑色象 素区域的型心代表点样点位置，从而反映点样阵列的整齐程度；根据黑色区域的形状，计算 其形状参数，从而反映点样点的外观圆度质量。结果输出控制模块350在计算出点样点的质量参数以后，采用液晶显示器7，用以 显示程序的人机界面以及数字相机9的所见视场。结果输出控制模块350可以根据用户的 设置决定是否实时显示计算结果，是否提示点样异常情况，是否中断点样过程，是否进行补 点进行等。同时，在一轮点样结束之后，该模块可以给出详细的统计结果，如点样点面积的 平均值、中值、众值、CV值、标准差等统计参数，并且以文本格式或者excel表格形式保存统 计结果，以供备档。基于机器视觉的生物芯片点样过程实时检测系统的分析方法，其在使用机器视觉 系统之前，要对整个图像拍摄设备的光学系统进行调节，使得目标点样点在图像中清晰 ’然 后采用ROI预选方法对图像拍摄设备预先设置ROI区域，将自动搜索目标点样点限制在这 个ROI区域中，这样可以大大提高图像处理速度；要注意到是，每次摄像头位置若有变动， 都要首先重新确定ROI区域。设定ROI区域的方法可以是手动，也可以用数据输入。其图 像处理设备采用自适应的阈值确定方法来自动确定图像的阈值，把目标点样点从图像背景 中以二值化的方式提取出来，并采用面积、形状因子来反映点样点的外观质量，采用型心坐 标来反映点样阵列的整齐程度。本具体实施方式
的一个试验实例如下试验条件双通道点样，点样点样液成分为某蛋白抗体和甲基紫混和液；试验前调好并固定好视觉系统(调节光学系统，使得目标点样点在图像中清晰；设置好ROI区域)，确定好点子参数参考值为大小305象素、0通道点子象素坐标位置为 (141，556)、1通道点子象素坐标位置为(150，146)；警报设置对点子大小误差超过15%的点进行报警，阵列位置超过3象素报警；点样数据分析结果a)点子大小分析(点子面积参考值305象素)，参见表1。表1点子大小分析 以下为系统自动记录的一些点样点图片的情况两个正常点样点的图片，如图4所示；与正常点相比面积相差10%的点样点图片，如图5所示与正常点相比面积相差20%的点样点图片，如图6所示；与正常点相比面积相差30%的点样点图片，如图7所示。b) 0通道点子位置分析(阵列整齐分析)点子型心位置参考值Y轴方向参考象素坐标551象素；X轴方向参考象素坐标146象素；Y轴方向位置偏差统计情况，参见表2。X轴方向位置偏差统计情况，参见表3。表2Y轴方向位置偏差统计情况与参考坐标551象素I相应象素坐I合格率合格数所占 的偏差个数(每个象标值的分布总个数的比例 素代表约0.015mm)--- 表3X轴方向位置偏差统计情况
与参考值146象素的I相应象素坐I合格率合格数所占 偏差个数(每个象素标值的分布总个数的比例 代表约0.020mm) c) 1通道点子位置分析(阵列整齐分析)点子型心位置参考值Y轴方向参考象素坐标146象素；X轴方向参考象素坐标150象素；Y轴方向位置偏差统计情况，参见表4。X轴方向位置偏差统计情况，参见表5。表4Y轴方向位置偏差统计情况
与参考坐标146象素相应象素坐合格率合格数所占 的偏差个数(每个象标值的分布总个数的比例 素代表约0.015mm) 表5X轴方向位置偏差统计情况与参考坐标150象素相应象素坐合格率合格数所占 的偏差个数(每个象标值的分布总个数的比例 素代表约0.015mm) 试验中，该系统能实时报警，凡是用肉眼能发现的大小、位置有较大偏差的点，该 系统都能报警。有些肉眼不容易发现的差点，该系统也能发现，而且将该报警点的图片、位 置、参数信息都记录下来。最后的统计数据在点样完成之后，立刻由程序自动生成，完全避 免了人工统计的繁琐和复杂性。这个试验，证明了该系统的准确性、实时性、高效率性。由于采用上述技术方案，本发明采用合理的光源，在镜头20的中心周围对称方式 排列2个LED照明灯17 ；两个LED照明灯17采取同向斜射照明方式，其照射方向要保证能 够在点样点所在平面上汇聚在一点。LED灯的发光颜色要根据点样点的颜色来定，越能够将 点样点从背景中突现出来就越好。滤光片安装在镜头20的前端，其工作波长由点样点的颜 色波长来决定的，目的是仅让点样点颜色波长附近的光通过，一定程度上滤除杂色光、背景 光、外界光的干扰。视频干扰隔离器4作为图像噪声去除部件400并配合图像预处理模块320的预处 理算法，使得图像噪声大大降低并增强了对比度；去除视频信号通过电缆传输后常常出现 的图像翻滚、扭曲、抖动及干扰条纹等故障。图像分割模块330采用定位和分割的方法，将目标区域有效地缩小，大大减小了 图像运算的工作量；图像的自适应阈值算法，有效地克服了图像光照的变化和周围环境的影响。图像模式分析模块340设计了一种能反映芯片质量的几何参数指标，用黑色区域 象素的个数和来代表点样点面积，反映点样点大小；用黑色象素区域的型心代表点样点位 置，反映点样阵列的整齐程度；根据黑色区域的形状，计算其形状参数，反映点样点的外观 圆度质量。并且给出量化的计算结果，实时性和精确性都是人工无法做到的。结果输出控制模块350可以代替人工的现场值守，该模块可以给出详细的统计 结果，如点样点面积的平均值、中值、众值、CV值、标准差等统计参数，并且以文本格式或者 excel表格形式保存统计结果，解决了大量数据统计的烦杂性和耗时问题。本发明使检测过程与点样同步进行，检测速度可达每秒钟5个，可以给出量化的 检测结果，克服了人工检测的易疲劳、主观性较强、结果模糊的缺点。本发明实现了生物芯 片点样点质量检测的自动化和智能化，使得检测过程更加客观、准确、实时和高速。以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本发明的特定例已经对基于机器视觉的生物芯片质量检测系统进行了详细的描述.本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明 的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和 改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同 物界定。
权利要求
一种基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，包括一图像拍摄设备，该图像拍摄设备跟随点样设备的点样头进行同步三维运动并对点样区域进行拍摄以获取点样区域图像；一图像采集设备，该图像采集设备与所述图像拍摄设备信号连接，对图像拍摄设备拍摄的图像进行采集并完成图像的数模转换；一图像处理设备，该图像处理设备与所述图像采集设备信号连接，对图像采集设备所采集的点样区域图像进行处理、分析，并输出处理结果。
2.根据权利要求1所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在 于，所述图像采集设备和图像处理设备安装在所述点样设备的工控机中。
3.根据权利要求1所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在 于，所述图像拍摄设备包括一光学照明部件，该光学照明部件对点样区域进行照明，以增强点样区域的目标点和 背景对比度；一光学成像部件，该光学成像部件对点样区域进行拍摄，以获取点样区域图像并进行 光电转换成视频信号输入至图像采集设备。
4.根据权利要求3所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在 于，所述光学照明部件和光学成像部件安装一个壳体内，其中光学照明部件布置于所述光 学成像部件的周围；所述壳体通过一图像拍摄设备安装支架安装在点样设备的点样头上。
5.根据权利要求4所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在 于，所述图像拍摄设备安装支架包括与壳体连接的Y向调整杆、摄像头支架前端臂和摄像 头支架，其中Y向调整杆通过紧固螺丝轴设于摄像头支架前端臂的一端上，摄像头支架前 端臂另一端又通过紧固螺丝轴设于摄像头支架的一端上，而摄像头支架的另一端通过紧固 螺丝轴设于点样头的一根支撑杆上。
6.根据权利要求3所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在 于，所述光学成像部件能够对目标点样点进行放大拍摄。
7.根据权利要求3所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在 于，所述光源照明部件采用若干个LED灯以中心对称方式排列在光学成像部件的周围而构 成。
8.根据权利要求7所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在 于，所述LED灯采取斜射照明方式，所有的LED灯照射方向在点样点所在平面上汇聚成一点。
9.根据权利要求7所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在 于，LED灯的发光颜色要按照色度学中的补色律，根据点样点的颜色来定，越能够将点样点 从背景中突现出来就越好。
10.根据权利要求7所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述LED灯的数目最少两个。
11.根据权利要求3所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述光学成像部件采用输出数字信号的数字相机。
12.根据权利要求11所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述的数字相机由滤光片、6 25mm焦距的镜头、镜头接圈、CXD摄像头芯片部分组 成；滤光片安装在镜头的前端，所述镜头通过镜头接圈与CCD摄像头芯片部分连接。
13.根据权利要求3所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述光学成像部件连接一图像噪声去除部件；所述图像噪声去除部件去除因为静电、 接地不良、电机磁场引起的图像斑点噪声和横纹噪声。
14.根据权利要求13所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述图像噪声去除部件为一视频干扰隔离器，该视频干扰隔离器通过串联方式接入 光学成像部件与图像采集设备之间的视频传输线中。
15.根据权利要求13所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述视频干扰隔离器为有源视频干扰隔离器。
16.根据权利要求14所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述图像采集设备为一图像采集卡，该图像采集卡通过PCI插槽安装在工控机上，并 通过视频数据线与视频干扰隔离器、光学成像部件串联起来，所述图像采集卡由工控机触 发采集视频数据，并完成信号的模数转换过程。
17.根据权利要求1所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述图像处理设备设置有保证拍摄的图像与点样过程同步，并完成数据转移到内存的过程的图像采集模块；对噪声进行信号处理到达进一步滤除目的的图像预处理模块；实时把目标点样点从背景中以二值化的方式提取出来的图像分割模块；对分割的结果计算其面积参数、位置参数、型心参数的图像模式分析模块；根据图像分析模块的结果来提示并对异常点样点报警，并对整个点样过程给出统计结 果的结果输出控制模块。
18.根据权利要求17所述的基于机器视觉的生物芯片点样过程实时检测系统，其特 征在于，所述的图像采集模块采集图像的过程是采用点样点间隙拍摄的方法，点样过程是 连续、高速进行的，即点样头在x_y平台上快速移动，到达指定位置后，作短暂的停顿时段 Tl，然后依靠压电原理点样耗时T2，然后再作短暂的等待时段T3后采集图像拍摄设备所 拍摄图像，并对采集的图像进行存储并输入图像预处理模块、图像分割模块、图像模式分析 模块自动分析；接着，开始启动，奔往下一个指定点，到达指定位置后，继续重复以上的“停 顿——点样——等待——拍摄——启动”过程。
19.根据权利要求18所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述等待时段T3是指点样点样品已经在点样基质上展开并稳定下来的时间；该等待 时段T3的长短可以通过试验确定。
20.根据权利要求18所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，图像采集模块由工控机在等待时段T3之后触发。
21.根据权利要求17所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述的图像预处理模块通过增强算法加大目标和背景的灰度等级差，以进一步降低 椒盐噪声和高斯噪声，增强图像的对比度。
22.根据权利要求18所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述的图像分割模块采用定位和分割的方法，对图像进行定位和分割，以缩小图像分析范围，只对含有当前的点样点的小范围图像进行分析，而忽略其它点样点、点样头。
23.根据权利要求22所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述的图像分割模块是对定位后的小范围图像进行分析，通过自适应阈值算法将图 像二值化，即将点样点以黑色表示，点样基质背景以白色表示。
24.根据权利要求23所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述的自适应阈值算法为双峰法、大津法取阈值、熵法取阈值、矩法取阈值、最小误差 法或鲁棒性很强的自适应分割算法中的一种或它们的组合。
25.根据权利要求23所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述的自适应阈值算法为鲁棒性很强的自适应分割算法。
26.根据权利要求23所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述的图像模式分析模块对图像分割模块分割后以黑色表示点样点的二值化图像进 行分析，用黑色区域象素的个数和来代表点样点面积，从而反映点样点大小；用黑色象素区 域的型心代表点样点位置，从而反映点样阵列的整齐程度；根据黑色区域的形状，计算其形 状参数，从而反映点样点的外观圆度质量。
27.根据权利要求23所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征 在于，所述的结果输出控制模块根据图像模式分析模块计算出点样点的质量参数以后，可 以根据用户的设置决定是否实时显示计算结果，是否提示点样异常情况，是否中断点样过 程，是否进行补点进行；同时，在一轮点样结束之后，给出详细的统计结果。
28.一种权利要求1所述基于机器视觉的生物芯片点样过程实时检测系统的分析方 法，其特征在于，是在使用机器视觉系统之前，要对整个图像拍摄设备的光学系统进行调 节，使得目标点样点在图像中清晰；然后采用ROI预选方法对图像拍摄设备预先设置ROI区 域，将自动搜索目标点样点限制在这个ROI区域中，这样大大提高图像处理速度；其图像处 理设备采用自适应的阈值确定方法来自动确定图像的阈值，把目标点样点从图像背景中以 二值化的方式提取出来，并采用面积、形状因子来反映点样点的外观质量，采用型心坐标来 反映点样阵列的整齐程度。
29.根据权利要求28的分析方法，其特征在于，所述自适应阈值算法为双峰法、大津法 取阈值、熵法取阈值、矩法取阈值、最小误差方法或鲁棒性很强的自适应分割算法中的一种 或它们的组合。
30.根据权利要求28的分析方法，其特征在于，所述自适应阈值算法为鲁棒性很强的 自适应分割算法。
31.根据权利要求28的分析方法，其特征在于，每次图像拍摄设备位置若有变动，都要 首先重新确定ROI区域。
32.根据权利要求28的分析方法，其特征在于，设定ROI区域的方法是手动或用数据输入。
全文摘要
一种基于机器视觉的生物芯片点样过程实时检测系统，包括由光学照明部件和光学成像部件组成的图像拍摄设备、图像噪声去除部件、图像采集设备和图像处理设备，图像采集设备和图像处理设备安装在所述点样设备的工控机中；图像处理设备设置有图像采集模块、图像预处理模块、图像分割模块、图像模式分析模块和结果输出控制模块。本发明采用合理的光源，使得点样点从背景中突现出来；视频干扰隔离器配合预处理算法，使得图像噪声大大降低并增强了对比度；实现了生物芯片点样点质量检测的自动化和智能化，实时检测出点样点的大小、阵列整齐度、圆整度，使得检测过程更加客观、准确、实时和高速。还公开了该生物芯片点样过程实时检测系统的分析方法。
文档编号G01B11/28GK101839688SQ200910194410
公开日2010年9月22日 申请日期2009年8月21日 优先权日2009年8月21日
发明者梁心, 田涌涛, 霍哲, 黄平 申请人:上海铭源数康生物芯片有限公司