专利名称：表面状态检查方法及电路板检查装置的利记博彩app
技术领域：
本发明涉及对在器件安装电路板上所形成的焊锡部位那样的表面成弯曲形状的物体的曲面以及器件引线的倾斜状态等规定的检查对象物的表面状态进行检查的技术。
特许文献1——特公平6-1173号公报图8示出上述特许文献1揭示的电路板检查装置的构成及检查原理。该检查装置是利用能够发出红(R)，绿(G)和蓝(B)的各色彩光的3个光源8、9、10和摄像装置3来生成检查对象物的图像的装置，各光源8、9、10相对于电路板的倾斜角按R，G，B的顺序以逐渐增大的方式被加以设定。另一方面，摄像装置3以从正上方位置拍摄检查对象物的焊锡2的方式被配置。
从各光源8、9、10发出的照射光在焊锡2的表面呈镜面反射。这里，在焊锡2的任意位置上，从该位置看到的由成为对称于摄像装置3的方向的方向发出的光，一旦呈镜面反射，即被传导给摄像装置3。因而，若采用上述光学系统，如图9所示，因焊锡表面倾斜，从而生成R、G、B的各色彩被分开的2维图像。若焊锡呈如图所示实例的球体状，则分别呈现出中央部的平坦面为红色的图像区域，电路板附近的陡峭面为蓝色图像区域，而位于这两者之间的比较平缓的倾斜面(缓倾斜面)为绿色图像区域。基于与这些光源对应的色彩的分布状态，就能够判断焊锡2的形状是否合格。
以上述原理所进行的检查不限于球状体的焊锡，还可适用于对带状焊锡的检查。
图10示出使利用上述光学系统观察电路板上的带状体时，将色彩的分布状态对应于带状体的倾斜状态。图10中，50表示电路板表面，S1表示结合点(land)的形成范围。
即使在图10所示的例子中，因焊锡的倾斜角度，观察用的反射光也被分开呈上方陡峭倾斜面为蓝色，中间缓斜面为绿色，电路板表面附近接近平坦状的面为红色的图像。
对于上述检查装置，预先对R、G、B的每种色彩设定好赋予2个值的门槛值，把上述摄像机装置3拍得的图像利用上述这些赋予2个值的门槛值而2值化，再抽取每个R、G、B的2值图形(以下，把它称作“色彩图形”)。关于这些色彩图形，预先对形状较好的焊锡图像得到的图形进行记录，把检查对象物的图像上的各色彩图形的特征与上述记录图形的特征进行比较，就可判断焊锡表面的状态是否合格。
近年来的器件安装用电路板，伴随着器件安装的高密度化，结合点变小，特别对于便携式电话用的那样的电路板，已处于不能使电路板的结合点变得更小的状态。但是，若要使这种电路板结合点更小，则势必带来带状体的倾斜度急增，导致难以抽取R、G、B的各色彩图形。
图11示出带状体倾斜度急增时观测到的实例。在该实例中，因为结合点的形成范围S2变小，所以带状体整个全长以对应蓝色用的光源的角度倾斜，导致观测用的反射光的大部分只是蓝色光的现象出现。
同样的问题在观测器件引线倾斜时也会产生。例如，使用上述图8的光学系统，观测引线上表面时，即使引线产生偏斜，若该偏斜引起的倾斜角度的变化很微小，也因为这种微小的变化被包含在通常由红色光检测的范围内，所以难以检测到引线上微小偏斜。
这样，想详细观测陡峭的对象物的倾斜状态或者想检测倾斜角度的微小变化时，用上述光学系统将难以实现。
另一方面，作为提高倾斜面检测中的分解能力的方法，虽然考虑过增加光源的数量，但势必导致成本的增加。
本发明涉及的第1表面状态检查方法具有如下步骤在对检查对象物从仰角不同的多个方向分别照射不同色彩光的照明状态下，拍摄从上述检查对象物反射的反射光的步骤；对由上述拍摄而得到的图像，根据各色成分的强度关系，分别按照包含检查对象物的图像的图像区域内的每个像素，有选择地抽取对应各色彩光的色成分中强度最大的一个色成分的处理，或者抽取强度最大的色成分和强度第2大的色成分的处理中的任何一个处理的步骤；以及使用表示上述图像区域内的色成分的抽取处理结果的图像数据，检查上述检查对象物的表面状态的步骤。
这里所称的“检查对象物”是指那些如基板上带焊锡的部位或器件的引线那样的曲面状的表面或具有规定倾斜角度的表面(含水平面)为检查对象物。从仰角不同的多个方向照射的色彩光可以如红、绿、蓝的各色彩，但不限于这些色彩，也可使用如红、绿2色光源。
“包含检查对象物图像的图像区域”至少可以为由检查对象物的图像轮廓线所分界出的图像区域(即，检查对象物的图像自身)。较为理想的是，设定比检查对象物的图像要大的矩形状的区域。
作为上述图像区域，也可以设定包含多个对象物的图像区域。也可以把图像整体看成一个图像区域加以处理。
所谓“对应各色彩光的色成分”，是指在图像上可以认为对应从上述多个方向照射的各色彩光的色彩的特征量。例如，在照射上述的红、绿、蓝各色彩光时，可以把红、绿、蓝的各色信号的强度认作为色成分。在数字图像中，各色信号的强度可用每一像素的灰度来表示。
在抽取色成分的处理中，到底是仅抽取强度最大的1个色成分还是抽取强度最大的色成分和强度第2大的色成分的2个色成分可对应于第1位的色成分和第2位的色成分的强度差来决定。即，若第1位和第2位的各色成分间的强度差超过规定值的话，就仅抽取第1位色成分，在两者的差比规定值小的情况下，则最好抽取第1位及第2位的各色成分。
关于本发明涉及的色成分的抽出处理的原理，将以图8所示的光学系统为例进行说明。以下，把有如当从规定的光源向检查对象物照射光时，镜面反射该照射光的反射光射入摄像装置的那样倾斜的倾斜面称作“适合光源的倾斜面”。另外，把不夹着其它光源配置的2个光源(上述图8的光源8和9，以及9和10)称作“相邻光源”，把从这些光源发出的光称作“从相邻仰角方向发出的光”。把从适合这些相邻光源中的一个光源的倾斜面移动至适合另一光源的倾斜面间的倾斜面称作“边界位置的倾斜面”。
在检查对象物的倾斜面适合所定光源时，由于认为对应该光源的色成分比其它色成分的优势大得多，因此通过抽取强度最大的色成分，就能够得到与从上述光源发出的光相同的色彩所构成的图像。关于适合于上述相邻光源的位于倾斜面边界位置处的倾斜面，由于认为对应上述相邻光源的各色成分的强度处于相互接近的状态，因此，通过抽取强度最大的色成分和强度第2大的色成分，就能够得到对应于上述相邻光源的色彩的混合色所构成的图像。
例如，利用上述图8的光学系统进行观测时，可将适合于各光源8、9、10的配置方向的倾斜面分别用红、绿、蓝的各色彩表示。另外，能够分别用红和绿的混合色表示位于光源8、9边界位置的倾斜面，用绿和蓝的混合色表示位于光源9、10边界之间的倾斜面。这样，除了对应各光源的色彩外，还可用对应相邻光源的色彩的混合色来表示倾斜面，因此，根据图像上的各色彩的分布状态，能够比现有技术更细地设定倾斜角度检测所需的分解能力。
因而，能够利用与现有的技术相同的光学系统，以与配置更多光源时同样的分解能力，可清楚地识别检查对象物表面的倾斜面，按倾斜角度划区来识别陡峭的倾斜面，并可以对微小角度变化进行检测，从而能够提高检查的精度。
在表示上述色成分的抽取处理后的图像时，可通过1个或2个色成分来表示色彩鲜明的图像。因而，即使在检查对象物的表面上稍有分散性的情况下，由于抽取与倾斜角度对应的所定色成分，所以就能够清楚地表示检查对象物的表面状态，并能够在显示画面上容易地判断出该表面状态是否合适。
此外，如图8所示，在照射红、绿、蓝的各色彩光的情况下，还可使抽取色成分的处理步骤包含求各色成分的强度平均值的步骤和抽取各色成分中超过上述平均值的1个或2个色成分的步骤。
例如，在上述图8构成光学系统中，对于适合红色光源8的倾斜面的图像，由于红色成分比绿、蓝色成分具有压倒性的优势，因此，超过各色成分强度平均值的只为红色成分。另一方面，在适合光源8、9的各倾斜面的边界位置处，虽然红色成分和绿色成分的强度差变小，但由于蓝色成分仍然很弱，超过各色成分平均值的变为红、绿各色成分。于是，按照每个像素算出各色成分的平均值，除去低于该平均值的色成分，从而，能够抽取对应于注视像素的倾斜面的倾斜角度的1个或2个色成分。
在上述处理中，关于上述平均值比规定值低的像素(即亮度低的像素)，希望把对应于没有得到充分反射部分的像素从上述抽取处理的对象中除掉。
接着，检查上述检查对象物的表面状态的步骤可包含在执行抽取色成分的处理步骤后的上述图像区域中，把该区域内的各像素根据上述抽取的色成分的种类以及组合进行分组的步骤；以及根据所属各组的像素的分布状态判断上述对象物的表面状态是否合格的步骤。
在上述分组步骤中，能够按照每个色成分，另外按照从相邻仰角方向射出的光相应的2个色成分的每一组合来设定色组。这里，仅抽取了单独色成分的像素被包含在由对应于该抽取的色成分的色彩所表示的倾斜面的图像区域内。而抽取了2个色成分的像素被包含在由与该抽取的色成分对应的色彩的混合色所表示的倾斜面的图像区域内。
这样，根据上述分组处理，把检查对象物的表面状态划分成与色组数量相当的倾斜面而可检测出该对象的表面状态。这里，若倾斜面的倾斜状态发生变化，则色成分的抽取处理结果也发生变化，色组划分结果也跟着发生变化，其结果是，属于各组的像素的分布状态也变化。
属于各组的像素的分布状态，通过如给各像素按照每组贴上不同标记的贴标记处理而能被抽取。在这种情况下，基于贴标记结果，划分与各组对应的像素区域并能依标记识别这些区域。
根据各组的分布状态变化，当然因各组所属的像素数量也变化，所以还能够把各组的像素数量作为表示这些组所属的像素的分布状态的参数。
在判断上述检查对象物的表面状态是否合格的步骤中，通过把经贴标记处理所抽取的每组的特征量(重心位置，面积等)或者上述像素数量等的参数与规定的基准值比较，就能进行是否合格的判断。上述基准值最好是预先按以下方式来设定，即使用检查对象物的模型像素等求得处于良好表面状态下的特征量和参数，并根据该算出结果所代表的值来设定。
根据上述分组处理以及判断处理，基于各组所属的像素分布状态，能够区分并检测出适合于各光源的倾斜面及这些倾斜面的边界位置上的倾斜面，因此能够非常简单且精确地判断对象物的表面是否合格。
对于本发明涉及的第2倾斜识别方法具有如下步骤即，在对检查对象物从仰角不同的多个方向分别照射不同色彩光的照明状态下，拍摄上述检查对象物所反射的反射光的拍摄步骤；对由上述拍摄而得以的图像，分别按照包含检查对象物的图像的图像区域内的每个像素，将对应于规定色彩光的色成分与按等级设定的多个门槛值进行比较的步骤；以及根据对上述各像素的比较结果检查上述检查对象物的表面状态的步骤。
若根据上述图8的光学系统，即使是具有用相同色彩(例如蓝色)可抽取的倾斜面，因其倾斜角度，对应于上述色彩的色成分的强度也会发生变化。因而，若为该色成分设定多个门槛值，则能够将上述倾斜面的角度给于更细地划分并进行检测，能够进行更详细的检查。即使在检测如引线偏斜那样的角度变化情况下，也可以检测到微小角度变化，从而可提高检查精度。
接着，本发明涉及的第1电路板检查装置，具备把发出不同色彩光的多个光源分别以不同的仰角朝着检查对象物的电路板配置的照明装置；拍摄由上述电路板反射的反射光的拍摄装置；在点亮上述照明装置的各光源的状态下获取由上述拍摄装置生成的图像的图像输入装置；相对于由上述图像输入装置获取的输入图像，分别按照包含检查对象物的图像的图像区域的每个像素，根据各色成分的强度关系，选择性地实施从对应各光源的色成分中抽取强度最大的1个色成分的处理或者抽取强度最大的色成分和强度第2大的色成分的处理中的任意一种处理的色成分抽取装置；使用由上述色成分抽取装置执行的处理实施后的上述图像区域内的图像数据，来判断上述检查对象物的表面状态是否合格的判断装置；以及将由上述判断装置所作出的判断结果输出的输出装置。
在上述照明装置中，能够设置例如按照各种色彩具有不同直径的环状光源。另外，通过把如LED那样的发光体配置成多个环状的发光体群来构成一个光源。此外，还可把同色的发光体群按多个层次呈同心圆状配置成为一个光源。
拍摄装置可使用能生成各色彩的图像信号的CCD摄像机构成。图像输入装置是组装在进行检查用的图像处理的计算机内、生成作为处理对象的图像的装置，可包含放大处理来自上述拍摄装置的图像信号的放大电路和生成处理用数字图像的A/D转换电路。
拍摄装置不限于生成模拟图像信号的装置，也可使用数码摄像机。在此情况下，图像输入装置可构成为单独获取每一色彩的数字图像数据的输入口。
色成分抽取装置、判断装置可由安装了执行实施上述色成分抽取处理的步骤和检测上述检查对象物的表面状态的步骤的程序的计算机构成。在该计算机的存储器内除了存储上述程序外，还可存储处理对象的图像数据和色成分的抽取处理后的图像数据。
作为色成分抽取装置及判断装置处理对象的图像区域可预先根据安装状态良好的电路板或从电路板的设计数据求出的检查对象物的位置和大小进行设定。或者，也可以显示出由拍摄装置得到的图像，在该显示画面上接受与各检查对象物所对应的图像区域的指定，并将其保存到存储器内。但是，如果整个图像所包含的检查对象物是一个，并且在该图像上检查对象物显示得足够大的话，则也可使整个图像成为处理对象的图像区域。
输出装置能够作为把由上述判断装置所作出的判断结果向外部装置输出的接口电路构成。另外，也可以把显示上述判断结果的装置或者把上述判断结果存储于规定的存储介质上的信息存储装置作为输出装置(在后述的第3电路板检查装置中也一样)。
根据上述构成的装置，基于上述第1方法，对于电路板上的焊锡或器件引线等的表面，不仅能够更细致地检查倾斜角度，还能够自动判断表面状态是否合格。于是，能够用与现有技术相同的硬件结构进行详细的检查，提供一种成本低、性能高的自动电路板检查装置。
上述电路板检查装置更好的形式是，上述照明装置具备分别发出红、绿、蓝各色彩光的3种光源。而色成分抽取装置具备算出与上述各光源对应的色成分强度平均值的装置和抽取超过已算出的平均值的1个或2个色成分的装置。
根据该构成，由于能够使构成彩色图像的R、G、B各色信号的特征量成为对应各光源的色成分，因此，能够非常容易地进行色成分的抽取处理。通过对每一像素抽取超过各色成分强度平均值的色成分，就能够分别利用与从该光源发出的光相同的色彩把适合于各光源配置方向的倾斜面抽出，以及利用对应的2个光源的色彩的混合色把这些倾斜面边界位置处的倾斜面抽出。
对于更好形式的装置，上述判断装置是这样构成的即，包含根据上述抽取的色成分的种类及组合对上述色成分抽取装置所处理后的上述图像区域内各像素进行分组的装置，并依照属于各组的像素的分布状态来判断上述检查对象物的表面状态是否合格。如前所述，若根据色成分的种类及组合对检查区域内的各像素进行分组的话，则就能够区分并检测出适合于各光源的倾斜面及位于这些倾斜面的边界位置间的倾斜面。于是，就能够以超过光源数量的分解能力自动地区分检查对象物的表面，能够更精确地判断该倾斜状态是否合格。
接着，本发明涉及的第2电路板检查装置除了具有与上述第1电路板检查装置同样的照明装置、拍摄装置、图像输入装置和色成分抽取装置以外，还具备显示装置，该显示装置显示由上述色成分抽取装置抽取的各色成分所构成的图像，以及对于由上述显示装置所显示的图像，接受表示合格否的判断结果的数据输入的输入装置。
作为色成分抽取装置处理对象的图像区域也可以为随意指定的图像区域，或者也可把预先设定的图像区域作为对象。
显示装置由显示图像的监视器和对该监视器的显示进行控制的显示控制装置构成。显示控制装置可由安装了显示控制用程序的计算机构成。输入装置可由鼠标、键盘、控制台等输入操作用的设备构成。通过输入装置输入的数据或者向外部装置等输出或者存储于规定的存储媒体内。
上述第2构成的电路板检查装置相当于目测检查装置，即用户确认显示的图像，并判断检查对象物是否合格，再输入该判断结果的目测检查装置。在该装置中，关于检查对象物的电路板，由于是利用对应各光源的色彩及这些色彩的混合色来显示倾斜角度的分解能力已得到提高的图像，因此，可利用与现有照明系统相同的照明系统，更详细地观察对象物的表面状态，并能够实施高精度的检查。
本发明涉及的第3电路板装置具备与上述第1、及第2装置相同的照明装置、拍摄装置及图像输入装置，此外，还具备对于由图像输入装置获取的输入图像，分别按照包含检查对象物的图像的图像区域内的每一像素，将对应于规定光源的色成分与按等级设定的多个门槛值进行比较的比较装置；使用上述各像素中的比较结果，判断上述检查对象物的表面状态是否合格的判断装置；以及输出由上述判断装置所作出的判断结果的输出装置。比较装置和判断装置最好分别由安装了使该装置执行所作处理需要的程序的计算机构成。
上述第3电路板检查装置与第1电路板检查装置一样，是自动判断检查对象物的表面状态是否合格的装置。根据该构成的装置，利用多个门槛值能够详细区分并检测出作为相同色彩图样检测出的倾斜面的倾斜角度。因而，即使上述图11所示的陡峭形焊锡带或引线的微小的偏斜仍能精确检测出，并可提高判断精度。而且，由于硬件构成与现有的一样，因此能够在不增加成本的情况下，提供高性能的自动电路板检查装置。
本电路板检查装置是先对检查对象物的电路板进行拍摄，再处理所得到的图像，然后判断上述电路板上的焊锡结合部位是否合格的装置，其由摄像部3，投光部4，控制处理部5，X轴台6，Y轴台7等构成。
图中的1T是检查对象物的电路板(以下称“被检查电路板1T”)。1S是焊锡结合状态和器件的安装状态为良好的标准电路板，在检查前的示范时使用。
上述Y轴台7具备支持电路板1S、1T的传送带24，由图未示出的电机驱动该传送带24，使上述电路板1S、1T沿Y轴方向(与图1的纸面垂直的方向)移动。上述X轴台6在Y轴台7的上方支持摄像部3及投光部4，且可使它们沿X轴方向(图的左右方向)移动。
上述投光部4由具不同直径的3个圆环状光源8、9、10构成。这些光源8、9、10分别是发出红色光、绿色光、蓝色光的各色彩光的光源，通过将其中心恰好位于观察位置的正上方位置处，以从上述电路板1S、1T的支持面来看，位于不同的仰角方向的方式而被配置。
上述摄像部3是彩色图像生成用的CCD摄像机，其光轴对应于各光源8、9、10的中心，而且沿着垂直方向定位。由此，从作为观察对象的电路板1S、1T上的反射光入射到摄像部3，变换成三原色的每一种R、G、B的彩色图像信号，并输入到控制处理部5。
控制处理部5是以CPU11为控制主体的计算机，由图像输入部12，存储器13，摄像控制器14，图像处理部15，XY台控制器16，检查部17，示范台18，输入部19，CRT显示器20，打印机21，收发信号部22和外部存储装置23等构成。
图像输入部12具备放大来自摄像部3的R、G、B的各图像信号的放大电路和把这些图像信号变换成数字信号的A/D转换电路等。在存储器13内设定图像存储区域，该图像存储区域用于存储各R、G、B的数字量的深浅图像数据和把这些深浅图像作赋予2个值的处理后得到的2值图像等。
摄像控制器14具备把摄像部3及投光部4连接到CPU11的接口等，根据CPU11发出的命令，调整投光部4的各光源的光量，进行保持摄像部3的各色彩光输出的相互平衡等的控制。
XY台控制器16包含把上述X轴台6及Y轴台7连接到CPU11的接口等，根据CPU11发出的指令，控制X轴台6及Y轴台7的移动动作。
示范台18存储了判断文件，这些判断文件按照各种电路板分别汇总了检查区域的设定位置及大小，在该检查区域内为抽取检查用的色彩图样所需的2值化的门槛值，抽取的色彩图样的特征量(色彩图样的位置，大小等)，后述的每一色组的像素量，以及判断是否合格用的基准值等的检查信息。这些判断文件是在检查前由操作员使用拍摄上述基准电路板1S而得到的图像编撰成的，在检查时，由CPU11读出后设置于存储器13内，然后被供给到图像处理部15和检查部17等装置内。
图像处理部15利用存储于存储器13内的R、G、B的各图像数据，以像素单位抽取R、G、B的各灰度以及由这些灰度的总和所表示的亮度。此外，图像处理部15在每一检查区域，对焊锡结合部位实施后述的各色成分的抽取处理和每一色组的乘法处理等，而对焊锡以外的部位实施抽出R、G、B的各色彩图样的处理和算出抽取的色彩图样的特征量的处理。
检查部17接受由上述示范台18所提供的判断基准值等，按照每个检查区域将由上述图像处理部15求得的每组的像素数量和各色彩图样的特征量与判断基准值进行比较后，作出是否合格的判断，并把该判断结果输出给CPU11。CPU11综合每个检查区域的判断结果，并判定被检查电路板1T是否合格。该最终的判定结果输出给CRT显示部20或打印机21或者收发信号部22。
上述输入部19是输入检查用的各种条件或检查信息的装置，由键盘或鼠标等构成。CRT显示部20(以下仅称其为“显示部20”)接受从CPU11提供的图像数据、检查结果、从上述输入部19提纲的输入数据等，并将它们显示在显示画面上。打印机21接受从CPU11提供的检查结果等，以预定的形式将其打印出来。
收发信号部22是在与部件实装机、锡焊装置等其它装置之间进行数据交换的部件，例如，对于被判断为不合格的被检查电路板，通过把其识别信息和不合格内容输送给后续的修正装置，能够迅速修正不合格的地方。外部存储器23是在软盘、光磁盘等记录媒体上读写数据的装置，该外部存储器23或者用于保存上述检查结果，或者用于从外部读取检查所需要的程序或设定数据。
另外，在上述构成中，图像处理部15及检查部17由安装了执行上述各处理程序的专用处理器构成。但并不一定非要设置专用处理器，也可以给进行主控制的CPU11赋予图像处理部15及检查部17的功能。
对于本实施例的电路板检查装置，在检测焊锡结合部位时，通过将焊锡面的倾斜角度进行比现在更细分地区分并检测，就可进行高精度的检查。
图2是对由上述图1的光学系统所得的图像示意性地示出因焊锡面的倾斜角度的变化引起的红(R)，绿(G)，蓝(B)各色成分灰度变化的状态图。这里所示的倾斜角度是相对于水平方向的焊锡面的角度，焊锡面越接近于水平该倾斜角度就越小。
根据图1的光学系统，红色成分在角度接近平坦的角度范围A1内比其它的色成分具有优势，但随着倾斜角度的变大则优势就变小。相反，蓝色成分则随着倾斜角度增加而增加，在表示陡峭焊锡面的角度范围A3内比其它的色成分具有优势。绿色成分在与上述角度范围A1和A3之间的平缓倾斜面(缓倾斜面)对应的角度范围A3内具有优势，另外，在其它的角度范围内，焊锡面的角度随着靠近角度范围A2而增加。
在从角度范围A1移动至A2之间的角度范围a1，增加的绿色成分慢慢地接近减少的红色成分，进而，两者的大小关系逆转，并且差逐渐变大。对于从角度范围A2移动至A3之间的角度范围a2也是同样，会出现增加的蓝色成分慢慢地接近减少的红色成分，进而，两者的大小关系逆转且差变大的现象。
在本实施例中，基于上述特性，对于检查区域内的各像素，通过分别抽取最大色成分，或抽取最大色成分和第2大色成分这2个色成分，就可区分并抽取上述5个角度范围A1、A2，A3，a1，a2对应的焊锡面。
上述色成分的抽取处理是以各色成分的平均值为基准进行的。如上述图2所示，在适合各光源8、9、10的角度范围A1、A2、A3，分别对应光源8、9、10的单独色成分比其它2个色成分更具优势。此时，若求出3个色成分的平均值，因1个优势色成分导致平均值上升，所以上述平均值必然位于该优势色成分和其它2个劣势色成分之间。
另一方面，在对应与边界位置的倾斜面的角度范围a1，a2，由于最大色成分和第2大色成分之差变小，但是这2个色成分和余下的色成分之间存在较大的差异，因此，3个色成分的平均值就会位于第2大色成分和余下的劣势色成分之间。
图3示出色成分的抽取处理的具体实例。
图3(1)示出对上述图2的角度范围a1内的一像素进行的处理。在该图例中，因为红及绿的各色成分的灰度较大，所以比各灰度的平均值Av小的灰度只是蓝色成分。此时，虽然能够维持红及绿的各色成分的灰度，但蓝色成分的灰度变更为零。
图3(2)示出对上述图2的角度范围A1内的一像素进行的处理。在该图例中，因为红色成分的灰度比其它2个高，而绿、蓝的各色成分的灰度的差较小，所以超过平均值Av的灰度只是红色成分。在这样的情况下，只维持红色成分的灰度，绿、蓝的各色成分的灰度变更为零。
在其它的角度范围也与上述情况一样，在角度范围A2只维持绿色成分的灰度，而在角度范围A3只维持蓝色成分的灰度，余下的2个成分的灰度变更为零。另外，对于角度范围a2，维持绿及蓝的各色成分的灰度，而红色成分的灰度变更为零。
通过这样的处理，对应于角度范围A1、A2、A3的各倾斜面分别变换成红、绿、蓝单色的深浅图像。对应于角度范围a1的倾斜面变换成红和绿混合色的深浅图像，对应于角度范围a2的倾斜面变换成绿和蓝的混合色的深浅图像。
图4是对基板上的条状焊锡，示意性地示出执行上述色成分的抽取处理后，使图像上显现的色彩分布对应条状焊锡的倾斜状态。由于图示例的条状焊锡的倾斜角度从对应于上述图2的角度范围A3的角度开始慢慢地变小，并在接近基板面的位置上变化成平坦状，因此，沿着该倾斜角度变小的方向，依次出现蓝(B)，蓝和绿的混合色(图中，以BG表示)，绿(G)，绿和红和混合色(图中，以GR表示)，红(R)的各色彩区域。在混合色BG、GR的色彩区域内，根据构成混合色的2种色成分的强度的比率，实现色调变化。
这样，根据上述色成分的抽取处理，利用被抽取的色成分的种类及组合，能够把构成焊锡面的图像的各像素分组成上述5种类型的色彩区域(以下把与这些色彩区域对应的5种类型的组称作“色组”)。
根据上述5种类型的色组，能用属于各色组的像素的数量来表示图像上的上述5种类型色彩的出现频率。如上述图4所示，因5种类型的色彩实质代表与焊锡面的倾斜角度对应的分布状态，所以若焊锡面的倾斜状态发生变化，且各色彩的分布状态发生变化的话，当然，各色彩的出现频率也会发生变化。即，因上述每一色组的像素数可认为表示图像上的5种类型的色彩的分布状态的参数，所以能够用该像素数来判断焊锡面的倾斜状态是否合格。
在本实施例的电路板检查装置中，对于被检查电路板1T上的焊锡结合部位，利用上述图3所示的方法，对设定的检查区域内的每一像素，分别抽取1个或2个色成分，同时，根据抽取的色成分的种类及组合把各像素分类成上述5种色组。按照每一色组分别求出该色组所包含的像素的数量。进一步，通过把该每一色组的像素数与判断基准值进行比较，就可判断该焊锡结合部位是否合格。
下面，按顺序说明该检查的示范以及检查中的详细顺序。
图5示出示范时的顺序。该图5及以下的说明中，用ST表示各处理的步骤。
示范时，首先，操作员操作输入部19，登录作为示范对象的电路板名称和电路板尺寸等，之后，把上述基准电路板1S设置到Y轴台7上，在上述投光部4的照明下，开始拍摄图像(ST1)。经过该处理，R、G、B的各图像信号被输入到图像输入部12，之后，进行数字变换处理，处理对象的彩色深浅图像数据被输入到上述存储器13内。这里，所输入的彩色图像由上述显示部20显示。
操作员把摄像部3及投光部4定位到规定的被检查部位上，并进行拍摄，对得到的图像使用鼠标等指定检查区域。CPU11接受该指定操作，跳到ST2，获取上述检查区域的设定位置以及大小后，临时保存在存储器13内(ST2)。
另一方面，操作员在检查区域包含有焊锡结合部位的情况下，接着上述检查区域的设定操作输入表示该宗旨的识别信息。通过输入该识别信息，若ST3为“YES”时，下面，按序注视设定的检查区域内的像素，执行步骤ST4～8的处理。
在步骤ST4中，算出上述检查区域内的1个像素的R、G、B的各灰度的平均值Av，在接着的ST5中，将平均值Av与规定的门槛值L0进行比较。该门槛值L0是基于焊锡结合部位的图像的平均亮度而设定的，因此在上述平均值Av小于门槛值L0时，ST5成为“NO”。此时，跳过以下的ST6、7、8，结束对所注视的像素的处理。
若平均值Av大于门槛值L0的话，ST5为“YES”，在接着的ST6中，把R、G、B的各灰度中、比上述平均值小的灰度变更为零。
接着，在ST7中，根据ST6处理后的各色成分的灰度，决定注视像素所属的色组。这里，在注视像素中，在灰度比L0大的色成分是1个时，则与由该单一色成分所代表的色彩(R、G、B的任何一个)对应的色组就是所属的组。在灰度比L0大的色成分为2个时，与这两种色成分构成的混合色(RG或GB)对应的色组成为所属的组。
因此，一旦确定注视像素所属组，在接着的ST8中，把决定的色组的像素数量更新为在现在值上再加1的值。初始的像素数量被设定为零。
下面，通过对检查区域内的各像素执行同样的处理，能够在该检查区域内，求出属于R、G、B、RG、GB的各色组的像素数量。
对检查区域内全部的像素处理一旦结束，ST9就变为“YES”，则进入步骤ST12，对上述每一色组，根据最终得到的像素数量，分别设定判断基准值。该判断基准值最好是只比上述最终像素数量小规定差额量的值(例如，相当于最终像素数量的90％的值等)。
另一方面，在ST2中，在检查区域设定在焊锡结合部位以外的部位时，ST3成为“NO”，经过ST10、11的各步骤，与现有技术一样，就可设定使用R、G、B的各色彩图样的检查用数据。在ST10中，操作员利用在显示部20的图像上指定最适浓度的位置等的方法，对每个R、G、B输入赋予2个值的门槛值。CPU11获取该设定值，使其与上述检查区域的设定数据(位置或大小)相对应，并保存于上述存储器13内。
此外，在ST11中，基于上述设定的赋予2个值的门槛值，抽取各色彩图样。然后，对这些色彩图样，算出重心位置、面积等的特征量。之后，进入到ST12，根据上述特征量，设定判断是否合格的判断基准值。
下面，同样地，按顺序把电路板上的被检查部位拍摄下来，设定检查区域后，如果是焊锡结合部位，则把检查区域内的像素分类成上述5种类型的色组，并求出每一组的像素量；如果是焊锡结合部位以外的部位的话，则抽取R、G、B的各色彩图样并求出其特征量。然后，根据这样求出的像素数量和特征量，设定判断上述检查区域是否合格的判断基准值。在每个检查区域，作成使上述判断基准值对应于该区域的设定数据的检查信息(关于非焊锡结合部位，还包含各色彩图样赋予2个值的门槛值。)，并临时保存在存储器13内。
若结束了对全部的被检查部位的设定，则ST13为“YES”，在ST14中，关于各被检查部位，根据临时存储在存储器13内的检查信息，作成判断数据文件，存储于示范台18内。在该判断数据文件中，在作为上述焊锡结合部位的检查区域而被指定的检查区域内，设定有识别用的标记。
图6示出上述电路板检查装置的自动检查顺序。在该图中，以ST21以后的符号表示各步骤。另外该图6的顺序是对一块电路板进行的，因此若有多块被检查电路板，则对应于被检查电路板的数量反复进行即可。
该检查进行之前，操作员根据电路板名称等指定被检查电路板1T的种类。CPU11对应于该操作员所作的指定，通过示范台18读出与上述被检查电路板1T所对应的判断数据文件，并设置在存储器13内。若在此状态下进行检查开始的操作，那么，在最初步骤ST21中，被检查电路板1T被送到Y轴台7上，开始摄像。
接着，CPU11根据上述判断数据文件内的检查区域的设定数据，把摄像部3及投光部4定位在最初的被检查部位上，生成上述被检查部位的图像，在该图像上设定检查区域(ST22)。这里，在对该检查区域设定了上述识别用的标记的情况下，ST23为“YES”，以后，按顺序注视检查区域内的各像素，且执行与示范时的ST4～8同样的处理，由此，把各像素分成上述5种类型的色组，计数这些色组的每一组的像素数量(ST24～28)。在这种情况下，对于灰度平均值Av比门槛值L0小的像素，就跳过ST26～28的步骤。
对检查区域内全部的像素处理一旦结束，则ST29为“YES”，就进入到ST32。在ST32中，通过将在各色组中所得到的像素数量分别与上述判断基准值进行比较，就可判断焊锡结合部位是否合格。
另一方面，在检查焊锡结合部位以外的部位时，ST23为“NO”，在ST30中，通过上述每个色彩图样的赋予2个值门槛值使检查区域内的深浅图像赋予2个值，抽取R、G、B的色彩图样。在紧接着的ST31中，算出所抽取的各色彩图样的特征量后，进入ST32。在ST32中，把上述算出的特征量与上述判断基准值进行比较，从而判断被检查部位是否合格。
下面，同样地，根据判断数据文件内的检查信息，按顺序摄像各被检查部位，并设定检查区域后，对于焊锡结合部位，执行使用各色组的像素数量的判断处理，而对于焊锡结合部位以外的部位，则执行使用3种类型的色彩图样的特征量的判断处理。
对全部的被检查部位的判断处理一旦结束，则ST33为“YES”，以后，在ST34～36中，根据对各被检查部位所作出的判断结果，对该被检查电路板1T进行是合格品还是不合格品的任何一种的判断处理。然后，在ST37中，输出该判断结果，结束对上述被检查电路板1T的检查。
这样，在该实施例的电路板检查装置中，在检查焊锡结合部位时，由于使用对应于各光源8、9、10自身的色彩以及对应于相邻光源的2种混合色共计5种色彩所分别对应的5种类型的色组的像素数量来判断各色彩的分布状态是否合格，因此，能够比现有技术更细地区分焊锡面的倾斜角度，能够进行更为详细的检查。
在各色成分的抽取处理中，由于对每一像素要实施从构成图像数据的3种色成分中抽取强度最大的1种色成分或者抽取强度最大的色成分和强度第2大的色成分的处理，因此就能够用上述5种类型的色彩来表示图像中焊锡表面的倾斜状态。由此，如果目测检查装置代替上述的焊锡自动检查装置来执行上述色成分的抽取处理，而显示出抽取处理后的图像的话，则就可根据上述5种类型的色彩的分布状态详细地识别焊锡结合部位的倾斜状态。
在上述实施例中，虽然以各色成分的灰度的平均值为基准，进行色成分的抽取处理，但不限于此，比较第1位及第2的各色成分的灰度，在两者的差比规定值小时，只抽取第1位的色成分，若两者的差在上述规定值以内的话，则也可以抽取至第2位的色成分。
虽然，在上述图2中，在单一色成分占优的角度范围A1、A2、A3中，用同样的大小示出优势的色成分，但实际上，即使在用相同色彩能够检测出的角度范围，因角度也会产生微小的变化。
例如，虽然上述图11所示的条状焊锡型的陡峭倾斜面，以图1的光学系统，检测到蓝色图样，但对于这样的倾斜面，随着从上向下作移动，蓝色成分会慢慢地减少。
因而，对于单一色成分占优势的检查对象，可对该优势色成分设定多个门槛值。如果采取了这样的设定，由于能够更加细分地识别现有的用1种色彩检测的角度范围，因此对于上述陡峭倾斜面，也能够详细地看清其倾斜的状态，并能够进行高精度的检查。通过细分门槛值的设定间隔，就可提高角度检测的分解能力，因此即使对于细微的角度变化，仍能精确地检测。
图7示出使用上述按级设定的多个门槛值来检查IC引线状态时的检查对象的例子。
若安装状态合适，因引线的上表面平坦，所以根据上述图1的投受光部，图像上的引线由红色图样表示。因而，只要对红色成分设定多个门槛值，就可看清引线上表面的倾斜角度。
图7(1)和图7(2)分别示出某器件30A的1条引线31A上出现偏斜的状态和同一器件30B的相同位置的引线31B上出现更微小偏斜的状态。在图7(1)(2)中，32A、32B示出合格状态的引线。
在由上述投光部4照明下拍摄这些引线31A、32A、31B、32B，在得到的图像上比较表示上述引线31A、31B的红色成分，引线31A的红色成分比引线31B的红色成分少。另外，若把对应于图7(2)的不合格引线31B的红色成分与其它合格引线32B的红色成分相比较，前者比后者表示出更低的值。
因而，如果对应于表示合格的引线32A、32B及各不合格的引线31A、31B的红色成分的大小来设定3种类的门槛值，就能够精确地检测出这些引线的倾斜度的差异。
在进行这种检查时，如果分别使非红色的色彩图样对应着检测出不合格引线的门槛值，就能够用与该倾斜度对应的色彩图样来表示不合格的引线。例如，如图7(1)所示，在引线的倾斜角度比较大的情况下，显现出绿色图样，如图7(2)所示，引线的倾斜角度微小时，若显现出黄色图样，则可根据这些色彩非常容易地判断引线的倾斜状态。同样地，在上述图11所示的实例中也是如此，例如，若对蓝色成分设定3级门槛值，用红、绿、蓝的各色彩图样来表示利用这些门槛值检测出的倾斜面的话，则就可进行与平缓的倾斜面的情况相同的图样表示。
上述的利用多个门槛值检测倾斜角度的方法，能够适用于图1的电路板检查装置。如果与该检测方法一起，把上述的根据检测角度改变显示色的方法引入到具有与图1相同光学系统的目测检查装置内的话，则即使检查对象的微小的倾斜的变化，也能够容易地识别，并能够进行高精度的检查。
此外，在自动、目测的任何一个装置中，还可以对应被检查部位的种类或检查目的，在根据对应各光源的色彩和对应其混合色的5种类型的色彩图样所进行的检查、以及对单一的色成分设定多个门槛值所进行的检查之间进行切换，而实施检查。
如上所述，在本发明中，对于从不同的仰角方向照射出多种色彩光的照明下所得到的彩色图像，由于利用抽取对应各色彩光的色成分中强度最大的1个色成分的处理或抽取强度最大的色成分和强度第2大的色成分的处理，且分别借助于不同色彩抽出适合于各色彩光的倾斜面及位于这些倾斜面的边界位置处的倾斜面，因此，能够利用与现有相同结构的光学系统来提高倾斜角度检测中的分解能力。
在本发明中，对于用同种色彩检测出的倾斜角度范围，由于把构成该色彩的色成分与按级设定的多个门槛值进行比较，因此，能够利用与现有相同结构的光学系统来提高倾斜角度检测中的分解能力。
于是，在本发明中，既能够区分并检测出陡峭的倾斜面的倾斜角度，又能精确地检测出表面微小角度变化，因此，能以与现有相同的硬件构成来提高检查对象物的表面状态的检查精度。
权利要求
1.一种表面状态检查方法，其特征在于该方法包括执行以下步骤在对检查对象物从仰角不同的多个方向分别照射不同色彩光的照明状态下，拍摄从上述检查对象物反射的反射光的拍摄步骤；对由上述拍摄而得到的图像，分别按照包含检查对象物的图像的图像区域内的每个像素，根据各色成分的强度关系，有选择地执行抽取对应各色彩光的色成分中强度最大的一个色成分的处理，或者抽取强度最大的色成分和强度第2大的色成分的处理中的任何一个处理的步骤；以及使用表示上述图像区域内的色成分的抽取处理结果的图像数据，检查上述检查对象物的表面状态的步骤。
2.根据权利要求1所述的表面检查方法，其特征在于从上述多个方向射出的色彩光是红，绿，蓝的各色彩光，抽取上述色成分的处理步骤包含求出各色成分的强度的平均值的步骤，和从各色成分中抽取超过上述平均值的1个或2个色成分的步骤。
3.根据权利要求1或2所述的表面检查方法，其特征在于检查上述检查对象物的表面状态的步骤包含在执行抽取色成分的处理步骤后的上述图像区域中，将该区域内的各像素根据上述抽取的色成分的种类以及组合进行分组的步骤，和根据所属各组的像素的分布状态判断上述检查对象物的表面状态是否合格的步骤。
4.一种表面状态检查方法，其特征在于该方法包括执行以下步骤在对检查对象物从仰角不同的多个方向分别照射不同色彩光的照明状态下，拍摄从上述检查对象物反射的反射光的拍摄步骤；对由上述拍摄而得到的图像，分别按照包含检查对象物的图像的图像区域内的每个像素，将对应于规定的色彩光的色成分与按等级设定的多个门槛值进行比较的步骤；和对应于上述各像素的比较结果检查上述检查对象物的表面状态的步骤。
5.一种电路板检查装置，其特征在于该检查装置具备把发出不同色彩光的多个光源分别以不同的仰角朝着检查对象的电路板配置的照明装置；拍摄由上述电路板反射的反射光的拍摄装置；在点亮上述照明装置的各光源的状态下获取由上述拍摄装置生成的图像的图像输入装置；对由上述图像输入装置获取的输入图像，分别按照包含检查对象物的图像的图像区域的每个像素，根据各色成分的强度关系，选择性地实施从对应各光源的色成分中抽取强度最大的1个色成分的处理，或者抽取强度最大的色成分和强度第2大的色成分的处理中的任何一个处理的色成分抽取装置；使用由上述色成分抽取装置执行处理后的上述图像区域内的图像数据，来判断上述检查对象物的表面状态是否合格的判断装置；以及将由上述判断装置所作出的判断结果输出的输出装置。
6.根据权利要求5所述的电路板检查装置，其特征在于上述照明装置具备分别发出红、绿、蓝各色彩光的3种光源，上述色成分抽取装置具备算出与上述各光源对应的色成分强度平均值的装置，和抽取超过算出的平均值的1个或2个色成分的装置。
7.根据权利要求5或6所述的电路板检查装置，其特征在于上述判断装置包含根据上述抽取的色成分的种类及组合在由上述色成分抽取装置处理后的上述图像区域内对该区域内的各像素进行分组的装置，并依照属于各组的像素的分布状态来判断上述检查对象物的表面状态是否合格。
8.一种电路板检查装置，其特征在于该装置具备把发出不同色彩光的多个光源分别以不同的仰角朝着检查对象的电路板配置的照明装置；拍摄由上述电路板反射的反射光的拍摄装置；在点亮上述照明装置的各光源的状态下获取由上述拍摄装置生成的图像的图像输入装置；对由上述图像输入装置获取的输入图像，分别按照包含检查对象物的图像的图像区域的每个像素，根据各色成分的强度关系，选择性地实施从对应各光源的色成分中抽取强度最大的1个色成分的处理，或者抽取强度最大的色成分和强度第2大的色成分的处理中的任何一个处理的色成分抽取装置；显示由上述色成分抽取装置抽取的各色成分所构成的图像的显示装置；以及对由上述显示装置所显示的图像，接受表示合格否的判断结果的数据输入的输入装置。
9.一种电路板检查装置，其特征在于该检查装置具备把发出不同色彩光的多个光源分别以不同的仰角朝着检查对象的电路板配置的照明装置；拍摄由上述电路板反射的反射光的拍摄装置；在点亮上述照明装置的各光源的状态下获取由上述拍摄装置生成的图像的图像输入装置；对于由上述图像输入装置获取的图像，分别按照包含检查对象物的图像的图像区域内的每一像素，将对应于规定的光源的色成分与按等级设定的多个门槛值进行比较的比较装置；使用上述各像素中的比较结果，判断上述检查对象物的表面状态是否合格的判断装置；和输出由上述判断装置所作出的判断结果的输出装置。
全文摘要
本发明提供一种了表面状态检查方法及电路板检查装置，采用与现有技术相同的光学系统，提高对倾斜角度的分解能力，并提高的检查精度。在具备发出红、绿、蓝的各色彩光的光源(8)、(9)、(10)以不同的仰角配置的投光部4的电路板检查装置中，对于包含有焊锡部位的检查区域，从红、绿、蓝的各色成分中，抽取超过这些色成分的强度平均值的1个或2个色成分。通过该抽取处理，适合于各光源的(8)、(9)、(10)的倾斜面分别被变换成红、绿、蓝的单色深浅图像。此外，适合于光源(8)、(9)的倾斜面的边界位置变换成红和绿的混合色的深浅图像，适合于光源(9)、(10)的倾斜面的边界位置变换成绿和蓝的混合色的深浅图像。
文档编号G01N21/956GK1431482SQ0310346
公开日2003年7月23日 申请日期2003年1月9日 优先权日2002年1月10日
发明者村上清, 藤井良树 申请人:欧姆龙株式会社