基于图像处理技术的手功能评价方法
【专利摘要】本发明提出了一种基于图像处理技术的手功能评价方法。其操作步骤如下：启动评价系统；获得两手图像；图像尺度的同一化；消除噪音提取手的形状；转换图像为黑白色；把一只手进行对称变化，调整手的方向；计算几何矩；计算几何矩之间的差距；利用改进的CNL算法获得轮廓的特征点；构造信息数据结构并添加数据；计算两只手的直方图差异度；计算两只手的差异度；关闭手功能评价系统（参考摘要附图）。本发明能够做出准确、快速、可数据化的科学的手功能恢复的评价，解决了在残疾手治疗过程中人为测量的误差和判断范围的精确问题，有利于医生用准确有效的方法来帮助患者的手部康复。
【专利说明】
基于图像处理技术的手功能评价方法
技术领域
[0001] 本发明涉及一种基于图像处理技术的手功能评价方法，应用在手功能评价系统中 自动检测健侧手和患侧手的区别程度，从而完成对患侧手的评价。 技术背景
[0002] 手功能评价在手功能恢复的过程中起着评价、对比、观察疗效的作用;还可以表达 伤残程度为社会有关部门提供手功能的判断标准。治疗过程进行连续评价不仅可以随时指 导调整治疗方案，而且对评判康复的效果非常重要。评价必须严格按照规范的标准方法实 施，以保障评价的效度和信度。目前主要评价方法比如：1975年美国手外科推荐的TAM系统 评价方法，用关节总体活动度测定法评定曲伸肌腱疗效，即远位指间关节主动屈曲度之和 作为该指总的活动度(TAM)。标准为:优(活动范围正常）、良（大于健测的75%)、可(大于健 测的50%)、差（小于健测的50%)。在评价过程中需要专业医生进行测定和评价，由于测定 者的个人差异已经判断标准的范围较大，11〇 % -75 % -50 % -0 %这些范围直接的变化无法 细致区别，对于训练过程中的细致变化无法反应，而造成康复训练过程中无法及时进行训 练程序的调整，严重影响训练效果，而且，现行的评价方法存在着非常大的主观性和不可靠 性。为了建立客观的精确的评定标准，我们利通过图像处理技术对健侧手和患侧手的关节 可动范围进行精确对比，解决了手指运动评定过程中人为测量的误差和判断范围的精确的 问题，从而使一般非专业医生也可以对手功能进行简单准确的评定。
【发明内容】
[0003] 本发明的目的在于针对已有技术存在的不足，提供一种基于图像处理技术的手功 能评价方法，能够自动检测和描述运动过程中健侧手和患侧手的区别程度。
[0004] 本发明要解决的技术问题：目前的手功能评价方法仍然是医生根据健侧手和患侧 手的区别来进行主观上的判断，并分为多个级别。而本发明可以根据手的轮廓和纹理的走 向以及姿势，能够自动给出患侧手的变化点数，医生在这个点数的基础上，可以客观的给出 患侧手病患级别。因此，本发明需要解决的技术问题如下：
[0005] 1.手的形状的提取
[0006] 包括调整背景和光的设置，利用图像学方法减少噪音对提取手形状的影响，获得 准确的手的形状和手的纹理曲线。这时候，获得的形状信息和纹理信息都是用像素的位置 来表示的。
[0007] 2.手的形状中的数据信息提取
[0008] 包括手形状的几何矩的信息提取;手的形状和纹理曲线的信息提取;轮廓信息数 据结构的构建;轮廓信息的提取。通过手形状的数据信息提取，把像素信息转换成了数学信 息，是本发明的主要部分。
[0009] 3.治疗手的变化程度的数据表示
[0010] 根据手形状中的数据信息，来数据化手的变化程度。
[0011] 4.健测手和患侧手的数据比较
[0012] 根据手形状中的数据信息比较两者，两只手之间的差距用数学能够表示出来。这 样，患侧手的康复程度能够用数学来标准化。
[0013]为达到上述"同心"手发明的构思是：
[0014] 利用两手的轮廓和内部纹理的走向，来找出和描述两者的区别。为了高效地找出 轮廓和纹理曲线，本发明改进了CNL(The Controlling Number of Landmarks);并且，计算 出包含两者图像的几何距;然后，构造出轮廓信息数据结构来描述手纹和轮廓的累加角度 信息;最后，通过比较两手的几何矩和轮廓信息数据结构中的数据来描述两者的区别程度。
[0015] 根据上述发明构思，本发明采用下述技术方案，即基于一种图像处理技术的手功 能评价方法，其特征在于操作步骤如下：
[0016] 1.启动手功能评价系统：
[0017] 手功能评价系统（图1所示)是被用于手的康复诊断和治疗。这需要组装两个黑盒 子，患者把双手分别放入这两个盒子内进行康复诊断和治疗。为了获得准确的手的信息，需 要光和背景的控制。盒子内壁上的布置多个光源用来消除阴影，降低阴影带来的识别难度， 提高手的形状提取的准确度。背景颜色和手的颜色要有很大的差异，以帮助手的信息提取。
[0018] 在两个盒子的上部中央处各安装一个摄像头，垂直向下。在使用过程中，两个摄像 头需要同时工作，获取患者的左右手形状信息。启动系统时，首先打开盒子内壁的光源的电 源，计算机控制系统同时启动两个摄像头。
[0019] 2.获得两手的图像：
[0020] 患者把手放入特制的盒子内部，获取患者两个手的形状信息的视频图像(每次同 时提取两张图片，图2所示）。这些信息包括手的形状轮廓，手纹轮廓信息，以及背景信息。这 些信息都是以像素值来表示的。
[0021] 3.图像尺度的同一化：
[0022] 变化尺度，以方便不同的摄像头拍摄的图像都统一为相同的尺度。注意的是，所有 的尺度变化不能引起手的形状变化。
[0023] 4.消除噪音提取手的形状：
[0024] 利用手的颜色和背景颜色的差异，把手的形状完整提取出来。把原始图像转换成 灰度图像，利用高斯去噪方法和数学形态学方法去除部分噪音，保留手形状中的正确信息。
[0025] 5.转换包含手信息的图片为黑白色。
[0026] 6.把正常手的图片按照图3所示，进行对称变化;并调整手的方向，使两个手的方 向相同。
[0027] 7.计算两幅图像的几何矩。
[0028]获取手形状的内部轮廓(手上的纹理)和外部轮廓信息。这些信息都是以像素值来 表示的。然后计算两幅图像的几何矩。
[0029]几何矩是由Hu在1962年提出的，具有平移、旋转、尺度不变性。对于灰度分布为f (x，y)的手的数字图像，则需要考虑其离散状体，则f(x，y)的(P+q)阶普通矩mPq和中心矩~。 定义如下·
[0030]
(1)
[0031]
(2)
[0032] 其中，M，N是图像的像素 x轴方向的个数和y轴方向的个数；
[0033] p，q = 0,1,2,…。XQ，yo是中心距，定义如下：
[0034] (.3)
[0035] C4)
[0036] 当图像放生变化时候，mPq也相应的发生变化，但是中心矩μΜ则具有平移不变性为 了消除其旋转不变性，我们把μ Μ进行归一中心化：
[0037] (5:〉
[0038]
[0039] :(:6)
[0040] Hu矩是利用二阶和三阶中心矩构造了七个不变矩，具有连续图像条件下保持平 移，缩放和旋转的不变性，定义如下：
[0049] 8.计算两幅图像的几何矩之间的差距，此差距计入变量a.
[0050]
(14)
[0051 ]其中，/丨和if ( …，7 )分别对应左右手的图像的几何矩;wi(i = l，…，7) 是调整参数，把不变矩的各个分量的数量级调整到相同的数量级；I l*l I是/丨和/,2的距离， 这里可以选择欧几里得距离来测量/)和/f的距离。可以根据要求，公式（14)可以只计算部 分几何矩之间的距离的和。
[0052] 9.改进CNL算法，获得轮廓的特征点。
[0053]可以米用多种方法来获得手轮廓上的点，例如提取局郃最大曲率方法，CSS (Curvature Scale Space)提取CSS图像的特征点方法等。本发明改进了CNL(The Controlling Number of Landmarks)方法来提取数字手的轮廓上的特征点。具体方法如 下：
[0054] ①获得所有的轮廓(每个轮廓认为是封闭轮廓），并排序、编号，并对每个封闭轮廓 进行步骤二到步骤六的循环；
[0055] ②对每个封闭轮廓，找到距离最远的两个点作为头两个特征点，并记录此最长距 离1;
[0056] ③定义一个1相关函数作为当前封闭轮廓的阈值，其中，α是一个控制参 数；
[0057]④从寻找第三个特征点开始，每个特征点到已经找到的相邻两个特征点为端点的 线段距离要大于ε，而ε在每次循环中都会改变如下K = .一一-1/ ,其中i是寻找特征点 a Κ. 1+1 ) 的遍历相应封闭轮廓的循环数；
[0058]⑤当ε不再变小，并且在同一ε下找不到新的特征点，循环停止；
[0059] ⑥对下一个封闭轮廓进行寻找特征点，直到遍历所有的封闭轮廓。
[0060] 考虑到不需要控制特征点的数量，因此，我们只记录轮廓上特征点的位置信息并 完全忽略了传统CNL方法中的特征点的数量信息。
[0061] 10.构造轮廓信息数据结构，添加相应数据。计算相邻的两个特征点之间的长度； 以手腕垂直方向为基准，计算这两个特征点的向量和这个基准向量之间的角度。这样，构造 出的轮廓信息数据结构包含两个信息:两个特征点之间的向量与基准向量的角度和这两个 特征点的距离。
[0062] 角度由小到大排列，根据相同角度，把相应的长度进行累加，这样，就得到一个直 方图，横坐标是角度信息，纵坐标是累加长度信息。一个直方图能够描述一个手的形状信 息。
[0063] 11.计算两只手的直方图差异度。对两只手的直方图进行比较，得到差异值，记为 b，公式如下：
[0064]
(15)
[0065] 其中，η是轮廓上相邻特征点组成的特征向量按照角度量化的个数;t i，t ' i是两个 手的直方图上的对应量化角度的累加距离；I 1*1 I是的距离，这里选择欧几里得距 离。12.利用以下公式，算出两个手的差异度d:
[0066] d = k*a+( l_k)*b · (16)
[0067] 其中，k是一个调整两种方法所占比重的参数，此参数可以固定为0.5,也可以根据 手的面积(手的不同姿态投影到二维图像上的面积不同）来自动确定k的値。差异度d作为最 后表现手康复的程度显示在电脑屏幕，并记录在数据库中，以便进一步的分析，用于患者进 一步的康复诊断和治疗。
[0068] 13.关闭手功能评价系统。
[0069]本发明与现有技术相比较，具有如下显而易见的突出实质技术特点和显著技术进 步：
[0070] 1.帮助提尚手的康复治疗的质量；
[0071 ] 2.量化了患侧手和健侧手之间的差异程度；
[0072] 3.通过此系统能够监控出被患侧手的细微变化，增强了患者的信心，从而加快了 治疗的速度；
[0073] 4.通过提取患者的康复数据，帮助医生总结患者的康复情况，帮助医生提高治疗 方法。
【附图说明】
[0074]图1是手功能评价系统中一个黑盒子的示意图。盒子顶部正中间安置一个摄像头， 用于提取手的图像信息；图1中多个小圆圈代表多个点光源，用于取消手的阴影对手的图像 的影响，根据实际要求，点光源位置和安置形式可以有所改变;盒子侧面底部有一个手可以 插入的入口，供患者放入手。
[0075]图2是患者把双手放入康复用盒子中后，左右手后各提取图像后的示意图。
[0076]图3是图像处理后右手图像镜面映射后的变化图（这里假设患者只有一只手是有 病患的；如果两只手都有病患，则可以每只手和健康人的手进行比较）。
[0077] 图4是基于本发明方法的实施流程框图。
【具体实施方式】
[0078] 本发明的实施例结合附图详述如下：
[0079] 实施例一：
[0080] 参见图4,基于图像处理技术的手功能评价方法，通过一种自动检测健侧手与患侧 手区别程度，从而完成对患侧手的评价，其特征在于操作步骤如下：
[0081] (a)启动手功能评价系统:首先打开盒子内壁的光源的电源，计算机控制系统同时 启动两个摄像头；
[0082] (b)获得两手的图像:患者把手放入特制的盒子内部，获取患者两个手的形状信息 的视频图像；
[0083] (c)图像尺度的同一化:变化尺度，以方便不同的摄像头拍摄的图像都统一为相同 的尺度；
[0084] (d)消除噪音提取手的形状:利用手的颜色和背景颜色的差异，把手的形状完整提 取出来；
[0085] (e)转换包含手信息的图片为黑白色；
[0086] (f)把一只正常手进行对称变化，并调整手的方向，使两个手的方向相同；
[0087] (g)计算两幅图像的几何矩；
[0088] (h)计算两幅图像的几何矩之间的差距；
[0089] (i)改进CNL算法，获得轮廓的特征点；
[0090] (j)构造轮廓信息数据结构，添加相应数据；
[0091] (k)计算两只手的直方图差异度；
[0092] (1)计算两只手的差异度；
[0093] (m)关闭手功能评价系统。
[0094] 实施例二：
[0095] 本实施例与实施例一基本相同，特别之处如下：
[0096] 实施例一中所述步骤(a)启动手功能评价系统。盒子内壁上的布置多个光源用来 消除阴影，降低阴影带来的识别难度，突出背景颜色和手的颜色的差异度，提高手的形状提 取的准确度;在使用过程中，两个摄像头需要同时工作，获取患者的左右手形状信息；启动 系统时，首先打开盒子内壁的光源的电源，计算机控制系统同时启动两个摄像头。
[0097] 所述步骤(b)获得两手的图像，这些图像包括手的形状轮廓，手纹轮廓信息，以及 背景信息。
[0098] 所述步骤(c)对图像的尺度进行同一化。
[0099] 所述步骤(d)消除图像噪音提取手的形状。
[0100] 所述步骤(e)转换包含手信息的图片为黑白色。
[0101] 所述步骤(f)把一只正常手进行对称变化，并调整手的方向，使两个手的方向相 同。
[0102] 所述步骤(g)通过公式(1)~（13)计算出两幅图像的几何矩。
[0103] 所述步骤(h)根据公式（14)计算出两幅图像的几何矩之间的差距。
[0104] 所述步骤(i)利用改进的CNL算法，获得轮廓的特征点。具体方法和步骤如下：
[0105] ①获得所有的轮廓(每个轮廓认为是封闭轮廓），并排序、编号，并对每个封闭轮廓 进行步骤二到步骤六的循环；
[0106] ②对每个封闭轮廓，找到距离最远的两个点作为头两个特征点，并记录此最长距 离1;
[0107] ③定义一个1相关函数作为当前封闭轮廓的阈值f = ，其中，α是一个控制参 数；
[0108] ④从寻找第三个特征点开始，每个特征点到已经找到的相邻两个特征点为端点的
线段距离要大于ε，而ε在每次循环中都会改变如下： ，其中i是寻找特征点 的遍历相应封闭轮廓的循环数；
[0109] ⑤当ε不再变小，并且在同一ε下找不到新的特征点，循环停止；
[0110] ⑥对下一个封闭轮廓进行寻找特征点，直到遍历所有的封闭轮廓。
[0111] 所述步骤(j)构造轮廓信息数据结构。计算相邻的两个特征点之间的长度；以手腕 垂直方向为基准，计算这两个特征点的向量和这个基准向量之间的角度;构造出的轮廓信 息数据结构包含两个信息:两个特征点之间的向量与基准向量的角度和这两个特征点的距 离；角度由小到大排列，根据相同角度，把相应的长度进行累加，这样，就得到一个直方图， 横坐标是角度信息，纵坐标是累加长度信息，一个直方图能够描述一个手的形状信息。
[0112] 所述步骤(k)对两只手的直方图进行比较，通过公式（15)得到直方图的差异值。
[0113] 所述步骤(1)根据公式(16)计算两只手的差异度。
【主权项】
1. 基于图像处理技术的手功能评价方法，通过一种自动检测健侧手与患侧手区别程 度，从而完成对患侧手的评价，其特征在于操作步骤如下： (1) 启动手功能评价系统:首先打开盒子内壁的光源的电源，计算机控制系统同时启动 两个摄像头； (2) 获得两手的图像:患者把手放入特制的盒子内部，获取患者两个手的形状信息的视 频图像； (3) 图像尺度的同一化:变化尺度，W方便不同的摄像头拍摄的图像都统一为相同的尺 度； (4) 消除噪音提取手的形状:利用手的颜色和背景颜色的差异，把手的形状完整提取出 来； (5) 转换包含手信息的图片为黑白色； (6) 把一只正常手进行对称变化，并调整手的方向，使两个手的方向相同； (7) 计算两幅图像的几何矩； (8) 计算两幅图像的几何矩之间的差距； (9) 改进算法，获得轮廓的特征点； (10) 构造轮廓信息数据结构，添加相应数据； (11) 计算两只手的直方图差异度； (12) 计算两只手的差异度； (13) 关闭手功能评价系统。2. 根据权利要求1所述的基于图像处理技术的手功能评价方法，其特征在于:所述步骤 (1) 启动手功能评价系统，设置光源位置和强度，W及设置背景，突出手的颜色;构建的手功 能评价系统需要光和背景的控制，盒子内壁上的布置多个光源用来消除阴影，降低阴影带 来的识别难度，突出背景颜色和手的颜色的差异度，提高手的形状提取的准确度;在使用过 程中，两个摄像头需要同时工作，获取患者的左右手形状信息；启动系统时，首先打开盒子 内壁的光源的电源，计算机控制系统同时启动两个摄像头。3. 根据权利要求1所述的基于图像处理技术的手功能评价方法，其特征在于:所述步骤 (2) 获得两手的图像，运些图像包括手的形状轮廓，手纹轮廓信息，W及背景信息。4. 根据权利要求1所述的基于图像处理技术的手功能评价方法，其特征在于:所述步骤 (3) 图像尺度的同一化，运方便不同的摄像头拍摄的图像都统一为相同的尺度。5. 根据权利要求1所述的基于图像处理技术的手功能评价方法，其特征在于:所述步骤 (4) 消除噪音提取手的形状，把原始图像转换成灰度图像，利用高斯去噪方法和数学形态学 方法去除部分噪音，保留手形状中的正确信息。6. 根据权利要求1所述的基于图像处理技术的手功能评价方法，其特征在于:所述步骤 (5) 转换包含手信息的图片为黑白色。7. 根据权利要求1所述的基于图像处理技术的手功能评价方法，其特征在于:所述步骤 (6) 把一只正常手进行对称变化，并调整手的方向，使两个手的方向相同。8. 根据权利要求1所述的基于图像处理技术的手功能评价方法，其特征在于:所述步骤 (7) 计算两幅图像的几何矩，对于灰度分布为f(x，y)的手的数字图像，则需要考虑其离散状 体，则f ( X，y )的(P+q )阶普通矩mpq和中屯、矩化q定义如下：其中，Μ, N是图像的像素 X轴方向的个数和y轴方向的个数； p，q = 0，l，2,…，xo，yo是中屯、距，定义如下：当图像放生变化时候，mpq也相应的发生变化，但是中屯、矩μρ。则具有平移不变性为了消 除其旋转不变性，我们把μρ。进行归一中屯、化：化矩是利用二阶和Ξ阶中屯、矩构造了屯个不变矩，具有连续图像条件下保持平移，缩 放和旋转的不变性，定义如下：9. 根据权利要求1所述的基于图像处理技术的手功能评价方法，其特征在于:所述步骤 (8)计算两幅图像的几何矩之间的差距，此差距计入变量a。(14) 其中，/巧日巧α=ι，···，7)分别对应左右手的图像的几何矩;κια=ι，···，7)是调整参 数，把不变矩的各个分量的数量级调整到相同的数量级；11*11是/!和巧的距离，运里可W 选择欧几里得距离来测量/巧日巧的距离。10. 根据权利要求1所述的基于图像处理技术的手功能评价方法，其特征在于:所述步 骤(9)改进算法，获得轮廓的特征点，具体方法步骤如下： ① 获得所有的轮廓，每个轮廓认为是封闭轮廓，并排序、编号，并对每个封闭轮廓进行 步骤二到步骤六的循环； ② 对每个封闭轮廓，找到距离最远的两个点作为头两个特征点，并记录此最长距离1; ③ 定义一个1相关函数作为当前封闭轮廓的阔值，其中，α是一个控制参数； ④ 从寻找第Ξ个特征点开始，每个特征点到已经找到的相邻两个特征点为端点的线段 距离要大于ε，而ε在每次循环中都会改变如下其中i是寻找特征点的遍 历相应封闭轮廓的循环数； ⑤ 当ε不再变小，并且在同一ε下找不到新的特征点，循环停止； ⑥ 对下一个封闭轮廓进行寻找特征点，直到遍历所有的封闭轮廓； 考虑到不需要控制特征点的数量，因此，只记录轮廓上特征点的位置信息并完全忽略 了传统方法中的特征点的数量信息。11. 根据权利要求1所述的基于图像处理技术的手功能评价方法，其特征在于:所述步 骤(10)构造轮廓信息数据结构，添加相应数据;计算相邻的两个特征点之间的长度；W手腕 垂直方向为基准，计算运两个特征点的向量和运个基准向量之间的角度;构造出的轮廓信 息数据结构包含两个信息:两个特征点之间的向量与基准向量的角度和运两个特征点的距 离；角度由小到大排列，根据相同角度，把相应的长度进行累加，运样，就得到一个直方图， 横坐标是角度信息，纵坐标是累加长度信息，一个直方图能够描述一个手的形状信息。12. 根据权利要求1所述的基于图像处理技术的手功能评价方法，其特征在于:所述步 骤（11)计算两只手的直方图差异度，对两只手的直方图进行比较，得到差异值，记为b，公式 如下：(化） η是轮廓上相邻特征点组成的特征向量按照角度量化的个数;ti，t ' 1是两个手的直方图 上的对应量化角度的累加距离；I 1*1 I是ti和t'l的距离，运里选择欧几里得距离。13. 根据权利要求1所述的基于图像处理技术的手功能评价方法，其特征在于:所述步 骤（12)计算两只手的差异度，两个手的差异度d的公式如下： d = k*a+(l-k)*b. (16) k是一个调整两种方法所占比重的参数，此参数可W固定为0.5,也可W根据手的面积 (手的不同姿态投影到二维图像上的面积不同）来自动确定k的値。
【文档编号】G06T7/00GK105844096SQ201610165832
【公开日】2016年8月10日
【申请日】2016年3月19日
【发明人】韩越兴
【申请人】上海大学