人造眼的距离感知装置的制造方法
【专利摘要】本实用新型涉及移动人造眼技术领域，本实用新型提供一种人造眼的距离感知装置，距离感知装置包括第一摄像头、第二摄像头、视频处理器、信号发射器、信号接收器以及视网膜植入模块；第一摄像头和第二摄像头获取处于不同角度的第一图像和第二图像；视频处理器获取该场景图像的视差图，并根据视差图和双目摄像头的拍摄参数获取该场景图像的深度图像；信号接收器将深度图像信号转换成电脉冲信号；视网膜植入模块在视网膜产生该场景的图像信息，通过摄像头从不同角度同时获得被测物的两幅数字图像，重建物体三维轮廓及位置，从而获得人造眼视界场景中的物体和环境的深度图像信息，使用户获得图像的空间距离信息，感知前方的物体更加的准确。
【专利说明】
人造眼的距离感知装置
技术领域
[0001]本实用新型涉及人造眼技术领域，尤其涉及一种人造眼的距离感知装置。
【背景技术】
[0002]人造眼是使盲人重建光明的一种装备，它的基本原理是:首先通过盲人眼镜上面的一个缩微摄像机获取外部景观，图像将通过无线传输使用能量驱动IC传送到患者视网膜后面的电脑芯片中，芯片会将这些图像转化成视觉神经可以理解的神经脉冲信号，通过视网膜表面或视网膜下腔的微电极刺激视觉细胞，传导冲动到大脑，大脑继续将这一信号转换为图像，就如同我们的大脑处理正常视觉产生的图像信息一样。
[0003]目前人造眼装置受客观条件的影响，微电极的数目只能控制在一定的数量范围内，传输给大脑的图像仅限于低分辨率的灰度图像。受图像质量低下的影响，盲人接收到的图像信息十分有限，如模糊的人脸，模糊的道路，模糊的物体。这些信息不足以帮助盲人对前方的场景进行正确的判断，包括对前方物体距离的感知。
[0004]综上所述，现有技术中由于存在人造眼传输的图像质量低下使盲人无法准确感知前方物体的问题。
【实用新型内容】
[0005]本实用新型的目的在于提供一种人造眼的距离感知装置，旨在解决针对现有技术中由于存在人造眼传输的图像质量低下使盲人无法准确感知前方物体的问题。
[0006]本实用新型第一方面提供一种人造眼的距离感知装置，所述距离感知装置包括第一摄像头、第二摄像头、视频处理器、信号发射器、信号接收器以及视网膜植入模块；
[0007]所述第一摄像头和所述第二摄像头用于分别拍摄同一场景的图像，以获取处于不同角度的第一图像和第二图像，并将所述第一图像和所述第二图像发送给视频处理器；
[0008]所述视频处理器根据所述第一图像和所述第二图像获取该场景图像的视差图，并根据所述视差图和所述双目摄像头的拍摄参数获取该场景图像的深度图像，将所述深度图像通过所述信号发射器进行发射；
[0009]所述信号接收器接收深度图像信号，将所述深度图像信号转换成电脉冲信号，并将所述电脉冲信号输出给所述视网膜植入模块；
[0010]所述视网膜植入模块在视网膜产生该场景的图像信息。
[0011]结合第一方面，在第一方面的第一种实施方式中，所述视频处理器根据所述第一图像和所述第二图像获取该场景图像的视差图的过程具体为:
[0012]对所述第一图像和所述第二图像进行立体匹配，以获取所述第一图像和所述第二图像对应的同源点坐标对；
[0013]调整所述第一图像和所述第二图像所对应的同源点坐标，以使所述同源点坐标对中的纵坐标相同；
[0014]根据所述同源点坐标对中的纵坐标和横坐标获取视差图。
[0015]结合第一方面，在第一方面的第二种实施方式中，所述距离感知装置包括镜框和两个镜腿，所述第一摄像头和所述第二摄像头分别设置在所述镜框的两侧，所述信号发射器设置在其中一个镜腿上。
[0016]结合第一方面，在第一方面的第三种实施方式中，所述距离感知装置还包括语音输出模块；
[0017]所述视频处理器还用于根据所述深度图像获取场景图像中物体的位置信息，并将所述位置信息转换成语音信号并驱动所述语音输出模块进行播放。
[0018]结合第一方面，在第一方面的第四种实施方式中，所述语音输出模块设置在其中一个镜腿上。
[0019]本实用新型提供一种人造眼的距离感知装置，通过摄像头从不同角度同时获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置，从而确定被测物与摄像头的距离，以获得人造眼视界场景中的物体和环境的深度图像信息，以使用户获得图像的空间距离信息，感知前方的物体更加的准确。
【附图说明】
[0020]为了更清楚地说明本实用新型实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本实用新型一种实施例提供的一种人造眼的距离感知方法的流程图；
[0022]图2是本实用新型另一种实施例提供的一种人造眼的距离感知装置的结构示意图；
[0023]图3是本实用新型另一种实施例提供的一种人造眼的距离感知装置的部分结构图；
[0024]图4是本实用新型另一种实施例提供的一种人造眼的距离感知装置的部分结构图。
【具体实施方式】
[0025]为了使本实用新型的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本实用新型进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本实用新型，并不用于限定本实用新型。
[0026]为了说明本实用新型的技术方案，下面通过具体实施例来进行说明。
[0027]本实用新型一种实施例提供一种人造眼的距离感知方法，如图1所示，距离感知方法包括以下步骤:
[0028]步骤S101.拍摄同一场景的图像以获取该场景处于不同角度下的第一图像和第二图像。
[0029]在本步骤中，具体的，一种实施方式中，可以采用双目摄像头进行拍摄，其中，双目摄像头可安置于眼镜上，两个摄像头分置于眼镜的两端，以不同的视角拍摄前方图像，然后将图像传输给视频处理器;另一种实施方式中，由单摄像头在不同时刻从不同角度获得被测物的两幅数字图像。
[0030]步骤S102.根据第一图像和第二图像获取该场景图像的视差图。
[0031]具体的，步骤S102包括以下步骤:
[0032]步骤S1021.对第一图像和第二图像进行立体匹配，以获取第一图像和第二图像对应的同源点坐标对。
[0033]步骤S1022.调整第一图像和第二图像所对应的同源点坐标，以使同源点坐标对中的纵坐标相同。
[0034]步骤S1023.根据同源点坐标对中的纵坐标和横坐标获取视差图。
[0035]进一步的，在步骤SlOl和步骤S102之间还包括以下步骤:
[0036]对第一图像和第二图像进行校正，以使第一图像和第二图像的极线一致。
[0037]步骤S103.根据视差图和双目摄像头的拍摄参数获取该场景图像的深度图像。
[0038]在本步骤中，具体的，根据视差图和双目摄相机的拍摄参数如基线和焦距等，利用三角测量计算图像上各点的深度，由此确定该图像中物体在世界坐标系中的位置。
[0039]其中，步骤S102和步骤S103是基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置，从而确定被测物与摄像头的距离，可以获得人造眼视界场景中的物体和环境的深度图像信息，传递给人造眼使用者。
[0040]步骤S104.将深度图像转换成电脉冲信号，并将电脉冲信号输出给视网膜以产生该场景的图像信息。
[0041]进一步的，步骤S103之后还包括以下步骤:
[0042]步骤S1031.根据深度图像获取场景图像中物体的位置信息。
[0043]在本步骤中，具体的，根据深度图像获取物体的距离和方位等位置信息。
[0044]步骤S1032.将位置信息转换成语音信号并进行播放。
[0045]在本步骤中，具体的，将位置信息如距离信息和方位信息转换成语音信号并以语音的形式播放给使用者，以帮助使用者对路况进行判断。
[0046]进一步的，距离感知方法包括以下步骤:对视差图进行中值滤波;根据滤波后的视差图，得到目标图像像素点在参考图像上的匹配点坐标;判断匹配点坐标是否落在参考图像内，如果是，则将参考图像上匹配点坐标处的像素值拷贝到目标图像对应位置，否则，不处理。
[0047]本实用新型提供一种人造眼的距离感知方法，从不同角度同时获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置，从而确定被测物与摄像头的距离，以获得人造眼视界场景中的物体和环境的深度图像信息，以使用户获得图像的空间距离信息，感知前方的物体更加的准确。
[0048]本实用新型另一种实施例提供一种人造眼的距离感知装置，如图2至4所示，距离感知装置包括第一摄像头101、第二摄像头102、视频处理器103、信号发射器104、信号接收器105以及视网膜植入模块106;
[0049]第一摄像头101和第二摄像头102用于分别拍摄同一场景的图像，以获取处于不同角度的第一图像和第二图像，并将第一图像和第二图像发送给视频处理器103;
[0050]视频处理器103根据第一图像和第二图像获取该场景图像的视差图，并根据视差图和双目摄像头的拍摄参数获取该场景图像的深度图像，将深度图像通过信号发射器104进行发射；
[0051]信号接收器105接收深度图像信号，将深度图像信号转换成电脉冲信号，并将电脉冲信号输出给视网膜植入模块106;
[0052]视网膜植入模块106在视网膜产生该场景的图像信息。
[0053]其中，双目摄像头可安置于眼镜上，两个摄像头分置于眼镜的两端，以不同的视角拍摄前方图像，然后将图像传输给视频处理器。
[0054]距离感知装置包括镜框和两个镜腿，第一摄像头101和第二摄像头102分别设置在所述镜框的两侧，信号发射器104设置在其中一个镜腿上。
[0055]其中，信号发射器104可置于眼镜上靠近信号接收器的位置，当接收到深度图像后，通过无线发射给信号接收器105。
[0056]其中，信号接收器105可植入在眼球外部附近，与视网膜植入模块106相连，当接收到深度图像信号后，将此图像信号转换为电脉冲信号并传输给视网膜植入模块106。
[0057]其中，视网膜植入模块106得到电脉冲信号后，设置在视网膜植入模块106上的电极会刺激视网膜的视觉神经，继续将电脉冲信号沿视神经传送到大脑，使大脑获取深度信息。
[0058]进一步的，视频处理器103还用于对第一图像和第二图像进行校正，以使第一图像和第二图像的极线一致。
[0059]其中，视频处理器103根据第一图像和第二图像获取该场景图像的视差图的过程具体为:
[0060]对第一图像和第二图像进行立体匹配，以获取第一图像和第二图像对应的同源点坐标对；
[0061]调整第一图像和第二图像所对应的同源点坐标，以使同源点坐标对中的纵坐标相同；
[0062]根据同源点坐标对中的纵坐标和横坐标获取视差图。
[0063]进一步的，距离感知装置还包括语音输出模块107;
[0064]视频处理器103还用于根据深度图像获取场景图像中物体的位置信息，并将位置信息转换成语音信号并驱动语音输出模块107进行播放。
[0065]具体的，根据深度图像获取物体的距离和方位等位置信息，将位置信息转换成语音信号并以语音的形式播放给使用者，以帮助使用者对路况进行判断。
[0066]其中，语音输出模块可以设置在其中一个镜腿上。
[0067]进一步的，对视差图进行中值滤波;根据滤波后的视差图，得到目标图像像素点在参考图像上的匹配点坐标;判断匹配点坐标是否落在参考图像内，如果是，则将参考图像上匹配点坐标处的像素值拷贝到目标图像对应位置，否则，不处理。
[0068]距离感知装置也可以采用其他的结构，例如将第一摄像头和第二摄像头设置在头盔上或者其他可穿戴设备上。
[0069]本实用新型提供一种人造眼的距离感知装置，以不同的视角拍摄同一场景的两幅图像，传输给视频处理器，视频处理器利用视差原理，获取场景中物体的深度信息，构成深度图像，传递给发射器，发射器将图像进行编码发射出去，接收器接收到信号后，通过线路传输给视网膜植入模块，并转换为电脉冲信号。视网膜植入装置上的电极会刺激视网膜的视觉神经，继续将信号沿视神经传送到大脑，这些脉冲信号让大脑产生图像，感知眼前场景的深度信息。
[0070]以上内容是结合具体的优选实施方式对本实用新型所作的进一步详细说明，不能认定本实用新型的具体实施只局限于这些说明。对于本实用新型所属技术领域的普通技术人员来说，在不脱离本实用新型构思的前提下做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本实用新型由所提交的权利要求书确定的专利保护范围。
【主权项】
1.一种人造眼的距离感知装置，其特征在于，所述距离感知装置包括第一摄像头、第二摄像头、视频处理器、信号发射器、信号接收器以及视网膜植入模块； 所述第一摄像头和所述第二摄像头用于分别拍摄同一场景的图像，以获取处于不同角度的第一图像和第二图像，并将所述第一图像和所述第二图像发送给视频处理器； 所述视频处理器根据所述第一图像和所述第二图像获取该场景图像的视差图，并根据所述视差图以及所述第一摄像头和所述第二摄像头的拍摄参数获取该场景图像的深度图像，将所述深度图像通过所述信号发射器进行发射； 所述信号接收器接收深度图像信号，将所述深度图像信号转换成电脉冲信号，并将所述电脉冲信号输出给所述视网膜植入模块； 所述视网膜植入模块在视网膜产生该场景的图像信息。2.如权利要求1所述的距离感知装置，其特征在于，所述距离感知装置包括镜框和两个镜腿，所述第一摄像头和所述第二摄像头分别设置在所述镜框的两侧，所述信号发射器设置在其中一个镜腿上。3.如权利要求2所述的距离感知装置，其特征在于，所述距离感知装置还包括语音输出丰旲块; 所述视频处理器还用于根据所述深度图像获取场景图像中物体的位置信息，并将所述位置信息转换成语音信号并驱动所述语音输出模块进行播放。4.如权利要求3所述的距离感知装置，其特征在于，所述语音输出模块设置在其中一个镜腿上。
【文档编号】H04N13/04GK205681580SQ201521135731
【公开日】2016年11月9日
【申请日】2015年12月30日 公开号201521135731.3, CN 201521135731, CN 205681580 U, CN 205681580U, CN-U-205681580, CN201521135731, CN201521135731.3, CN205681580 U, CN205681580U
【发明人】乔宇, 李英, 吴天准, 马克·胡马雍
【申请人】中国科学院深圳先进技术研究院