专利名称：立体匹配处理设备、立体匹配处理方法和记录介质的利记博彩app
技术领域：
本发明涉及立体匹配处理设备、立体匹配处理方法和计算机可读记录介质。更为具体而言，本发明涉及用于根据立体图像自动生成三维数据的方法。
背景技术：
对从人造卫星、飞行器等获取的图像进行立体匹配以生成三维地形数据[DSM(数字表面模型)数据]作为一种根据立体图像自动生成三维数据的方法得到了广泛运用。立体匹配处理用于从两幅图像(即，从不同视点获得的所谓立体图像)寻找拾取了相同的位置的匹配点，并且立体匹配处理还用于通过使用匹配点之间的视差根据三角测量原理计算感兴趣的目标的深度或其形状。已经提出各种立体匹配处理技术。例如，专利文献1公开了一种利用获广泛使用的图像相关技术的技术。这种图像相关技术是通过如下方式来寻找匹配点的方案，即在左图像中设定相关窗口作为模板，计算模板与右图像中搜索窗口之间的相互相关系数作为其匹配度，同时移动右图像中的搜索窗口并搜索出匹配度高的位置。这种技术通过限制搜索窗口仅在图像中以核线方向移动来降低处理的量，并因而可以针对左图像中各点获得X方向位移的量，即右图像中与左图像中的点匹配的那点的视差。核线是针对立体图像之中的一幅图像中的给定点可以在立体图像之中的另一图像中被绘制为一个范围的线，在该范围中能够存在匹配该给定点的点。在《Handbook of Image Analysis》(Mikio Takagi和Haruhisa Shimoda编辑监制，东京大学出版社于1991年1月出版，第597页至第599页)中对核线进行了描述。正常地，核线的方向不同于图像扫描线的方向。然而，坐标变换可以重新定向核线的方向，使其与图像扫描线的方向一致。这种坐标变换技术在上面指出的《Handbook of Image Analysis》中得到了描述。在按以上述方式重新定向的立体图像中，匹配点搜索窗口可以被限制为仅在扫描线上移动。因此，可以获得作为在左图像和右图像中匹配点的χ坐标值之间的差异的视差。立体图像包括目标的遮蔽部分(遮挡区域)。提出了通过不由立体匹配针对该遮挡区域匹配任何区域来确保正确匹配的匹配技术(参见专利文献2)。专利文献3描述用于立体图像处理设备的技术，该立体图像处理设备能够在不存在操作员的情况下根据卫星立体图像或航空立体图像自动生成复杂目标的三维数据。专利文献3的技术自动纠正在由立体处理装置通过使用从存储在地图数据存储装置中的地图数据检索出的建筑物等的外形信息所获得的三维数据中诸如噪声、遗漏等的缺陷数据部分。地图数据存储装置向DSM数据自动纠正装置提供代表建筑物外形的地图数据。现有技术文件专利文献专利文献1 未经审查的日本专利申请KOKAI公开No. H03-167678专利文献2 未经审查的日本专利申请KOKAI公开NO. H04-299474
专利文献3 未经审查的日本专利申请KOKAI公开NO. 2002-157576
发明内容
本发明所要解决的问题当从处于立体匹配处理中的成对图像之一中搜索与另一图像中给定点相匹配的点时，如果搜索图像中的整条扫描线(核线)，则将需要很长时间来完成该处理，这也将增加错配的概率。鉴于以上情况做出本发明，并且本发明的目的是提高立体匹配处理的速度和精确性。用于解决问题的装置依据本发明第一方面的立体匹配处理装置包括图像数据获取单元，其获取在多个不同位置拾取的预定区域的多幅图像的图像数据；参考视差设定单元，其设定适用于该多幅图像的参考视差；搜索范围设定单元，其通过参考其间提供了由参考视差设定单元设定的参考视差的图像中的点来设定小于图像范围的预定范围作为用于立体匹配的搜索范围；以及搜索单元，其针对该多幅图像之一中的任意点，通过参考提供由参考视差设定单元设定的参考视差的另一图像中的点，从由搜索范围设定单元设定的搜索范围中搜索出另一图像中与该任意点匹配的点。依据本发明第二方面的立体匹配处理方法包括图像数据获取步骤，获取从多个不同位置拾取的预定区域的多幅图像的图像数据；参考视差设定步骤，设定适用于该多幅图像的参考视差；搜索范围设定步骤，通过参考在其间提供了在参考视差设定步骤中设定的参考视差的图像中的点，将小于图像数据范围的预定范围设定为用于立体匹配的搜索范围；以及搜索步骤，针对该多幅图像之一中的任意点，通过参考提供在参考视差设定步骤中设定的参考视差的另一幅图像中的点，从在搜索范围设定步骤中设定的搜索范围中搜索出另一幅图像中与该任意点匹配的点。依据本发明第三方面的计算机可读记录介质存储了用于控制计算机发挥如下各项的功能的程序图像数据获取单元，其获取从多个不同位置拾取的预定区域的该多幅图像的图像数据；参考视差设定单元，其设定适用于该多幅图像的参考视差；搜索范围设定单元，其通过参考其间提供了由参考视差设定单元设定的参考视差的图像中的点，将小于图像范围的预定范围设定为用于立体匹配的搜索范围；以及搜索单元，其针对该多幅图像之一中的任意点，通过参考提供由参考视差设定单元设定的参考视差的另一图像中的点， 从由搜索范围设定单元设定的搜索范围中搜索出另一幅图像中与该任意点匹配的点。本发明的效果依据本发明，提高根据立体图像自动生成三维数据的技术中立体匹配处理的速度和精确性成为可能。
图1是示出根据本发明第一实施例的立体图像处理设备的示例性配置的框图；图2是示例性地示出要转换成图像数据的航空照片的图；图3是示出真实世界中陆地表面上示例状况的示例5
图4是示出DSM数据的示例图，该DSM数据从通过拾取图3中所示真实世界的部分的图像获取的图像来通过立体匹配处理生成；图5是示出说明了搜索范围的搜索平面的图；图6是示出示例搜索范围的图；图7是示出根据第一实施例的高度评估处理的示例操作的流程图；图8是示出根据本发明第二实施例的立体图像处理设备的示例配置的框图；图9是示出示例搜索平面的图，其中针对各划分区域设定参考海拔高度和搜索范围；图10是示出根据第二实施例的高度评估处理的示例操作的流程图；图11是示出根据第三实施例的立体图像处理设备1的示例性配置的框图；图12是示出根据第三实施例的高度评估处理的一个示例操作的流程图；图13是示出根据第四实施例的立体图像处理设备1的示例性配置的框图；图14是示出根据第四实施例的高度评估处理的一个实例操作的流程图；图15是示出根据第五实施例的立体图像处理设备1的示例性配置的框图；图16是示出根据第五实施例的高度评估处理的一个示例操作的流程图；以及图17是示出在计算机上实现的立体图像处理设备1的示例性物理配置的框图。
具体实施例方式现在将参考附图详细解释本发明的实施例。在附图中，相同或等同组件将以相同参考数字表示。<第一实施例>图1是示出根据本发明第一实施例的立体图像处理设备的示例性配置的框图。立体图像处理设备1包括图像数据输入单元10、立体匹配单元11、参考视差设定单元12和搜索范围设定单元13。立体图像处理装置1连接至高度计算单元2。图像数据输入单元10具有输入图像数据的功能，并输入将要用于立体匹配处理的多份图像数据。图像数据例如代表转换成数字图像的航空照片的图像。图像数据包括图像的拍摄位置、图像的拍摄方向、视场角等。图2示例性地示出了要转换成图像数据的示例航空照片。图2中所示的航空照片包括从在天空中飞行的飞行器连续获得的航空照片IOlA和航空照片101B。航空照片IOlA 和航空照片IOlB是对飞行器前的景象拍摄的，以包括占各照片范围60%的交叠景象。交叠部分示出了从不同位置拍摄的相同区域的图像。在本实施例中的图像是由对航空照片进行数字化而生成的图像，该航空照片示例为航空照片IOlA和航空照片101B。本发明中使用的图像不限于航空照片，还可以包括从卫星照片获得的数字图像、由普通数码相机拍摄的数字图像、通过对普通模拟相机拍摄的模拟照片进行扫描数字化而获得的数字图像等。图1中所示的立体匹配单元11从代表从不同位置拍摄的相同区域的多份图像数据中搜索出图片中拾取相同陆地点的位置。即，立体匹配单元在该多幅图像中搜索出对应于相同陆地点的成对的点。通常通过检查两幅图像中位于这样的陆地点周围的匹配的小区域之间的图像相关来检测对应于相同陆地点的成对的点，并且找到具有最大相关系数的位置。立体匹配处理技术包括各种技术，诸如通过确定一般特性的量来匹配任何点的那些技术、确定左图像和右图像之间的相关的那些技术等等。用于本实施例的立体匹配处理的技术不限于任何特定的一种技术。例如，可以使用在日本已审专利申请KOKOKU公开 No. H08-16930中描述的立体匹配处理。高度计算单元2基于通过立体匹配处理获得的匹配点之间的视差根据三角测量法的原理来生成DSM数据。例如，在成对的航空照片IOlA和航空照片IOlB中存在陆地目标的匹配位置之间产生预定位移(视差)。在立体匹配处理中测量这种位移，从而计算出陆地目标包括海拔高度值在内的浅表高度以及陆地目标在水平方向上的坐标，即，陆地目标的三维数据。图3是示出现实世界中陆地表面上示例状况的示例图。图3示出了现实世界的一部分的截面图，其中在起伏地形上存在有陆地目标。图4是示出了 DSM数据的示例图，该DSM数据通过对图像进行立体匹配而生成，该图像通过拾取图3中所示的现实世界的部分的图像而获得。由于DSM数据代表最外层表面的高度数据，所以由屋顶等所覆盖的陆地表面的高度指示了屋顶的包括其海拔高度值的高度。图1的参考视差设定单元12设定视差，该视差充当用于在两幅图像之间搜索匹配点的基准。例如，参考视差设定单元12将确定在现实空间中要由立体匹配搜索的范围的参考高度的视差设定为基准。搜索范围设定单元13基于其间获得了由参考视差设定单元 12设定的参考视差的图像中的点来设定应由立体匹配单元11搜索以用于寻找匹配点的范围。通常将小于图像范围的预定范围设定为用于立体匹配的搜索范围。图4概念性地示出了对应于搜索范围的参考海拔高度和高度。例如，图3中所示的起伏陆地表面的参考海拔高度设定在由线SL指示的平面处，线SL距飞行器的高程原点的高度G相差预定高度H。参考由线SL指示的平面，线BL和线UL之间的范围被设定为对应于现实空间中搜索范围的高度SH。图5示出了解释搜索范围的搜索平面。在图5中，通过转换航空照片IOlA而获得的图像中的扫描线(核线)A和通过转换航空照片IOlB而获得的图像中的与扫描线A对应的扫描线(核线)B相互垂直地布置。由坐标轴A和坐标轴B构成的平面A —般被称为搜索平面。通过垂直线和水平线来表示坐标轴A和坐标轴B上各块的中心位置，并且垂直线和水平线相交的交点代表了两幅图像之间的匹配。立体匹配单元11为了两幅图像之间的匹配点而搜索扫描线A和扫描线B。以45度的角度位于搜索平面中的各条直线指示了两幅图像之间的视差在其上恒定的恒定高度。在图5中，例如，线gl是指示在陆地表面的参考高度处的视差并且指示飞行器的高程原点的线。线sp指示了获得参考视差处的高度，并且对应于图4中所示的线SL。宽度 SP对应于图4中所示的高度H。图5中的线u对应于图4中的线UL，而线1对应于图4中的线BL。具有由线u和线1界定的宽度R的范围代表了搜索范围。例如，立体匹配单元11从图5中所示的线u和线1之间搜索在线A和线B上的成对的匹配。从经过扫描线A上给定点的垂直线的线段中搜索与扫描线A上该给定点匹配的扫描线B上的点，该线段位于线u和线1之间。在扫描线B上的点是给定的并且待搜索出的目标是其在扫描线A上的匹配点的情形中，从经过扫描线B上该给定点的水平线的线段中搜索这样的匹配点，该线段位于线u和线1之间。图6示出了示例搜索范围。当已知陆地表面的起伏的最高地平高度与最低地平高度之间的差值时，可以设定用于搜索其估算最大高度包括起伏的最高地平高度与最低地平高度之间的高度差值的陆地目标的范围。在图6中，起伏处的视差由线Is指示。搜索范围由在其间具有范围R的线u和线1指示，该范围R通过基于视差sp而在其中包括起伏的最高地平高度与最低地平高度之间的高度差值来设定，所述视差sp通过向起伏的平均高度添加陆地目标的估算平均高度而获得。当已知陆地表面的海拔高度时，可以通过设定搜索范围以包括陆地表面的最高地平高度与最低地平高度之间的高度差值和陆地目标的估算高度来迅速地执行立体匹配处理。由于搜索有限的范围，因而降低了两幅图像中点可能被误认为匹配点的概率。图7是示出根据第一实施例的高度评估处理的示例操作。图像数据输入单元10 输入将被施加以立体匹配处理的多幅图像(步骤Sll)。参考视差设定单元12例如基于有关区域的平均海拔高度和陆地目标的估算高度来设定参考视差(步骤SU)。搜索范围设定单元13基于区域的海拔高度差值和陆地目标的高度来针对参考视差设定搜索范围(步骤 S13)。针对一幅图像中的点，立体匹配单元11通过参考提供参考视差的另一幅图像中的点，从设定的搜索范围中搜索出该另一幅图像中与之匹配的点(步骤S14)。高度计算单元2基于该多幅图像中在图像之间匹配在一起的点的位置来计算各点的高度以及该点在地图上的坐标(步骤S15)。通过在将最高地平高度与最低地平高度之间的高度差值以及陆地目标的估算高度考虑在内的情况下设定参考视差和搜索范围，根据第一实施例的立体图像处理设备1可以迅速地执行立体匹配处理。此外，由于搜索了有限的范围，因而降低了两幅图像中的点被误认为匹配点的概率。<第二实施例>图8是示出了根据本发明第二实施例的立体图像处理设备1的示例性配置的框图。依据第二实施例，基于地图数据的海拔高度数据来设定参考视差和搜索范围。图8的立体图像处理装置1除了第一实施例的配置之外还包括地图数据输入单元 14和区域划分单元15。地图数据输入单元14输入在所输入的图像数据中作为特征的区域的地图数据。地图数据包括地图中各网格点的海拔高度数据。区域划分单元15依据海拔高度数据划分所输入的图像数据。如果海拔高度数据包括很小的高度差值，则图像可以不被划分并可以被视为一个区域。当地图数据包括比图像范围内的预定范围更大的高度差值时，图像将被划分成多个区域。参考视差设定单元12依据海拔高度数据，为被区域划分单元15划分的各区域设定参考视差。搜索范围设定单元13通过考虑包括在海拔高度数据中的高度差值和陆地目标的估算高度来为各划分区域设定搜索范围。立体匹配单元11根据针对各划分区域设定的参考视差和搜索范围，在多幅图像之间搜索匹配点并提取成对的匹配点。高度计算单元2基于通过立体匹配处理获得的匹配点之间的视差，依据三角测量法的原理来生成DSM数据。
图9示出了示例搜索平面，针对各划分区域在该平面上设定参考视差和搜索范围。在图9的示例中，依据陆地表面的起伏Is划分出4个区域。区域的参考视差分别是 Spl、Sp2、Sp3和sp4。第一区域的搜索范围是具有由ul和11界定的宽度Rl的范围。其他区域的搜索范围是分别具有由u2和12界定的宽度R2的范围、具有由u3和13界定的宽度 R3的范围和具有由u4和14界定的宽度R4的范围。如图9所示，搜索范围小于图6中的搜索范围。当存在具有高度差值的起伏时，可以通过将图像范围划分成多个区域并针对各划分区域设定搜索范围来将搜索范围限制到其中存在匹配点的小范围。因此，可以迅速且精确地执行立体匹配处理。可以进行区域划分使得各区域中的高度差值等于或小于预定值。备选地，划分数目可以依据图像范围内的高度差值来确定。图10是示出了根据第二实施例的高度评估处理的示例操作的流程图。当图像数据输入单元10输入将被施加以立体匹配处理的多幅图像时(步骤S21)，地图数据输入单元 14输入在图像中作为特征的区域的地图数据(步骤S2》。区域划分单元15基于包括在地图数据中的海拔高度数据将图像划分成多个区域(步骤S23)。参考视差设定单元12基于海拔高度数据和划分区域来针对各划分区域设定参考视差(步骤S24)。搜索范围设定单元13依据各划分区域中的高度差值来针对该区域设定搜索范围(步骤S25)。立体匹配单元11针对图像之一中的点，通过参考另一图像中提供参考视差的点， 从针对各区域设定的搜索范围中搜索另一图像中与该点匹配的点(步骤S26)。高度计算单元2基于该多幅图像中在图像之间匹配在一起的点的位置来计算各点的高度以及该点在地图上的坐标(步骤S27)。依据第二实施例的立体图像处理设备1可以依据地图数据中的海拔高度数据将搜索范围限制到其中能够存在匹配点的小范围。因此，立体图像处理设备1能够迅速且精确地执行立体匹配处理。<第三实施例>图11是示出了根据第三实施例的立体图像处理设备1的示例性配置的框图。根据第三实施例的立体图像处理设备1除了第一实施例的配置之外还包括参考点设定单元16。参考点设定单元16以预定的方式选择参考点，该参考点是其间可以根据由图像数据输入单元10输入的图像来设定参考视差的点之一。例如，参考点设定单元16随机地选择对应于图像的尺寸和规模的预定数目的点作为参考点。备选地，参考点设定单元16可以按预定分布来对点进行选择。参考点设定单元16使得立体匹配单元11提取在该多幅图像之间互相匹配的成对的点，该成对的点之一是由参考点设定单元16选择的点中的一个。参考点设定单元16计算各选定点的三维数据，并将各选定点的三维数据发送至参考视差设定单元12。参考视差设定单元12以预定的方式基于接收自参考点设定单元16的三维数据来设定参考视差。例如，参考视差设定单元12将三维数据的高度的均值或中值设定为参考海拔高度，并将这个参考海拔高度上的视差设定为参考视差。备选地，参考视差设定单元12 可以对各预定划分区域取平均，以针对各区域设定参考视差。搜索范围设定单元13依据参考视差来设定搜索范围。例如，搜索范围设定单元13可以通过考虑所选择的点的三维数据的高度的散布来设定搜索范围。当图像范围被划分成多个区域时，可以针对各划分区域来设定搜索范围。立体匹配单元11依据已经设定的参考视差和搜索范围在该多幅图像之间搜索匹配点，并且提取成对的匹配点。在针对各划分区域设定参考视差和搜索范围的情形中，从各搜索范围中搜索出匹配点。高度计算单元2基于通过立体匹配处理获得的匹配点之间的视差，依据三角测量法的原理来生成DSM数据。图12是示出了根据第三实施例的高度评估处理的示例操作的流程图。当图像数据输入单元10输入将被施加以立体匹配处理的多幅图像(步骤S31)时，参考点设定单元 16以预定的方式从图像中选择参考点(步骤S3》。立体匹配单元11针对所选择的参考点来执行立体匹配处理，以提取该多幅图像中成对的匹配点(步骤S33)。参考点设定单元16基于匹配的成对的所选择的点来计算参考点的高度(步骤 S34)。参考视差设定单元12基于参考点的高度来设定参考视差(步骤S3Q。在这个步骤中，参考视差设定单元12可以基于匹配的成对的所选择的点来设定参考视差(即，参考点设定单元16可以不计算所选择的点的高度)。搜索范围设定单元13依据参考视差设定搜索范围(步骤S36)。针对一幅图像中的点，立体匹配单元11通过参考提供参考视差的另一幅图像中的点来从针对各区域设定的搜索范围中搜索出另一幅图像中与之匹配的点(步骤S37)。高度计算单元2基于该多幅图像中在这些图像之间匹配于一起的点的位置来计算各点的高度和点在地图上的坐标(步骤S38)。即使没有地图数据，根据第三实施例的立体图像处理设备1可以将搜索范围限定至适于图像且其中可以存在匹配点的小范围。因此，立体图像处理设备1可以迅速且精确地执行立体匹配处理。〈第四实施例〉图13是示出了根据第四实施例的立体图像处理设备1的示例性配置的框图。根据第四实施例的立体图像处理设备1从外部输入根据第三实施例的参考点。图13中所示的立体图像处理设备1除第三实施例的配置之外还包括参考点输入单元17。参考点输入单元17输入指示图像中参考点位置的数据。例如，参考点输入单元17 可以在显示设备(未示出)上显示图像数据，并且输入从显示屏选择的点。参考点输入单元17可以输入指示图像中坐标的数据。参考点设定单元16、参考视差设定单元12、搜索范围设定单元13以及立体匹配单元11以与第三实施例中相同的方式进行操作。根据第四实施例，可以根据输入的图像来设定被认为合适的参考点。可以选择例如包括高大建筑物的航路灯标的人造陆地目标的特征点，铁塔、建筑物等的特征点，即，被认为适合作为参考海拔高度的设定器(setter)从而支持精确立体匹配的点。图14是示出了根据第四实施例的高度评估处理的示例操作的流程图。当图像数据输入单元10输入将被施加以立体匹配处理的多幅图像(步骤S41)时，参考点输入单元 17输入指示图像中参考点的位置的数据(步骤S4》。可以选择多个参考点。参考点设定单元16将输入的点的位置发送至立体匹配单元11，而立体匹配单元 11针对所选择的参考点执行立体匹配处理以提取在该多幅图像之间互相匹配的成对的点(步骤S4!3)。参考点设定单元16基于匹配的成对的所选择的点来计算参考点的高度(步骤S44)。此后，从设定参考视差(步骤S40到计算匹配点高度(步骤S48)的处理与图12 中所示的从步骤S35至步骤S38的处理相同。除了第三实施例之外，根据第四实施例的立体图像处理设备1也可以选择提供适用于图像的合适的参考视差并且支持精确立体匹配的点。因此，立体图像处理设备1能够迅速且精确地执行立体匹配处理。<第五实施例>图15是示出了根据第五实施例的立体图像处理设备1的示例性配置的框图。根据第五实施例的立体图像处理设备1从外部输入依据第三实施例的参考点以及在应用立体匹配时与其匹配的配对点。图15中所示的立体图像处理设备1包括参考匹配对输入单元18，而不是依据第三实施例的参考点输入单元17和参考点设定单元16。参考匹配对输入单元18输入指示一幅图像中参考点的位置以及另一图像中在立体匹配意义上与该点匹配的点的位置的数据。例如，参考匹配对输入单元18可以在显示设备(未示出)上显示两份图像数据，并输入从显示屏选择的成对的匹配点。参考匹配对输入单元18可以备选地输入指示两幅图像中成对的匹配点的坐标的数据。参考视差设定单元12、搜索范围设定单元13以及立体匹配单元11以与第一实施例中相同的方式进行操作。依据第五实施例，可以根据所输入的图像来设定被认为是适合的成对的参考匹配点。可以选择例如包括高大建筑物的航路灯标的人工陆地目标的特征点，铁塔、建筑物等的特征点，即被认为适合作为参考海拔高度的设定器的点的匹配点。图16是示出了根据第五实施例的高度评估处理的示例操作的流程图。当图像数据输入单元10输入将被施加以立体匹配处理的多幅图像(步骤S51)时，参考匹配对输入单元18输入指示在多幅图像中的两幅之中在立体匹配意义上互相匹配的成对的参考匹配点的位置的数据(步骤S5》。可以选择多个参考点。此后，从设定参考视差(步骤S5!3)到计算匹配点高度(步骤S56)的处理与图12 中所示的从步骤S35至步骤S38的处理相同。根据第五实施例的立体图像处理设备1可以通过选择匹配点来设定参考视差和搜索范围，该匹配点提供适用于图像的合适的参考视差并且在立体匹配意义上互相匹配。 因此，立体图像处理设备1可以迅速且精确地执行立体匹配处理。图17是显示了在计算机上实现的立体图像处理设备1的示例性物理配置的框图。 根据本发明实施例的立体图像处理设备1可以通过与普通计算机装置类似的硬件配置来实施。如图17所示，立体图像处理设备1包括控制单元21、主存储器22、外部存储器23、操作单元对、显示单元25和输入/输出单元26。主存储器22、外部存储器23、操作单元24、 显示单元25以及输入/输出单元沈均通过内部总线20连接至控制单元21。控制单元21包括CPU(中央处理器)等，并按照存储在外部存储器23中的控制程序30来执行立体匹配处理。主存储器22包括RAM(随机存取存储器)等，其加载存储于外部存储器23中的控制程序30，并且被用作控制单元21的工作区。外部存储器23包括非易失性存储器，诸如闪速存储器、硬盘、DVD-RAM(数字通用光盘随机存取存储器)或者DVD-RW(可重写数字通用光盘)等，并且预存储用于使控制单元21执行上述处理的控制程序30。根据来自控制单元21的指令，外部存储器通过控制程序30向控制单元21供应存储于其中的数据，并且存储从控制单元21供应的数据。操作单元M包括诸如键盘和鼠标之类的定点设备以及将键盘或其他定点设备连接至内部总线20的接口设备。通过操作单元M输入并向控制单元21提供图像数据、用于传输/接收的指令或用于显示图像的指令、设定参考海拔高度的参考点在图像中的位置寸。显示单元25包括CRT(阴极射线管)或IXD (液晶显示器)，并且显示图像或者图像的立体匹配的结果。输入/输出单元沈包括与其连接的无线传输/接收设备、无线调制解调器或网络端接设备、以及串行接口或LAN(局域网)接口。可以通过输入/输出单元沈接收图像数据，或者可以通过输入/输出单元26传输计算结果。控制程序30使用控制单元21、主存储器22、外部存储器23、操作单元24、显示单元25和输入/输出单元沈等作为资源，来执行图1、图8、图11、图13或图15中所示的立体图像处理设备1的图像数据输入单元10、立体匹配单元11、参考视差设定单元12、搜索范围设定单元13、地图数据输入单元14、区域划分单元15、参考点设定单元16、参考点输入单元17以及参考匹配对输入单元18的处理。除了以上描述内容之外，本发明的优选修改可以配置如下。优选地，依据本发明的第一方面的立体匹配处理设备的特征在于参考视差设定单元优选地将多幅图像中的每一幅划分成两个或更多个区域，该两个或更多个区域分别对应于在多幅图像中的另一幅中划分的两个或更多个区域，并且参考视差设定单元优选地针对各区域设定参考视差；而搜索范围设定单元通过参考在其间提供针对各区域设定的参考视差的图像中的点来设定小于图像范围的预定范围作为用于立体匹配的搜索范围。优选地，立体匹配处理设备包括获取对应于多幅图像的地图的海拔高度数据的地图数据获取单元，并且参考视差设定单元基于由地图数据获取单元获取的海拔高度数据来设定参考视差。备选地，参考视差设定单元可以通过对以预定方式从多幅图像中选择的点进行立体匹配来计算视差，并基于计算出的视差来设定参考视差。此外，立体匹配处理设备还可以包括在多幅图像中获取将用于计算视差的点的位置的参考点输入单元，并且参考视差设定单元可以通过对参考点输入单元所获取的点进行立体匹配来计算视差以及基于所计算的视差来设定参考视差。备选地，立体匹配处理设备可以包括输入多幅图像中在立体匹配意义上互相匹配的成对匹配点的匹配对点输入单元，并且参考视差设定单元可以基于在由匹配对输入单元输入的成对匹配点之间提供的视差来设定参考视差。优选地，根据本发明第二方面的立体匹配处理方法的特征在于在参考视差设定步骤中，将应用立体匹配处理的成对的图像被划分成与另一图像中划分的两个或更多个区域对应的两个或更多个区域，并且针对各区域设定参考视差；而在搜索范围设定步骤中，参考在其间提供针对各区域设定的参考视差的图像中的点，将小于图像范围的预定范围设定为用于立体匹配的搜索范围。
立体匹配处理方法优选地包括获取对应于多幅图像的地图的海拔高度数据的地图数据获取步骤，而在参考视差设定步骤中，基于在地图数据获取步骤中获取的海拔高度数据来设定参考视差。备选地，在参考视差设定步骤中，可以通过对以预定方式从多幅图像中选择的点进行立体匹配来计算视差，并且可以基于所计算的视差来设定参考视差。此外，立体匹配处理方法可以包括在多幅图像中获取将用于计算视差的点的位置的参考点输入步骤，而在参考视差设定步骤中，可以通过对在参考点输入步骤中获取的点进行立体匹配来计算视差，并且可以基于所计算的视差来设定参考视差。备选地，立体匹配处理方法可以包括输入多幅图像中在立体匹配意义上互相匹配的成对匹配点的匹配对输入步骤，而在参考视差设定步骤中，可以基于在匹配对输入步骤中输入的成对的匹配点之间提供的视差来设定参考视差。此外，以上所示的硬件配置和流程图仅是示例，并且可以被任意改变或修改。包括控制单元21、主存储器22、外部存储器23、操作单元对、输入/输出单元26、 内部总线20等在内的用以执行立体图像处理设备1的处理的主要部件可以由普通的计算机系统而非由专用系统来实施。例如，用于执行上述操作的计算机程序可以被分布为存储在计算机可读记录介质(软盘、⑶-ROM、DVD-ROM等)中和安装在计算机上，从而使得可以配置用于执行上述处理的立体图像处理设备1。此外，可以在由诸如因特网等之类的通信网络上的服务器设备所拥有的存储装置上存储计算机程序，从而使得普通计算机系统可以下载程序和配置立体图像处理设备1。当立体图像处理装置1的功能通过由OS(操作系统)和应用程序分别管理而实现或通过OS和应用程序协同工作来实现时，可以在记录介质或存储装置上存储仅应用程序部分。此外，计算机程序可以嵌于载波上，以便经由通信网络分发。例如，计算机程序可以张贴于通信网络上的BBS(电子公告板系统)上，并且计算机程序可以经由网络分发。当激活计算机程序并根据OS的控制以与执行其他应用程序相同的方式来执行计算机程序时，可以执行上述处理。本申请基于日本专利申请No. 2008-300221，并且日本专利申请No. 2008-300221 的全部说明书、权利要求书以及附图在此通过引用并入本文。图例说明1立体图像处理设备2高度计算单元10图像数据输入单元11立体匹配单元12参考视差设定单元13搜索范围设定单元14地图数据输入单元15区域划分单元16参考点设定单元17参考点输入单元
18参考匹配对点输入单元21控制单元22主存储器23外部存储器24操作单元25显示单元26输入/输出单元30控制程序
权利要求
1.一种立体匹配处理设备，包括图像数据获取单元，其获取在多个不同位置拾取的预定区域的多幅图像的图像数据；参考视差设定单元，其设定适用于所述多幅图像的参考视差；搜索范围设定单元，其通过参考其间提供了由所述参考视差设定单元设定的所述参考视差的所述图像中的点，将小于所述图像的范围的预定范围设定为用于立体匹配的搜索范围；以及搜索单元，其针对所述多幅图像之一中的任意点，通过参考提供由所述参考视差设定单元设定的所述参考视差的另一图像中的点，从由所述搜索范围设定单元设定的所述搜索范围中搜索出所述另一图像中与所述任意点匹配的点。
2.根据权利要求1所述的立体匹配处理设备，其中所述参考视差设定单元将所述多幅图像的每一幅划分成与在另一图像中划分的两个或更多个区域分别对应的两个或更多个区域，并且针对各区域设定参考视差，以及所述搜索范围设定单元通过参考其间提供有针对各区域设定的所述参考视差的图像中的点，将小于所述图像的范围的预定范围设定为用于立体匹配的搜索范围。
3.根据权利要求2所述的立体匹配处理设备，包括地图数据获取单元，该地图数据获取单元获取对应于所述多幅图像的地图的海拔高度数据，其中所述参考视差设定单元基于由所述地图数据获取单元获取的海拔高度数据来设定所述参考视差。
4.根据权利要求2所述的立体匹配处理设备，其中所述参考视差设定单元通过对以预定方式从所述多幅图像中选择的点进行立体匹配来计算视差，并且基于所计算的视差来设定所述参考视差。
5.根据权利要求4所述的立体匹配处理设备，包括参考点输入单元，该参考点输入单元获取所述多幅图像中将用于计算视差的点的位置，其中所述参考视差设定单元通过对由所述参考点输入单元获取的点进行立体匹配来计算视差，并且基于所计算的视差来设定所述参考视差。
6.根据权利要求2所述的立体匹配处理设备，包括匹配对点输入单元，该匹配对点输入单元输入在所述多幅图像中在立体匹配意义上互相匹配的成对的匹配点，其中所述参考视差设定单元基于在由所述匹配对点输入单元输入的所述成对的匹配点之间提供的视差来设定所述参考视差。
7.一种立体匹配处理方法，包括图像数据获取步骤，获取从多个不同位置拾取的预定区域的多幅图像的图像数据；参考视差设定步骤，设定适用于所述多幅图像的参考视差；搜索范围设定步骤，通过参考其间提供有在所述参考视差设定步骤中设定的所述参考视差的图像中的点，将小于所述图像数据的范围的预定范围设定为用于立体匹配的搜索范围；以及搜索步骤，针对所述多幅图像之一中的任意点，通过参考提供在所述参考视差设定步骤中设定的所述参考视差的另一图像中的点，从在所述搜索范围设定步骤中设定的所述搜索范围中搜索出所述另一图像中与所述任意点匹配的点。
8.根据权利要求7所述的立体匹配处理方法，其中在所述参考视差设定步骤中，将要被施加以所述立体匹配的成对图像划分为与在所述成对图像中的另一幅图像中划分的两个或更多个区域分别对应的两个或更多个区域，并且针对各区域设定所述参考视差，以及在所述搜索范围设定步骤中，参考其间提供针对各区域设定的参考视差的图像中的点，将小于所述图像的范围的预定范围设定为用于立体匹配的搜索范围。
9.根据权利要求8所述的立体匹配处理方法，包括地图数据获取步骤，该地图数据获取步骤获取对应于所述多幅图像的地图的海拔高度数据；其中在所述参考视差设定步骤中，基于在所述地图数据获取步骤中获取的海拔高度数据来设定所述参考视差。
10.根据权利要求8所述的立体匹配处理方法，其中在所述参考视差设定步骤中，通过立体匹配来计算针对以预定方式从所述多幅图像中选择的点的视差，并基于所计算的视差来设定参考视差。
11.根据权利要求10所述的立体匹配处理方法，包括参考点输入步骤，该参考点输入步骤获取所述多幅图像中将用于计算视差的点的位置，其中在所述参考视差设定步骤中，通过对在所述参考点输入步骤中获取的点进行立体匹配来计算视差，并且基于所计算的视差来设定所述参考视差。
12.根据权利要求8所述的立体匹配处理方法，包括匹配对点输入步骤，该匹配对点输入步骤输入所述多幅图像中在立体匹配意义上互相匹配的成对的匹配点，以及在所述参考视差设定步骤中，基于在所述匹配对点输入步骤中输入的成对的匹配点之间提供的视差设定所述参考视差。
13.一种存储用于控制计算机发挥如下所列各项的功能的程序的计算机可读记录介质图像数据获取单元，其获取从多个不同位置拾取的预定区域的多幅图像的图像数据；参考视差设定单元，其设定适用于所述多幅图像的参考视差；搜索范围设定单元，其通过参考其间提供了由所述参考视差设定单元设定的所述参考视差的图像中的点，将小于所述图像的范围的预定范围设定为用于立体匹配的搜索范围；搜索单元，其针对所述多幅图像之一中的任意点，通过参考提供由所述参考视差设定单元设定的所述参考视差的另一图像中的点，从由所述搜索范围设定单元设定的搜索范围中搜索出所述另一图像中与所述任意点匹配的点。
全文摘要
图像数据输入单元(10)获取从多个不同位置拾取的预定区域的多幅图像的图像数据。参考视差设定单元(12)设定适用于该多幅图像的参考视差。搜索范围设定单元(13)通过参考其间提供了由参考视差设定单元(12)设定的参考视差的图像中的点而将小于图像范围的预定范围设定为用于立体匹配的搜索范围。立体匹配单元(11)针对该多幅图像之一中的任意点，通过参考提供由参考视差设定单元(12)设定的参考视差的另一图像中的点，从由搜索范围设定单元(13)设定的搜索范围中搜索出另一图像中与该任意点匹配的点。
文档编号G06T17/05GK102239503SQ20098014721
公开日2011年11月9日 申请日期2009年11月25日 优先权日2008年11月25日
发明者小泉博一, 柳生弘之, 神谷俊之 申请人:Nec软件系统科技有限公司