行驶在向下倾斜道路上的情况来进行说明。参照图5,向前方行驶中的车辆首先可位于水平道路A,在经过水平道路A之后,车辆可位于向上倾斜道路B,在经过向上倾斜道路B之后,车辆可位于水平道路C。而且,在经过水平道路C之后,车辆可位于向下倾斜道路D,在经过向下倾斜道路D之后,车辆可位于水平道路E。
[0112]假如,若在车辆位于如A位置的水平道路的状态下显示前方区域B的信息对象,则地形高度处理部140可确定A位置的地形高度hi和前方区域(例如,B位置、C位置)的地形高度h2、h3,并可通过比较两个位置的地形高度来计算出当前位置地形和前方区域地形之间的地形高度差。
[0113]而且,三维空间生成部162可基于由校准部161计算出的摄像头参数来生成前方区域拍摄影像的虚拟三维空间。
[0114]而且,控制部170可在所生成的虚拟三维空间中利用地形高度差来确定信息对象的映射位置。更具体地,若在车辆位于水平道路A的状态下显示前方区域B的信息对象,则在与前方区域的B位置相对应的虚拟三维空间中,可通过反映作为B位置的地形高度和A位置的地形高度的差的h2 — hi,来确定为信息对象的映射位置高于在高度差为O的情况下的映射位置。
[0115]另一方面,在车辆位于如A位置的水平道路的情况下,摄像头的光学轴Π和水平线所形成的角度为0,则控制部170有可能不执行考虑摄像头的上下方向旋转角度而进行的对映射位置的校正。
[0116]但是,在车辆位于如B位置的向上倾斜道路的情况下,以水平线为基准,摄像头的光学轴f2形成向上的角度,从而使得摄像头的视点高于在车辆位于与B位置相同高度的水平道路的情况下的摄像头的视点。并且,在车辆位于如D位置的向下倾斜道路的情况下,以水平线为基准,摄像头的光学轴f4形成向下的角度,从而使得摄像头的视点低于在车辆位于与D位置相同高度的水平道路的情况下的摄像头的视点。在此情况下,若仅通过反映上述地形高度差来显现信息对象,则无法在增强现实画面内的适当位置显现信息对象。例如,优选地,在执行目的地为止的导航中所使用的导航对象应显现于增强现实画面内的道路区域,但有可能发生导航对象显现于作为道路区域的上方的天空等的问题。
[0117]因此,在车辆位于如B位置的向上倾斜道路或者如D位置的向下倾斜道路的情况下,控制部170可通过反映摄像头的旋转角度来校正所确定的信息对象的映射位置。更具体地,在车辆位于如B位置的向上倾斜道路或者如D位置的向下倾斜道路的情况下,控制部170可执行第一处理步骤,即,利用由地形高度处理部140计算出的地形高度差来确定信息对象的映射位置,并可执行第二处理步骤,即,通过反映由摄像头旋转角度计算部150计算出的摄像头上下旋转角度来校正在第一处理步骤中所确定的映射位置,从而确定信息对象的最终映射位置。以下,更具体说明在车辆位于如B位置的向上倾斜道路或者如D位置的向下倾斜道路的情况下的本发明一实施例的电子装置100的工作。假如,若在车辆位于如道路B的向上倾斜道路的状态下显示前方区域C的信息对象,则地形高度处理部140可确定B位置的地形高度h2的前方区域(例如,C位置)的地形高度h3,并通过比较两个位置的地形高度来计算出地形高度差。
[0118]而且,三维空间生成部162可基于由校准部161计算出的摄像头参数来生成前方区域拍摄影像的三维空间。而且,控制部170可执行第一处理步骤,S卩,在所生成的虚拟三维空间中利用地形高度差来确定信息对象的映射位置。根据这种第一处理步骤,在与前方区域的C位置相对应的虚拟三维空间中,可通过反映作为C位置的地形高度和B位置的地形高度的差的h3 — h2,来确定为信息对象的映射位置高于在地形高度差异为O的情况下的映射位置。
[0119]但是,在车辆位于如B位置的向上倾斜道路的确情况下,以水平线为基准,摄像头的光学轴f2形成向上的角度,从而使得摄像头的视点高于在车辆位于与B位置相同高度的水平道路的情况下的摄像头的视点。在此情况下,若仅通过利用在第一处理步骤中所确定的映射位置来显现信息对象,则无法在增强现实画面内的适当位置显现信息对象。
[0120]因此,控制部170可执行第二处理步骤,S卩,考虑摄像头的向上旋转角度,校正根据第一处理步骤来确定的映射位置。根据这种第二处理步骤,通过反映摄像头的向上旋转角度,使得根据第一处理步骤来确定的映射位置(例如,在与前方区域的C位置相对应的虚拟三维空间中确定的映射位置)被校正成低于在摄像头的向上旋转角度为O的情况下的映射位置。
[0121]假如,若在车辆位于如C位置的水平道路的状态下显示作为向下倾斜道路的道路D的信息对象,则地形高度处理部140可确定C位置的地形高度h3和前方区域(例如,D位置)的地形高度h4,并通过比较两个位置的地形高度来计算出地形高度差。
[0122]而且,三维空间生成部162可基于由校准部161计算出的摄像头参数来生成前方区域拍摄影像的虚拟三维空间。
[0123]而且,控制部170可在所生成的虚拟三维空间利用地形高度差来确定信息对象的映射位置。更具体地,若在车辆位于水平道路C上的状态下显示前方区域D的信息对象,则在于前方区域的D位置相对应的虚拟三维空间中,通过反映作为D位置的地形高度和C位置的地形高度的差的h4 — h3,来确定为信息对象的映射位置低于在高度差为O的情况下的映射位置。
[0124]另一方面,若在车辆位于如D位置的向下倾斜道路的状态下显示前方区域E的信息对象,则地形高度处理部140可确定D位置的地形高度h4的前方区域(例如,E位置)的地形高度h5,并可通过比较两个位置的地形高度来计算出地形高度差。
[0125]而且,三维空间生成部162可基于由校准部161计算出的摄像头参数来生成前方区域拍摄影像的虚拟三维空间。而且,控制部170可执行第一处理步骤,S卩,在所生成的虚拟三维空间中利用地形高度差来确定信息对象的映射位置。根据这种第一处理步骤,在与前方区域的E位置相对应的虚拟三维空间中,可通过反映作为E位置的地形高度和D位置的地形高度的差的h5 — h4,来确定为信息对象的映射位置低于在地形高度差异为O的情况下的映射位置。
[0126]但是,在车辆位于如D位置的向下倾斜道路的确情况下,以水平线为基准,摄像头的光学轴f4形成向下的角度,从而使得摄像头的视点低于在车辆位于与D位置相同高度的水平道路的情况下的摄像头的视点。在此情况下,若仅通过利用在第一处理步骤中所确定的映射位置来显现信息对象,则无法在增强现实画面内的适当位置显现信息对象。
[0127]因此,控制部170可执行第二处理步骤,S卩,考虑摄像头的向下旋转角度,校正根据第一处理步骤来确定的映射位置。根据这种第二处理步骤,通过反映摄像头的向下旋转角度,使得根据第一处理步骤来确定的映射位置(例如,在与前方区域的E位置相对应的虚拟三维空间中确定的映射位置)被校正成高于在摄像头的向下旋转角度为O的情况下的映射位置。
[0128]另一方面,若根据上述工作来确定映射位置,则控制部170可基于摄像头参数来将映射信息对象的虚拟三维空间变换成二维图像,从而生成增强现实画面。而且,控制部170可控制显示部131显示所生成的增强现实画面
[0129]其中,显示于增强现实的信息对象可包括用于进行目的地为止的导航的导航对象。这种导航对象可根据上述对象170的位置确定算法来显现于增强现实画面的道路区域。即,以似引导对象位于增强现实画面的道路上的方式显现导航对象。
[0130]并且,显示于增强现实的信息对象可包括关注地点周期、用于告知转弯区间的转弯引导对象等。
[0131]像这样,根据本发明,以与车辆行驶的实际地形的高低差相对应的方式确定虚拟三维空间的虚拟的高度,从而具有以下优点,即,可在与现实世界相同的位置显现虚拟的引导对象,并且,由于演算过程也非常简单,因而可在嵌入式环境中进行实时处理。
[0132]并且,根据上述本发明,通过增强现实方法动态地显现虚拟的信息对象,从而可有效地向驾驶人员提供引导,并可引起驾驶人员的兴趣,而且还可谋求驾驶人员对车辆的安全驾驶及方便性。
[0133]图6为用于说明与本发明一实施例的电子装置相连接的系统网络的图。参照图6,本发明的一实施例的电子装置100可体现为导航仪、黑匣子、智能手机或其他车辆用增强现实界面供给装置等设置于车辆的各种装置,并且可与多种通信网及其他电子设备61、62、63、64相连接。
[0134]并且,电子装置100可根据从人工卫星20接收的电波信号来与全球定位系统相联动,从而计算出当前的位置及当前的时间。
[0135]各个人工卫星20可发送频率波段不同的L波段频率。电子装置100可基于从各人工卫星20发送的L波段频率到达电子装置100所需的时间来计算出当前的位置。
[0136]另一方面,电子装置100可通过通信部180,并借助控制站(ACR)40、基站(RAS)50等来以无线方式与网络30相连接。若电子装置100与网络30相连接,则还能与以间接的方式与网络30相连接的其他电子设备61、62相连接,并交换数据。
[0137]另一方面,电子装置100还可以通过具有通信功能的其他设备63来以间接的方式与网络30相连接。例如,在电子装置未具有可以与网络30相连接的模块的情况下,可通过近距离通信等来与具有通信功能的其他设备63进行通信。
[0138]图7为表示本发明一实施例的通过反映地形高度差来显示增强现实画面的方法的流程图。参照图7,电子装置100可确定运行中的车辆的位置(步骤S101)。具体地,电子装置100的位置数据部181可通过全球导航卫星系统(GNSS,Global Navigat1n SatelliteSystem)获得位置数据。
[0139]而且,电子装置100可确定与所确定的车辆的位置相距规定距离以内的区域的地形高度(步骤S102)。具体地,电子装置100的地形高度处理部140可利用数据高程模型数据或数据表面模型数据来确定车辆的位置的地形高度和与规定车辆相距规定距离以内的区域的地形高度。
[0140]而且,电子装置100可通过比较车辆的位置的地形高度和与规定车辆相距规定距离以内的区域的地形高度来计算出地形高度差(步骤S103)。具体地,电子装置100的地形高度处理部140可确定从位置数据部181获得的车辆的位置中的地形高度以及与车辆的位置相距规定距离以内的区域的地形高度。
[0141]而且,电子装置100可在摄像头的拍摄影像的虚拟三维空间中利用地形高度差异来确定信息对象的映射位置(步骤S104)。作为一例,在与前方区域的B位置相对应的虚拟三维空间中,可通过反映B位置的地形高度和A位置的地形高度差来确定信息对象的映射位置。
[0142]而且,电子装置100可将信息对象映射在虚拟三维空间的所确定的映射位置,并通过增强现实来显示(步骤S105)。具体地,控制部170可控制显示部131基于摄像头参数使映射信息对象的虚拟三维空间变换成二维图像,来生成增强现实画面,并显示所生成的增强现实画面