目镜型显示装置及其显示控制方法
【技术领域】
[0001]本发明涉及一种用于在将图形叠加在实景上的同时显示该图形(即，增强现实显示(augmented reality display))的目镜型显示装置的技术。
【背景技术】
[0002]传统上，作为目镜型显示装置的一种，已知有头戴式显示器(下文称作HMD)的技术。HMD被附装到用户的头上，并在用户的眼睛位置处在液晶显示器等上显示图形。作为另一种已知的目镜型显示装置，还已知有手持式显示器。用户的手保持手持式显示器，从而显示器面向用户的眼睛位置。另一方面，最近出现了用于在将图形叠加在用户正在查看的实景上的同时显示图形(即，增强现实显示)的装置。用于在实景上叠加图形的装置的类型包括所谓的镜片透视型和影像透视型。镜片透视型装置利用透明或半透明的眼镜透镜作为屏幕投影图形。影像透视型装置包括摄像装置，并在摄像装置正在拍摄的实景的影像数据上电气地叠加图形。
[0003]日本特开第2012-155654号公报讨论了如下信息处理装置:能够向用户提供用于在将虚拟对象叠加在真实空间上的同时显示该虚拟对象的增强现实应用。该信息处理装置包括危险识别单元和通知单元。当危险识别单元识别出真实空间中对用户的危险时，通知单元向用户通知危险的存在。日本特开第2012-155654号公报还讨论了用于在识别出危险的情况下使虚拟对象透明的技术。
[0004]日本特开第2010-136263号公报讨论了具有用于在外界为可视的状态下在用户的视网膜上投影图像的显示单元的HMD的技术。HMD将通过转换特定波长的图像而获得的转换后的图像投影在用户的视网膜上，并根据用户的移动速度改变检测到的危险的通知模式。该HMD以特定波长对佩戴HMD的用户的至少一部分视野摄像，识别在拍摄的特定波长的图像中的、具有高危险度的区域，并获取佩戴HMD的用户的移动速度。然后，基于识别出的具有高危险度的区域和获取的移动速度，HMD生成通过转换特定波长的图像而获得的转换后的图像，并在用户的视网膜上投影转换后的图像。
[0005]日本特开第2010-187132号公报讨论了如下HMD:具有用于根据图像信息在用户的眼睛上投影图像光以使用户可视地识别与该图像光相对应的图像的显示单元。该HMD包括用于基于用户眼睛的睁开/闭合状态检测用户睡眠的睡眠检测单元。当检测到用户的睡眠并且然后不再检测到睡眠时，HMD执行控制以显示如下图像:包括从用户的睡眠的检测时间之前的至少预定时间段直到用户的睡眠的检测时间为止显示的图像。
[0006]在一些情况中，用于显示增强现实的HMD可以在将文本和诸如图表和影像的图形萱加在实景上的同时显不它们。这种萱加显不存在以下冋题:在用户步彳丁移动时，萱加显不遮挡了用户在行进方向的实景中的视野，导致诸如碰撞或跌倒的危险。另一方面，如果叠加显示的图形的显示位置、显示面积以及透明度总是处于实景中的视野不被遮挡的程度，则用户将发现难以视觉化地识别文本、图表、影像等，这降低了作为图形显示装置的用户友好性。
[0007]换句话说，需要根据用户是否正自己移动(例如，步行移动)而以实景中的视野不会被遮挡或可以被遮挡的方式来分别改变图形的叠加显示。
[0008]日本特开第2012-155654号公报讨论了用于在识别出危险时使虚拟对象透明的技术，但是未讨论用于在用户正自己移动的情况和其他情况之间做区分的技术。
[0009]日本特开第2010-136263号公报讨论了用于根据用户的移动速度改变危险的通知模式的技术，但未讨论用于改变叠加显示以不遮挡实景中的视野的技术。
[0010]简言之，在上述传统技术中，难以根据用户是否正自己移动而分别以实景中的视野不会被遮挡或可以被遮挡的方式来改变图形的叠加显示。
【发明内容】
[0011]本发明旨在提供一种用于在用户自己移动时提供高安全性和高图形可视性的目镜型显示装置。
[0012]根据本发明的方面，一种目镜型显示装置包括:摄像单元，其被构造为拍摄现实影像；显示单元，其被构造为在将虚拟图像叠加在所述现实影像上的同时显示所述虚拟影像；确定单元，其被构造为确定所述摄像单元正在拍摄的影像是否为行进期间的影像；以及显示控制单元，其被构造为在所述确定单元确定所述摄像单元正在拍摄的影像是行进期间的影像的情况下，以不遮挡用户的视野的方式改变所述虚拟图像的显示模式。
[0013]根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【附图说明】
[0014]图1例示了作为根据示例性实施例的显示装置的示例的HMD的外观的示例。
[0015]图2是例示根据示例性实施例的HMD的配置示例的框图。
[0016]图3A、图3B、图3C以及图3D是例示由根据第一示例性实施例的HMD执行的确定和处理的流程图。
[0017]图4A和图4B例示了改变图形元素的显示位置的显示转换的示例。
[0018]图5例示了行进导航图像的示例。
[0019]图6是例示由根据第一示例性实施例的HMD执行的确定和处理的流程图。
[0020]图7例示了在利用红外光拍摄的图像的显示上叠加行进导航图像的显示的示例。
[0021]图8是例示由根据第一示例性实施例的HMD执行的确定和处理的流程图。
[0022]图9是例示由根据第二示例性实施例的HMD执行的确定和处理的流程图。
[0023]图10例示了作为根据第三示例性实施例的显示装置的示例的HMD的外观。
[0024]图11是例示根据第三示例性实施例的HMD的配置示例的框图。
[0025]图12是例示由根据第三示例性实施例的HMD执行的确定和处理的流程图。
【具体实施方式】
[0026]下文将参照附图详细描述根据本发明的示例性实施例的目镜型显示装置及其显示控制方法。
[0027]在下文描述的第一示例性实施例中，本发明应用于作为目镜型显示装置的示例的所谓的镜片透视型HMD。
[0028]图1例示了根据本示例性实施例的HMD 100的外观。
[0029]HMD 100包括用于将HMD 100附装到用户的头部上的头部附装单元101、用于拍摄用户的头部前方实景的影像的摄像单元102、用于投影图形的投影单元103以及投影有图形的目镜单元104。
[0030]头部附装单元101具有与所谓的眼镜框类似的结构。头部附装单元101被支撑在用户的耳朵和鼻子上，从而根据本示例性实施例的HMD 100被附装到用户的头上。除了图1例示的眼镜框型，还能够使用诸如护目镜型以及头盔型等多种类型的头部附装单元101。可以使用弹性材料来提高可附装性。
[0031]摄像单元102具有与所谓的数字照相机类似的构造。摄像单元102包括摄像透镜、光圈、用于将光学图像转换为电信号的摄像传感器、以及用于将模拟信号转换为数字信号的模数(A/D)转换器。摄像单元102在与在头上佩戴根据本示例性实施例的HMD 100的用户的面部面向的方向基本相同的方向(相当于用户的视野的方向)上拍摄图像。为了提高图像质量等的目的，摄像单元102还包括各种类型的光学滤波器。特别地，由于在拍摄彩色影像时近红外光很可能是有害光，因此通常在摄像传感器的光入射侧配设红外截止滤波器。也可以提供用于在可见光量低时将红外截止滤波器从光路撤出从而使更多光进入摄像传感器的机构(例如，日本特开第2008-35199号公报中讨论的摄像单元)。
[0032]投影单元103(所谓的投影仪)包括投影透镜、小图像显示元件以及诸如液晶元件和有机电发光(EL，electro luminescence)元件的发光元件。投影单元103在目镜单元104上投影要显示的图形的图像光。
[0033]目镜单元104被配设在相当于眼镜透镜位置的位置处，从而该单元面向用户的眼睛位置。目镜单元104包括嵌入其前面、后面、或内部的镜。每个镜都是具有一定程度的透过率从而允许用户看到外部实景的所谓的半反射镜。半反射镜还具有一定程度的反射率，从而朝用户的眼睛反射从投影单元103投影的图像光。换句话说，在根据本示例性实施例的HMD 100中，投影单元103和目镜单元104构成显示单元，通过该显示单元用户能够利用其上叠加的图形看到外部实景的图像。
[0034]各个上述目镜单元104的半反射镜在透射构件和反射构件的表面上可以具有液晶层，从而通过改变液晶层的定向来电气地改变透过率和反射率。作为一种选择，目镜单元104可以由液晶显示器形成，可以在将图形电气地叠加在摄像单元102拍摄的实景的影像数据上的同时在目镜单元104上显示该图形。在这种情况下，可以省略投影单元103。
[0035]图2是例示根据本示例性实施例的HMD 100的配置示例的框图。
[0036]HMD 100还包括如下一些单元:被嵌入在包括头部附装单元101的主单元的内部、并且未在图1中被例示为外观。这些嵌入的单元包括显示控制单元105、摄像控制单元106、中央处理单元(CPU) 107、存储器108、电源单元109、通信单元110以及移动传感器单元111。
[0037]显示控制单元105控制上文描述的投影单元103和目镜单元104以执行显示单元的显示控制。例如，显示控制单元105对从投影单元103投影的图形数据执行诸如坐标移动和改变大小的图像处理，从而改变虚拟图像的显示位置和显示面积。作为一种选择，显示控制单元105控制投影单元103的发光元件的发光量以及目镜单元104的透过率和反射率，从而改变虚拟图像的透明度。在将图形电气地叠加在摄像单元102拍摄的实景的影像数据上的所谓的影像透视型的情况下，可以通过在图形叠加时的图像处理来改变虚拟图像的显示位置、显示面积以及透明度。
[0038]摄像控制单元106基于利用摄像数据的预定计算处理的计算结果执行曝光控制和测距控制。因此，执行自动聚焦(AF)处理、自动曝光(AE)处理以及自动白平衡(AWB)处理