专利名称：一种自准直立体显示系统的利记博彩app
技术领域：
本发明涉及三维显示，尤其涉及自准直立体显示系统。
背景技术：
三维显示通常会存在这样的问题，由于立体视觉、聚散度和视觉调节之间的冲突，一些观看者会产生视觉疲劳。例如，3D显示通常要求观看者总是聚焦在屏幕表面上以保持聚焦，但是来自调节的深度暗示与来自聚散度的深度暗示不一致。例如，由于焦平面保持在屏幕平面，观看者的眼睛强制集中于立体物体，其视差暗示的空间位置与屏幕平面不同。假设屏幕平面距离观看者10英尺。他们的眼睛保持聚焦在屏幕平面时，但是立体显示暗示物体距离观看者15英尺。物体随后从暗示的距离观看者15英尺移动到暗示的距离观看者7英尺。所有这些进行时，眼睛仍然保持调节/聚焦在距离10英尺的固定的屏幕平面上。人类大脑有允许人类期望后天的反应或者调节/聚焦的肌肉存储程度的捷径。聚散和聚焦系统因此通常是协同的。在平面显示的立体方案中，要求观看者分离这种关系，观看者已经学习利用该关系来估计距离。随着时间的推移，这种分离引起疲劳和紧张。
发明内容
本发明一方面是提供一种系统，其包括:一图像生成器，其设置为提供立体图像流，图像流包括左眼图像和右眼图像；至少一图像调制器，其设置为可以从所述图像生成器接收所述立体图像流并将光并入所述立体图像以供观看装置观看，所述观看装置将所述光分别过滤到所述左眼图像和所述右眼图像，从而在通过所述观看装置观看时提供所述立体图像的三维效果；以及一自准直装置，该装置设置为接收来自所述至少一图像调制器的光并使所述光准直，使得在所述观看装置接收到所述立体图像时光线基本平行。所述系统还可以包括:至少一投影仪，用于投射所述立体图像，所述至少一投影仪包括所述至少一图像调制器；至少一屏幕，所述立体图像投射在所述屏幕上；至少一自准直镜，用于将来自所述至少一屏幕的所述立体图像反射，使得反射的光是准直的，所述自准直装置包括所述至少一屏幕和所述至少一自准直镜。所述至少一自准直镜可以是球形的或抛物线形的，所述至少一屏幕的形状可以与所述至少一自准直镜的形状互补。所述自准直装置可以包括:至少一屏幕，所述立体图像提供在该屏幕上；至少一自准直镜，用于反射来自所述至少一屏幕的所述立体图像，使得反射光是准直的。所述系统还可以包括一计算装置，设置为执行以下任务中的至少一个:在所述至少一图像调制器将光并入所述立体图像前翘曲所述立体图像；根据所述观看装置相对所述自准直装置的变化的位置重复所述翘曲；改变所述左眼图像和所述右眼图像之间的眼间距离；在所述立体图像流中插入二维图像。所述系统还包括一沉浸式环境，使得所述立体图像与在所述沉浸式环境中身临其境的体验相关联。所述沉浸式环境可以包括一模拟环境、一飞行模拟器和一驾驶模拟器中的一个或多个。所述沉浸式环境可以包括一可视化环境、一显微可视化环境、一医疗图像可视化环境、一油汽可视化环境、一地震学可视化环境中的一个或多个。所述沉浸式环境可以包括一训练环境。所述系统还可以包括:一头部跟踪装置，设置为可以获得所述观看装置的位置；和一处理器，设置为根据所述位置和所述观看装置的朝向中一个或多个来调节所述立体图像以供观看。所述立体图像可以投射在一弯曲的表面上供观看，所述处理器还可以设置为根据所述弯曲表面的几何形状调节所述立体图像。所述系统还可以包括一存储器，用于存储表征所述几何形状的数据。所述处理器还可以设置为根据所述弯曲表面的几何形状通过以下步骤调节所述立体图像:确定显示的图像，所述图像包括要提供在平板屏幕上的所述立体图像；根据表征所述弯曲表面的几何形状的数据和所述观看装置的位置确定所述平板屏幕的扭曲；根据所述扭曲调节所述图像，使得所述立体图像投射到所述弯曲表面时会呈现为未扭曲。每次确定观看装置的位置发生变化时，即可重复调节所述立体图像。所述自准直装置可以包括一自准直镜，所述自准直镜设置为反射来自所述弯曲表面的光，使得反射光是准直的。所述系统还可以包括:一处理器，设置为通过变化所述左眼图像和所述右眼图像之间的眼间距离来调节所述立体图像。所述眼间距离可以根据所述立体图像的观看者和所述立体图像的至少一个给定特征之间的虚拟距离来变化。所述眼间距离可以变化，使得提供的所述左眼图像和所述右眼图像为超立体感的。在所述虚拟距离为高于一第一给定阈值和低于一第二给定阈值中一个或多个时，提供的所述左眼图像和所述右眼图像为超立体感的。所述系统还可以包括:一处理器，设置为根据所述立体图像的观看者和所述立体图像的至少一个给定特征之间的虚拟距离来插入二维图像到所述立体图像流。所述处理器还可设置为通过将所述左眼图像和所述右眼图像之一替换为所述左眼图像和所述右眼图像另一个来插入二维图像到所述立体图像流。所述处理器还可以设置为，在所述虚拟距离为高于一第一给定阈值和低于一第二给定阈值中一个或多个时插入二维图像到所述立体图像流。
为了更好理解在此描述的各种实施例以及更清楚地示出它们如何实施，仅仅以示例方式参考附图，附图中:图1示出了根据非限定实施例的自准直立体显示系统；图2示出了根据非限定实施例的使用中的图1所示的系统；图3-5示出了根据非限定实施例的、在人眼聚焦在投射到一屏幕上的立体图像的虚拟物体时人眼的聚散(vergence)行为；图6-8示出了根据非限定实施例的、在人眼聚焦在投射到一屏幕上的立体图像的虚拟物体时人眼的调节(accommodation)行为；图9-10示出了根据非限定实施例的自准直立体显示系统；图11示出了根据非限定实施例的带有头部跟踪的自准直立体显示系统；图12示出了根据非限定实施例的使用中的图11所示的系统；
图13示出了根据非限定实施例的、在图11所示的系统中在观看装置的位置变化时调节立体图像的方法；图14示出了根据非限定实施例的、带有眼间距离变化的自准直立体显示系统；图15示出了根据非限定实施例的、用于图14所示系统的虚拟景观；图16示出了根据非限定实施例的、在图14所示系统的眼间距离变化时立体图像的变化；图17示出了根据非限定实施例向图14所示系统的的三维图像流插入二维图像；图18示出了根据非限定实施例、在人眼聚焦在投射到一屏幕上的立体图像的虚拟物体时人眼的调节行为。
具体实施例方式现在参考图1，示出了根据非限定实施例的自准直立体显示系统100，图2示出了使用中的系统100。系统100通常包括一图像生成器101，图像生成器101和至少一图像调制器103通信。图像生成器101通常设置为提供包括左眼图像106a和右眼图像106b的立体图像105流。可以理解仅在图1中标记出了左眼图像106a和右眼图像106b，尽管如此在后续附图中它们还是会出现在立体图像105中。如图所示，图像生成器101和至少一图像调制器103通过一可选的、处理立体图像105的计算装置通信，下面会讨论。计算装置104可以包括任何适当的计算设备，包括但不限于翘曲引擎、视频处理设备、个人电脑(PC)、服务器等。一般而言，计算装置104包括一处理器112和一存储器114 (其可以包括易失性和非易失性存储器)以及任何适当的通信接口、输入设备和显不设备。图像生成器101可以包括任何适当的图像生成器，包括但不限于存储三维电影文件、三维视频文件、三维显示文件的存储设备、视频游戏系统、模拟系统、可视化系统、训练系统等。至少一图像调制器103通常设置为从图像生成器101接收立体图像105流并将光107并入立体图像105，以供观看装置109观看。例如，在所示的实施例中，至少一图像调制器103包括一投射立体图像105的投影仪。此后，至少一图像调制器103称作不带过分限制的“图像调制器103”，但是可以理解，系统100可以包括一个或多个图像调制器103。而且，这种用法会贯穿全文。图像调制器103、图像生成器101和计算装置105，如果出现的话，可以使用任何适当的协议进行有线或无线通信，并且彼此可以是临近的或远程的。观看装置109通常设置为将光107分别过滤到左眼图像106a和右眼图像106b，从而在通过观看装置109观看时提供立体图像105的三维效果。换句话说，系统通常包括一用于三维观看图像的“3D (三维)”系统，因此图像调制器103包括一投射立体图像105的“3D”投影仪，观看装置109 (“3D”眼镜)可以使用任何适当的技术将立体图像105分成左眼图像106a和右眼图像106b。实际上，通常可以理解观看装置109与图像调制器105匹配。例如，在图像调制器103投射不同偏振状态(包括但不限于正交线性偏振状态和顺时针/逆时针圆偏振状态)的左眼图像106a和右眼图像106b的实施例中，观看装置109包括适当的偏振过滤器，以将左眼图像106a和右眼图像106b过滤到观看者111相应的眼中。类似地，在图像调制器105交替(一个接一个)投射左眼图像106a和右眼图像106b的实施例中，观看装置109包括适当的电子快门(包括但不限于基于IXD(液晶显示)的快门)，其根据左眼图像106a和右眼图像106b的投射而打开和关闭，从而将左眼图像106a和右眼图像106b过滤到观看者111相应的眼中。无论如何，可以理解提供立体图像105以供通过观看装置109观看不应考虑为有特别限定。例如，其他实施例包括但不限于使用色度信号梳形过滤器和/或偏振过滤器的主动式或被动式立体显示系统。还可以理解，在观看装置109在图1中示为面向页面外，这种画法仅仅是示意性的，观看者111通常基本上面向镜117来观看图像105。通常可以理解，立体图像105提供在适当的表面(例如屏幕)以供观看。但是，与现有技术的3D系统不同的是，系统100还包括一自准直装置113，该装置设置为接收来自图像调制器103的光107并使之准直，使得光107的光线121在观看装置109接收时基本上是平行的。在所示的非限定性实施例中，自准直装置113包括:至少一屏幕115，立体图像105投射到其上；和至少一自准直镜117，用于反射来自屏幕115的立体图像105，使得反射光是准直的。屏幕115可以包括任何适当的、能够散射/反射光107的屏幕，光107随后被自准直镜117反射。可以理解，屏幕115为基本上凸面，包括但不限于基本上球形和基本上抛物线形。使用凸面屏幕提供相对现有技术的二维模拟器的优点，二维模拟器倾向于使用观看图像的凹面屏幕。例如，凹面屏幕容易从一侧到一侧和从顶部到底部发生串扰(crosstalk)，这是因为来自图像一侧的光反射在凹面屏幕对侧。这导致分辨率下降、耀斑和重影。还可以理解，这些问题在使用背投影和/或后方投影到凹面屏幕时会更严重。例如，通常用于飞行模拟器的后投影屏幕被广泛误解。它们经常被错误地理解为比正投影系统更亮和对比度更高，但是这仅仅在环境光线较强时才可能。相反，许多后投影屏幕由于几何散射和屏幕吸收会发生严重的重影偏轴光线，导致重影和耀斑。与此相反，使用凸面的正投影屏幕，消除了串音问题，这导致提高的对比度、提高的亮度、提高的分辨率、降低的成本、宽松的投影仪设置、减少的耀斑、减少的重影等。自准直镜117包括任何适当凹面镜，包括但不限于球形镜和抛物线形镜，它们的基本性能是反射光线121基本平行。因此，与现有技术的3D系统相反，光线/平行光线121形成的立体图像在到达观看装置109时是准直的，使得观看者111的眼睛不必聚焦在屏幕115或自准直镜117，而是聚焦在无穷远。这样的优点下面会结合图3-8介绍。但是可以理解，抛物线形镜与球形镜相比可以提供更好的准直。但是，抛物线形镜制造起来比较昂贵，球形镜尽管边缘会引起像差但是更便宜且制造起来更容易。尽管如此，球形镜在平衡准直度和费用上更好。因此可以理解，自准直镜117的自准直不必是完美的。另外，自准直镜117可以包括任何适当的材料，包括但不限于玻璃和Maylar 牌薄膜。在后一,清况，制造完全抛物线形或完全球形的Maylar 牌薄膜镜有一定挑战性,通常Maylar 牌薄膜镜包括一边界和限压垂曲弧，所述垂曲弧中部常常带有一些鞍形凸出，用于广角座舱的显示。但是，尽管较低质量的镜会出现更多的像差，性能和舒适度会下降，准直度基本上是足够的。还应当理解，屏幕115的形状与自准直镜117互补，因此屏幕115是基本上弯曲形的。例如，自准直镜117为基本上凹面，屏幕115为基本上凸面:在自准直镜117为基本上球形凹面的实施例中，屏幕115为基本上球形凸面；在自准直镜117为基本上抛物线形凹面的实施例中，屏幕115为基本上抛物线形凸面。但是，应当理解，屏幕115不必完全与自准直镜117成互补。例如，在自准直镜117为球形的实施例中，屏幕115可以是抛物线形，反之亦然，计算装置104会执行对图像105的校正，以校正在观看的图像中所产生的像差。实际上，还应当理解，偏离理想的凹面镜或凸面屏幕均在本发明的范围之内。尽管这样的系统并不是理想的，这样的系统仍然能够提供在此描述的自准直立体显示的优点。例如，在一些实施例中，平面屏幕(即屏幕115)反射的图像105可以使用宽半径抛物面镜(即自准直镜117)观看。在一些这样的实施例中，计算装置104会执行对图像105的校正，以校正在观看的图像中所产生的像差。还应当理解，自准直镜117设置为使得抵达设计视点(DEP)123的平行光线121基本上与观看者111的眼睛对齐。还应当理解，由DEP123返回的跟踪光线121在屏幕115上产生汇聚，为观看者111聚焦。换句话说，如图所示，每个平行光线121可以通过相应的反射光119追踪到屏幕115。还应当理解，在一些实施例中，屏幕115的底部在自准直镜117上部清楚或接近清楚。换句话说，屏幕115和自准直镜117设置使得投射到屏幕115上的立体图像105可以被观看者111观看，使得自准直镜117的上部不会被屏幕115遮蔽。在所描述的实施例中，系统100包括计算装置104，该计算装置设置为在图像调节器103将光107并入立体图像105之前翘曲立体图像105。例如，立体图像105在计算装置104翘曲使得在立体图像105投射到弯曲屏幕115并通过平行光线121由观看装置109观看时，立体图像105不会出现弯曲。在又一些的实施例中，下面会讨论，计算装置104还可以设置为根据观看装置109相对自准直装置113的变化的位置来重复翘曲操作。换句话说，系统100还可以包括头部跟踪装置，下面会参考图11和12描述，所述头部跟踪装置跟踪观看装置109和/或观看者111的头部的位置，根据观看装置109和/或观看者111的头部的位置动态翘曲立体图像105，以提供改变的视角。在又一个的实施例中，会进一步描述，计算装置104还可以设置为执行以下操作中的至少一个:改变左眼图像106a和右眼图像106b之间的眼间距离(其也可以称作瞳孔间距离)；和向立体图像105流中插入二维图像。但是，在其他实施例中，图像生成器101可以设置为执行计算装置104的所有功能；因此，在这些实施例中，图像生成器101和计算装置104结合至一个设备，而图像生成器101包括计算装置104。在一些实施例中，系统100可以用于普通的3D视频应用，包括但不限于，3D自准直电影应用、自准直3D显示、个人台式自准直3D显示、3D自准直电视和3D自准直视频游戏系统。还应当理解，系统100还可以包括一沉浸式环境，使得立体图像105与所述沉浸式环境中的一身临其境的体验相关联。例如，所述沉浸式环境包括一模拟环境，包括但不限于，飞行模拟器、驾驶模拟器、飞船模拟器等。因此，系统100可以包括“现实世界”控制，例如在飞行模拟器中，使得观看者111可以控制立体图像105以提供模拟飞行。立体图像105因此可以在与图像生成器101 (以及可选的计算装置104)的反馈回路中动态更新，以包括模拟“现实世界”的图像以复制现实世界，使得观看者111以类似于与现实世界交互的方式与模拟环境交互。迄今为止，传统上认为三维效果在自准直显示系统中没有用处，例如包括飞行模拟器的模拟环境，这是因为准直光假定为来自“光学无限”，其通常取为9米(约30英尺)。例如，光学无限通常认为是在该距离处左眼和右眼观看一个物体的视角几乎相同，因此还认为使用双频道成像和立体显示系统没有多少好处。但是，测试设置为飞行模拟器的系统100的工作样机表明，这些假设都是错的。实际上，与所述工作样机交互的飞行员发现，自准直立体显示系统所提供的交互体验比自准直非立体显示系统所提供的更真实。首先，甚至在从大约4英尺至至少大约400米(例如约1/4英里)的距离范围可以对左眼和右眼产生带不同景观的模拟特征，其提供显著的、提高的、带更好深度感的三维效果O其次，在使用立体图像而不是二维图像时，感觉到飞行模拟器的更佳的分辨率，主要因为超分辨率作用；换句话说，人类大脑能够叠加立体的左眼和右眼图像并插入与左右眼均使用单个图像(即二维图像)相比更高分辨率的所得图像。第三，在距离设计眼点约9米的飞行模拟器中可以提供一些特征，包括但不限于，空中加油的隆隆声、低空飞行的直升机、驾驶模拟器和模拟着陆的景观特征。但是，这样的特征可以提供在大于9米或小于9米处。在这些情形，飞行员注意到这些三维立体图像与二维图像相比会提供更加真实的体验。在又一些实施例中，所述沉浸式环境包括一可视化环境，其不必与现实世界环境相关联。例如所述可视化环境可以包括但不限于CAVE (自动虚拟环境工作室)、医疗图像可视化环境、油气可视化环境、地震学可视化环境等中的一个或多个。在这些实施例中，系统100可以包括“操作”所述可视化环境的控制。例如，在这样一个可视化环境中，相关的控制可以用于在立体图像105中可视化和操作虚拟的医疗分子/药物等、石油矿床、地震学板块等。还可以理解，迄今为止自准直系统还没有用于可视化环境，当然不会与立体图像结合使用。实际上，在显示系统的整个范围内，模拟环境和可视化环境之间趋于很少重叠或没有重叠。在又一些实施例中，所述沉浸式环境包括一训练环境，包括但不限于用于修理设备和/或建造设备等(作为一个非限定性实施例，工业车辆的制造和修理)的训练环境。例如，这样的训练环境和相关的控制可以用于可视化和操作立体图像105a中的虚拟物品来修理和/或建造设备。还可以理解，迄今为止自准直系统还没有用于训练环境，当然不会与立体图像结合使用。现在参考图3-5和图6-8和18来讨论自准直立体显示的一般优点。特别地，图3和4示出了在人眼聚焦在投射到一屏幕上的立体图像的虚拟物体时人眼的聚散(vergence)行为，这时所述虚拟物体分别“位于”所述屏幕之前或之后。从图3可以看出，在物体P3出现在屏幕之前时(即聚散)左眼和右眼试图交叉，但在同时左眼图像Pl和右眼图像P2实际投射在屏幕上，这是冲突的像差，可能引起观看者头疼和恶心。可以理解，不舒服的程度因观看者的不同而不同。参考图4，在物体P3 “位于”屏幕后时该问题会变得不太尖锐，眼睛仍然试图聚散。但是，参考图5以及在本实施例中，物体P3 (图5中未示出)名义上位于光学无穷远，聚散暗示通常与图像P1、P2的实际位置(即在屏幕上)相吻合，眼轴是基本上平行的，从而减小了眼疲劳。实际上，这种观看基本上模拟望出实际窗口的实际景观，即景色由眼间(例如瞳间)距离分开并舒适放松而眼轴基本平行，从而减小了眼疲劳。另外，眼的聚焦(调节)在立体图像中的虚拟物体分别“位于”屏幕之前和之后时也是冲突的。例如，图6和7示出了在人眼聚焦在投射到一屏幕上的立体图像的虚拟物体时人眼的调节行为，这时虚拟物体分别“位于”屏幕之前和之后。参考图6，物体虚拟位于屏幕之前，眼睛试图聚焦在屏幕之前，使得眼睛的前表面绷紧，睫状肌会强迫目镜必要弯曲，以将图像聚焦在视网膜上。参考图7，在物体“位于”屏幕之后，所述问题变得不太尖锐，眼睛和睫状肌会经受适度的张力。但是，调节和聚散之间的冲突仍然存在。但是，参考图8以及本实施例，在物体(图8中未示出)名义上位于光学无穷远，调节暗示基本上与左右眼图像的实际位置(即在屏幕处)吻合，眼睛和睫状肌基本上放松，从而减小眼疲劳。但是，如上面所讨论，甚至在许多物体名义上位于光学无穷远，通过提供自准直立体显示系统100，左右眼图像的景观仍然会有明显的区别，系统100中会形成优质的立体图像，从而提供长时间不疲劳的、更舒适的三维观看体验。换句话说，图6、7和8为看窗外的三种“正常情形”。为了进一步说明本发明所解决的问题，可以参考图18，其示出了眼睛聚焦在一窗或屏幕平面(这是所有现有3D显示的正常情形)。实际上，当人眼聚焦在近的物体时，3D显示深度暗示是冲突的，特别是在物体“虚拟”示在屏幕之前而图像实际出现在屏幕上的时候。例如，在观看者观看3D图像时，例如观看者18英尺前的电脑屏幕上的游戏，观看者的聚焦是固定的，如图6所示，前目镜表面相当陡而睫状肌收缩。但是立体游戏或模拟或显微镜或者任何以3D所显示可以描述为带正确聚散度暗示的在无穷远的物体(例如飞行器)，例如如图5所示。因此，立体差异在视网膜上强的聚散度暗示表明图像在无穷远，但是来自调节的弱的深度暗示表明其仅在18英寸外。正是这种深度暗示的冲突引起眼疲劳。如果聚散度类似于图3那样，对于计算机屏幕前的例如约12英尺远的物体，在聚焦调节告诉观看者的大脑该物体仍然18英寸远时，眼睛更疲劳和“不自然”。本发明在一定程度上解决了这种冲突，这是因为在调节和聚散暗示基本上同步而且物体被自准直镜117 “推得”更远时，会实现远程物体的更舒适、更自然的景观，使得无穷远看起来像窗外真实的无穷远，眼睛在聚散(不交叉或平行)和聚焦(即放松的更平直的镜头)时均放松。这使得观看者可以容易地一次观看模拟图像数小时而眼疲劳不严重，甚至对于观看3D图像通常有很多困难的人来说也是这样。下面参考图9，示出了基本上类似于系统100的系统100a，类似的元件使用类似的附图标记，但是带有后缀“a”。例如，图像调制器IOOa类似于图像调制器100。但是，在这些实施例中，屏幕115a包括一后投射屏幕(有时称作背投屏幕(BPS))，图像调制器IOOa设置为投射在屏幕115a的一后投射屏幕上，相应的立体图像由自准直镜117a反射。换句话说，系统IOOa类似于系统100，但是，后投射几何不同于前投射几何。下面参考图10，示出了基本上类似于系统100的系统100b，类似的元件使用类似的附图标记，但是带有后缀“b”。例如自准直镜117b类似于自准直镜117。但是，在这些实施例中，图像调制器103b与屏幕相结合:换句话说，图像调制器103b包括一弯曲显示(例如基于发光二极管(LED)、有机LED或产生弯曲显示的任何适当技术)，相应的立体图像形成在所述弯曲显示上，随后被自准直镜117b反射。换句话说，系统IOOb类似于系统100，但是，投射元件替换为弯曲板显示技术。实际上，可以理解，使用弯曲板显示技术能够使与目前飞行模拟器使用的大的BPS相比更小功率和大小的近眼显示成为可能。下面参考图11，示出了基本上类似于系统100的系统100c，类似的元件使用类似的附图标记，但是带有后缀“C”。例如图像调制器IOOc类似于图像调制器100。图12示出了使用中的系统100。但是，系统IOOc还包括一与计算装置104c通信的头部跟踪装置1101，头部跟踪装置1101使得能够获得观看装置的位置，包括但不限于观看者Illc的头部的位置。可以理解，观看装置109c的位置包括但不限于观看装置109c在自准直镜117c前的区域内的位置和观看装置109c的朝向(例如观看者Illc向左、向右、向上、向下、直着向前看等)。图11和12示出了计算装置104c的进一步的细节，下面会详细讨论。但是可以理解，计算装置104c包括一处理器1103和一存储器1105，分别类似于处理器112和存储器114。在示出的非限定性实施例中，头部跟踪装置1101包括数码相机和数码摄像机中的一个或多个(通常一个相机)，其朝向设置为对观看装置109c和/或观看者Illc的头部照相(例如在自准直镜117c前的一个区域)。但是可以理解，任何适当的头部跟踪装置均在本发明的范围之内，本说明书并不意在过分限制在一个照相机。在一些实施例中，头部跟踪装置还可以包括一计算装置(未示出)，用于处理头部跟踪数据以确定观看装置109c的位置；代表观看装置109c的位置的数据随后可以传输到计算装置104c。但是，在其他的实施例中，一旦头部跟踪装置1101获得观看装置109c的位置，所获得的数据即传输给计算装置104c处理，使得处理器1103通过处理所获得的数据确定观
看装置的位置。实际上，可以理解，处理器1103通常能够根据观看装置109c的位置调节立体图像105c以供观看。例如，在观看装置109c的位置变化时，立体图像105c调节为使得观看者Illc所看到的是所述位置变化相应的景观。例如，在观看者Illc向左或向右走动和/或向上或向下移动他/她的头时，可以调整立体图像105c中的平行视差和景观，以反映所述位置和/或朝向的变化。但是，还应当理解，由于立体图像105c投射在弯曲表面(即屏幕115c)上以供观看，处理器1103因此还设置为根据所述弯曲表面的几何形状调整立体图像105c。换句话说，处理器1103通常设置为能够改变立体图像105c所代表的景观并能够在变化的景观中针对弯曲表面调整。还应当理解，头部跟踪装置1101可以执行以下动作中的一个或多个:在探测到观看装置109c的位置发生变化时与计算装置104c通信；和周期性传输观看装置104c的位置以及所述位置是否发生了改变给计算装置104c，使得可以根据不同通信之间的位置区别来确定位置的变化。现在参考图13，其示出了观看装置109c的位置发生变化时调节立体图像105c的方法1300。为了解释方法1300，假设用系统IOOc执行方法1300。另外，下面对方法1300的讨论会帮助进一步理解系统IOOc和其各种部件。但是，应当理解，系统IOOc和/或方法1300可以变化，并且也不必像在此讨论的完全彼此结合工作，这些变化在本发明的范围之内。方法1300还假设代表系统100的几何形状的数据1201已经存储在存储器1105，数据1201包括但不限于代表弯曲表面(即屏幕115c)的几何形状的数据，包括但不限于屏幕115c的曲率和图像调制器103c、屏幕115c和自准直镜117c的相对位置，以及名义DEPlllc的位置，其假设为在观看装置109c的位置和/或朝向变化时发生变化。在块1301，处理器1103接收代表观看装置109c的位置已经变化的数据。例如，头部跟踪装置1101探测到观看装置109c的位置的变化并将表征这种变化的数据传输给处理器 1103。在块1303，处理器1103确定显示的图像，所述图像包括根据变化的位置要投射到平的屏幕上的立体图像105c。例如，在观看装置109c向上、向下、向左、向右移动时，DEP123C变化，这可以反映在立体图像105c的虚拟特征的观看视角的变化以及平行视差的变化等上。因此，处理器1103能够处理立体图像105c以反映这些变化，就像立体图像105c要提供在平的平面上(不弯曲)那样。在块1305，处理器1103根据表征弯曲表面(即屏幕115c)的几何形状和观看装置109c的位置的数据来确定平的表面的扭曲。换句话说，平的平面处理为可以扭曲的网格，在从变化位置的观看装置109c观看立体图像时105c时，所述平面扭曲以反映屏幕115c的形状。在块1307，在块1301产生的图像根据块1305的扭曲调整，使得在投射到所述弯曲表面时立体图像105c显得不扭曲。相反，传统的显示生成器产生的内容用于立体的单个点。通常，生成这种内容的假设是，显示板是平的表面且简单的视锥体可以描述观看的显示区域，且观看者处于空间上的固定位置，以简化模拟屏幕上的几何形状的绘制。可以理解，要实现广角景观，自准直显示通常采用弯曲的投射表面。图像翘曲允许通常平面的目标可以像柔性的网格处理，允许图像均匀的、适当的扭曲，使得一旦传递到自准直显示方案中的光学元件(例如自准直镜)，从观看者的视角来看结果是没有弯曲或光学变形的图像。但是，这样的系统没有考虑到观看者的位置可能发生变化。针对这一问题，本发明提供了这样一个方案，如方法1300，通过跟踪观看者的空间位置与实时校正图像的扭曲相结合来调节。可以理解，为了三维深度暗示，立体观测使用:融合两个独特的立体景观(即左眼和右眼);单眼深度暗示调节(聚焦);和双眼深度暗示聚散。借助加入的运动平行视差(通过在此描述的立体跟踪视角)，人类的所有单眼深度暗示可以用来增强立体深度暗示。因此可以理解，可以用于立体体验的单眼深度暗示包括:。-景观(从观看者的空间位置的视角，现有的实施例使得随着观看者的移动景观会像现实世界那样可以改变)。-运动深度(在可见的景观中运动平行视差和物体大小的改变，其通常绑定到景观。例如，在观看森林中的树时，树位于相对观看者位置的不同平面；随着观看者移动，在观看者的视野范围内，近的树显得移动得快而远的树显得移动得慢)。-遮蔽(移动改变物体的可见性的效果，物体彼此遮蔽。例如，森林里的树位于相对观看者位置的不同平面；随着观看者移动，远的树可以被接近观看者的树遮蔽)。因此，根据观看者Illc的位置调节图像105，所有前述的深度暗示可以集成到系统IOOc中，这使得虚拟体验更加逼真。可以理解，每次确定观看装置109c的位置发生变化，可以重复方法1300。因此，立体图像105c可以随观看者相对自准直镜117c的移动动态调节，以提供整体增强的3D环境。实际上，可以理解运动视差暗示可以是非常强大的附加深度暗示，远远超过调节，其通常限于一个弧分乘以聚焦深度，所述聚焦深度根据良好光线下的2mm瞳孔计算。来自头部移动的运动视差可以提供强于眼间隔和聚散的暗示，这是因为图像的带立体视差的图像“基线”可以更长。例如，如果观看者看一个景观时移动头部2至3次，由于运动视差，通过64_的标称眼间距，可以获得更大的景深和微变敏度。例如，如果有好的头部跟踪，甚至有一只坏眼的观看者也可以通过头部移动和调节来感知深度。这样，运动视差可以取代聚散度暗不。还应当理解，在一些实施例中，头部跟踪可以打开和关闭。例如，对于多个观看者系统(例如作为非限定性实施例，有飞行员和副驾驶的交叉驾驶舱自准直模拟器)，头部跟踪可能不是期望的，除非只有一个观看者使用该系统。因此，在这些实施例中，头部跟踪可以为单个的观看者打开而对多个观看者关闭。现在参考图14，示出了“使用中”的、基本上类似于系统IOOc的系统100d，类似的元件使用类似的附图标记，但是带有后缀“d”而不是后缀“C”。例如计算装置IOOd类似于计算装置100c。但是在这些实施例中，头部跟踪装置是可选的(并且实际上未示出)，处理器1103d设置为通过改变左眼图像106ad和右眼图像106bd之间的眼间距离来调节立体图像105d。例如，如图15所示的曲线所示，“虚拟的”景观1500可以包括虚拟特征1501，例如地理特征诸如小山或山脉。DEP 123d在图15中示为在“天空”中，这是因为假设景观1500是飞行模拟系统的一部分，因此观看者Illd会位于景观1500之上。可以确定DEP 123d (即观看者Illd)和特征1501之间的虚拟距离。可以理解，景观1500不会像图15所示那样被观看者Illd “看到”，而是会生成代表好像从DEP 123d看到的景观1500的立体图像105d。通常，根据人类标准的眼间距离约64mm (尽管人类的标准眼间距离被认为在约62mm到约65mm，因此可以选择适当的眼间距离来代表标准间距离；但是，人类的眼间距离在在约58mm到71mm)来生成立体图像。但是如图16所示，左眼图像106ad和右眼图像106bd之间的眼间距离可以根据虚拟距离1503变化，例如增大或减小，以生成根据新的眼间距离的更新的左眼图像106ad'和右眼图像106bd/。例如，如图16所示，眼间距离可以增大，使得所提供的左眼图像106ad'和右眼图像106bd'为超立体的，其通常可以理解为可以向观看者提供比标准立体图像更多的光学深度信息。换句话说，在这些实施例中，系统IOOd可视化设置进入超立体模式。可以理解，超立体可以影响比例感，而且对于增加远的物体的立体视差很有效。例如，超立体用于带很长基线的航空图片以生成地形图。其对双筒望远镜和测距仪也有用，以有效增加眼间距离和基线以判断相对深度。而且，在距离大于约IOOm时，几百英尺的眼间距离不会显著影响距离感，但是会增加远的物体的立体像差。因此，例如，提供景观的超立体图像可以提供虚拟特征的增强的细节。实际上，地球轨道(例如从行星轨道的一侧到另一侦D的超立体基线图像已经用于月球的科学3D研究。在一些实施例中，处理器1103d可以设置为，在虚拟距离1503大于一第一给定阈值和小于一第二给定阈值中的一个或多个时，提供超立体的左眼图像106ad和右眼图像106bd。例如，第一给定阈值可以是约100米，第二给定阈值可以是约1000米，但是任何适当的阈值均在本发明的范围之内。例如，基线低于64mm可以用于微观和宏观工作，例如检查小虫或血液细胞。但是，例如在有星系的可视化时，使用基线光年和/或秒差距和/或天文单位均在本发明的范围之内。因此，可以理解，本发明的眼间距没有特别限定，其可以从零(对于二维图像，如下面所述，到非常大的距离)。还应当理解，视点正负相同地增加的“正常”的眼间距离，对于左眼约-32_，对于右眼约+32_ (合计约64_)。但是，第二阈值可以小于第一阈值，使得可以在小距离和大距离提供超立体感:例如，第二阈值可以小于9米，使得靠近DEP 123d的虚拟特征显得比实际上大，以提供比在眼间距离为人类标准值时能正常得到的更多的光学细节。还应当理解，在此的变化的眼间距离的例子均涉及飞行模拟器，变化的眼间距离可以用于任何适当的、上面所述的沉浸式环境。例如，取决于模拟环境中观看的实际距离，可变化的眼间距离可以手工输入或自动变化(例如在观看者接近地面时可以使用更自然的眼间距离，在观看者高处时可以使用超立体设置)。在一些这样的实施例中，如图16所示(见左眼图像106ad"和右眼图像106bd")，可以使用低于人类标准值的眼间距。例如在医疗可视化环境中对药物成像时，或者在任何适当的沉浸式环境中任何非常小的特征，人类标准值不会产生该特征的清楚景观，可以使用低于人类标准值的眼间距离。换句话说，系统IOOd也可以设置进入亚立体模式，其对于非常近工作景观很有用，例如显微镜或微距应用。通常，应当理解，眼间距离可以以任何适当的方式变化，包括但不限于根据阈值和/或虚拟距离用于任何适当的沉浸式环境。还应当理解，人类的眼间距离或因人而异，系统IOOd的眼间距离也会随给定观看者的眼间距离而变化。例如，系统IOOd的眼间距离对于给定的观看者是固定的，而对于不同的观看者会变化，以适应不同观看者的眼间距离的变化。在这些实施例中，在给定观看者使用系统IOOd之前,可以输入基础眼间距离到系统100d。在其他实施例中，如图17所示，处理器1103d可以设置为根据虚拟距离1503插入二维图像1701到立体图像105d的流1703中。实际上，插入二维图像1701意味着所述眼间距离减小至0mm。在一些事实例中，处理器1103d设置为在虚拟距离1503为大于一第一给定阈值和小于一第二给定阈值中的一个或多个时，插入二维图像1701到立体图像105d的流1703中。例如，虚拟距离1503大于一给定阈值，例如1000米，立体图像105c中会很少出现立体像差，因此通过插入二维图像1701到立体图像105d的流1703中来切换到二维景观可以减少处理时间。可以理解，任何适当数量的二维图像1701可以插入到流1703中，可以根据虚拟距离插入任何适当的时长。类似地，低于一第二给定阈值，会出现三维图像不适当或不期望的情形，因此系统IOOd可以转换到二维模式。转换的二维模式可以减少处理时间，例如对于高帧率和/或处理景观中多个特征时(例如处理多个多边形)。
在一些实施例中，处理器1103d设置为通过将左眼图像106ad和右眼图像106bd中的一个替换为左眼图像106ad和右眼图像106bd中的另一个来插入二维图像1701到流1703中。换句话说，在左眼和右眼中的每一个提供相同的图像。实际上，现在看来，改变眼间距离，包括但不限于对于二维模式设置眼间距离为0mm，可以包括交互式实时控制眼间距离，以使得各种特征成为可能，包括但不限于:1.从一个观看者到有不同眼间距离的另一个观看者快速切换和重新校准，使得生活时间缩放效应和距离判断与给定观看者在他的/她的一生中在他的/她的特定眼间距离上的训练有关。2.从在“正常”眼间距离的三维模式快速切换到二维模式，以节约带宽或者在仅仅可以看到非常长的距离时。3.通过在正常模式(眼间距离处于基线)与超立体模式(眼间距离大于基线)或亚立体模式(眼间距离小于基线)的切换，改变系统IOOd的“感觉”和/或景观。尽管在此描述的实施例中为单独描述，但是可以理解头部跟踪和眼间距离变化可以以任何适当的方式结合。在此，已经描述了自准直立体显示系统，以在观看三维立体图像时缓和眼疲劳，各种进一步的改进可以改进三维立体观看体验。本领域技术人员可以理解，在一些实施例中，系统100，100a，100b，100c，IOOd
可以实施为使用预编程硬件或固件元件(例如专用集成电路(ASIC)、电擦写只读存储器(EEPROM)等)或相关部件。在其他实施例中，100，100a，100b，100c，IOOd的功能可以通过一计算装置来实现，该计算装置访问代码存储器(未示出)，代码存储器存储操作该计算装置的计算机可读程序代码。所述计算机可读程序代码可以存储在一计算机可读存储介质上，所述计算机可读存储介质是固定的、可触摸的、可以被这些部件读取的(例如可移动盘、⑶-ROM、ROM、硬盘、USB驱动器)。而且，可以理解，计算机可读程序可以存储为包括计算机可用介质的计算机程序。另外，永久性储存装置可以包括计算机可读程序代码。还可以理解，计算机可读程序代码和/或计算机可用介质可以包括非临时性计算机可读程序代码和/或非临时性计算机可用介质。或者，所述计算机可读程序代码可以远程储存，但是可以通过连接到网络(包括但不限于因特网)的调制解调器或其他接口装置经传输介质传输到这些部件。所述传输介质可以是非移动介质(例如光学和/或数字和/或模拟通信线路)或移动介质(例如微波、红外、自由空间光学或其他传输方式)或者其组合。本领域技术人员可以理解，可能有其他的实施方式和改动，以上实施例仅仅是示例性的。因此，本发明的范围由后附的权利请求书来限定。
权利要求
1.一种系统，所述系统包括: 一图像生成器，其设置为提供立体图像流，图像流包括左眼图像和右眼图像； 至少一图像调制器，其设置为可以从所述图像生成器接收所述立体图像流并将光并入所述立体图像以供观看装置观看，所述观看装置将所述光分别过滤到所述左眼图像和所述右眼图像，从而在通过所述观看装置观看时提供所述立体图像的三维效果；以及 一自准直装置，该装置设置为接收来自所述至少一图像调制器的光并使所述光准直，使得所述观看装置接收到所述立体图像时光线基本平行。
2.如权利要求1的系统，其特征在于，所述系统还包括: 至少一投影仪，用于投射所述立体图像，所述至少一投影仪包括所述至少一图像调制器； 至少一屏幕，所述立体图像投射在所述屏幕上； 至少一自准直镜，用于将来自所述至少一屏幕的所述立体图像反射，使得反射的光是准直的，所述自准直装置包括所述至少一屏幕和所述至少一自准直镜。
3.如权利要求1的系统，其特征在于，所述至少一自准直镜是球形和抛物线形之一，所述至少一屏幕的形状与所述至少一自准直镜的形状互补。
4.如权利要求1的系统，其特征在于，所述自准直装置包括: 至少一屏幕，所述立体图像提供在该屏幕上； 至少一自准直镜，用于 反射来自所述至少一屏幕的所述立体图像，使得反射光是准直的。
5.如权利要求1的系统，其特征在于，还包括一计算装置，设置为执行以下任务中的至少一个: 在所述至少一图像调制器将光并入所述立体图像前，翘曲所述立体图像； 根据所述观看装置相对所述自准直装置的变化的位置重复所述翘曲； 改变所述左眼图像和所述右眼图像之间的眼间距离； 在所述立体图像流中插入二维图像。
6.如权利要求1的系统，其特征在于，所述系统还包括一沉浸式环境，使得所述立体图像与在所述沉浸式环境中身临其境的体验相关联。
7.如权利要求6的系统,其特征在于,所述沉浸式环境包括一模拟环境、一飞行模拟器和一驾驶模拟器中的一个或多个。
8.如权利要求6的系统，其特征在于，所述沉浸式环境包括一可视化环境、一显微可视化环境、一医疗图像可视化环境、一油汽可视化环境和一地震学可视化环境中的一个或多个。
9.如权利要求6的系统，其特征在于，所述沉浸式环境包括一训练环境。
10.如权利要求1的系统，其特征在于，所述系统还包括: 一头部跟踪装置，设置为可以获得所述观看装置的位置；和 一处理器，设置为根据所述位置和所述观看装置的朝向中一个或多个来调节所述立体图像以供观看。
11.如权利要求10的系统，其特征在于，所述立体图像投射在一弯曲的表面上供观看，所述处理器还设置为根据所述弯曲表面的几何形状调节所述立体图像。
12.如权利要求11的系统，其特征在于，所述系统还包括一存储器，用于存储表征所述几何形状的数据。
13.如权利要求12的系统，其特征在于，所述处理器还设置为根据所述弯曲表面的几何形状通过以下步骤调节所述立体图像: 确定显示的图像，所述图像包括要提供在平板屏幕上的所述立体图像； 根据表征所述弯曲表面的几何形状的数据和所述观看装置的位置确定所述平板屏幕的扭曲；和 根据所述扭曲调节所述图像，使得所述立体图像投射到所述弯曲表面时会呈现为未扭曲。
14.如权利要求13的系统，其特征在于，每次确定观看装置的位置发生变化时，重复调节所述立体图像。
15.如权利要求10的系统，其特征在于，所述自准直装置包括一自准直镜，所述自准直镜设置为反射来自所述弯曲表面的光，使得反射光是准直的。
16.如权利要求1的系统，其特征在于，所述系统还包括: 一处理器，设置为通过变化所述左眼图像和所述右眼图像之间的眼间距离来调节所述立体图像。
17.如权利要求16的系统，其特征在于，根据所述立体图像的观看者和所述立体图像的至少一个给定特征之间的虚 拟距离来变化所述眼间距离。
18.如权利要求16的系统，其特征在于，所述眼间距离变化使得提供的所述左眼图像和所述右眼图像为超立体感的。
19.如权利要求18的系统，其特征在于，在所述虚拟距离为高于一第一给定阈值和低于一第二给定阈值中一个或多个时，提供的所述左眼图像和所述右眼图像为超立体感的。
20.如权利要求1的系统，其特征在于，所述系统还包括: 一处理器，设置为根据所述立体图像的观看者和所述立体图像的至少一个给定特征之间的虚拟距离来插入二维图像到所述立体图像流。
21.如权利要求20的系统，其特征在于，所述处理器还设置为通过将所述左眼图像和所述右眼图像之一替换为所述左眼图像和所述右眼图像另一个来插入二维图像到所述立体图像流。
22.如权利要求20的系统，其特征在于，所述处理器还设置为，在所述虚拟距离为高于一第一给定阈值和低于一第二给定阈值中一个或多个时插入二维图像到所述立体图像流。
全文摘要
公开了一种自准直显示系统。该系统包括一图像生成器，其设置为提供立体图像流，图像流包括左眼图像和右眼图像；至少一图像调制器，其设置为从所述图像生成器接收所述立体图像流并将光并入所述立体图像以供观看装置观看，所述观看装置将所述光分别过滤到所述左眼图像和所述右眼图像，从而在通过所述观看装置观看时提供所述立体图像的三维效果；以及一自准直装置，该装置设置为接收来自所述至少一图像调制器的光并使所述光准直，使得所述观看装置接收到所述立体图像时光线基本平行。
文档编号H04N13/00GK103118265SQ201210459109
公开日2013年5月22日 申请日期2012年11月15日 优先权日2011年11月16日
发明者高登·哈里斯, 拉里·保罗, 罗伊·安东尼 申请人:克里斯蒂数字系统美国有限公司