用于响应于头转动来调整立体图像的装置和方法
【专利摘要】立体显示器以及响应于观众的头转动来调整3D图像的方法。所述立体显示器包括：传感器，被配置为检测观众的头转动；以及图像渲染器，耦接到传感器，并被配置为根据检测到的头转动来调整3D图像。
【专利说明】用于响应于头转动来调整立体图像的装置和方法
[0001] 对相关申请的交叉引用
[0002] 此专利申请要求于2013年8月5日提交的题为"CompensationTechniquefor Head-RollinStereoImageViewing(用于立体图像观看中的头转动（roll)的补偿技 术）"的美国临时申请序号61/862, 482的优先权和权益，通过引用将其全部内容合并于此。
【技术领域】
[0003] 本发明的实施例涉及立体图像显示设备和方法。
【背景技术】
[0004] 立体图像显示器或者3D显示器对于用在例如家庭电视机、电影院、便携式显示设 备等中已经变得日益普遍。这些3D显示器通过使得观众感知到所显示的图像的深度来为 观众提供浸入式（immersive)体验。
[0005] -般地，期望观众将以他们的头处于垂直坚立位置（即，没有头转动）时来观看图 像，从而创建用于3D显示器的图像内容。然而，如果观众希望放松他们的姿势并且以他们 的头处于非垂直位置（即，有头转动）来观看3D图像，则观众可能感知到深度感觉的损失， 并且可能体验到图像色度亮度干扰（crosstalk)、眼睛疲劳和/或不适。
[0006] 因为人们可能有时候更喜欢放松来更舒适地观看3D显示器，所以人们可能更喜 欢不维持垂直的头姿势。例如，在观看3D电视机上的电影的同时观众可能更喜欢（例如， 在家里的长沙发椅上）躺下，这将导致观众的头转动，从而导致不良和不适的3D观看体验。
【发明内容】
[0007] 本发明的实施例的各方面针对的是响应于观众的头转动来调整立体图像。
[0008] 根据本发明的一个实施例，立体显示器包括：被配置为检测观众的头转动的传感 器，以及耦接到传感器并被配置为根据检测到的头转动来调整3D图像的图像渲染器。
[0009] 图像渲染器可以被配置为根据观众的头转动的角度来调整3D图像的右图像和左 图像之间的视差。
[0010] 传感器可以被配置为通过测量观众的眼间轴的旋转的度数来测量头转动的角度。
[0011] 图像渲染器可以被配置为旋转右图像和左图像之间的视差的方向来与观众的眼 间轴的旋转的程度对应。
[0012] 图像渲染器可以被配置为随着检测到的头转动的角度增加而愈加减弱右图像和 左图像之间的视差的幅度。
[0013] 图像渲染器可以被配置为通过保持左图像不变（static)并且通过相对于左图像 重新定位右图像来形成重新定位的右图像，从而调整视差的方向。
[0014] 图像渲染器可以被配置为当头转动的角度小于参考头转动角度时，基于左图像的 像素的坐标来计算重新定位的右图像的像素的坐标，而当头转动的角度大于或等于参考头 转动角度时，基于右图像的像素的坐标来计算重新定位的右图像的像素的坐标。
[0015] 参考头转动角度可以是大约45度。
[0016] 图像渲染器可以被配置为当检测到的头转动的角度超过头转动角度阈值时调整 3D图像。
[0017] 根据本发明的另一实施例，立体显示器包括：传感器，被配置为检测第一观众的第 一头转动，并检测第二观众的第二头转动；以及图像渲染器，耦接到传感器，并被配置为根 据第一头转动来调整3D图像，并根据第二头转动来调整3D图像。
[0018] 图像渲染器可以被配置为根据第一头转动来调整3D图像的右图像和左图像之间 的视差的方向，并且根据第二头转动来调整右图像和左图像之间的视差的方向。
[0019] 图像渲染器可以被配置为通过保持左图像不变，并且通过根据第一头转动相对于 左图像重新定位右图像来形成第一重新定位的右图像，并且通过根据第二头转动相对于左 图像重新定位右图像来形成第二重新定位的右图像，从而调整视差的方向。
[0020] 左图像可以被配置为被第一观众和第二观众共同看见，其中第一重新定位的右图 像可以被配置为被第一观众看见，并且其中第二重新定位的右图像可以被配置为被第二观 众看见。
[0021] 根据本发明的另一实施例，用于响应于观众的头转动来调整3D图像的方法包括： 检测观众的头转动；以及根据检测到的头转动来调整3D图像。
[0022] 所述调整可以包括根据检测到的头转动的角度来调整3D图像的右图像和左图像 之间的视差的方向。
[0023] 检测到的头转动的角度可以对应于观众的眼间轴的旋转的度数。
[0024] 所述调整可以进一步包括旋转右图像和左图像之间的视差的方向来对应于观众 的眼间轴的旋转的度数。
[0025] 所述方法可以进一步包括随着检测到的头转动的角度增加而愈加减弱右图像和 左图像之间的视差的幅度。
[0026] 所述调整视差可以包括保持左图像不变而相对于左图像重新定位右图像来形成 重新定位的右图像。
[0027] 当检测到的头转动的角度超过头转动角度阈值时，可以调整3D图像。
【专利附图】
【附图说明】
[0028] 附图与说明书一起图解了本发明的示范性实施例，并且与描述一起用来说明本发 明的原理。
[0029] 图1A和1B是图解分别与有头转动和无头转动对应的、与3D显示器表面相关的视 线的透视图。
[0030] 图2A、2B和2C是图解根据本发明的不同实施例的用于观看3D图像的系统的示 图。
[0031] 图3是图解根据本发明的实施例的用于调整立体图像的方法的流程图。
[0032] 图4A图解了根据本发明的实施例的响应于头转动的立体图像的视差地图的调 整，并且图4B是图解根据图4A中所示的本发明的实施例的作为头转动的函数的视差幅度 的极坐标图。
[0033] 图5A图解了根据本发明的另一实施例的响应于头转动的立体图像的视差地图的 调整，并且图5B是图解根据图5A中所示的本发明的实施例的作为头转动的函数的视差幅 度的极坐标图。
[0034] 图6A图解了根据本发明的另一实施例的响应于头转动的立体图像的视差地图的 调整，并且图6B是图解根据图6A中所示的本发明的实施例的作为头转动的函数的视差幅 度的极坐标图。
[0035] 图7图解了根据本发明的实施例的响应于头转动而偏斜/修改立体图像的操作。
[0036] 图8图解了根据本发明的另一实施例的响应于头转动而修改立体图像的操作。
[0037] 图9A和9B图解了根据本发明的实施例的自由立体（autostereo)显示器的前视 图。
[0038] 图10是图解根据本发明的另一实施例的用于调整立体图像的方法的流程图。
【具体实施方式】
[0039] 在下面的详细描述中，仅以图解的方式显示和描述本发明的某些示范性实施例。 如本领域技术人员应该认识到的，本发明可以以很多不同的形式来具体化，而不应该被认 为限于在此阐述的实施例。遍及说明书，相似的参考标号指定相似的元件。
[0040] 源于用倾斜的头（例如，头"转动"，如摆动、俯仰和转动）来观看3D图像的不适和 降级的3D体验主要是由于3D图像内容常规地是针对与显示器的水平轴对齐的水平分开的 眼睛而设计的。即，所给的3D图像的右图像和左图像（例如，右眼图像和左眼图像）之间 的分离或视差常规地被设计为处于水平方向，以便右和左图像的水平视差点落在与没有头 转动的观众的眼睛相同的横向平面内。换言之，观众的眼间轴（例如，连接观众的双眼、通 过双眼的中心并且绕双眼之间的一点旋转的线）平行于与3D图像的左图像和右图像的视 差（例如，位置视差）对应的轴。
[0041] 如在此使用的3D图像的视差指的是例如当通过偏振3D眼镜观看时，在合并以形 成3D图像的左图像和右图像之间的、显示器上物理位置的差距。除了右和左图像在显示器 上的物理位置的差别之外，右图像和左图像通常是类似的图像。左图像和右图像之间的视 差包括方向，例如，其中右图像与左图像分离的显示器上的大体方向，反之亦然。如上所述， 常规的3D显示器仅合并右和左图像之间的视差的水平方向。
[0042] 左图像和右图像之间的视差的方向可以与左图像和右图像之间的设置的参考点 之间的差距对应。例如，左图像和右图像之间的视差的方向可以指代右图像的每个像素和 左图像的每个像素之间的视差的共同方向。
[0043] 左图像和右图像之间的视差还包括幅度，S卩，两个图像之间的分离的量。取决于与 意欲传达的深度程度对应的、3D图像的某些点的期望的3D效果，遍及3D图像（例如，从像 素到像素），3D图像的左图像和右图像之间的视差的幅度可能变化。
[0044] 图1A和1B是图解分别与有头转动和无头转动对应的、与3D显示器表面相关的视 线的透视图。
[0045] 图1A图解了观众的头不转动来观看3D显示器100表面的情形。观众的左眼112 和右眼102是水平的，并且位于与两个水平描绘的视差点104相同的平面106中。当通过例 如一对3D眼镜观看时，分别与左眼112和右眼102对应的这些视差点104导致3D效果，其 中视差点104的最左边被左眼112而不被右眼102感知，并且其中视差点104的最右边仅被 右眼102感知。当没有头转动时，观众可以用简单的水平会聚眼球运动来注视视差点104， 如通过右眼视线110与左眼视线108横向会聚所示。右眼视线110和左眼视线108最后在 3D显示器100表面的后面相交于焦点114,其对应于对观众来说被感知为比显示器100的 表面更远的3D点。
[0046] 图1B图解了观众的头转动（例如，相对于显示器的方向将头倾斜）来观看3D显 示器100表面的情形。图1B图解了头向左转动，因为观众的左眼112与右眼102相比位于 更接近显示器100的底部的位置的高度。这里，因为由于头转动所以左眼112位于与右眼 102不同的高度，垂直会聚发生，S卩，左眼向上旋转而右眼向下旋转。观看立体图像的同时与 垂直会聚相关的眼球运动可能导致诸如眼睛疲劳、重影和深度损失的不利效果。
[0047] 因此，为了补偿在观看3D显示器的同时头转动期间发生的垂直会聚，本发明的实 施例调整由3D显示器生成的3D图像的视差，从而减小与常规的3D显示设备有关的头转动 的负效应。
[0048] 图2A、2B和2C是图解根据本发明的不同实施例的用于观看3D图像的装置的示 图。
[0049] 参照图2A，系统包括眼镜200。眼镜200可以是与3D显示器协同来实现期望的3D 效果的、观众佩戴的任何类型的眼镜。例如，眼镜200可以是有源快门眼镜、偏振眼镜、干 扰滤光眼镜、立体眼镜或者本领域已知的任何3D眼镜。在本实施例的眼镜200中，可以存 在传感器210,用于确定眼镜200的用户是否发生头转动，并且用于确定头转动的角度或程 度。传感器210可以是加速计或能够检测头转动的程度的任何其他设备。另外，将传感器 210耦接到用于向耦接到3D显示器202的接收器204发送与头转动对应的信息的发送器 212,以便接收到的信息可以用于调整由3D显示器202生成的3D图像的视差。在本发明的 其他实施例中，可以将传感器210耦接到处理器，用于将原始头转动信息转换为3D显示器 202可以利用来渲染图像的输入数据。
[0050] 3D显示器202进一步包括图像渲染器230和显示范围232。图像渲染器230可以 计算用于在3D显示器202上显示的3D图像的视差地图。图像渲染器230还可以调整或补 偿计算出的视差地图来基于经调整的/补偿的视差地图而生成3D图像。图像渲染器230 可以基于从接收器204发送给图像渲染器230的所检测到的观众头转动信息来计算经调整 的视差地图。在图像渲染器230生成具有根据观众头转动的调整的视差的3D图像之后，图 像渲染器230将经调整的3D图像发送给显示范围232用于观看。
[0051] 3D显示器202可以是本领域已知的各种3D显示器中的任何一种。例如，3D显示 器202可以是电视机、电影屏幕、便携式视频游戏显示器、蜂窝电话显示器、计算机屏幕等。
[0052] 在本发明的一些实施例中，3D显示器同时联播（simulcast)适合于各种头转动角 度的多个图像流，并且眼镜200可以选择和允许具有与用户的给定头转动对应的合适的视 差的3D图像，同时滤出具有不匹配的视差的其他3D图像。例如，3D显示器202可以同时联 播图像的多个视差，该视差每个对应于10度增量的头转动。传感器210然后可以确定观众 的头转动的程度，并且然后可以指令眼镜200滤进具有最接近地对应于观众的头转动的程 度的视差的图像。
[0053] 参照图2B，3D显示器214可以包括光学上确定眼镜206转动角度的光学跟踪传感 器216,眼镜206转动角度与佩戴眼镜206的观众的头转动的角度/程度对应。眼镜206包 括反射镜208,反射镜208使得光学跟踪传感器216确定眼镜206的用户的头转动。在本发 明的其他实施例中，光学跟踪传感器216可以是与人脸检测算法协同使用来检测观众的头 的方位的相机，观众的头的方位对应于头转动。另外，可以利用头转动的生理学理论来稍微 欠补偿（under-compensate)测量到的头转动，其通过循环旋转的眼球运动而成为可能。
[0054] 参照图2C，本发明的实施例的眼镜218可以包括旋钮220,旋钮220允许用户手 动地校准在3D显示器228上的图像，使得图像的视差与由于头转动而已经旋转地移位的 用户的眼间轴对齐。旋钮220可以是允许用户输入命令的任何物体，诸如输入板、调节杆 (throttle)、转盘等。眼镜218然后使用与耦接到3D显示器228的接收器222通信的发送 器226,来通信期望的校准的视差。此外，根据本发明的其他实施例，可以使用遥控器224来 完成该用户实现的视差的校准。
[0055] 图3是图解根据本发明的实施例的用于调整立体图像的方法的流程图。
[0056] 参照图3,在操作300中，估计给定的3D图像的视差来生成视差地图。在一些实施 例中，可以利用图形处理单元（GPU)并在左和右图像中快速地搜索对应点来实时地估计视 差，这被用来创建3D图像。在其他实施例中，可以从可能与3D内容一起包括的元数据中估 计视差，或者可以从可以从云得到的元数据中估计视差。所估计的3D图像的视差地图可以 足够密集以便存在与3D图像的每个像素关联的视差。此外，如将对于本领域一位技术人员 来说已知的，可以利用平滑先验法（smoothnessprior)来填充缺失值。
[0057]在操作302中，检测并计算观众的头转动角度。可以用很多方式来计算头转动角 度。例如，可以通过使用观众的眼睛之间的水平参考轴（例如，眼间轴），并且通过根据观众 的眼间轴的旋转位移的程度来确定头转动，来计算头转动角度。眼间轴可以是横向地与观 众的眼睛相交并且围绕着眼睛之间的中心点旋转的轴。然而，本发明的实施例不限于以上， 因为参考轴和用来从参考轴测量头转动的程度的轴可以是任何适合的测量位置，诸如垂直 轴。
[0058] 在操作304,确定头转动角度的程度是否大于参考头转动角度或程度。如果检测到 的头转动角度小于或等于参考头转动角度，则过程绕过操作306和308。在此情况中，显示 器向观众呈现原始的未经补偿的右图像，因而原始的3D图像不经过调整而显示给观众。
[0059] 在本发明的其他实施例中，在操作302的头转动角度的计算和在操作304的头转 动角度是否大于阈值角度的确定可以发生在操作300的视差地图的估计之前。在此替换实 施例中，如果确定头转动角度小于或等于阈值角度，则该过程结束并且原始的3D图像被显 示给观众。另一方面，如果确定头转动角度大于阈值角度，则该过程前进到视差地图的估计 (例如，操作300)，然后到根据头转动的视差地图的调整（例如，操作306)，然后到经调整的 视差地图的应用（例如，操作308)。
[0060] 如果检测到的头转动角度大于参考头转动角度，则该过程继续。作为示例，参考头 转动角度可以是10度，并且如果检测到的头转动角度是10度或更少，则该过程将仅仅生成 用于下一 3D图像的视差地图。替换地，如果检测到的头转动角度大于10度，则该过程进行 到操作306。然而，本发明的实施例不限于以上，因为参考头转动角度可以是任何角度，或者 操作304可以被完全省略，并且操作302可以直接先于操作306。
[0061] 在操作306中，根据计算出的头转动角度来调整或补偿在操作300中估计的视差 地图。下面将更详细地描述几种不同的图像调整技术。经调整的视差地图然后在操作308 中被应用到与右图像对应的、观众的右图像中。在本发明的其他实施例中，调整可以改为被 应用到左视图/左图像，或者可以被同时地应用到左图像和右图像两者。
[0062] 图4A图解了根据本发明的实施例的响应于头转动的立体图像的视差地图的调 整，并且图4B是图解根据图4A中所示的本发明的实施例的作为头转动的函数的视差幅度 的极坐标图。
[0063] 图4A图解了与图3的操作306对应的可以使用的方法，S卩，图4A图解了根据本发 明的实施例的根据检测到的头转动角度来调整视差地图的一种方法。图4A显示了根据本 实施例如何响应于头转动的特定角度来调整给定的3D图像的视差。3D图像的箭头指示右 和左眼中对应特征之间的移位的方向（即，3D图像的左和右图像之间的视差的方向）。图 4A图解了通过包括左眼402、右眼404的眼镜400以及眼间轴406的对头转动的表示，使得 所示的头转动的描绘从3D图像的观众的左手边向右手边发生。
[0064] 参照图4A，取决于检测到的头转动的角度来旋转和调整3D图像的视差，S卩，视差 遵循与检测到的头转动相同的方向，以便视差的方向和眼间轴406是平行的。另外，不管头 转动的角度如何，根据本发明的此实施例的调整技术维持每个视差的视差幅度。例如，并且 如图4A中所示，0度的头转动（即，当观众不展现任何头转动时）对应于视差方向不改变 (即，视差的0度旋转），因为观众正如期望地观看3D图像，因而不需要3D图像的调整。然 而，20度、45度和90度的头转动导致3D图像的视差分别旋转20度、45度和90度，如图4A 中所示。如果头转动沿相反方向（即，从观众的右手边向左手边）发生，则沿着与上述旋转 相反的方向的视差旋转可以发生，视差旋转的程度对应于头转动的程度。
[0065] 参照图4B，视差的幅度对于所有头转动角度保持恒定，这导致不管观众的头的位 置如何都能保存完全的深度感觉。通过对于所有头转动角度都具有恒定的长度的视差矢量 /箭头，恒定视差幅度的此特征也在图4A中反映。根据此实施例，3D图像水平方向保持不 变，但是要由右眼404感知的右图像靠近要由左眼402感知的左图像的对应点被正切地移 位，使得对于转动的头位置来说感知到的视差不变，以及使得垂直会聚眼球运动不发生，从 而减小了观众体验到的负效应。然而，本发明的其他实施例可以替换地靠近右眼图像来将 左眼图像移位，或者可以将左眼图像和右眼图像两者移位。
[0066] 图5A图解了根据本发明的另一实施例的响应于头转动的立体图像的视差地图的 调整，并且图5B是图解根据图5A中所示的本发明的实施例的作为头转动的函数的视差幅 度的极坐标图。
[0067] 参照图5A，按照与图4A中的上述本发明的实施例相同的方式，图像的视差的旋转 响应于观众的头转动。即，视差被旋转以具有保持与观众的眼间轴406平行的方向。然而， 与图4A和4B的实施例相反，本实施例随着观众的头转动的程度增加，愈加减小3D图像的 视差幅度。在头被转动90度的极端情况，视差幅度可以被完全地减弱。在此位置处，显示 给右眼402和左眼404的图像是一样的，并且对于减弱的3D图像没有深度感觉。图5A图 解了视差幅度的这种减弱，因为视差箭头/矢量随着头转动的程度增加而在长度上减小， 直到没有视差为止，通过点/圆圈来描绘与90度的头转动对应的视差的缺乏。图5B的极 坐标图也描绘了视差的减弱与头转动的程度的增加的相关性。
[0068] 通过与随着头转动的程度增加而减小它们的幅度协同地调整视差的方向，不但减 小了垂直会聚眼球运动和相关的负效应，而且不管增加的观众头转动而维持了图像质量。
[0069] 在本发明的其他实施例中，视差的幅度的减弱使得视差没有完全消除，而是改为 限于原始深度的小部分（例如，原始深度的10% )，从而在更极端的头转动位置处保留一些 深度感觉，同时仍能减小与重新渲染有关的挑战。
[0070] 图6A图解了根据本发明的另一实施例的响应于头转动的立体图像的视差地图的 调整，并且图6B是图解根据图6A中所示的本发明的实施例的作为头转动的函数的视差幅 度的极坐标图。
[0071] 参照图6A，代替如图4A和5A中所示的旋转3D图像的单独的视差，在图6A中所 示的实施例响应于头转动旋转整个图像（例如，3D图像）。图6A图解响应于头转动的不同 程度的矢量/箭头（即，视差）的集体行的旋转。本实施例同时旋转显示器上的右和左图 像来匹配头转动角度。从而，在任何头转动角度都减少了垂直眼睛会聚，并且没有作为视差 调整/视差偏斜过程的一部分而引入图像畸变。在本发明的一些实施例中，随着图像被旋 转，3D图像可以被缩小以保持完全的图像（例如，所以不会由于3D图像的部分旋转到显示 器的周界之外而剪掉3D图像的边沿）。在本发明的其他实施例中，图像可以被扩大，或"放 大"，以便显示器随着图像被旋转而保持被完全填充（例如，所以显示屏的边沿可以显示在 可能具有非1:1的长宽比的3D图像中呈现的内容）。
[0072] 参照图6B，极坐标图描述了在任何头转动角度处的视差的恒定幅度。另外，虚轴线 描绘了旋转之后的图像的新方向的示例，图像的顶部由"上"指示。图6B的虚轴图解了例 如在与45度角的头转动对应的调整之后的图像的新的45度方向。
[0073] 为了实现相对于图4A和5A的上述3D图像之内的视差的旋转，可以偏斜/调整3D 图像的右或左图像之一来获得合适的视差方向。为了简单起见，根据本发明的实施例将假 设左图像通过图像重新渲染过程将保持不变，而右图像将被修改。然而，本发明的一些实施 例可以修改左图像并保持右图像不变，而其他实施例可以修改左和右图像两者。
[0074] 对于左图像中的每个像素，视差指定右图像中像素的位置，除了被遮挡 (occluded)点。因而，可以基于左图像中的正常位置，并基于从图像对估计的视差，来重新 定位右图像中的每个像素。
[0075] 图7图解了根据本发明的实施例的响应于头转动而偏斜/修改立体图像的操作。
[0076] 给定在右和左图像中所示的点之间的测量到的视差，参考左图像的位置基于视差 (A)、增益因子（Y)和头转动角度（AK)来重新定位右图像中的像素的位置。在操作完结 时，无论增益因子如何，所有的视差将具有与观众的眼间轴相同的方位。
[0077] 参照图7,通过下面的公式来确定偏斜操作：
[0078] 原始视差：A=XfXrl
[0079] 视差增益因子：Y = 1或Y =C0S(Ar)
[0080] 偏斜的右图像位置Xr2 =X1+YA*cos (Ak) ;Yr2 = 1+YA*cos (Ak)
[0081] 其中Xi和Yi表示原始左图像的像素的X-Y坐标，和表示原始右图像的像素 的X-Y坐标，和表示右图像的偏斜/调整的像素的X-Y坐标，AK表示观众的头转动的 角度，并且Y表示视差增益因子。
[0082] 根据本实施例的偏斜操作基于左眼图像来计算新的右眼图像。
[0083]以上等式描述了一种根据本发明的实施例的偏斜左图像来创建新的右图像的方 法。其他实施例可以利用其他公式来实现偏斜。
[0084] 在图像对象的边沿被移位的情况下，移位可能遮挡或不遮挡它后面的区域。在遮 挡的情况下，可以仅仅丢弃信息作为结果。在不遮挡的情况下，可以估计缺失的信息来避免 图像中的洞。可以使用纹理填充（texturein-filling)算法来使用与邻接不遮挡的区域的 区域统计相似的纹理来填充不遮挡的区域。填充技术可以包括纹理拉伸、统计纹理生成、纹 理复制或者本领域技术人员已知的其他技术。
[0085] 虽然通过以上等式具体化的偏斜操作在生成视差的期望幅度和方向上有效，但是 偏斜可能将块效应（artifact)引入到图像中。在旋转之后，对象有一些边沿可能移位并且 可能遮挡其他内容，或者可能暴露或者不遮挡原始右图像中不存在有效（valid)信息的图 像的部份。
[0086] 在移位的边沿遮挡其他内容的情况下，期望这些移位的像素覆写（overwrite) 被遮挡的值。另一方面，在图像中开了洞的情形中，可以利用本领域已知的各种技术来填 充图像缺失的部份，诸如不被遮挡的表面的纹理外推、来自左图像的缺失像素值的补充 (recruitment)、任何上述填充技术或者本领域技术人员已知的任何其他技术。
[0087] 在本实施例中，原始视差A的特征在于Xi-XfXi-Xn是左图像的像素的X坐标和 右图像的像素的X坐标之间的视差。此等式简单地具体化了遍及本申请中讨论的视差的概 念，即，右和左图像之间的局部化的位置差的概念。
[0088] 此外，取决于在所有的头转动角度是否维持完全视差，或者是否分别根据头转动 的程度减弱视差，视差增益因子（Y)可以是1或者可以是cos(Ak)。上面分别参照图4和 图5讨论了完全视差和减弱的视差的概念。视差增益因子（Y)的功能是它减小了随着头 转动的程度增加而可能发生的块效应的数量和严重性。
[0089] 例如，本领域普通技术人员可以试图将视差限制为少于屏幕宽度的3%。对于 1920像素宽的分辨率，这将对应于大约60像素。在极端的头转动下，可能具有了不被遮挡 的60像素宽的区域，其呈现了令人不快的（objectionable)块效应的机会。通过与头转动 的幅度成比例地调小（throttleback)深度，可以大大地减小可以被填充的这些区域的尺 寸。
[0090] 参照图7,显示了左图像像素700的坐标（XpYj和原始右图像像素702的坐标 (Xrt，YJ。圆圈704表示视差的完全幅度，S卩，左图像像素700和原始右图像像素702之间 的原始视差。在本实施例的偏斜过程期间，当对应于观众的头转动的程度（AK)，关于左图像 像素700偏斜或者相对于左图像像素700重新定位右图像像素702时，左图像像素700保 持不变，从而通过经调整的右图像像素706来将原始左图像像素700重新定位到它的新位 置。另外，（当与左图像像素700和原始右图像像素702之间的视差相比时）左图像像素 700和经调整的右图像像素706之间的视差的幅度通过视差增益因子（Y)减弱，如通过没 有位于完全幅度圆圈704上的经调整的右图像像素706所示，其中，完全幅度圆圈704具有 等于左图像像素700和原始右图像像素702之间的距离的半径。
[0091] 在本发明的一些实施例中，如图7中所示并且如通过以上等式具体化的，响应于 头转动来偏斜立体图像的操作可以用在大的头转动（例如，大于约45度的AK)或强的减弱 (例如，小于约0.5的Y)的情形中。如图7中所示，经调整的右图像像素706的位置比它 距原始右图像像素702,更接近左图像像素700。
[0092] 因为如上面公开的单个像素的偏斜仅用于示范的目的，所以本领域技术人员将理 解在图7中所示的根据本发明的实施例的响应于头转动来偏斜/修改立体图像的以上操作 不限于偏斜图像的单个像素或者单个点。本实施例的操作可以应用于右图像和左图像之间 的具有任何数量的视差点或像素的任何视差地图（例如，复杂视差地图）。
[0093] 在图7中所示的本发明的实施例中，偏斜左图像的像素来创建经调整的右图像。 此外，在生成具有经调整的右图像像素706的经调整的视差地图之后，原始右图像像素702 不再用于显示3D图像。并且由此延伸，在生成经调整的视差地图之后，原始右图像不再用 于显示3D图像。一个例外是原始右图像可以用于填充不被遮挡的区域。
[0094] 图8图解了根据本发明的另一实施例的响应于头转动而偏斜立体图像的操作。
[0095] 参照图8,通过下面的公式来确定偏斜操作：
【权利要求】
1. 一种立体显不器，包括： 传感器，被配置为检测观众的头转动；以及 图像渲染器，耦接到传感器并且被配置为根据检测到的头转动来调整3D图像。
2. 如权利要求1所述的立体显示器，其中图像渲染器被配置为根据观众的头转动的角 度来调整3D图像的右图像和左图像之间的视差的方向。
3. 如权利要求2所述的立体显示器，其中传感器被配置为通过测量观众的眼间轴的旋 转的度数来测量头转动的角度。
4. 如权利要求3所述的立体显示器，其中图像渲染器被配置为旋转右图像和左图像之 间的视差的方向以与观众的眼间轴的旋转的度数对应。
5. 如权利要求4所述的立体显示器，其中图像渲染器被配置为随着检测到的头转动的 角度增加而愈加减弱右图像和左图像之间的视差的幅度。
6. 如权利要求2所述的立体显示器，其中图像渲染器被配置为通过保持左图像不变并 通过相对于左图像重新定位右图像来形成重新定位的右图像，来调整视差的方向。
7. 如权利要求6所述的立体显示器，其中图像渲染器被配置为当头转动的角度小于参 考头转动角度时，基于右图像的偏斜的像素来计算重新定位的右图像的像素的坐标，而当 头转动的角度大于或等于参考头转动角度时，基于左图像的偏斜的像素来计算重新定位的 右图像的像素的坐标。
8. 如权利要求6所述的立体显示器，其中图像渲染器被配置为当视差增益因子大于参 考增益因子时，基于右图像的偏斜的像素来计算重新定位的右图像的像素的坐标，而当视 差增益因子小于或等于参考增益因子时，基于左图像的偏斜的像素来计算重新定位的右图 像的像素的坐标。
9. 如权利要求1所述的立体显示器，其中图像渲染器被配置为当检测到的头转动的角 度超过头转动角度阈值时，调整3D图像。
10. -种立体显不器，包括： 传感器，被配置为检测第一观众的第一头转动，并检测第二观众的第二头转动；以及 图像渲染器，耦接到传感器，并被配置为根据第一头转动来调整3D图像，并根据第二 头转动来调整3D图像。
11. 如权利要求10所述的立体显示器，其中图像渲染器被配置为根据第一头转动来调 整3D图像的右图像和左图像之间的视差的方向，并且根据第二头转动来调整右图像和左 图像之间的视差的方向。
12. 如权利要求11所述的立体显示器，其中图像渲染器被配置为通过保持左图像不 变，并且通过根据第一头转动相对于左图像重新定位右图像来形成第一重新定位的右图 像，以及通过根据第二头转动相对于左图像重新定位右图像来形成第二重新定位的右图 像，来调整视差的方向。
13. 如权利要求12所述的立体显示器，其中左图像被配置为被第一观众和第二观众共 同看见， 其中第一重新定位的右图像被配置为被第一观众看见，并且 其中第二重新定位的右图像被配置为被第二观众看见。
14. 一种响应于观众的头转动来调整3D图像的方法，该方法包括： 检测观众的头转动；以及 根据检测到的头转动来调整3D图像。
15. 如权利要求14所述的方法，其中所述调整包括根据检测到的头转动的角度来调整 3D图像的右图像和左图像之间的视差的方向。
16. 如权利要求15所述的方法，其中检测到的头转动的角度与观众的眼间轴的旋转的 度数对应。
17. 如权利要求16所述的方法，其中所述调整进一步包括旋转右图像和左图像之间的 视差的方向来与观众的眼间轴的旋转的度数对应。
18. 如权利要求17所述的方法，进一步包括随着检测到的头转动的角度增加，愈加减 弱右图像和左图像之间的视差的幅度。
19. 如权利要求15所述的方法，其中调整视差的方向包括保持左图像不变，并且相对 于左图像重新定位右图像来形成重新定位的右图像。
20. 如权利要求14所述的方法，其中当检测到的头转动的角度超过头转动角度阈值 时，调整3D图像。
【文档编号】H04N13/04GK104349152SQ201410347405
【公开日】2015年2月11日 申请日期:2014年7月21日 优先权日:2013年8月5日
【发明者】D.M.霍夫曼, R.I.麦卡特尼 申请人:三星显示有限公司