用于利用可穿戴显示设备实现镜子视频聊天的系统和方法

用于利用可穿戴显示设备实现镜子视频聊天的系统和方法
【专利摘要】一种在用户之间交换视听通信信息的方法，该方法包括：利用与可穿戴通信设备相关联的图像拍摄设备检测置于第一用户的环境中的镜子或图像反射面，响应于在第一用户的环境中检测到镜子而检测镜子或图像反射面的边界，在镜子或图像反射面的边界内选择显示在镜子或图像反射面上的第一图像的一部分，以及向第二用户显示第一图像的所述一部分作为第二图像上的覆盖图。还公开了对应的系统和计算机可读设备。
【专利说明】
用于利用可穿戴显示设备实现镜子视频聊天的系统和方法
[0001] 本申请要求2013年11月4日递交的美国申请序列号14/070687的优先权，其通过引 用整体包含于此。
技术领域
[0002] 本公开设及用于能够实现其中在用户之间交换视听信息的镜子视频聊天会话的 系统和方法，并且更具体地，设及用于通过检测和利用位于用户的周围环境中的镜子或图 像反射面，在视频聊天会话期间实现可穿戴计算设备或类似的通信设备，W致可W与远程 参与者交换用户自己的图像的系统和方法。
【背景技术】
[0003] 呈眼镜或类似的头戴式面部装置或交互式的头戴式目镜形式的可穿戴计算设备 通常是具有光学头戴式显示器(0HMD)的可穿戴计算机，0HMD具有集成的处理器和集成的图 像源，用于把内容输送给光学组件。用户能够按照智能电话式的免提形式查看关于周围环 境的各种信息和图像。运些设备还可利用自然语言语音命令经由因特网通信。
[0004] 运些可穿戴设备具有在同时保持观看屏幕开启时拍摄环境的照片、记录周围环境 的高清晰度质量视图的能力。用户能够利用触摸板控件来控制可穿戴设备的功能，所述触 摸板控件被嵌入在靠近可穿戴显示器的柄的设备的侧面中，或者被嵌入在W其他方式位于 靠近柄或从柄延伸出来的设备的框架部分中的类似的电子外壳中。用户通过用户正同时观 看的显示在屏幕上的交互式界面，刷触摸板来控制设备。例如，用户可沿特定方向滑动触摸 板W显示当前事件、新闻、天气，而沿不同的方向滑动触摸板可生成一系列的过去事件，诸 如照片、接收到的电话呼叫、照片和其它种类的信息。

【发明内容】

[0005] 根据结合附图考虑的W下详细说明，本公开的实施例将变得明显。不过，应理解附 图只是被设计用于举例说明，而不是对本公开的限制的限定。
[0006] 所公开的技术设及一种在用户之间交换视听通信信息的方法，所述方法包括:检 测置于第一用户的环境中的图像反射面，响应于在第一用户的环境中检测到图像反射面而 检测图像反射面的边界，在图像反射面的边界内选择显示在图像反射面上的第一图像的一 部分，W及向第二用户显示第一图像的所述一部分作为第二图像上的覆盖图。
[0007] 交换视听通信信息的方法还可包括：响应于与第一用户相关联的图像定义姿势， 控制第一图像的所述一部分的选择。所述方法可包括：响应于与第一用户相关联的图像定 义姿势，更改第一图像的所述一部分的尺寸。所述方法还可包括:把第一图像的所述一部分 作为第二图像上的覆盖图，显示在置于第一用户的环境中的能够被第一用户观看的图像反 射面上。可响应于第一用户，转动图像拍摄设备。可响应于通过图像拍摄设备检测到的感觉 图像信号，转动图像拍摄设备。可生成给予同第一用户相关联的可穿戴通信设备的触觉信 号。可响应于与第一用户朝着图像反射面的边缘的移动相关联的感觉检测信号，生成给予 同第一用户相关联的可穿戴通信设备的触觉信号。可响应于与第一用户在图像反射面的边 界外的移动相关联的感觉检测信号，生成给予同第一用户相关联的可穿戴通信设备的触觉 信号。
[000引所公开的技术还设及一种在可穿戴通信设备的第一用户和第二用户之间交换视 听通信信息的装置，所述装置包括图像拍摄设备、处理设备和储存指令的存储器，当由处理 设备执行时，所述指令进行操作，所述操作包括:检测置于第一用户的环境中的图像反射 面，响应于在第一用户的环境中检测到图像反射面而检测图像反射面的边界，在图像反射 面的边界内选择显示在图像反射面上的第一图像的一部分，W及向第二用户显示第一图像 的所述一部分作为第二图像上的覆盖图。
[0009] 所公开的技术还设及一种储存指令的计算机可读设备，当由处理设备执行时，所 述指令进行操作W在用户之间交换视听通信信息，其中所述操作包括:检测置于第一用户 的环境中的图像反射面，响应于在第一用户的环境中检测到图像反射面而检测图像反射面 的边界，在图像反射面的边界内选择显示在图像反射面上的第一图像的一部分，W及向第 二用户显示第一图像的所述一部分作为第二图像上的覆盖图。
[0010] 所公开的技术还设及利用在环境中检测到的镜子或图像反射面，使一个或多个第 Ξ方参与视频聊天会话或类似的视频会议会话，同时还允许参与者观看用户，W及充分利 用在镜子或图像反射面中提供的视图用于与相同的远程参与者聊天的系统和方法。与至少 一个第Ξ方参与者参与镜子视频聊天的系统和方法包括利用头戴式显示器，所述头戴式显 示器具有前置摄像头、音频输入和输出、优选地嵌入在头戴式显示器中的麦克风和扬声器， 与计算单元(诸如移动电话或膝上型计算机)的无线连接，所述计算单元能够处理由前置摄 像头或类似的图像拍摄设备捕捉的视频和音频信息。
[0011] 所公开的技术还设及利用诸如可穿戴计算机显示器中的处理设备的系统和方法， 所述处理设备识别用户的姿势信号。运种手势或其他种类的姿势允许用户描述在视频聊天 会话期间，他或她的拍摄的视频图像的哪一部分将被输送给第Ξ方远程参与者。用户可W 使用任意数量的手势，诸如通过伸展或收缩拇指和食指，或者向上或向下移动指示手指，W 捕捉用户自己的视频图像的想要的部分。
[0012] 所公开的技术还设及利用镜子或图像反射面作为可视屏幕，用于观看W-致的方 式叠加在第Ξ方参与者的输入视频内容上的用户的拍摄的视频图像。用户可通过头戴式可 穿戴显示器，或利用用户的环境中的镜子或图像反射面作为用于叠加的视频图像的观看屏 幕，观看运种叠加的视频内容。
[0013] 根据将结合附图阅读的W下详细说明，实施例将变得明显。
【附图说明】
[0014] 附图构成本公开的一部分，并且包括可按各种形式实现的例子。应理解，在一些情 况下，本公开的各个方面可被夸大或放大地示出W促进理解。通过结合附图考虑W下详细 说明，可容易地理解本公开的教导。
[0015] 图1是可穿戴显示眼镜的第一实施例的图示。
[0016] 图2是可穿戴显示眼镜的第二实施例的图示。
[0017] 图3是图示利用可穿戴显示器和镜子的镜子视频聊天会话的示例方法的流程图。
[0018] 图4是图示应用于拍摄的视频图像的去变形处理的流程图。
[0019] 图5是示出计算机网络基础结构的示例性实施例的方框图。
[0020] 图6是示出被配置为进行按照一个或多个实施例的方法的计算系统的形式的示例 性机器的一部分的方框图。
[0021] 应意识到为了简单和清楚起见，例示了附图中的元件。不一定示出在商业上可行 的实施例中可能有用或需要的常见但公知的元件，W便不太妨碍对例示实施例的观察。
【具体实施方式】
[0022] 尽管诸如GOOGLE?眼镜之类的可穿戴显示设备被视为用于显示环境中的信息的 绝妙解决方案，但是运些可穿戴设备或目镜只向用户提供前置摄像头，使得在视频聊天会 话、视频会议会话或任何其它标准聊天软件会话(诸如Skype?)期间不可能分享穿戴者自 己的面部或图像。因此，需要允许显示设备的用户向聊天或视频会议会话的参与者投映他 们自己的图像的可穿戴显示设备。在一些实施例中，当观看镜子或图像反射面时，还允许用 户把远程参与者视为镜子或图像反射面上的覆盖图像。
[0023] 所公开的系统和方法检测环境中的镜子，从而允许参与者充分利用在镜子或图像 反射面中提供的视图用于与远程第Ξ方参与者聊天，并用于下面更详细说明的各种其它目 的。关于便携式电子设备的较大顾虑之一在于它们减损与人互动的亲身社交要素。尽管所 公开的实施例不是实际的亲身体验，但是认为在利用可穿戴显示器时，尤其在教育或职场 环境中，它们允许尽可能地接近亲身体验，同时通常避免为设立其它视频会议系统所需的 开支。
[0024] 例如在健康领域，也需要所公开的实施例的各种应用。所公开的系统和方法会允 许一组医生远程商议患者的病症。前置摄像头会允许医生在镜子前走动的同时还显示一个 或多个患者的X射线图像，并且允许医生与远程的一组参与者开始面对面会议。在专注于任 务和与团队谈话之间的运种平滑转变比纯粹的标准视频聊天应用更自然，并且更接近于亲 身交互的氛围。
[0025] 还需要其中镜子聊天会话将允许在家受教育或者在遥远地区生活的学生与教师 一起参加虚拟课堂的应用。利用所公开的实施例，他们将能够(利用前置摄像头)分享他们 双方的工作，同时还允许与参与会话的其他学生和教师的面对面交谈。
[0026] 另一种情况是在远程工作环境中的应用。公司可实现低廉的镜子或图像反射面， W达到和更昂贵的系统(诸如Cisco?远程呈现系统)相同的效果。实质上，监视器的常规 设置会被相同形状和尺寸的镜子代替。如果每个参与者都满足标准要求，那么可按照与 Cisco⑩远程呈现系统或类似的视频会议系统相同的方式实现会话。
[0027] 运里公开的实施例利用包括前置摄像头的可穿戴显示设备和在用户的周围环境 中检测到的镜子或图像反射面，进行与远程第Ξ方参与者的镜子视频聊天会话。
[0028] 如图1和图2中所示，可穿戴计算设备包括诸如GOOGLE⑩眼镜之类的设备。运些头 戴式设备(20)可包括镜片元件(21)和(26)，镜片元件(21)和(26)可W足够透明，W允许用 户透视镜片元件。它们也可由能够显示图形图像或其它图形表示的任意材料形成。从而，可 穿戴显示设备可W允许更改的显示，其中投映的图像或图形被叠加在由用户通过镜片元件 感知的真实世界视图之上。
[0029] 可穿戴设备可包括可被安置在设备(24)的延伸侧臂上的机载计算系统(24)、摄像 头(22)或类似的图像拍摄设备、位于设备的侧面框架部分上的一个或多个传感器、和一个 或多个可手指操作的触摸板(23)或类似的交互式设备。计算系统可被安置在头戴式设备的 其它部分上，或者被远离头戴式设备地安置，并且无线地或者通过有线连接而连接到头戴 式设备（20)。计算设备也可被配置为接收并分析来自摄像头（22)和手指可操作的触摸板 (23)的数据，W及在其它实施例中接收并分析来自其它传感设备、用户接口或二者的数据， 并且生成由镜片元件(21)或(26)输出的图像。计算设备可被编程，W经由传感器识别姿势 动作。运些姿势动作意在通过向计算设备发送适当的控制信号来描述用户的拍摄的视频图 像的哪个部分将被发送给远程的第Ξ方参与者。摄像头(22)或类似的图像拍摄设备被配置 为按照各种分辨率和不同的帖率捕捉图像。
[0030] 如图3中所示，在同时穿戴如图巧日图帥所示的诸如GOOGLE⑩眼镜或类似的可穿 戴显示设备之类的计算设备的同时，用户发起与第Ξ方的镜子视频聊天会话。将在镜子视 频聊天会话期间实现的可穿戴显示器可包括红外组件或红外类型光、摄像头，或者替代地 可包括图像拍摄设备和一个或多个处理设备。按照图3中所示的实施例，用户利用视频聊天 软件(诸如Skype.?、Google化ngouts或者替代的聊天或视频会议软件)发起镜子视频聊 天会话(2)。由于镜子视频聊天是实质上利用镜子或图像反射面来欺骗摄像头的技术，因此 它显然可适用于任何现有的视频聊天软件。用户可利用可穿戴设备中可用的控件来发起镜 子视频聊天会话。在特定实施例中，用户可使用诸如说敏name of person"之类的语 音控制命令，或者在可操作的触摸板上选择命令，W发起镜子聊天会话。
[0031] 不要求第Ξ方远程参与者使用镜子聊天视频系统，除非他们也在利用具有前置摄 像头的可穿戴显示设备。远程参与者可W实现所公开的镜子聊天系统，或者可W实现标准 的视频聊天系统，标准的视频聊天系统通常包括网络摄像头、扬声器、麦克风和与远程视频 聊天参与者的网络连接。
[0032] 如步骤(3)中所示，系统接下来将生成控制信号，W检测在环境中是否存在任意尺 寸的镜子或图像反射面。系统使用可穿戴显示设备中的前置摄像头来扫描并检测在用户的 周围环境中的镜子或图像反射面的存在。在特定实施例中，系统启动前置摄像头，并要求用 户左右转动他或她的头部，从而分析从摄像头供给的图像。从镜子反射为图像的所有对象 按照与非镜像或非图像反射面中的对象呈现给摄像头的方式不同的方式变换位置。从镜子 或图像反射面反射并被摄像头捕捉的图像的取向的运种变化实质上允许识别镜子或图像 反射面的边缘，并且运种检测可利用诸如化enCV之类的计算机视觉库应用来实现。
[0033] 系统包括具有光学系统的图像拍摄设备，所述图像拍摄设备将在同时运行系统检 查时持续拍摄周围环境中的图像，W检测通常匹配镜子的标准渐变色和表面亮度的镜子或 图像反射面的渐变色和表面亮度(有色镜或仿古镜除外）。处理器将针对镜子或图像反射面 的渐变色和表面亮度，确定拍摄的视频图像是否匹配储存在设备的存储器中的模板。
[0034] 镜子通常没有颜色，除非它是不同于标准银镜的有色类型的镜子。理想的镜子将 均等地并且光谱地反射所有光。镜子生成其中从单一方向打到镜子上的所有光当离开表面 时沿单一方向被反射的光谱反射。镜子通常是在一层玻璃之后制成的。玻璃本身有时会吸 收特定颜色，所W镜子不会完全反射所有颜色。在运种情况下，可能会出现的是镜子具有颜 色。
[0035] 理想地，通常是覆盖一层平面玻璃的抛光的锻银表面并且通常反射施加于其表面 的无论什么颜色的银镜应将存在于环境中，并且可被镜子检测设备检测到。然而，图像检测 设备也可被配置为扫描任意图像和/或任何种类的(无论是有色的还是银的)镜子。
[0036] 系统将持续扫描W检测镜子或图像反射面的存在，如果系统被编程为捜索用户自 己的图像则包括捜索用户的映像。系统还可扫描W检测实际的镜子检测设备或者镜子检测 设备驻留其中的外壳的映像，如果系统被编程为检测运样的图像作为实际的镜子检测的第 一子步骤的话。
[0037] 在一个实施例中，镜子或图像反射面检测设备或类似的处理设备还可被配置为检 测实际的镜子检测设备或镜子检测设备驻留其中的外壳的图像。所述设备可被预先编程， W检测来自镜子或图像反射面的运种图像的映像(在视频聊天会话之前或者在镜子检测步 骤(3)之前，所述图像被储存在存储设备中）。通过镜子检测设备进行比较当前捕捉的图像 和储存在存储设备中的图像的步骤，一旦检测到匹配，镜子检测设备就生成指示已检测到 镜子或类似的图像反射面的控制信号，并且系统前进到镜子边缘检测步骤(4)。
[0038] 系统接下来经由镜子边缘检测设备或处理设备，通过所反射的图像的光学特性来 扫描已检测到的镜子或图像反射面的边界。如在图1的步骤4中所示，一旦系统已生成了指 示在可穿戴显示器用户的周围环境中检测到镜子或图像反射面的信号，系统接下来将生成 经由检测设备来扫描并检测镜子的边缘的信号。利用已检测到的镜子的检测到的渐变色和 表面光学，检测单元将扫描并检测镜子的整个表面区域，直到检测到镜子或图像反射面的 最外侧边界外缘为止，并且因此所述最外侧边界外缘被检测设备描述为位置数据。外侧边 界参数随后被检测设备用来处理正在镜子上反射的图像。
[0039] 在一些实施例中，用户也可通过朝着边界边缘运动来帮助检测设备或处理设备， 使得系统根据从用户的运动检测到的视觉或其它感觉线索来检测用户对镜子边界的手动 选择。如果镜子是尺寸紧凑的镜子，那么用户的头部运动将关于镜子的边界来提示检测设 备。如果镜子或图像反射面尺寸较大，那么用户可通过从图像反射面的中屯、朝着外侧边缘 左移或右移来运动，W向检测设备指示最外侧边界的位置。存在其中检测设备检测镜子或 图像反射面的边缘的其它可能的实施例。
[0040] -旦发起了镜子聊天会话，并且检测到环境中的镜子或图像反射面，系统就可请 求用户选择将与第Ξ方参与者分享的镜子或图像反射面的区域。用户可使用图像定义姿势 来描述和/或进一步定义用户想与第Ξ方参与者分享的镜子的区域。
[0041] -旦系统的镜子检测设备检测到镜子，系统接下来就经由前置摄像头或其它图像 拍摄设备捕捉正在从镜子或图像反射面反射的显示图像(在本实施例中，所述显示图像是 用户自己的图像），无论是用户身体的全尺寸图像、用户图像的局部部分、面部图像的一部 分还是完整的面部图像。在特定实施例中，系统还可捕捉从镜子或图像反射面反射的包括 用户自身的图像的多个图像。
[0042] 接下来如步骤(5)中所示，借助通过一维或二维线性图像缩放单元的图像处理技 术和/或利用用于通过缩放像素或图像数据来实现图像的放大或缩小的设备的类似的处理 (包括包含图像数据的水平维度和垂直维度中的任一个或二者的锐度增强和瞬态改善的技 术)来缩放视频帖。在美国专利No.7782401中，通过示例的方式公开了一些图像缩放和锐度 增强技术，该专利通过引用包含于此。
[0043] 接下来如在图3的步骤(6)中所示，发起眼睛检测步骤。系统将扫描由检测设备或 图像拍摄设备当前捕捉的整个图像。通常，当在镜子或图像反射面上同时观看到个人自己 的图像时，通过现有技术中的处理开始眼睛检测处理。眼睛检测是利用诸如OpenCV 化arlike眼睛检测算法之类的技术来实现的。一旦检测到眼睛，系统就测量眼睛之间的距 离作为测量单位，并且将建议围绕W检测和测量的眼睛区域为中屯、的4个单位宽和5个单位 高的初始分享区域。实质上，即使用户未指定分享区域，运也允许系统智能地估计镜子或图 像反射面的哪个区域包含用户的面部。另外，即使万一用户在镜子或图像反射面前面时稍 微变换他或她的位置，眼睛的持续检测也允许镜子或图像反射面的恰当区域可被摄像头捕 捉，并作为连续的视频内容与第Ξ方参与者分享。
[0044] 通过示例的方式，扫描虹膜的方法包括对视频图像(具体地对由独特的复杂随机 纹理组成的人眼的虹膜)使用数学模式识别技术的自动化生物特征识别方法，其通过示例 的方式在美国专利No. 8489887中被公开，该专利的公开内容通过引用被包含。另外，如在通 过引用包含于此的美国专利No.8457363中所述的，另一种在图像中用于眼睛检测的技术包 括:通过把输入的面部图像划分为左右图像、从左右图像的有限图像区域中检测眼睛候选 物、利用几何信息评估检测到的眼睛候选物、然后利用支持向量机(SVM)算法验证眼睛候选 物来精确地检测眼睛。
[0045] 另一种技术包括视网膜扫描，所述视网膜扫描使用具有细微红外照射的摄像头技 术来获取虹膜的细节的图像。通过示例的方式在美国专利No.8090157中公开了另一种技 术，该专利的公开内容通过引用包含于此。'157专利描述了照射眼睛W在瞳孔表面生成反 射参照点的技术。利用反射检测对比度变化来过滤拍摄的宽场景图像来找出可能的眼睛位 置。对于每个可能的眼睛位置，计算中屯、点与其周围像素之间的局部对比度变化，并对结果 进行优先级排序，W提取具有最大的局部对比度变化的有效眼睛对。如果两只可能的眼睛 在预定范围内被分隔开，那么该眼睛对被定义为有效对。下列技术只是作为例子，并且当前 公开不限于用于眼睛检测处理的任何特定技术。
[0046] -旦系统检测到其图像当前被投映在环境中的镜子或图像反射面上的人的眼睛 或者眼睛的虹膜部分，系统接下来就通过裁剪工具(诸如Computer Vision，OpenS〇.urce? )来裁剪捕捉的视频内容，如在步骤(7)中所示。裁剪用来去除视频图像的不想要的部分。在 步骤(6)中，眼睛检测数据经由处理设备将生成用户眼睛的已映射的位置。系统可通过图像 处理和裁剪技术，使用该眼睛检测数据来使用户的图像居中，W生成将被输送给远程用户 或第Ξ方视频聊天参与者的最终视频内容。在镜子聊天处理的步骤（7)期间，也可使用 化enCV中可用的库来实现裁剪技术。
[0047] -旦视频内容被裁剪，系统接下来就将运行图像的检查，W确定用户是否定义了 如由当前裁剪后的视频内容的边界限定的视频空间（8)。对照当前裁剪后的视频内容来比 较用户的图像，如果用户未被居中或者实质上未定义该视频空间，那么如在图3的步骤(7) 和(8)中所示，系统将生成持续裁剪图像的信号，直到用户定义该视频空间为止。
[004引所公开的系统接下来借助通过诸如图4中所示的去变形处理(40)来处理图像，W 对于任何失真对拍摄的图像去变形(9)。在如在美国专利No.8068695中所述的该处理中，用 户识别对象的代表性特征(41)，确定表征所识别的特征的各个部分的相应的形状或位置的 向量(42)，选择在对应的位置处具有有效数据的所确定的向量的各个部分，并对选择的向 量部分应用主成分分析(44)。主成分分析的输出包括至少一个基本向量和至少一个对应的 系数，其中至少一个系数的相应的集合对应于各个选择的向量部分。主成分分析还生成描 述所选择的向量的平均值的平均向量(45)。平均向量、至少一个基本向量和系数的集合一 起提供对在由选择的向量部分表示的图像中的各个位置处的对象的弯曲或失真的估计。该 方法包括基于来自应用(44)的输出，内插/外推额外的并且可选地替代的变形估计。通过该 内插/外推(45)生成的输出或去变形映射随后可被用来对图像的至少一部分或者与选择的 向量部分(43)相关联的第一区域进行去变形(46)。去变形的图像或图像部分随后可被储存 (47)，或者用来擅染(48)修正或补偿后的版本的图像。
[0049] 所公开的系统接下来将前进到使用拍摄的图像把用户加入到视频聊天会话中，或 者图像也可被翻转，W修正由用户的图像从镜子或图像反射面的反射引起的图像反转。用 户现在可进入与远程第Ξ方视频聊天参与者的视频会议中。用户现在可通过包含在可穿戴 眼睛显示器中的目镜来观看第Ξ方参与者的实时视频图像。
[0050] 镜子本身现在还可起可视屏幕的作用，在镜子视频聊天会话期间，可穿戴显示设 备中的用户的可视图像将与远程第Ξ方参与者的实时视频内容叠加，并同时被投映在镜子 或图像反射面上。可穿戴显示器用户现在能够观看镜子或图像反射面，W参与并使远程第 Ξ方参与者参与镜子视频聊天会话，同时还观看他或她自己的图像。
[0051] 在特定实施例中，用户还可选择他们想与第Ξ方参与者分享的图像的各个部分。 系统可包括可检测用户的手势的空中运动检测传感器或类似的传感器，W捕捉在镜子或图 像反射面反射的投映图像的特定部分。用户例如可使用他们的拇指和食指，并且借助用户 的拇指和食指触摸通过摄像头的目镜对用户也可见并且当前集中于关注的图像的一部分 来发起姿势。用户随后可朝着他们自身的图像中的他们打算与远程第Ξ方视频参与者分享 的那部分的外侧边界伸展开拇指和食指。系统还可被配置为实质上定义和框住用户的视频 图像中的他们想要与远程第Ξ方参与者交换的那部分的其它手指、挥手运动或者其它姿 势。系统处理器的控制设备可被配置为响应于指示姿势或者与显示的处理器内容相关联的 其它姿势，生成框住用户的视频图像的一部分的控制命令。
[0052] 所公开的系统还可被配置为提供触觉或触感类型的反馈，诸如生成被输送给可穿 戴设备的一侧、或者其中用户可能已移动到给予远程第Ξ方参与者的当前投映图像的焦点 之外的振动或类似的阻力型信号。另外，当用户有在给予远程第Ξ方参与者的当前投映图 像的焦点之外的倾向时，可W生成触感型信号。作为示例，当用户接近镜子或图像反射面的 右边缘时，用户可感觉到从可穿戴设备的右侧发出的轻微振动。当用户更近地倾向于镜子 或图像反射面的边缘，从而实际上走出由摄像头捕捉的镜子的视线之外时，振动会加强，W 用信号告知可穿戴设备的用户他或她已离开摄像头的可能的整个摄像区域。实质上，该特 征是给转移到镜子的侧面的用户的运样的信号，在该信号中，用户已一步步非常接近或者 更接近于镜子的边缘。如果用户已完全走出镜子的视线之外，并且实质上走出摄像头的摄 像区域之外，那么该信号会增强。该信号还可充当给用户的触觉引导，W进一步走向镜子或 图像反射面的中屯、，W及进一步走向其中接收到该信号或者在摄像头的摄像区域的范围内 的用户的可穿戴设备的对侧。
[0053] 在另一个实施例中，进行用于去除可能从镜子或图像反射面反射，并且可能妨碍 由远程第Ξ方参与者W及还有用户观看用户的视频图像的亮斑的处理。设备可通过去变形 处理来检测拍摄的图像上的亮斑、融合图像并去除运些亮斑。在一些实施例中，也可利用完 成亮斑去除的化enCV中的库来完成该特征。系统可实现化enCV，W定位图像中的显得比整 个图像的平均亮度更亮的区域。随后实现过滤，W减小具有使视频内容失真的更高水平的 亮度的区域。
[0054] 在一些实施例中，所公开的利用图像处理设备的系统进行操作，W处理诸如拍摄 的视频图像(更具体地，从镜状表面反射的图像）中的检测出的亮斑或高对比度区域之类的 图像数据。图像去变形器按照获得的位置估计的集合对图像数据进行去变形，并且生成诸 如检测出的亮斑或观察到的高"对比度区域"之类的不想要的异常被补偿版本的图像数据。 图像数据储存设备中的至少一个可操作W储存补偿版本的图像数据，并且擅染设备可操作 W擅染补偿版本的图像数据。W硬件、或者硬件和/或软件的组合实现特征识别器、特征向 量确定器、向量选择器、主成分分析器、修正估计器、亮斑图像去变形器、图像数据储存设备 和擅染设备中的至少一个，W通过运样的去变形技术来生成补偿版本的图像数据。
[0055] 图5是在公开的镜子聊天系统中实现的计算机网络基础结构的示例示意图。系统 (50)包括利用通信链路(56)(例如，有线或无线通信链路)与远程设备（55)和/或iCloud网 络和/或iCloud网络驱动器(58)通信的设备（51)。该设备可W是被配置为接收数据并显示 与用户之间的视听数据的交换对应的信息的任意种类的设备。该设备可W是如图1中所示 的头戴式可穿戴显示设备（20)或者类似的可穿戴计算设备。设备（51)可包括显示系统 (57)，显示系统（57)包含处理器(52)和显示器(54)。处理器(52)可从远程设备（55)接收数 据，并配置该数据用于在显示器(54)上显示。该显示也可被投映到镜子巧9)上，并且经由设 备巧1)和一个或多个远程设备巧5)之间的数据的处理和交换，远程参与者看得见用户自身 的图像(60)。设备(51)还可包括机载数据储存器，诸如禪接到诸如微处理器或数字信号处 理器之类的处理器(52)的存储器巧3)。存储器巧3)例如可储存可由处理器(52)取回并执行 的软件和其它数据。远程设备(55)可W是被配置为向设备(51)发送数据的任意种类的计算 设备或发送器，包括膝上型计算机、移动电话或平板计算设备等。远程设备巧5)和设备巧1) 可包含使得经由处理器、发送器、接收器、天线等能够在可穿戴计算设备(51)、一个或多个 远程设备(55)和iCloud(58)之间实现一个或多个通信链路(56)的硬件。
[0056] 如图5中所示，通信链路巧6)优选地是无线连接。不过，也可实现有线连接，诸如有 线串行总线，或者并行连接或其它专用连接。可经由无线连接(诸如蓝I"⑥无线电技术、诸 如GSM、CDM、WiMAX、LTE⑥之类的蜂窝技术、诸如IE邸802.11(包括对其的修订)之类的通 信协议、Z:ig.bee@技术）W及其它无线配置，无线地实现通信链路(56)。远程设备巧5)可经 由因特网访问，并且可包括与特定web服务(诸如Skype⑩、FaceTime、社交网络、照片分享 等)相关联的计算机集群。
[0057] 与已知且更复杂的视频会议系统相比，利用镜子聊天有许多优点，因为利用镜子 聊天比采购大多数视频会议装置所需的特殊装备要便宜得多。除了环境中的镜子或图像反 射面、和具有前置摄像头或类似的图像拍摄设备的可穿戴显示设备或类似的计算设备之 夕h镜子聊天不需要任何特殊装备。
[0058] 利用镜子聊天的另一个显著优点在于可W精度更高并且无任何额外的重大处理 地完成眼睛凝视修正。运实质上是利用镜子或图像反射面代替摄像头来捕捉一个人自身的 图像的自然结果。一个已知的问题是当一个人开启其计算机上的网络摄像头视图或者来自 其智能电话的摄像头，并W其自身图像为目标时，似乎该图像看起来并不完全和拍摄的图 像一样。利用摄像头拍摄一个人自身的图像的特性在于当实际上与计算机或智能电话进行 眼神接触时，你不能够进行眼神接触。然而，当利用镜子或图像反射面时，在不处理用户的 眼睛凝视的情况下，你的图像完全表现为反射自镜子或图像反射面，W便捕捉更自然的眼 睛凝视，而不是通常借助计算机或智能电话摄像头和/或在处理设备中实现的类似种类的 摄像头经历的眼睛凝视失真。
[0059] 图6是计算系统100的形式的机器的实施例的方框图，在计算系统100内，当一组指 令102被执行时，所述指令可使机器进行运里公开的任意一种或多种方法。在一些实施例 中，该机器作为独立设备进行操作。在一些实施例中，该机器可W(例如，利用网络)连接到 其它机器。在网络化的实现方式中，该机器可作为服务器-客户端用户网络环境中的服务器 或客户端用户机器进行操作。机器可包含服务器计算机、客户端用户计算机、个人计算机 (PC)、平板PC、个人数字助手(PDA)、蜂窝电话、移动设备、掌上型计算机、膝上型计算机、桌 上型计算机、通信设备、个人可信设备、web家电、网络路由器、交换机或桥接器或者能够(顺I 序地或者W其他方式)执行一组指令的任意机器，所述一组指令指定将由该机器采取的动 作。
[0060] 计算系统100可包括经由总线110互相通信的处理设备104(例如，中央处理单元 (CPU)、图形处理单元(GPU)或二者）、程序存储设备106和数据存储设备108。计算系统100还 可包括显示设备112(例如，液晶显示器化CD)、平板、固态显示器或阴极射线管(CRT))。计算 系统100可包括输入设备146(例如，键盘）、光标控制设备116(例如，鼠标）、盘驱动单元118、 信号发生设备119(例如，扬声器或遥控器)和网络接口设备124。
[0061] 盘驱动单元118可包括机器可读介质120,在机器可读介质120上储存实现运里公 开的任意一种或多种方法或功能(包括运里例示的那些方法)的一组或多组指令1〇2(例如， 软件）。在由计算系统100执行期间，指令81也可完全或至少部分地驻留在程序存储设备 106、数据存储设备108和/或处理设备104内。程序存储设备106和处理设备104也可构成机 器可读介质。同样地可构成专用硬件实现方式(不限于专用集成电路、可编程逻辑阵列和其 它硬件设备）W实现运里说明的方法。可包括各个实施例的装置和系统的应用广泛地包括 各种电子和计算机系统。一些实施例利用在模块之间和通过模块传递的相关控制信号和数 据信号在两个或更多个特定互连硬件模块或设备中，或者作为专用集成电路的各个部分来 实现功能。从而，示例系统适用于软件、固件和硬件实现方式。
[0062] 按照本公开的各个实施例，运里说明的方法打算作为在计算机处理器上运行的软 件程序进行操作。此外，也可构成软件实现方式(包括但不限于，分布式处理或组件/对象分 布式处理、并行处理或虚拟机处理）W实现运里说明的方法。
[0063] 本实施例设想运样的机器可读介质或计算机可读介质，该机器可读介质或计算机 可读介质包含指令102,或者从传播信号接收并执行指令102, W便连接到网络环境122的设 备可利用指令102发送或接收语音、视频或数据，并且通过网络122通信。还可经由网络接口 设备124,通过网络122发送或接收指令102。在所公开的系统和方法的例示实施例中，机器 可读介质还可包含用于储存在提供数据和机器或计算机之间的功能关系中有用的数据的 数据结构。
[0064] 尽管在示例实施例中，机器可读介质120被示为单个介质，但是术语"机器可读介 质"应被理解为包括储存一组或多组指令的单个介质或多个介质(例如，集中式数据库或分 布式数据库、和/或相关联的高速缓存和服务器）。术语"机器可读介质"也应被理解为包括 能够储存、编码或运送用于由机器执行并且使机器进行本实施例的任意一种或多种方法的 一组指令的任意介质。术语"机器可读介质"因此应被理解为包括但不限于：固态存储器，诸 如存储卡或者容纳一个或多个只读(非易失性)存储器、随机存取存储器或者其它可重写 (易失性)存储器的其它套件;磁光介质或光介质，诸如磁盘或磁带;和/或电子邮件的数字 文件附件，或者其它自备信息档案或档案集合被视为等同于有形储存介质的分发介质。因 此，实施例被视为包括如运里列举的，并且包括其中储存运里的软件实现方式的现有技术 认识的等同物和后续介质的有形机器可读介质或有形分发介质中的任意一个或多个。
[0065] 尽管本说明书参照特定标准和协议说明了在实施例中实现的组件和功能，但是所 公开的实施例并不限于运样的标准和协议。
[0066] 运里说明的实施例的例示意在提供对各个实施例的结构的整体理解，并且它们并 非意在充当可利用运里说明的结构的装置和系统的所有元件和特征的完整说明。当回顾W 上说明时，对本领域的技术人员来说许多其它的实施例将是明显的。可从中利用并得出其 它实施例，W便在不脱离本公开的范围的情况下可W作出结构和逻辑替代和变化。附图也 仅仅是代表性的，并且可能未按比例绘制。其特定部分可能被夸大，而其它部分可能被最小 化。因此，说明书和附图应W例示性而非限制性的含义来考虑。
[0067] 仅仅为了方便，而并非意在自愿把本申请的范围限于任意单个实施例或发明构思 (如果事实上公开了不止一个实施例或发明构思的话），运里可通过术语"实施例"单独和/ 或共同地提及发明主题的运些实施例。因此，尽管运里已经例示并说明了具体实施例，不过 应意识到为实现相同目的而计算的任何配置可W代替所示的具体实施例。本公开意在覆盖 各个实施例的任意和所有修改或变型。当回顾上述说明时，对本领域的技术人员来说，W上 实施例的组合和运里未具体说明的其它实施例将是明显的。
[0068] 提供了摘要，W遵守要求摘要将使读者可W很快确定技术公开的本质的31 C.F.Rjl. 12(b)。应理解摘要将不会用来解释或限制权利要求的范围或含义。另外，在前述
【具体实施方式】中，可W看出，为了简化本公开的目的，在单个实施例中将各个特征集合在一 起。运种公开的方法不应被解释为反映要求保护的实施例需要比在各个权利要求中明确记 载的特征更多的特征的意图。相反，如W下权利要求所反映的，有创造性的主题存在于比单 个公开的实施例的所有特征更少的特征之中。因此，W下的权利要求由此被包含在具体实 施方式中，其中每个权利要求独自充当单独要求保护的主题。
[0069] 在特定的非限制性的示例实施例中，计算机可读介质可包括固态存储器，诸如存 储卡或者容纳一个或多个非易失性只读存储器的其它套件。此外，计算机可读介质可W是 随机存取存储器或其它易失性可重写存储器。另外，计算机可读介质可包括磁光介质或光 介质，诸如盘或带，或者捕捉载波信号(诸如通过传输介质传递的信号）的其它储存设备。电 子邮件的数字文件附件、或者其它自备信息档案或档案集合可被视为等同于有形储存介质 的分发介质。因此，本公开被认为包括其中可储存数据或指令的计算机可读介质或分发介 质W及其它等同物和后续介质中的任意一个或多个。
[0070] 按照各个实施例，运里说明的方法、功能或逻辑可被实现为在计算机处理器上运 行的一个或多个软件程序。同样地可构成专用硬件实现方式(包括但不限于专用集成电路、 可编程逻辑阵列和其它硬件设备），w实现运里说明的方法。此外，也可构成替代的软件实 现方式(包括但不限于分布式处理或组件/对象分布式处理、并行处理或虚拟机处理），W实 现运里说明的方法、功能或逻辑。
[0071] 还应注意的是，实现所公开的方法、功能或逻辑的软件可选地被储存在有形的储 存介质上，诸如:磁介质，诸如磁盘或磁带;磁光介质或光介质，诸如光盘;或者固态介质，诸 如存储卡或者容纳一个或多个只读(非易失性)存储器、随机存取存储器或者其它可重写 (易失性)存储器的其它套件。电子邮件的数字文件附件、或者其它自备信息档案或档案集 合被视为等同于有形储存介质的分发介质。因此，本公开被视为包括如运里列举的有形储 存介质或分发介质，W及其中可储存运里的软件实现方式的其它等同物和后续介质。
[0072] 尽管已经说明了具体的示例实施例，但是将显然可W在不脱离运里说明的有创造 性的主题的更广泛的范围的情况下对运些实施例作出各种更改和变化。因此，说明书和附 图应W例示性而非限制性的含义来考虑。形成说明书的一部分的附图通过举例说明而非限 制的方式示出了其中可实现主题的具体实施例。足够详细地说明了例示的实施例，W使本 领域技术人员能够实现运里公开的教导。可从中利用和得出其它实施例，W便可W在不脱 离本公开的范围的情况下作出结构和逻辑替代和变化。于是，不应W限制性的含义来理解
【具体实施方式】，并且各个实施例的范围只由附加权利要求W及给予运些权利要求权利的所 有等同物来限定。
[0073] 仅仅为了方便，而并非意在自愿把本申请的范围限于任意单个实施例或发明构思 (如果事实上公开了不止一个实施例或发明构思的话），运里可通过术语"实施例"单独和/ 或共同地提及有创造性的主题的运些实施例。因此，尽管运里已经例示并说明了具体实施 例，但是应意识到为实现相同目的而计算的任何配置可W代替所示的具体实施例。本公开 意在覆盖各个实施例的任意和所有修改或变型。当回顾上述说明时，对本领域的技术人员 来说，W上实施例的组合和运里未具体说明的其它实施例将是明显的。
[0074] 在前述【具体实施方式】中，为了简化本公开的目的，在单个实施例中将各个特征集 合在一起。运种公开的方法不应被解释为反映要求保护的实施例具有比在各个权利要求中 明确记载的特征更多的特征。相反，如W下权利要求所反映的，有创造性的主题存在于比单 个公开的实施例的所有特征更少的特征之中。因此，W下的权利要求由此被包含在具体实 施方式中，其中每个权利要求独自充当单独的示例实施例。
[0075] 尽管运里参照【附图说明】了优选实施例，但是应理解本公开并不限于运些确切的实 施例，并且在不脱离实施例的范围或精神的情况下，本领域的技术人员在此可W影响各种 其它变化和更改，并且意在要求保护落入本公开的范围之内的所有运些变化和更改。
【主权项】
1. 一种在用户之间交换视听通信信息的方法，所述方法包括： 利用与可穿戴通信设备相关联的图像拍摄设备，检测置于第一用户的环境中的图像反 射面； 响应于在第一用户的环境中检测到图像反射面，利用处理设备检测图像反射面的边 界； 利用处理设备，在图像反射面的边界内选择显示在图像反射面上的第一图像的一部 分；以及 利用显示设备，向第二用户显示第一图像的所述一部分，作为第二图像上的覆盖图。2. 按照权利要求1所述的方法，还包括：响应于与第一用户相关联的图像定义姿势，控 制第一图像的所述一部分的选择。3. 按照权利要求2所述的方法，还包括：响应于与第一用户相关联的图像定义姿势，更 改第一图像的所述一部分的尺寸。4. 按照权利要求3所述的方法，还包括:把第一图像的所述一部分作为第二图像上的覆 盖图，显示在置于第一用户的环境中的将由第一用户观看的图像反射面上。5. 按照权利要求1所述的方法，还包括:响应于第一用户，转动图像拍摄设备。6. 按照权利要求1所述的方法，还包括：响应于通过图像拍摄设备检测到的感觉图像信 号，转动图像拍摄设备。7. 按照权利要求1所述的方法，还包括:生成给予同第一用户相关联的可穿戴通信设备 的触觉信号。8. 按照权利要求7所述的方法，还包括：响应于与第一用户朝着图像反射面的边缘的移 动相关联的感觉检测信号，生成给予同第一用户相关联的可穿戴通信设备的触觉信号。9. 按照权利要求1所述的方法，还包括：响应于与第一用户在图像反射面的边界外的移 动相关联的感觉检测信号，生成给予同第一用户相关联的可穿戴通信设备的触觉信号。10. -种在可穿戴通信设备的第一用户和第二用户之间交换视听通信信息的系统，所 述系统包括： 图像拍摄设备； 处理设备；以及 储存可执行指令的存储器，当由处理设备执行时，所述指令促进操作的执行，所述操作 包括： 检测置于第一用户的环境中的图像反射面； 响应于在第一用户的环境中检测到图像反射面，检测图像反射面的边界； 在图像反射面的边界内，选择显示在图像反射面上的第一图像的一部分；以及 向第二用户显示第一图像的所述一部分，作为第二图像上的覆盖图。11. 按照权利要求10所述的系统，其中所述操作还包括:响应于与第一用户相关联的图 像定义姿势，控制第一图像的所述一部分的选择。12. 按照权利要求11所述的系统，其中所述操作还包括:响应于与第一用户相关联的图 像定义姿势，更改第一图像的所述一部分的尺寸。13. 按照权利要求12所述的系统，还包括显示设备，所述显示设备把第一图像的所述一 部分作为第二图像上的覆盖图，显示在置于第一用户的环境中的将由第一用户观看的图像 反射面上。14. 按照权利要求10所述的系统，其中所述操作还包括：响应于第一用户，转动图像拍 摄设备。15. 按照权利要求10所述的系统，其中所述操作还包括:响应于通过图像拍摄设备检测 到的感觉图像信号，转动图像拍摄设备。16. 按照权利要求10所述的系统，其中所述操作还包括:生成给予同第一用户相关联的 可穿戴通信设备的触觉信号。17. 按照权利要求16所述的系统，其中所述操作还包括:响应于与第一用户朝着图像反 射面的边缘的移动相关联的感觉检测信号，生成给予同第一用户相关联的可穿戴通信设备 的触觉信号。18. 按照权利要求10所述的系统，其中所述操作还包括:响应于与第一用户在图像反射 面的边界外的移动相关联的感觉检测信号，生成给予同第一用户相关联的可穿戴通信设备 的触觉信号。19. 一种储存可执行指令的计算机可读设备，当由处理设备执行时，所述指令促进操作 的执行以在用户之间交换视听通信信息，所述操作包括： 检测置于第一用户的环境中的图像反射面； 响应于在第一用户的环境中检测到图像反射面，检测图像反射面的边界； 在图像反射面的边界内，选择显示在图像反射面上的第一图像的一部分；以及 向第二用户显示第一图像的所述一部分，作为第二图像上的覆盖图。20. 按照权利要求19所述的计算机可读设备，其中所述操作还包括： 响应于与第一用户相关联的图像定义姿势，控制第一图像的所述一部分的选择； 响应于与第一用户相关联的图像定义姿势，更改第一图像的所述一部分的尺寸；以及 把第一图像的所述一部分作为第二图像上的覆盖图，显示在置于第一用户的环境中的 将由第一用户观看的图像反射面上。
【文档编号】H04N21/4223GK105874785SQ201480060326
【公开日】2016年8月17日
【申请日】2014年10月30日
【发明人】S·雅洛诗, B·S·阿曼图, K·A·李
【申请人】At&T知识产权部有限合伙公司, At&T知识产权一部有限合伙公司