信息表现系统,信息表现设备,信息表现方法

专利名称：信息表现系统,信息表现设备,信息表现方法
技术领域：
本发明涉及能够顺利地再现图像内容中的对象的运动的信息表 现系统，信息表现设备，信息表现方法，程序和记录所述程序的记录介质。
背景技术：
近年来提出了向用户提供更逼真图像和音频的各种技术，比如高
清晰度电视广播、增大的图像显示屏幕的视角和诸如5.1声道环绕之
类的多声道音频。
例如，日本未经审查的专利申请公开No.2006-294032公开一种
划分并在环绕用户物理排列的多个显示设备上显示被表达成环绕用
户的图像数据。

发明内容
由于通过利用这种技术，能够从各种角度向用户表现图像，因此 用户能够获得增强的真实感。但是，就在日本未经审查的专利申请公 开No.2006-294032中公开的这种技术，以及上面作为背景技术提及的 各种技术来说，由于只是利用图像和音频来产生真实感，因此，所能
达到的真实感存在一定的限度。
即，在只包括图像和音频的信息中，在图像中出现的对象之间在
深度方向和高度方向上的位置关系由图像中对象的大小和音量表达。
这意味着仅仅利用上面说明的信息，可能不能逼真地再现对象之间的 透视感，这样的对象之间的距离等等。
本发明的实施例意图以增强的真实感再现图像中的对象之间的 位置关系。
按照本发明的一个实施例的信息表现设备是可移动的，并且显示 多个对象的图像，信息表现设备的数目对应于对象的数目，每个信息 表现设备包括显示对象的图像的显示单元，能够沿水平方向和垂直方 向移动的移动单元，和驱动移动单元的驱动单元。每个信息表现设备 还包括获得信息表现设备的位置信息的位置传感器，获得对象的三维 空间位置的对象位置信息获取单元，和根据对象位置信息获取单元获 得的对象的位置，计算移动目标位置，并向驱动单元输出用于移动信 息表现设备的控制信号的控制单元。控制单元还控制在显示单元上显 示对象位置信息获取单元已获得其位置信息的对象的图像。
按照这种方式，可移动的信息表现设备能够根据图像中的对象的 三维空间位置，沿水平方向和垂直方向移动。
按照本发明的 一个实施例，可移动的信息表现设备能够根据图像 中的对象的三维空间位置，沿水平方向和垂直方向移动。于是，能够 以增强的真实感向用户再现图像中的对象之间的位置关系。


图1是表示按照本发明的一个实施例的信息表现系统的例证配
置的方框图2A和2B是表示按照本发明的一个实施例的信息表现设备的 例证配置的示图，图2A是前视图，图2B是侧视图3是表示按照本发明的一个实施例，当产生图像内容时的处理 的例子的示图4是表示按照本发明的一个实施例，当产生图像内容时的对象 位置获取处理的例子的流程图5是用于解释按照本发明的一个实施例，对象位置信息和内容
的对应表的例子的示图6是表示按照本发明一个实施例的信息表现处理的例子的流
程图7是表示按照本发明的一个实施例的信息表现处理的例子的 流程图8A和8B是表示按照本发明的一个实施例，在第三方视点观 看图像的例子的示意图9A和9B是表示按照本发明的一个实施例，在用户实质上已 变成指定对象的情况下观看图像的例子的示意图IO是表示按照本发明的另一实施例，使内容与信息表现设备 关联的用户界面的例子的示意图11A-11C是按照本发明的另一实施例，设置信息表现设备的 移动目标位置的用户界面的例子的示意图。图11A-11C分别图解说明 (1)内容中的时间代码被指定的情况，(2)指定要移动的信息表现设备的 情况，和(3)指定移动目标位置的情况。
具体实施例方式
下面参考

本发明的优选实施例。在本实施例中，预先利 用照相机拾取将由信息表现设备表现的图像内容(下面简称为"内 容，，)，在照相机拾取图像的过程中，同时获得对象的三维空间位置信 息。这样的信息表现设备再现按照这种方式获得的图像内容，并被控 制成根据在图像拾取过程中获得的对象的位置信息而移动。
作为获得对象的位置信息的方法，使用 一种根据由俯视照相机获 得的图像信号，计算对象的位置的方法，所述俯视照相机进行对象存 在于的整个空间的俯视图像拾取。另外，在信息表现设备表现信息的 时候，根据俯视照相机获得的图像信号，获得信息表现设备的位置信 息，并根据获得的位置信息，调整信息表现设备的实际位置。注意在 本实施例中使用其中根据俯视照相机获得的图像信号，获得对象的三 维位置的配置。不过，也可使用利用具有测量功能的照相机，获得对
象的三维位置的配置，或者使用GPS(全球定位系统)设备附接在每个 单个对象和信息表现设备上，从而信息表现设备能够获得其自身位置 的位置信息的配置。
图l表示按照本实施例的信息表现系统的内部配置的一个例子。 在图1中，信息表现设备200和控制设备100通过无线网络1连接， 以便能够相互通信。尽管图1中只表示了一个信息表现设备200，不 过实际上对应于对象的数目提供多个这样的设备。由于在本实施例中 假定存在三个对象，因此信息表现设备200的数目为3。
首先说明控制设备100的配置。控制设备100包括对象图像拾取 照相机101a、 101b、 101c,存储单元102，俯视照相机103，对象位 置信息获取单元104，控制单元105和通信单元106。
对象图像拾取照相机101a、 101b、 101c拾取各个不同对象的图 像，并把通过图像拾取获得的图像信号输出给存储单元102。存储单 元102包括DVD(数字通用光盘)驱动器，HDD(硬盘驱动器)等等，保 存由对象图像拾取照相机101a-101c获得的图像信号，还保存由后面 说明的对象位置信息获取单元104获得的对象或位置表现设备200的 位置信息。注意存储单元102可以是外部存储介质。另外，尽管本实 施例被这样构成，从而由对象图像拾取照相机101a-101c获得的图像 信号被保存在存储单元102中，不过图像信号也可通过后面说明的通 信单元106被直接传给信息表现设备200。
俯视照相机103从俯视对象的高处位置进行图像拾取，并把获得 的图像信号输出给对象位置信息获取单元104。不仅当产生内容时， 而且当表现内容时，都进行俯视照相机103的图像拾取。在下面的说 明中，在生成图像内容期间，由俯视照相机103进行图像拾取的空间 对象被称为"图像拾取空间"，在信息表现期间由俯视照相机103进行 图像拾取的空间被称为"信息表现空间"。对象位置信息获取单元104 从输出自俯视照相机103的图像信号中，获得图像拾取空间中的每个 对象的三维位置信息，或者信息表现空间中的每个信息表现设备200 的三维位置信息，并把获得的位置信息输出给控制单元105。获得对
象或信息表现设备200的三维位置的方法在后面详细说明。
控制单元105包括例如MPU(微处理器)，并控制构成控制设备 100的各个组件。更具体地说，控制单元105执行产生对应表，并把 产生的对应表保存在存储单元102中的处理，所述对应表使从对象位 置信息获取单元104输出的对象在每个时间点的三维位置信息与将在 每个信息表现设备上表现的内容关联。本实施例的目的在于通过移动 显示对象的图像的信息表现设备200，精确地再现每个内容中的对象 的三维移动。因此，按照这种方式产生的对应表记录图像中的对象在 内容中的每个时间点的三维位置，同时表示相应信息表现设备200的 移动目标位置。对应表将在后面详细说明。
控制单元105把对应表保存在存储单元102中，根据信息表现的 开始，确定每个信息表现设备200在每个时间点的移动目标位置，把 确定的移动目标位置包含在控制信号中，并把控制信号输出给通信单 元106。在信息的表现期间，控制单元105产生用于把每个信息表现 设备200的移动目标位置和该信息表现设备200的实际位置之间的差 值设置为0的控制信号，并把该控制信号输出给通信单元106。
通信单元106把从控制单元105输出的控制信号传给相应的信息 表现设备200，另外接收从相应的信息表现设备200传来的该信息表 现设备200的位置信息，并向控制单元105输出位置信息。
操作单元107按照用户输入的指令产生指令信号，并把产生的指 令信号输出给控制单元105。在本实施例中，存在用户能够观看内容 的多种状态，利用操作单元107执行选择这些模式之一的操作。作为 用户能够观看内容的状态，提供一种其中观看者从稍微远离多个信息 表现设备200的布置位置的预定位置进行观看的模式(即，用户从"第 三方，，视点观看的模式)，和其中用户实质上成为图像中所示的对象之 一，自该位置的视点被显示在信息表现设备200上的模式。当选择其 中用户实质上成为图像中显示的对象之一，并且这样的视点被显示在 信息表现设备200上的模式时，还接收用户希望变成其视点的对象的 指定。本说明书中将在后面详细说明相应的模式。
在用户从稍微远离多个信息表现设备200的布置位置的预定位 置进行观看的模式下，还存在为用户的观看状态而设的多种类型。这 样的类型是其中用户从预定的固定位置观看的类型，和用户在围绕信 息表现空间自由移动的时候观看图像的类型。这些类型之间的切换也 通过操作单元107的操作来实现。注意不一定向用户提供所有上述观 看状态，本发明适用于其中只提供一种模式(类型)的配置。
下面，参考图1说明每个信息表现设备200的内部配置的一个例 子。信息表现设备200包括通信单元201，控制单元202，存储单元 203，再现处理单元204,显示单元205，驱动单元206a和206b，垂 直移动单元207，水平移动单元208，位置传感器209和对象传感器 210。
通信单元201接收从控制设备100传来的控制信号，还执行把由 后面说明的位置传感器209获得的当前设备(即，该信息表现设备200) 的位置信息传给控制设备100的处理。控制单元202包括MPU或类 似物，并控制构成信息表现设备200的各个组件。存储单元203包括 DVD驱动器，HDD或类似物，并保存将显示在后面说明的显示单元 205上的图像内容等等。在本实施例中，由控制设备100的对象图像 拾取照相机101a-101c之一拾取的图像被用作图像内容。即，在图像 中的每个时间点获得位置信息处的图像内容被保存。注意可以使用其 中实时地再现通过通信单元201获得图像内容的配置，这种情况下， 不需要提供存储单元203。
再现处理单元204读取保存在存储单元203中的图像内容，并处 理所述图像内容以便在显示单元205上显示。显示单元205包括 LCD(液晶显示器)，并显示从再现处理单元204输出的图像。
驱动单元206a是用于驱动垂直移动单元207的促动器 (actuator)。垂直移动单元207包括能够沿垂直方向伸长和缩短的 立柱，驱动单元206a包括沿上下方向移动所述立柱的液压缸。驱动 单元206b是用于驱动水平移动单元208的促动器。水平移动单元208 包括轮子，驱动单元206b具有驱动所述轮子的电动机。注意水平方向的移动可利用带式输送机或类似物实现，水平方向和垂直方向的移
动可利用支承整个信息表现设备200的支臂来实现。
借助轮子形成的水平移动单元208与位置传感器209连接。位置 传感器209包括探测轮子的转动量的旋转编码器或类似物，通过探测 轮子的移动量，旋转角等等，获得信息表现设备200的位置信息。信 息表现设备200的详细机构将在后面说明。注意作为获得信息表现设 备200的旋转角的装置，也可以使用陀螺仪或类似物。
对象传感器210是探测在信息表现设备200周围的障碍物的位置 和/或观看信息表现设备200的用户的位置的传感器，并把获得的位置 信息输出给控制单元202。作为对象传感器210,可以使用红外传感 器，激光传感器，超声波传感器，温度传感器或其它传感器。注意也 可使用其中附加照相机来代替传感器，并由照相机探测障碍物和用户 的配置。
下面，参考图2A和2B说明信息表现设备200的一个例证配置。 图2A是前视图，图2B是侧视图。作为水平移动单元的轮子208设置 在信息表现设备200的最下部，驱动轮子208的电动机(驱动单元)206b 被设置在安装轮子的平台之上。探测轮子208的转动量的旋转编码器 (位置传感器)209,皮布置在布置电动机206a的位置附近。由于在本实 施例中设置4个轮子208，因此对应于轮子208的数目，设置4个电 动才几206b和4个旋转编码器209。
与轮子208连接的平台垂直的立柱(垂直移动单元)207被设置在 平台的中心，沿垂直方向移动立柱207的液压缸(驱动单元)206a被布 置在立柱207附近的位置。图2A和2B表示用于安装控制单元202 的板状控制单元安装部分301是如何被垂直设置在液压缸206a的侧 表面部分的，控制单元202被安装在控制单元安装部分301上。
作为安装通信单元201、再现处理单元204等的平台的安装部分 302被设置在控制单元安装部分301上方，作为安装显示单元205的 平台的显示单元安装部分303被设置在安装部分302上方。用作垂直 移动单元的立柱207从显示单元安装部分303的下表面延伸到下面具
有轮子208的平台，通过利用液压缸206a使立柱207沿垂直方向伸 长和缩短，按照这样的运动沿垂直方向升高和降低其上安装控制单元 202的显示单元安装部分303。
下面，参考图3中的示意图和图4中的流程图，说明与将由信息 表现设备200显示的图像内容的生成同时地获得图像拾取空间中的对 象的三维位置信息的处理的例子。图3表示作为将由俯视照相机103 进行图像拾取的图像拾取空间中的对象，存在人员(对象)OM，足球 Ob2和人员Ob3的状态。在图3中所示的例子中，人员Obl和人员 Ob3正在利用足球Ob2踢足球，同时在预定的图像拾取期间中，这些 对象在图像拾取空间内自由移动。
设置对象图像拾取照相机101来拾取相应对象的图像，在图3 中所示的例子中，设置有作为人员Obl的图像拾取用照相机的对象图 像拾取照相机101a，作为足球Ob2的图像拾取用照相机的对象图像 拾取照相机101b,和作为人员Ob3的图像拾取用照相机的对象图像 拾取照相机101c。这些照相机在图像拾取期间中，不断拾取分配的对 象的图像，并按照对象的移动改变照相机角度。注意尽管在图3中表 示了其中每个对象图像拾取照相机101的设置位置被固定，并且只有 照相机角度可变的例子，不过也可使用其中对象图像拾取照相机101 的位置与对象的移动相一致地移动的配置。
在图3中所示的例子中，由对象图像拾取照相机101a-101c进行 对象的图像拾取，同时由俯视照相机103进行图像拾取，以获得对象 的三维位置。为了获得相应对象的三维位置，各种不同颜色、形状、 大小等的标记被附在相应对象上，根据在由俯视照相机103获得的图 像信号中，所述标记的位置和大小，计算相应对象的三维信息。
当进行这种处理时，在进行图像内容的图像拾取之前，必须预先 定义图像拾取空间的范围。当定义图像拾取空间时，在作为对象的坐 标系原点，和/或在图像拾取空间的四角或类似位置设置标记，并利用 在这种状态下拾取的图像进行校准。这种情况下，通过沿图3中示为 z的垂直方向设置多个标记，也能够定义图像拾取空间的z轴(高度)
方向的位置。
同样在图像内容的图像拾取期间，表示原点的标记Mk0被布置 在和当定义该空间时被设置为原点的位置相同的位置，标记同样被附 在相应对象上。在图3中所示的例子中，标记Mkl附在人员Obl身 上，标记Mk2附在足球Ob2上，标记Mk3附在人员Ob3上。
图4中表示了从按照这种方式拾取的俯视图像中获得相应对象 的三维信息的处理的一个例子。在图4中，表示了俯视照相机103， 对象位置信息获取单元104和控制单元105的处理的一个例子。
在图4中，俯视照相机103首先在标记已被置于或附在所述原点 和对象身上的状态下拾取对象的俯视图(步骤Sl)，并把通过拾取俯视 图而获得的图像信号传给对象位置信息获取单元104(步骤S2)。当收 到从俯视照相机103传来的图像信号时(步骤S3),对象位置信息获取 单元104根据从图像信号中获得的图像中的相应标记的移动和大小， 获得相应对象在每个时间点的位置(步骤S4)，并把获得的位置信息传 给控制单元105(步骤S5)。
当收到从对象位置信息获取单元104传来的位置信息时(步骤 S6)，控制单元105产生使每个对象，每个对象的位置信息和包含该对 象的图像的图像内容相关联的对应表(步骤S7)。在步骤S7中，产生
如图5中所示的对应表。
图5中所示的对应表Tbl在最左侧一列中以0.1秒为单位，表示 图像中的时间点(即，时间代码)，并在向右的第二列中指定为每个对 象提供的图像内容。在图5中的例子中，存在标记为A、 B和C的三 个图像内容。例如，图像内容A、 B和C分别是关于图3中所示的人 员Obl、足球Ob2和人员Ob3拾取的图像。
在向右的第三列中，用三个坐标X、 Y和Z表示在图像内容A-C 中拾取的每个对象在图像拾取空间中的三维位置。即，在图5中的对 应表Tbl中，对于图像中的每个时间点，给出对象的三维信息。这里， X、 Y和Z分别是在X轴方向、Y轴方向和Z轴方向到图像拾取空间 中预先设置的原点(O，O，O)的距离。
例如，在时间0.0秒，内容A中所示的对象的坐标为(X，Y，Z)-(-100.0， 60.0， 20.0)，内容B中所示的对象的坐标为(X，Y，Z)-(-30.0， -80.0， 60.0)，内容C中所示的对象的坐标为(X，Y，Z)-(100.0， 10.0， -30.0)。在时间0.1秒，这些坐标看来没有任何变化，但是当达到时间 0.2秒时，内容A中所示的对象的坐标变成(-40.0， 60.0， 20.0)。即， 可认为与在时间0.0秒的位置相比，在时间0.2秒，内容A中所示的 对象已沿着X轴的方向移动了 60.0。
注意尽管说明了其中仅仅给出用X，Y，Z坐标表达的位置信息作 为图5中所示的对应表Tbl中的对象信息的例子，不过也可与时间代 码关联地记录当产生相应内容时，对象图像拾取照相机101a-101c的 角度信息。
当在信息表现设备200上显示图像内容时，控制设备100的控制 单元105根据按照这种方式产生的对应表Tbl，设置相应的信息表现 设备200的移动目标位置，并把相应的移动目标位置传给信息表现设 备200。
下面参考图6和7的流程图，说明在信息表现设备200表现信息 的过程中的处理的一个例子。在图6和7中，表示了控制设备100和 信息表现设备200之间的交互作用。图6表示从控制设备100向信息 表现设备200传送控制信号，到控制设备100接收来自于相应信息表 现设备200的位置信息反馈，并传送用于调整相应信息表现设备200 的位置的控制信号为止的处理。
在图6中，首先，控制设备100判断用户是否指定了该用户希望 事实上成为的对象(步骤Sll)。即，确定是否选择了其中用户通过实 质上成为图像中所示对象中的一个对象，观看图像的模式。当还没有 选择用户想要事实上成为的对象时，进行根据每个内容中的对象的三 维位置信息，设置相应信息表现设备200的移动目标的处理(步骤 S12)。即，根据图5中图解说明的对应表Tb中的信息，设置每个信 息表现设备的移动目标位置。例如，对于从开始信息表现以来0.0秒 的过去时间来说，在0.1秒时间点的坐标被设置成移动目标位置。之
后，设置的移动目标位置被包含在控制开始命令中，并被传给信息表
现i殳备200(步骤S13)。
之后，判断用户的观看位置是否被设置成固定的(步骤S14)。由 于用户的观看位置是否固定的设置是事先按照输入操作单元10的输 入进行的，因此在此时进行检查该设置的处理。当用户的观看位置被 设置成固定的，那么选择"Yes"，根据由俯视照相机103获得的图像 信号，获得相应信息表现设备200的三维位置(步骤S15)。当判断用 户的观看位置被设置成不固定，那么选择"No"，并才艮据由俯视照相机 103获得的图像信号，获得用户的位置信息和相应信息表现设备200 的位置信息。即，当用户的观看位置被固定时，不进行用户的位置信 息的获取，只有当用户的观看位置不固定时，才获得用户的位置信息。
当在步骤Sll中判断用户想要事实上成为的对象已被选择时，根 据每个内容中的对象的位置信息，进行计算作为用户希望事实上成为
的对象而指定的对象与其它对象之间的相对位置关系的处理(步骤 S17)。之后，根据计算的相对位置关系，计算每个信息表现设备200 的移动目标位置(步骤S18)，计算的移动目标位置信息被包含在控制 开始命令中，并被传给信息表现设备200(步骤S19)。在传送控制开始 命令之后，根据俯视照相机103获得的图像信号，获得用户的位置和 相应信息表现设备200的位置信息(步骤S16)。
在步骤S17中所示的处理中，对于图5中所示的例子来说，当用 户选择了对象Obl作为该用户希望事实上成为的对象时，除对象Obl 外的对象的坐标，即，包含在内容B中的对象Ob2的坐标和包含在 内容C中的对象Ob3的坐标被转换成相对于包含在内容A中的对象 Obl的坐标的距离，而不是到原点的距离。通过进行这种处理，能够 以事实上成为指定对象的用户的位置为中心，精确再现图像拾取空间 中对象之间的位置关系。
返回图6的流程图，当收到在步骤S13或步骤S19中从控制设 备100传送的控制开始命令时(步骤S20)，信息表现设备200开始再 现图像内容(步骤S21)。随后，图像内容被显示在显示单元205上(参见图1)。当开始内容的再现时，也开始位置传感器209(参见图l)的位 置探测(步骤S22)，探测到的位置信息被传给控制设备IOO(步骤S23)。
在控制设备100中，当收到从信息表现设备200传来的位置信息 时(步骤S24),进行按照表现信息的信息表现空间的尺寸，使移动目 标位置和在步骤S24接收的相应信息表现设备200的位置归一化的处 理(步骤S25)。随后，产生用于把相应移动目标位置和在步骤S15或 步骤S16中从俯视照相机103获得的信息表现设备的位置之间的误差 变为0的控制信号(步骤S26)，并把产生的控制信号传给相应的信息 表现设备200(步骤S27)。
下面，将参考图7中的流程图说明在信息表现设备200收到在步 骤S27中传送的控制信号之后的处理。在图7中，当收到从控制设备 100传来的控制信号时(步骤S28)，信息表现设备200判断用户希望实 质上成为的对象是否已被指定(步骤S29)。当用户选择了其中用户通 过实质上成为指定的对象，观看图像的模式，那么选择"Yes"，处理 进入步骤S30。
在步骤S30,控制驱动单元206b,以使显示单元205面向对象传 感器210检测的用户的方向。之后，根据接收的控制信号驱动驱动单 元206a和驱动单元206b(步骤S31)。即，通过控制驱动单元206b移 动到记录在控制信号中的移动目标位置，水平移动单元208(本实施例 中的轮子)转动，从而信息表现设备200移动到移动目标位置。当在控 制信号中指定了垂直方向上的移动目标位置时，驱动单元206a被控 制，垂直移动单元207(本实施例中的立柱)才艮据驱动单元206a的驱动 而伸长和缩短。即，信息表现设备200的高度被改变。
当在步骤S29中判断没有选择其中用户希望事实上成为指定对 象的模式时，接下来判断用户的观看位置是否被固定(步骤S32)。当 用户的观看位置被固定时，选择"Yes"，处理进入步骤S31。当判断用 户的观看位置不固定时，处理进入步骤S30。即，当用户的观看位置 固定时，显示单元205的朝向被保持在固定的朝向，而不调整(用户的 观看位置的方向)，当用户的观看位置不固定时，显示单元205的朝向将按照用户的方向改变。
随后，判断是否从控制设备100传送了停止命令(步骤S33),当 没有收到停止命令时，处理返回图6中的步骤S20，并继续步骤S20 之后的步骤。当收到从控制设备100传送的停止命令时，处理结束。
在控制设备IOO中，只要存在要再现的图像信号，上面描述的处 理就继续进行，在步骤S34中，判断是否仍然存在要再现的图像信号。 当判断存在要再现的图像信号时，处理返回图6中的步骤Sll，并继 续步骤S11之后的步骤。但是，当判断不存在要再现的图像信号时， 向信息表现设备200传送停止命令(步骤S35)。当在步骤S35中传送 停止命令时，由于在步骤S33中信息表现设备200选择了"Yes"，因 此处理结束。
图8A和8B示意地表示在选择从第三方视点观看信息表现i殳备 200的模式的情况下，相应信息表现设备200的移动。图8B表示从 图8A中所示的状态开始已过去预定时间时的状态。在图8A和8B中， 显示人员Obl的图像的信息表现设备200-1，显示足球Ob2的图像的 信息表现设备200-2，和显示人员Ob3的图像的信息表现设备200-3 -故布置在用户U观看的信息表现空间中。
在图8A中所示的状态下，显示人员Obl的图像的信息表现设备 200-1被布置在Y方向的前端附近，并且在X方向上最接近原点。显 示足球Ob2的图像的信息表现设备200-2在X方向上被布置在信息表 现设备200-1的右侧。信息表现设备200-2被布置在Y方向上最里面 的位置。显示人员Ob3的图像的信息表现设备200-3在X方向上被布 置在信息表现设备200-2的右侧，并且在Y方向上稍微在前面。
图8A中所示的各个信息表现设备200的布置位置可靠地再现图 像内容中的对象的布置位置，并且对应于图3中所示的图像拾取空间 中的各个对象的位置。在图8B中所示的从图8A中所示的状态开始过 去预定时间的阶段，可看出信息表现设备200-1到200-3在移动。信 息表现设备200-1沿Y方向移离用户，信息表现设备200-2在X方向 上向右移动，在Y方向上移向用户，信息表现设备200-3基本保持在
图8A中所示的相同位置。
图8B中所示的位置是信息表现设备200-1到200-3在图8A中所 示的状态下，根据从控制设备100传给信息表现设备200-1到200-3 的控制信号移动的结果。即，这样的位置与在控制信号中给出的移动 目标位置相匹配。这样，即使信息表现设备200-1到200-3在移动， 也可进行控制以消除信息表现设备200的移动目标位置和实际位置之 间的误差，于是相应的信息表现设备200将一点不错地到达移动目标 位置。
尽管图8A和8B表示其中标记Mk4也被附在用户U上的状态， 不过当用户U的观看位置被固定时，不需要获得用户U的位置信息， 于是不需要把标记附在用户U上。
图9A和9B示意表示当选择了观看信息表现设备200的用户事 实上成为指定对象(人员Obl)的模式时，相应信息表现设备200的移 动。图9B表示从图9A中所示的状态开始过去预定时间的状态。尽管 图9A和9B中的信息表现设备200的三维信息与图8A和8B中所示 的位置相匹配，不过图9A和9B的不同之处在于用户U位于图8A中 布置信息表现设备200-1的位置，以及信息表现设备200-2和信息表 现设备200-3的显示单元205面向用户U。
在图9A和9B中所示的例子中，由于选择了观看信息表现设备 200的用户事实上成为人员Obl的状态，因此进行控制，以使显示除 对象Obl外的对象的信息表现设备200-2和200-3总是面向用户U。 另外，如图9B中所示，再现图像内容中的各个对象之间的位置关系， 作为以用户U的位置作为标准的相对位置关系。
通过进行上面所述的处理，由于图像内容中的对象的三维移动被 信息表现设备200精确再现，因此用户能够以增强的真实感感受内容。
另外，由于西像内容内的对象的三维移动被信息表现设备200 可靠地再现，因此能够获得对象的透视感，并且更正确地了解这些对 象之间的距离等等，从而用户能够更深地了解图像内容的内容。
另外，通过选择观看内容的用户事实上成为内容中的对象之一的
模式，用户u能够观看内容，并且变得更深地巻入所再现的世界中。
注意尽管在上面的实施例中，说明了两个例子，即，当信息表现
设备200的显示单元205的朝向被固定时的例子，和当使显示单元205 面向用户U时的例子，不过也可在产生图像内容的期间，对应于对象 图像拾取照相机101的角度，改变显示单元205的角度。这种情况下， 对象图像拾取照相机IOI的角度信息被预先记录在对应表TM中，并 根据记录的角度信息确定显示单元205的角度。
另外，尽管在上面的实施例中说明了其中信息表现设备200移 动，以便再现内容中的对象的移动的例子，不过也可使用其中信息表 现设备200的移动类型与用户U的移动类型相一致地变化的配置，比 如在探测用户U时，信息表现设备200移离用户U。
尽管在上面说明的实施例中，对象图像拾取照相机101拾取的图 像被显示在信息表现设备200的显示单元205上，不过也可从由俯视 照相机103的图像拾取产生的图像中剪辑出显示对象的部分，并把这 些剪辑出的图像显示在相应的显示单元205上。
另外，尽管说明了预先进行将由信息表现设备200表现的图像内 容的图像拾取，并根据在内容的图像拾取期间获得的对象的位置信 息，移动相应的信息表现设备200的配置的例子，不过也可使用现存 的图像内容。
当使用现有的图像内容时，可以人工设置图像内容，显示这种内 容的信息表现设备，图像中的对象的位置信息等等之间的对应性。在 图IO和图11A-11C中表示了允许用户执行这种操作的用户界面(下面 简称为"UI，，)的一个例子。图10和图11A-11C中所示的UI可设置在 控制设备100和/或信息表现设备200中，或者可设置在作为遥控器形 成的操作单元107中。
图10中所示的UI被用于进行把图像内容与再现该图像内容的 信息表现设备200联系起来的处理。在图10中所示屏幕左侧的环绕 方框的数字表示信息表现设备200，通过利用在所述数字右侧的列表 框，能够指定将显示在相应信息表现设备200上的图像内容的存储位置。在图10中所示的例子中，保存在c驱动器中的内容将被显示在
信息表现设备(l)上，保存在DVD-ROM驱动器中的内容将被显示在 信息表现设备(2)上，保存在万维网上的内容将被显示在信息表现设备 (3)上。
图11A-11C表示用于设置各个信息表现设备200在每个时间点 的移动目标位置的UI的例子。在图11A-11C中所示的各个UI中， 显示内容的图像的窗口被设置在屏幕的左上角，在所述窗口的右侧的 两个轴(即，X轴和Y轴)上表示信息表现设备200的排列。能够设置 各个坐标位置X， Y， Z的调节器Kb2设置在屏幕的下部。
在图11A-11C中所示的UI中，首先执行指定图像内容内的时间 代码的处理。如图11A中所示，通过移动调节器Kb，能够实现该操 作，调节器Kb能够在时间轴上前后移动图像中的时间代码，到达左 右轴上的所需位置。
在指定了时间代码之后，在图11B中所示的屏幕上完成选择将 由用户设置其移动目标位置的信息表现设备的处理。通过按下设置在 显示图像内容的窗口下面的按钮之一，能够完成将由用户设置其移动 貝标位置的信息表现设备的选择。所述按钮从左侧开始按照1、 2、 3 的顺序排列，并且对应于信息表现设备200。图11B表示选择了信息 表现设备(l)的状态。
在图11B中所示的屏幕上，在选择了将设置其移动目标位置的 信息表现设备之后，进行实际设置移动目标位置的处理。如图11中 所示，通过把分别为X， Y， Z而设的调节器Kb2沿左右方向移动到 所需位置，信息表现设备被移入设置在右上方的图表中。在图11C中 所示的例子中，通过向右移动对应于X轴的调节器Kb2，设置在右上 方的图表中的信息表现设备(l)一致地向右移动。通过利用这种UI， 能够把图像内容和信息表现设备200的操作关联起来。
按照这种方式，当现有内容被用作将在信息表现设备200上表现 的内容时，如果每个信息表现设备200配有用于获取它自己的三维位 置的装置，那么信息表现设备200将能够独自表现信息，而不使用控
制设备亂
也可通过为系统或设备提供记录有实现上述实施例的功能的软
件的程序代码的记录介质，并使系统或设备的计算机(或者诸如CPU
之类的控制设备)读出和执行保存在记录介质中的程序代码，实现本发明。
作为提供所述程序代码的记录介质的例子，可以使用软盘、硬盘、
光盘、磁光盘、CD-ROM、 CD-R、磁带、非易失性存储卡和ROM。 此外，不仅通过执行由计算机读出的程序代码，而且通过使在计
算机上运行的OS(操作系统)或类似物根据程序代码的指令，执行部分
或者全部的实际处理，都可实现上述实施例的功能。
本发明既包括其中按照本说明书中给出的时间顺序执行构成所
述软件的程序中的步骤的处理，又包括其中不一定按照时间顺序执行
所述步骤，而是独立地或者并行地执行所述步骤的处理。
注意本发明并不局限于上面描述的实施例，可以进行各种修改，
而不脱离本发明的范围。本领域的技术人员应该明白，#>据设计需求
和其它因素，可以产生各种修改、组合、子组合和变化，只要它们在
附加权利要求或其等同物的范围之内。
权利要求
1、一种信息表现系统，包括:可移动的显示多个对象的图像的多个信息表现设备，信息表现设备的数目对应于对象的数目；和向信息表现设备输出控制信息表现设备的控制信号的控制设备，其中每个信息表现设备包括:显示对象的图像的显示单元；能够沿水平方向和垂直方向移动的移动单元；驱动移动单元的驱动单元；获得信息表现设备的位置信息的位置传感器；接收从控制设备传送的至少一个控制信号并把位置传感器获得的位置信息传送给控制设备的第一通信单元；和控制显示单元的显示、还控制驱动单元的控制单元，控制设备包括:获得多个对象的三维空间位置的对象位置信息获取单元；接收从信息表现设备传送的位置信息的第二通信单元；和根据对象位置信息获取单元获得的对象的位置计算信息表现设备的显示对象的图像的目标对象位置、并输出用于移动信息表现设备的控制信号的控制单元，和信息表现设备的控制单元控制在显示单元上显示控制设备的对象位置信息获取单元已获得其位置信息的对象的图像、并控制根据第一通信单元接收的控制信号驱动所述驱动单元。
2、 按照权利要求l所述的信息表现系统，其中控制设备的控制单元按照所述多个信息表现设备在其中表现信 息的空间的宽度，使目标位置和对象位置信息获取单元计算的多个对 象在三维空间中的位置信息归一化，并根据归一化的目标位置和对象 的位置信息产生控制信号。
3、 按照权利要求1所述的信息表现系统，其中 控制设备的对象位置信息获取单元获得观看信息表现设备表现的图像的用户的位置，和控制设备的控制单元输出用于产生由对象位置信息获取单元获 得的用户位置与信息表现设备的位置之间的预定位置关系的控制信号。
4、 按照权利要求3所述的信息表现系统，其中 每个信息表现设备包括检测用户的位置的对象传感器，和 每个信息表现设备的控制单元控制驱动单元，从而显示单元在从控制设备输出的控制信号中指定的移动目标位置，面向由对象传感器 检测的用户的方向。
5、 按照权利要求l所述的信息表现系统，其中 控制设备包括操作单元，和当通过操作单元输入了表示用户实质上已成为所述多个对象之 一而希望观看信息表现设备的指令时，控制设备的控制单元操作成计 算用户希望成为的对象和其它对象之间的相对位置关系，并以用户的 位置信息作为标准，根据计算的相对位置关系和用户的位置信息处重 新计算信息表现设备的显示其它对象的图像的目标对象位置。
6、 按照权利要求l所述的信息表现系统，其中 信息表现设备包括能够在垂直方向上伸长和缩短的垂直移动单元，和信息表现设备的控制单元根据对象位置信息获取单元计算的对 象在三维空间中垂直方向上的位置，驱动垂直移动单元。
7、 按照权利要求l所述的信息表现系统，其中控制设备的对象位置信息获取单元执行使多个图像拾取设备的 角度信息与对象的位置信息关联的处理。
8、 按照权利要求7所述的信息表现系统，其中控制设备的控制单元根据多个图像拾取设备的角度信息设定信 息表现设备的显示单元的角度，设定的角度被包括在控制信号中。
9、 一种在信息表现系统中利用的信息表现方法，所述信息表现 系统包括可移动的显示多个对应对象的图像的多个信息表现设备，信 息表现设备的数目对应于对象的数目，和向信息表现设备输出控制信 息表现设备的控制信号的控制设备，所述方法包括下述步骤通过沿水平方向和垂直方向移动信息表现设备，获得信息表现设 备的位置信息；接收从控制设备传送的控制信号，并把获得的信息设备的位置信 息传送给控制设备；根据俯视照相机获得的图像，由控制设备获得所述多个对应对象 在三维空间中的位置信息；根据获得的对应对象的位置，计算信息表现设备要移到的目标位 置，并向控制设备输出移动表现设备的控制信号，和根据接收的控制信号移动信息表现设备，并显示控制设备已获得 其位置信息的对应对象的图像。
10、 一种包含指令的计算机程序，所述指令使计算机执行在信息 表现系统中利用的信息表现方法，所述信息表现系统包括可移动的显 示多个对象的图像的多个信息表现设备，信息表现设备的数目对应于 对象的数目；和向信息表现设备输出控制信息表现设备的控制信号的 控制设备，所述方法包括下述步骤通过沿水平方向和垂直方向移动信息表现设备，获得信息表现设 备的位置信息;接收从控制设备传送的控制信号，并把获得的信息设备的位置信 息传送给控制设备；根据俯视照相机获得的图像，由控制设备获得所述多个对应对象 在三维空间中的位置信息；根据获得的对应对象的位置，计算信息表现设备要移到的目标位 置，并向控制设备输出移动表现设备的控制信号，和根据接收的控制信号移动信息表现设备，并显示控制设备已获得 其位置信息的对应对象的图像。
11、 一种具有程序的记录介质，所述程序包含使计算机执行在信 息表现系统中利用的信息表现方法的指令，所述信息表现系统包括可 移动的显示多个对象的图像的多个信息表现设备，信息表现设备的数目对应于对象的数目；和向信息表现设备输出控制信息表现设备的控 制信号的控制设备，所述方法包括下述步骤通过沿水平方向和垂直方向移动信息表现设备，获得信息表现设 备的位置信息；接收从控制设备传送的控制信号，并把获得的信息设备的位置信 息传送给控制设备；根据俯视照相机获得的图像，由控制设备获得所述多个对应对象 在三维空间中的位置信息；根据获得的对应对象的位置，计算信息表现设备要移到的目标位 置，并向控制设备输出移动表现设备的控制信号，和根据接收的控制信号移动信息表现设备，并显示控制设备已获得 其位置信息的对应对象的图像。
12、 一种可移动的显示多个对象的图像的信息表现设备，信息表 现设备的数目对应于对象的数目，每个信息表现设备包括显示对象的图像的显示单元； 能够沿水平方向和垂直方向移动的移动单元；驱动移动单元的驱动单元； 获得信息表现设备的位置信息的位置传感器； 获得对象的三雄空间位置的对象位置信息获取单元；和 根据对象位置信息获取单元获得的对象的位置计算移动目标位 置、并向驱动单元输出使移动目标位置和由位置传感器获得的信息表 现设备的位置相匹配的控制信号的控制单元，其中控制单元执行在显 示单元上显示对象位置信息获取单元已获得其位置信息的对象的图 像的控制。
13、 按照权利要求12所述的信息表现设备，其中控制单元按照所述多个信息表现设备在其中表现信息的空间的 宽度，使移动目标位置和对象位置信息获取单元计算的多个对象在三 维空间中的位置信息归一化，并根据归一化的移动目标位置和对象的 位置信息产生控制信号。
14、 按照权利要求12所述的信息表现设备，其中 对象位置信息获取单元获得观看显示单元正在表现的图像的用户的位置，和控制单元输出控制信号，所述控制信号用于产生由对象位置信息 获取单元获得的用户的位置与由位置传感器获得的信息表现设备的 位置之间的预定位置关系。
15、 按照权利要求14所述的信息表现设备，还包括 检测用户的位置的对象传感器，其中控制单元控制驱动单元，从而显示单元在移动目标位置处面向由 对象传感器检测的用户的方向。
16、 按照权利要求12所述的信息表现设备，还包括 操作单元，其中一而希望观看图像的指令时，控制单元操作成计算用户希望成为的对 象和其它对象之间的相对位置关系，并以用户的位置信息作为标准， 根据计算的相对位置关系和用户的位置信息，重新计算移动目标位置。
17、 按照权利要求12所述的信息表现设备，还包括 能够在垂直方向上伸长和缩短的垂直移动单元，其中 控制单元根据对象位置信息获取单元计算的对象在三维空间中垂直方向上的位置，驱动垂直移动单元。
18、 一种信息表现方法，包括下述步骤通过沿水平方向和垂直方向移动信息表现设备，获得信息表现设 备的位置信息；接收从控制设备传送的控制信号，并把获得的信息设备的位置信 息传送给控制设备； 根据俯视照相机获得的图像，由控制设备获得所述多个对应对象在三维空间中的位置信息；根据获得的对应对象的位置，计算信息表现设备要移到的目标位 置，并向控制设备输出移动表现设备的控制信号，和根据接收的控制信号移动信息表现设备，并显示控制设备已获得 其位置信息的对应对象的图像。
19、 一种包含指令的计算机程序，所述指令使计算机执行信息表 现方法，所述方法包括下述步骤通过沿水平方向和垂直方向移动信息表现设备，获得信息表现设 备的位置信息；接收从控制设备传送的控制信号，并把获得的信息设备的位置信 息传送给控制设备；根据俯视照相机获得的图像，由控制设备获得所述多个对应对象 在三维空间中的位置信息；根据获得的对应对象的位置，计算信息表现设备要移到的目标位 置，并向控制设备输出移动表现设备的控制信号，和根据接收的控制信号移动信息表现设备，并显示控制设备已获得 其位置信息的对应对象的图像。
20、 一种具有程序的记录介质，所述程序包含使计算机执行信息 表现方法的指令，所述方法包括下述步骤通过沿水平方向和垂直方向移动信息表现设备，获得信息表现设 备的位置信息；接收从控制设备传送的控制信号，并把获得的信息设备的位置信 息传送给控制设备；根据俯视照相机获得的图像，由控制设备获得所述多个对应对象 在三维空间中的位置信息；根据获得的对应对象的位置，计算信息表现设备要移到的目标位 置，并向控制设备输出移动表现设备的控制信号，和根据接收的控制信号移动信息表现设备，并显示控制设备已获得 其位置信息的对应对象的图像。
全文摘要
公开一种信息表现系统，所述信息表现系统包括可移动的显示多个对象的图像的多个信息表现设备，和输出控制信息表现设备的控制信号的控制设备。每个信息表现设备包括显示单元，移动单元，驱动单元，位置传感器，第一通信单元，和控制单元。控制设备包括对象位置信息获取单元，第二通信单元，和控制单元。信息表现设备的控制单元控制在显示单元上显示控制设备的对象位置信息获取单元已获得其位置信息的对象的图像，并控制根据第一通信单元接收的控制信号驱动所述驱动单元。
文档编号G09G5/00GK101377916SQ20081021245
公开日2009年3月4日 申请日期2008年8月29日 优先权日2007年8月30日
发明者内田和隆, 山田直秀, 林良拓, 渡边义教, 近藤哲二郎 申请人:索尼株式会社