信息共享支持系统、信息处理装置和计算机控制方法

专利名称：：信息共享支持系统、信息处理装置和计算机控制方法
技术领域：
：本发明涉及信息共享支持系统，该信息共享支持系统统合管理关于实际物体(例如，对象物的摄影图像)和文档的电子信息，本发明还涉及信息处理装置和计算机控制方法。
背景技术：
：存在多种公知技术，例如，用于从远程位置处精确且容易地指示对象物的位置的技术(例如，参见日本特许2002-315065号公报(参考文献l));将其上为了共享讨论焦点而进行了绘图的透明板和注释消息直接放置在显示器的显示区域上的技术(例如，参见日本特许平8-36546号公报(参考文献2));以及在计算机屏幕上显示实际图像并在工作区域显示标记的技术(例如，参见日本特许平10-269292号公报(参考文献3))。依据参考文献1中公开的技术，在多个PC间指示一对象物的位置，并可在该多个PC之间共享关于该指示位置的信息。这里，用对象物的点来指示所述指示位置(指向技术)。依据参考文献2中公开的技术，将关于文档或绘图的写入信息与其他写入信息进行组合，并在多个PC之间共享该信息。依据参考文献3中公开的技术，将显示在PC上的实际图像与关于指示工作区域的标记的信息相整合。然而，通过参考文献1到3中公开的任意一种技术，写在用以显示对象物的拍摄图像的第一层上的注释和写在第二层上的注释是彼此分开的。在某些其他情况下，拍摄对象物或投影在该对象物上的注释的一部分的图像并将其显示在第一层上。在该情况下，以透明的方式在第一层上显示注释。结果，无法以连续的方式显示第一层上的注释和第二层上的注释。
发明内容鉴于上述事实，本发明的目的在于提供一种信息共享支持系统，该信息共享支持系统使用户能够容易地掌握对象物(实物)与文档之间的对应关系，并提供了信息处理装置和计算机控制方法。根据本发明的第一方面，提供了一种信息共享支持系统，该信息共享支持系统包括第一信息处理装置，该第一信息处理装置与投影仪装置和摄像装置相连接，所述投影仪装置用于在其中包括对象物的投影区域上投影图像，所述摄像装置用于拍摄所述投影图像被投影于其上的、包括所述对象物的所述投影区域的图像；输入单元，该输入单元在第一层中输入事件，向第二层输入作为与所述事件相关联的第一注释图像的一部分的第二注释图像，向第三层输入作为所述第一注释图像的其余部分的第三注释图像，并向第四层输入文档；发送单元，该发送单元向所述投影仪装置发送所述第二注释图像；接收单元，该接收单元从所述摄像装置接收所述投影区域的拍摄图像，该拍摄图像包括通过所述投影仪装置投影在所述投影区域上的所述第二注释图像；以及第二信息处理装置，该第二信息处理装置向所述第二层分配由所述接收单元接收的所述拍摄图像，并且包括以重叠方式显示所述第三层的第三注释图像和所述第四层的文档的显示器。根据本发明的第二方面，所述信息共享支持系统可以被配置为使得所述第一信息处理装置和所述第二信息处理装置之一包括转换单元，该转换单元将关于所述第二注释图像的坐标信息转换为与所述投影仪装置的投影区域相适应的坐标信息；并且所述发送单元向所述转换单元发送关于所述第二注释图像在所述拍摄图像上的坐标信息，并且所述转换单元向所述投影仪装置发送所述经转换的坐标信息。根据本发明的第三方面，所述信息共享支持系统可以被配置为使得所述第二信息处理装置包括提取单元、匹配单元和关联单元，其中所述提取单元提取在所述第四层上绘制的文档和在所述第二层上显示的拍摄图像的特征点，所述匹配单元在所述提取的特征点之间执行匹配，所述关联单元利用注释图像来将匹配的特征点相互关联。根据本发明的第四方面，所述信息共享支持系统可以被配置为使得所述第二信息处理装置包括获取单元，该获取单元获取关于所述对象物的属性信息，以及关于所述摄像装置和所述投影仪装置的属性信息；存储器，该存储器存储要显示在所述显示器上的数据、关于所述第二层的属性信息、关于所述文档的属性信息、关于所述对象物的属性信息以及关于所述摄像装置和所述投影仪装置的属性信息，所述数据和所述多组属性信息彼此相关联；以及检索单元，该检索单元基于在关于所述第二层的所述属性信息、关于所述文档的所述属性信息、关于所述对象物的所述属性信息以及关于所述摄像装置和所述投影仪装置的所述属性信息中的至少一组属性信息，来检索要显示在所述显示器上的所述数据。根据本发明的第五方面，所述信息共享支持系统可以被配置为使得所述第二信息处理装置包括设定单元，该设定单元用于将所述第二层设定为在所述显示器上可见或不可见的状态。根据本发明的第六方面，所述信息共享支持系统可以被配置为使得所述第二信息处理装置包括尺寸匹配单元，该尺寸匹配单元使所述摄像装置的摄像区域和所述显示器的显示区域在尺寸上相互匹配；所述第一信息处理装置包括检测单元和输出单元，该检测单元检测在所述对象物上或在所述投影区域上写入的写信息作为所述第三注释图像，该输出单元向所述第二信息处理装置输出由所述检测单元检测为所述第三注释图像的所述写信息；并且在通过所述尺寸匹配单元使所述摄像装置的摄像区域和所述显示器的显示区域在尺寸上相互匹配的情况下，所述显示器将所述写信息显示在所述第三层上。根据本发明的第七方面，所述信息共享支持系统可以被配置为使得所述检测单元提取由所述摄像装置拍摄的连续拍摄图像之间的差异，并从所述提取结果中去除在所述连续拍摄图像中包含的所述第二注释图像，从而检测写在所述对象物或所述投影区域上的所述写信息。根据本发明的第八方面，所述信息共享支持系统可以被配置为使得:所述第二信息处理装置包括尺寸匹配单元，该尺寸匹配单元使所述摄像装置的摄像区域和所述显示器的显示区域在尺寸上相互匹配；并且在通过所述尺寸匹配单元使所述摄像装置的摄像区域和所述显示器的显示区域在尺寸上相互匹配的情况下，所述发送单元向所述投影仪装置发送绘制在所述第三层上的所述第三注释图像和绘制在所述第四层上的文档。根据本发明的第九方面，提供了一种信息共享支持系统，该信息共享支持系统包括第一信息处理装置，该第一信息处理装置与投影仪装置和摄像装置相连接，所述投影仪装置用于在其中包括对象物的投影区域上投影图像，所述摄像装置用于拍摄所述投影图像被投影于其上的、包括所述对象物的所述投影区域的图像；输入单元，该输入单元在第一层中输入事件，向第二层输入作为与所述事件相关联的第一注释图像的一部分的第二注释图像，向第三层输入作为所述第一注释图像的其余部分的第三注释图像，并向第四层输入文档；贴附单元，该贴附单元选择所述文档的一部分作为部分图像，并将所述部分图像贴附在所述第二层上；以及第二信息处理装置，该第二信息处理装置包括发送单元，该发送单元用于向所述投影仪装置发送贴附在所述第二层上的所述部分图像和关于所述部分图像的坐标信息。所述投影仪装置基于关于所述部分图像的所述坐标信息，在包括所述对象物的投影区域上投影所述部分图像。根据本发明的第十方面，所述信息共享支持系统可以被配置为使得所述第二信息处理装置包括接收单元，该接收单元从所述摄像装置接收通过所述投影仪装置投影有所述部分图像的所述投影区域的拍摄图像；和处理单元，该处理单元向所述第二层分配由所述接收单元接收到的所述拍摄图像，并使所述第三层的所述第三注释图像和所述第四层的所述文档以重叠方式显示在显示器上。根据本发明的第十一方面，所述信息共享支持系统可以被配置为使得所述第二信息处理装置包括提取单元、匹配单元和校正单元，其中所述提取单元提取所述部分图像和显示在所述第二层上的所述拍摄图像的特征点，所述匹配单元在所述提取的特征点之间执行匹配，所述校正单元校正所述部分图像的位置以使匹配的特征点彼此重叠。根据本发明的第十二方面，所述信息共享支持系统可以被配置为使得所述第二信息处理装置包括提取单元、匹配单元和关联单元，其中所述提取单元提取所述部分图像和显示在所述第二层上的所述拍摄图像的特征点，所述匹配单元在所述提取的特征点之间执行匹配，所述关联单元利用注释图像来使匹配的特征点相互关联；所述发送单元向所述投影仪装置发送所述部分图像、关于所述部分图像的坐标信息和关于所述注释图像的坐标信息；并且所述投影仪装置基于关于所述部分图像和所述注释图像的坐标信息，在包括所述对象物的投影区域上投影所述部分图像和所述注释图像。根据本发明的第十三方面，提供了一种经由通信网络与外部装置连接的信息处理装置。该外部装置与投影仪装置和摄像装置相连接，所述投影仪装置用于在包括对象物的投影区域上投影图像，所述摄像装置用于拍摄包括投影于其上的所述对象物的所述投影区域的图像。所述信息处理装置包括输入单元，该输入单元在第一层中输入事件，向第二层输入作为与所述事件相关联的第一注释图像的一部分的第二注释图像，向第三层输入作为所述第一注释图像的其余部分的第三注释图像，并向第四层输入文档；发送单元，该发送单元向所述投影仪装置发送所述第二注释图像；接收单元，该接收单元从所述摄像装置接收所述投影区域的拍摄图像，该拍摄图像包括通过所述投影仪装置投影在所述投影区域上的所述第二注释图像；以及处理单元，该处理单元向所述第二层分配由所述接收单元接收到的所述拍摄图像，并使所述第三层的所述第三注释图像和所述第四层的所述文档以重叠方式显示在显示器上。根据本发明的第十四方面，提供了一种经由通信网络与外部装置连接的信息处理装置。该外部装置与投影仪装置和摄像装置相连接，所述投影仪装置用于在包括对象物的投影区域上投影图像，所述摄像装置用于拍摄包括投影于其上的所述对象物的所述投影区域的图像。所述信息处理装置包括输入单元，该输入单元在第一层中输入事件，向第二层输入作为与所述事件相关联的第一注释图像的一部分的第二注释图像，向第三层输入作为所述第一注释图像的其余部分的第三注释图像，并向第四层输入文档；贴附单元，该贴附单元选择所述文档的一部分作为部分图像，并将所述部分图像贴附在所述第二层上；以及发送单元，该发送单元向所述投影仪装置发送贴附在所述第二层上的所述部分图像以及关于所述部分图像的坐标信息。所述投影仪装置基于关于所述部分图像的所述坐标信息，在包括所述对象物的投影区域上投影所述部分图像。根据本发明的第十五方面，提供了一种控制经由通信网络与外部装置连接的计算机的方法。该外部装置与投影仪装置和摄像装置相连接，所述投影仪装置用于在包括对象物的投影区域上投影图像，所述摄像装置用于拍摄包括投影于其上的所述对象物的所述投影区域的图像。所述方法包括以下步骤在第一层中输入事件，向第二层输入作为与所述事件相关联的第一注释图像的一部分的第二注释图像，向第三层输入作为所述第一注释图像的其余部分的第三注释图像，并向第四层输入文档；向所述投影仪装置发送所述第二注释图像；从所述摄像装置接收所述投影区域的拍摄图像，该拍摄图像包括通过所述投影仪装置投影在所述投影区域上的所述第二注释图像；并且向所述第二层分配接收到的所述拍摄图像，并以重叠方式显示所述第三层的所述第三注释图像和所述第四层的所述文档。根据本发明的第十六方面，提供了一种控制经由通信网络与外部装置连接的计算机的方法。该外部装置与投影仪装置和摄像装置相连接，所述投影仪装置用于在包括对象物的投影区域上投影图像，所述摄像装置用于拍摄其上包括所述对象物的所述投影区域的图像。所述方法包括以下步骤在第一层中输入事件，向第二层输入作为与所述事件相关联的第一注释图像的一部分的第二注释图像，向第三层输入作为所述第一注释图像的其余部分的第三注释图像，并向第四层输入文档；选择所述文档的一部分作为部分图像，并将所述部分图像贴附在所述第二层上；并且向所述投影仪装置发送贴附在所述第二层上的所述部分图像以及关于所述部分图像的坐标信息。所述投影仪装置基于关于所述部分图像的所述坐标信息，在包括所述对象物的投影区域上投影所述部分图像。根据本发明的第一、第十三和第十五方面，以重叠的方式显示第二层至第四层。由此，对第二信息处理装置的用户连续且透明地呈现连接对象物和文档的注释图像，并且该用户可以容易地掌握对象物和文档之间的对应关系。根据本发明的第二方面，可以将第二注释图像投影在包括对象物的投影区域中的准确位置上。根据本发明的第三方面，观看显示器的用户可以容易地掌握被显示为拍摄图像的实物和文档之间的对应关系。根据本发明的第四方面，可以基于各种属性信息来检索要显示在显示器上的数据。根据本发明的第五方面，可以使第二层不可见。由此，第二信息处理装置的用户可以自动将写在第二层上的第二注释图像投影在包括对象物的投影区域上，而不必关心显示拍摄图像的第二层的存在。根据本发明的第六方面，可以将写在对象物或投影区域上的写信息反映在显示器上的对应位置处。根据本发明的第七方面，可以高精度地检测写在对象物或投影区域上的写信息。根据本发明的第八方面，同样的信息(第三注释图像和文档)既可以显示在投影区域上又可以显示在显示器的显示区域上。根据本发明的第九、第十四和第十六方面，投影区域侧的用户可以观看到部分图像，并可以容易地掌握对象物和文档之间的对应关系。根据本发明的第十方面，第二信息处理装置的用户可以检查如何将部分图像投影在包括对象物的投影区域上。根据本发明的第十一方面，投影区域侧的用户可以以重叠的方式观看部分图像和对象物，并可以识别该部分图像和对象物之间的差异。根据本发明的第十二方面，投影区域侧的用户可以容易地确定实物和文档之间的对应关系。将基于以下附图来详细说明本发明的示例性实施方式，附图中-图1是示出根据本发明第一示例性实施方式的信息共享支持系统的结构的框图；图2示出了PC1到PC4的功能结构；图3是示出PC3的硬件结构的框图；图4示意性示出了要显示在显示器的显示区域中的数据的结构；图5示出了在显示器的显示区域中实际显示的数据的实施例；图6是示出用于产生要显示在显示器的显示区域中的数据的过程的流程图；图7示出了根据本发明第二示例性实施方式在显示器的显示区域中显示的数据的实施例；图8是示出通过投影仪装置将文档区域中的部分图像投影在包括对象物的台面(table)上的过程的流程图；图9A是将部分图像投影为不与对象物重叠的情况的实施例；图9B是将部分图像投影为与对象物重叠的情况的实施例；图10是示出图8的操作的变型的流程图；图11A是通过执行为将部分图像置于拍摄图像的对应部分上的控制操作将部分图像投影为与对象物重叠的情况的实施例；图11B是通过执行为将部分图像与拍摄图像的对应部分相关联的控制操作来投影通过注释与对象物的对应部分相关联的部分图像的情况的实施例；图12是示出了根据本发明第三示例性实施方式用于产生要显示在显示器的显示区域中的数据的过程的流程图；图13示出了执行校准后的显示区域的实施例；图14A示出了复印机的操作面板的绘图与移动前的真实视窗之间的位置关系；图14B示出了复印机的操作面板的绘图与移动后的真实视窗之间的位置关系；图15示出了在与复印机的操作面板的绘图相同的层面(level)上显示真实视窗的情况的实施例；以及图16是示出根据本发明第四示例性实施方式用于产生要显示在显示器的显示区域中的数据的过程的流程图。具体实施方式以下将参照附图描述本发明的示例性实施方式。(第一示例性实施方式)图1是示出根据本发明第一实施方式的信息共享支持系统的结构的框图。图1所示的信息共享支持系统100包括经由网络5彼此连接的远程指令系统150和电子信息共享系统151。远程指令系统150包括用作服务器的个人计算机(PC)1(第一信息处理装置，外部装置)和用作客户端的PC2。PCl禾nPC2经由网络5彼此连接。投影仪10(投影仪装置)和摄像机11(摄像装置)连接至PC1。根据来自PC1的控制命令，投影仪10发射光束或经由半反射镜(halfmirror)12将注释图像等投影在位于台面15上的对象物上。摄像机11经由半反射镜12拍摄包括对象物14的台面15的反射图像，然后向PC1输出所拍摄的图像。PC1经由网络5向PC2和电子信息共享系统151输出该拍摄图像。PC2与用以显示显示区域210和用户界面(UI)16的显示器205连接。可以利用集成有显示器205的个人计算机来形成PC2。UI16包括笔按钮、文本按钮、擦除按钮等，并示出了线的类型。在显示区域210中，显示通过摄像机ll拍摄的图像。在图1中，在显示区域210中显示从上方观察到的包括对象物14的台面15的图像。当按下UI16上的笔按钮以在显示区域210中的对象物14上显示绘图等时，从PC2经由PC1向投影仪10输出关于绘图的信息。基于该绘图的信息，投影仪10在对象物14上绘制绘图。当选择显示在显示区域210中的对象物14的一部分或者选择对象物14的整体图的一部分时，PC2的控制器201(稍后描述)自动生成对象物14的至少一个局部放大图，并通过注释将整个对象物14的所选部分与该局部放大图相关联。PC2向投影仪10发送关于通过注释相关联的整体图和局部放大图的信息，使得可以在台面15上投影整体图、局部放大图以及关联二者的注释。PC2向PC1输出控制命令，从而控制投影仪10和摄像机11的操作(例如，控制摄像机11的摄像角度或投影仪10的亮度)。电子信息共享系统151包括经由网络5彼此连接的PC3(第二信息处理装置)和PC4。PC3与显示器305连接。显示器305的显示区域310包括用于显示由摄像机11拍摄的图像的全部或部分的真实视窗311和用于显示字符、绘图或静态图像的文档区域312。PC3从PC1接收由摄像机11拍摄的图像，并向显示器305的真实视窗311输出图像。PC4与显示器405连接。显示器405的显示区域410包括用于显示由摄像机11拍摄的图像的全部或部分的真实视窗411和用于显示字符、绘图或静态图像的文档区域412。PC4从PCl接收由摄像机ll拍摄的图像，并向显示器405的真实视窗411输出图像。如稍后所述，真实视窗311和411用作形成要显示在显示区域310和410上的数据的层。PC3和PC4彼此共享信息，并可以同时在各自的显示器上显示相同的信息。PC3和PC4还可以分别以集成有显示器305和405的个人计算机来形成。图2例示了PC1到PC4的功能结构。PC1包括用于控制投影仪IO和摄像机11以及整个装置的操作的控制器101(输出单元)、经由网络5与其它PC交换信息和数据的发送/接收单元102(输出单元)、用于存储控制程序和数据以及信息的存储器104、以及形成为条形码读取器或RFID标签读取器的输入单元105。该输入单元105用于读取贴附在对象物14上的条形码或者从RFID标签读取关于对象物14的识别信息(例如，ID)。控制器101与投影仪10、摄像机11、发送/接收单元102、存储器104和输入单元105连接。PC2包括用于控制整个装置的控制器201、经由网络5与其它PC交换信息和数据的发送/接收单元202、形成为鼠标和键盘等的操作单元203、用于存储控制程序和数据以及信息的存储器204、以及显示器205。控制器201与发送/接收单元202、操作单元203、存储器204和显示器205连接。和PC1禾C!PC2—样，PC3和PC4分别包括控制器301和401(输入单元、发送单元、接收单元、转换单元、提取单元、匹配单元、关联单元、获取单元、检索单元、设定单元、尺寸匹配单元、贴附单元)、发送/接收单元302和402(发送单元、接收单元、获取单元)、操作单元303和403(输入单元、应用单元)、存储器304和404、以及显示器305和405。控制器301与发送/接收单元302、操作单元303、存储器304和显示器305连接。控制器401与发送/接收单元402、操作单元403、存储器404和显示器405连接。PC1至PC4经由各自的发送/接收单元和网络5彼此连接。图3是示出了PC3的硬件结构的框图。图3包括用于控制整个装置的CPU21、用于存储控制程序的ROM22、用作工作区的RAM23、用于存储各种信息和程序的硬盘驱动器(HDD)24、鼠标和键盘25、与其它计算机相连接的网络接口26以及形成为液晶监视器或CRT的显示器27。CPU21经由系统总线28与ROM22、RAM23、硬盘驱动器(HDD)24、鼠标和键盘25、网络接口26以及显示器27连接。由于PC2和PC4均具有和PC3相同的结构，因此这里省略对它们的说明。除了不包括鼠标和键盘25以及显示器27而是包括条形码读取器和RJFID读取器外，PC1和PC3具有相同的结构。然而，PC1可以具有鼠标和键盘25以及显示器27。控制器301等效于根据控制程序执行各种操作的CPU21。发送/接收单元302等效于网络接口26。操作单元303等效于鼠标和键盘25。存储器304等效于硬盘驱动器(HDD)24。显示器305等效于显示器27。图4示意性示出了要显示在显示器305的显示区域310中的数据的结构。PC3的控制器301经由发送/接收单元302和网络5从PC1获得通过摄像机11拍摄的拍摄图像30。然后，控制器301在用作一个层的真实视窗311(第二层)上来显示拍摄图像30的一部分。可以通过对操作单元303(例如，鼠标)进行操作来改变真实视窗311的尺寸和位置(显示区域310中的位置)。通过控制器301在存储器304中存储关于在真实视窗311上显示的图像在拍摄图像30上的位置的信息以及关于在真实视窗311上显示的图像的尺寸的信息。更具体地说，通过控制器301在存储器304中存储关于在真实视窗311上显示的图像的坐标信息(其中以关于拍摄图像30的坐标信息为基准)和关于由该坐标信息确定的图像尺寸的信息。控制器301还可以改变在真实视窗311上显示的图像的比例。控制器301将事件接收窗35(第一层)、笔划(stroke)绘制层36(第三层)、真实视窗311和文档图像层37(第四层)进行相互组合，从而产生要显示在显示器305的显示区域310中的数据。然后，控制器301向显示器305输出该数据。尽管事件接收窗35、笔划绘制层36和文档图像层37通常被设计为透明的，但是也可以通过对操作单元303进行操作来使这些层着色。在发生通过操作单元303写入注释或文档的事件时，控制器301向事件接收窗35输入该事件。事件接收窗35接收该事件。在图4中，事件接收窗35接收该注释38(第一注释图象)的事件。控制器301通过操作单元303向笔划绘制层36输入注释的写在真实视窗311的范围之外的部分。在笔划绘制层36上绘制注释的写在真实视窗311的范围之外的部分。在图4中，在笔划绘制层36上绘制注释38a(第三注释图像)，该注释38a是注释38的一部分且写在真实视窗311的范围之外。控制器301通过操作单元303向真实视窗311输入注释的写在真实视窗311的范围内的部分。在真实视窗311上绘制注释的写在真实视窗311的范围内的部分，并且在真实视窗311上显示拍摄图像30的一部分。在图4中，在真实视窗311上绘制注释38b(第二注释图像)，该注释38b是注释38的一部分且写在真实视窗311的范围内。由于在真实视窗311上绘制注释38b，因此控制器301向PC1发送关于注释38在拍摄图像30中的位置的坐标信息。PC1使用该坐标信息和控制命令来控制投影仪10。投影仪10在包括对象物14的台面15上投影注释38b。PC1的控制器101将关于注释38b在拍摄图像30中的位置的坐标信息转换为与投影仪10的投影区域相适应的坐标信息。接着，控制器IOI向投影仪10发送关于注释38b的转换后的坐标信息。这样，通过投影仪10投影将拍摄图像30中的注释38b投影在准确的位置上。另选的是，PC3的控制器301可以将关于注释38b在拍摄图像30中的位置的坐标信息转换为与投影仪10的投影区域相适应的坐标信息。接着，控制器301可经由PC1向投影仪10发送关于注释38b的转换后的坐标信息。摄像机11经由PC1和网络5以连续的方式(例如，每0,5秒地)向PC3的控制器301输出其上投影有注释38b的包括对象物14的面板15的拍摄图像。控制器301接收拍摄图像，并在真实视窗311上绘制该注释38b。控制器301经由操作单元303向文档图像层37输入文档。通过操作单元303在该文档图像层37上绘制写入的文档。如上所述，要在显示器305的显示区域310中显示的数据具有这样的结构，即将各自能够指示注释范围的多个层彼此叠置。从而，实现连续并且透明的注释。图5示出了实际显示在显示器305的显示区域310中的数据的实施例。在图5中，在文档区域312示出了复合机的设计图、该复合机的操作按钮的说明以及作为注释38的一部分的注释38a。在真实视窗311上显示该复合机的拍摄图像作为对注释38b的实际投影。图6是示出用于生成要显示在显示器305的显示区域310中的数据而执行的步骤的流程图。首先，PC3的控制器301执行初始化步骤(步骤S1)。该初始化步骤包括四个处理(1)在整个屏幕上显示文档图像层37(或者在文档区域312中显示文档)；(2)显示真实视窗311;(3)在整个屏幕上显示笔划绘制层36;以及(4)在整个屏幕上显示事件接收窗35。控制器301通过操作单元303接收事件(操作)(步骤S2)。在数据产生幵始以后，控制器301不断地通过操作单元303接收指令或诸如写入的事件(操作)(步骤S3)。接着，控制器301确定通过操作单元303对事件的输入是否已经完成(步骤S4)。如果控制器301确定事件输入已经完成(步骤S4中的"是")，则控制器301结束数据产生。如果控制器301确定事件输入尚未完成(步骤S4中的"否")，则控制器301确定注释是否写在真实视窗的范围内(步骤S5)。在关于注释的坐标信息落入由关于真实视窗311的四个角的坐标信息所限定的范围内的情况下，控制器301确定注释写在真实视窗的范围内。如果控制器301确定注释未写在真实视窗的范围内(步骤S5中的"否")，则控制器301在笔划绘制层36上绘制注释(步骤S6)，并返回至步骤S2。这样，笔划绘制层36显示写在真实视窗311的范围之外的注释。如果控制器301确定注释写在真实视窗的范围内(步骤S5中的"是")，则控制器301经由发送/接收单元302向PC1发送关于注释在拍摄图像30中的位置的坐标信息(步骤S7)，然后返回至步骤S2。接下来，描述要通过PC1、投影仪10和摄像机11执行的步骤。首先，PC1的控制器101执行初始化步骤，并在存储器104中存储通过输入单元105读取的关于对象物14的识别信息(诸如ID)(步骤S8)。这里，初始化步骤包括用于向投影仪10和摄像机11输出控制命令的处理、用于通过投影仪10进行投影的处理以及用于输出通过摄像机11拍摄的图像的处理。与PC3侧执行的处理无关地执行步骤S8中的处理。然后，控制器101经由网络5和发送/接收单元102从PC3接收关于注释在拍摄图像30中的位置的坐标信息(步骤S9)。在数据产生开始以后，控制器101不断地从PC2接收指令或诸如写入的事件(操作)(步骤SIO)。接着，控制器101确定对关于注释在拍摄图像30中的位置的坐标信息的输入是否己经完成(步骤Sll)。如果控制器101确定对坐标信息的输入已经完成(步骤Sll的"是")，则控制器101结束数据产生。如果控制器101确定对坐标信息的输入尚未完成(步骤Sll的"否")，则控制器101将坐标信息转换为与投影仪10相适应的坐标信息。利用该转换后的坐标信息和控制命令，控制器101控制投影仪10，从而使得投影仪10根据转换后的坐标信息将注释投影在包括对象物14的台面15上(步骤S12)。摄像机11经由PC1、网络5和发送/接收单元302向PC3的控制器301输出其上投影有注释的包括对象物14的台面15的拍摄图像，同时控制器101向PC3的控制器301输出存储在存储器104中的关于对象物14的识别信息(步骤S13)。控制器301接收拍摄图像，并更新在真实视窗311上的显示(步骤514)。这样，在真实视窗311上与包括对象物14的台面15—起显示注释。以连续的方式执行步骤S14中的显示更新。控制器301还从PC1获得关于对象物14的识别信息，并在存储器304中存储该识别信息(步骤515)。在该示例性实施方式中，控制器301可以提取写在文档图像层37上的文档(包括字符、绘图或静态图像)和真实视窗311上的拍摄图像的特征点。接着控制器301可以在提取的特征点之间执行特征点匹配，并将匹配的特征点与注释相互关联。在笔划绘制层36上绘制注释的写在真实视窗311的范围之外的部分，并且根据图6所示的流程图通过投影仪10的投影操作和摄像机11的摄像操作在真实视窗311上绘制注释的写在真实视窗311的范围内的部分。利用该结构，观看PC3的显示器305的用户可以容易地掌握被显示为拍摄图像的实际对象物14与对象文档之间的对应关系。当从摄像机11接收到拍摄图像时，控制器301可以从PC1获得关于投影仪10和摄像机11的属性信息，并在存储器304存储该属性信息。该属性信息包括关于投影仪10的投影位置和投影范围的信息，以及关于摄像机11的摄像位置和摄像范围的信息。当控制器301将要显示在显示器305的显示区域310中的数据存储在存储器304中时，在存储器304中存储注释(包括坐标信息)、位于真实视窗311内的拍摄图像以及关于对象文档的主(main)信息。同时，可以将关于真实视窗311的属性信息(位置信息和范围信息)、关于文档的属性信息(包括文档ID、对象页码、文档的显示范围和文档的显示位置)、关于对象物的属性信息(关于对象物的识别信息(ID))以及关于投影仪IO和摄像机11的属性信息(包括关于投影仪10的投影位置和投影范围的信息，和关于摄像机ll的摄像位置和摄像范围的信息)与主信息相关联，并将这些信息存储在存储器304中。利用该结构，控制器301可以基于属性信息(例如，关于对象物的识别信息)对要显示在显示器305的显示区域310中的数据进行检索。控制器301还可以执行控制操作，从而使得可在显示器305的显示区域310中显示存储器304中存储的数据。如上所述，根据该示例性实施方式，控制器301经由操作单元303向事件接收窗35输入绘制注释38的操作、向真实视窗311输入由摄像机11拍摄的且为注释38的一部分的注释38b、向笔划绘制层36输入作为注释38的其余部分的注释38a、并且向文档图像层37输入对象文档。控制器301接着经由发送/接收单元302向投影仪10发送注释38b，并经由发送/接收单元302从摄像机11接收通过投影仪10投影注释38b的投影区域的拍摄图像。显示器305将控制器301接收到的拍摄图像分配给真实视窗311，并以重叠方式显示该拍摄图像、笔划绘制层36的注释38a以及文档图像层37的文档。由于显示器305以重叠方式显示真实视窗311、笔划绘制层36和文档图像层37，因此可以通过连续且透明的方式显示使对象物和文档相关联的注释，并且PC3的用户可以容易地掌握对象物与文档之间的对应关系。此外，利用注释38b和注释38a可以实现连续且透明的注释38。控制器301还经由发送/接收单元302向PC1的控制器101发送关于注释38b在拍摄图像30中的坐标信息。控制器101继而将该关于注释38b的坐标信息转换为与投影仪10的投影区域相适应的坐标信息，并向投影仪10发送转换后的坐标信息。从而，可以将注释38b投影在包括对象物14的投影区域中的准确位置上。控制器301进一步提取绘制在文档图像层37上的文档以及显示在真实视窗311上的拍摄图像的特征点。接着控制器301执行提取的特征点之间的匹配，并通过注释使匹配的特征点相互关联。从而，观看PC3的显示器305的用户可以容易地掌握被显示为拍摄图像的实际对象物与文档之间的对应关系。控制器301进一步获得关于对象物14的属性信息以及关于投影仪lO和摄像机ll的属性信息。使要在显示器305上显示的数据、关于真实视窗311的属性信息、关于对象文档的属性信息、关于对象物的属性信息以及关于投影仪10和摄像机11的属性信息相互关联，并将它们存储在存储器304中。基于关于真实视窗311的属性信息、关于文档的属性信息、关于对象物的属性信息以及关于投影仪10和摄像机11的属性信息中的至少一条属性信息，控制器301检索要显示在显示器305上的数据。从而，根据各种属性信息，可以检索到要显示在显示器305上的数据。(第二示例性实施方式)接下来，参照附图描述本发明的第二示例性实施方式。在本示例性实施方式中，在真实视窗311上拖放(draggedanddropped)在文档区域312中写入的文档(例如，绘图)，使得投影仪10在包括对象物14的台面15上投影该文档。由于本示例性实施方式的信息共享支持系统具有和上述信息共享支持系统100相同的结构，因此这里省略对于本示例性实施方式的信息共享支持系统的结构的说明。图7示出了在显示器305的显示区域310中显示的数据的实施例。在该实施例中，对象物14是复印机的操作面板。在图7中，在文档区域312中显示了复印机的操作面板的一部分的图以及该复印机的按钮说明。在真实视窗311上显示复印机的操作面板的拍摄图像。在图7所示的实施例中，用户可以通过操作单元303选择写在文档区域312中的文档的部分图像315(复印机的操作面板的一部分的图)，并可以将所选的部分图像315拖放在真实视窗311上。图8是利用投影仪10将写在文档区域312中的部分图像投影在包括对象物14的台面15上的过程的流程图。首先，控制器301从操作单元303接收事件(步骤SlOl)，并且确定部分图像的指定区域是否在文档区域312中(步骤S102)。如果在文档区域312中不存在部分图像的指定区域(步骤S102的"否")，则控制器301确定用于在笔划绘制层36上绘制矩形以指定部分图像的拖放是否已经完成(步骤S103)。用于指定部分图像的区域的形状不限于矩形，而可以例如是圆形或椭圆形。如果控制器301确定拖放尚未完成(步骤S103中的"否")，则控制器301在笔划绘制层36上继续绘制矩形以指定部分图像(步骤S104)，并返回步骤SlOl。如果控制器301确定拖放已经完成(步骤S103中的"是")，则控制器301使用写在文档图像层37上的对应于以矩形选择的区域的文档来产生部分图像(步骤S105)，并返回步骤SIOI。如果在文档区域312中存在部分图像的指定区域(步骤S102中的"是")，则控制器301确定在真实视窗311上对部分图像的拖放是否已经完成(步骤S106)。如果控制器301确定该拖放尚未完成(步骤S106的"否")，或者如果部分图像仍正在被拖拉，则控制器301在图7中未示出的鼠标的位置处显示部分图像的縮略图(步骤S107)，并返回步骤SIOI。如果控制器301确定拖放已经完成(步骤S106的"是")，则控制器301经由发送/接收单元302和网络5向PC1发送部分图像的数据以及关于该部分图像贴附于其上(或放于其上)的、显示在真实视窗311上的拍摄图像30的坐标信息(步骤S108)，并返回步骤SIOI。接下来，描述要通过PC1、投影仪10和摄像机11执行的步骤。首先，PC1的控制器101执行初始化步骤，并在存储器104中存储由输入单元105读取的关于对象物14的识别信息(例如，ID)(步骤S109)。初始化步骤中的处理包括向投影仪10和摄像机11输出控制命令、通过投影仪10进行投影、以及输出由摄像机ll拍摄的图像。与要在PC3侧执行的处理无关地执行步骤S109中的处理。控制器101经由网络5和发送/接收单元102从PC3接收部分图像的数据以及关于该部分图像贴附于其上(或放于其上)的、在真实视窗311上的拍摄图像30的坐标信息(步骤SllO)。一旦启动该操作，控制器101就不断地从PC2接收指令或诸如写入的事件(操作)(步骤S111)。然后控制器101确定对部分图像的数据和坐标信息的输入是否已经完成(步骤S112)。如果控制器101确定对部分图像的数据和坐标信息的输入已经完成(步骤S112中的"是")，则控制器101结束该操作。如果控制器101确定输入尚未完成(步骤S112中的"否")，则控制器101将关于部分图像的坐标信息转换为与投影仪IO相适应的坐标信息。利用该转换后的坐标信息、部分图像的数据以及控制命令，控制器101控制投影仪10，从而使得投影仪10将对应于转换后的坐标信息的部分图像投影到包括对象物14的台面15上(步骤S113)。摄像机11经由网络5和发送/接收单元302向PC3的控制器301输出其上投影了该部分图像的包括对象物14的台面15的拍摄图像，同时控制器101向PC3的控制器301输出存储在存储器104中的关于对象物14的识别信息(步骤S114)。控制器301接收该拍摄图像，并更新真实视窗311上的显示(步骤S115)。这样，在真实视窗311上显示其上投影有部分图像的包括对象物14的台面15。以连续的方式执行步骤S115中的显示更新处理。控制器301还从PC1获得关于对象物14的识别信息，并将该识别信息存储在存储器304中(步骤S116)。图9A和图9B示出了将通过投影仪10投影的部分图像315投影到包括对象物14(复印机的操作面板)的台面15上的实施例。图9A示出了将部分图像315投影为不与对象物14重叠的情况的实施例。图9B示出了将部分图像315投影为与对象物14重叠的情况的实施例。图10是示出图8所示的操作的变型的流程图。以同样的附图标记来表示和图8中的步骤相同的步骤，这里省略了对这些步骤的说明。首先，响应于来自用户通过操作单元303的输入，控制器301将部分图像315放置在显示于真实视窗311上的拍摄图像的对应部分上，或者通过注释将贴附在真实视窗311上的部分图像315(要通过投影仪10将其投影在包括对象物14的台面15上)与显示在真实视窗311上的拍26摄图像的对应部分相关联(步骤S120)。之后，控制器301移至步骤S101。如果在步骤S106中的确定结果为"是"，则控制器301提取贴附在真实视窗311上的部分图像315和位于真实视窗311上的拍摄图像的特征点，并在提取的特征点之间执行匹配操作(步骤S121)。控制器301接着确定在步骤S120中执行的处理是将部分图像315放置在拍摄图像的对应部分上还是使部分图像315与拍摄图像的对应部分相关联(步骤S122)。如果在步骤S120中执行的处理是将部分图像315放置在拍摄图像的对应部分上，则控制器301校正部分图像315的贴附位置，使得由于进行了匹配处理而彼此相关联的特征点彼此重叠。控制器301接着向PC1发送部分图像的数据以及关于贴附有贴附位置经校正的部分图像的、在真实视窗311上的拍摄图像30的坐标信息(步骤S123)。之后，控制器301返回步骤S120。如果在步骤S120中执行的处理是使部分图像315与拍摄图像的对应部分相关联，则控制器301向PC1发送部分图像的数据、与位于真实视窗311上的拍摄图像相对应并且从不与拍摄图像的对应部分重叠的区域任意选择的坐标信息(优选的是对应于台面15上的空白区域的坐标信息)、以及关于使部分图像315与拍摄图像的对应部分相关联的注释的坐标信息(关于使至少一对匹配特征点相关联的注释的坐标信息)(步骤S124)。之后，控制器301返回步骤S120。如果在步骤S120中执行的处理是将部分图像315放置在拍摄图像的对应部分上，则在步骤S113中执行和图8中的步骤S113相同的处理。如果在步骤S120中执行的处理是使部分图像315与拍摄图像的对应部分相关联，则控制器101在步骤S113中将任选的坐标信息转换为与投影仪10相适应的坐标信息。利用该转换后的坐标信息、部分图像数据、关于注释的坐标信息以及控制命令，控制器101控制投影仪10，从而使得投影仪10将对应于转换后的坐标信息的部分图像和注释投影到包括对象物14的台面15上。图IIA和图IIB示出了将通过投影仪10投影的部分图像315投影到包括对象物14(复印机的操作面板)的台面15上的实施例。图11A示出了通过用于将部分图像315放置在拍摄图像的对应部分上的处理将部分图像315投影为与对象物14重叠的情况的实施例。图IIB示出了作为执行使部分图像315与拍摄图像的对应部分相关联的处理的结果而投影通过注释与拍摄图像的对应部分相关联的部分图像315的情况的实施例。在该示例性实施方式中，在从摄像机ll接收到拍摄图像时，控制器301可以从PC1获得关于投影仪IO和摄像机11的属性信息，并将该属性信息存储在存储器304中。这里，该属性信息包括关于投影仪10的投影位置和投影范围的信息，以及关于摄像机ll的摄像位置和摄像范围的信息。当控制器301在存储器304中存储要显示在显示器305的显示区域310中的数据时，在存储器304中存储部分图像(包括坐标信息)、注释(包括坐标信息)、位于真实视窗311内的拍摄图像以及关于对象文档的主信息。同时，可以使关于真实视窗311的属性信息(位置信息和范围信息)、关于文档的属性信息(包括文档ID、对象页码、文档的显示范围以及文档的显示位置)、关于对象物的属性信息(关于对象物的识别信息(ID))、以及关于投影仪10和摄像机11的属性信息(包括关于投影仪10的投影位置和投影范围的信息，和关于摄像机11的摄像位置和摄像范围的信息)与主信息相关联，并将这些信息存储在存储器304中。利用该结构，控制器301可以基于属性信息(例如，关于对象物的识别信息)对要显示在显示器305的显示区域310中的数据进行检索。控制器301还可以执行控制操作，从而使得可以在显示器305的显示区域310中显示存储在存储器304中的数据。如上所述，根据该示例性实施方式，控制器301经由操作单元303向事件接收窗35输入绘制注释38的操作、向真实视窗311输入由摄像机11拍摄的且为注释38的一部分的注释38b、向笔划绘制层36输入作为注释38的其余部分的注释38a、并且向文档图像层37输入对象文档。控制器301选择文档的一部分作为部分图像，并将该部分图像贴附在真实视窗311上。控制器301接着经由发送/接收单元302向投影仪10发送部分图像和关于该部分图像的坐标信息。基于关于该部分图像的坐标信息，投影仪10将部分图像投影在包括对象物14的投影区域上。因此，投影区域附近的用户可以观看到部分图像，并识别出对象物14与文档之间的对应关系。具体地说，在部分图像与对象物14重叠地贴附在真实视窗311上的情况下，投影区域附近的用户可以识别出部分图像和对象物14之间的差别。同时，PC3的用户观看显示在真实视窗311上的拍摄图像，并可以在考虑对象物14的位置等的情况下确定部分图像(文档的一部分)要投影到的点。这里，部分图像可以不是能够以可视方式呈现的图片图像等，而可以是诸如音频或视频信息的多媒体信息。控制器301还经由发送/接收单元302从摄像机11接收其上通过投影仪IO投影部分图像的投影区域的拍摄图像。显示器305将通过控制器301接收的拍摄图像分配给真实视窗311，并以重叠方式显示该拍摄图像、笔划绘制层36的注释38a以及文档图像层37的文档。因此，PC3的用户可以检査部分图像如何投影在包括对象物14的投影区域上。控制器301提取部分图像和显示在真实视窗311上的拍摄图像的特征点。接着控制器301在提取的特征点之间执行匹配，并校正部分图像的位置从而使得匹配的特征点可以彼此重叠。这样，可以将部分图像高精度地放置在拍摄图像的对应部分上。结果，投影区域侧的用户可以以重叠方式观看部分图像和对象物14，并可以容易地识别出部分图像和对象物14之间的差异。控制器301还提取部分图像和显示在真实视窗311上的拍摄图像的特征点。控制器301在提取的特征点之间执行匹配，并利用注释使匹配的特征点相互关联。接着控制器301经由发送/接收单元302向投影仪10发送部分图像、关于部分图像的坐标信息以及关于注释的坐标信息。基于关于部分图像和注释的坐标信息，投影仪IO将部分图像和注释投影在包括对象物14的投影区域上。因此，投影区域侧的用户可以容易地掌握实际对象物与文档之间的对应关系。这里，可以不通过式的上述方法来执行匹配，而是通过公知的匹配方法(例如，SIFT方法)来执行匹配。(第三示例性实施方式)接下来，参照本发明的第三示例性实施方式。在本示例性实施方式中，可以将真实视窗311设定为可见或不可见状态。将通过利用在显示器205的显示区域210中写入的信息或PC2的UI16的笔在对象物14或台面15上写入的信息直接反映在PC3的笔划绘制层36上。由于本示例性实施方式的信息共享支持系统具有和上述信息共享支持系统100相同的结构，因此这里省略了对本示例性实施方式的信息共享支持系统的结构的说明。图12是示出了用于生成要显示在显示器305的显示区域310中的数据要执行的步骤的流程图。首先，PC3的控制器301执行初始化步骤(步骤S201)。该初始化步骤包括四个处理(1)在整个屏幕上显示文档图像层37(或者在文档区域312中显示对象文档)；(2)显示真实视窗311;(3)在整个屏幕上显示笔划绘制层36;以及(4)在整个屏幕上显示事件接收窗35。控制器301对真实视窗311执行校准(步骤S202)。这里，对真实视窗311执行校准是为了使显示在真实视窗311上的数据的比例(scale)和在文档区域312中写入的文档(例如，绘图)的比例一致，以及将真实视窗311置于在文档区域312中写入的文档(例如，绘图)的对应位置处。利用该结构，在真实视窗311上显示的数据与在文档区域312中写入的文档(例如，绘图)保持连续。在执行校准后，包括对象物14的台面15的摄像区域在尺寸上与显示区域310相等。图13示出了校准后的显示区域310的实施例。在该实施例中，在文档区域312中写入复印机的操作面板的图，并将真实视窗311置于与复印机的显示器500重叠的位置。在这种情况下，对象物M是复印机的实际操作面板或该操作面板的设计图。由摄像机11拍摄的对象物14的图像按照与在文档区域312中写入的复印机的操作面板的图相同的比例被显示在真实视窗311上。如图13所示，当通过操作单元303沿复印机的显示器500的外围绘制矩形注释时，在笔划绘制层36上绘制注释501，并在真实视窗311上显示注释502。图14A示出了复印机的操作面板的图与移动前的真实视窗311之间的位置关系。图14B示出了复印机的操作面板的图与移动后的真实视窗311之间的位置关系。控制器301对真实视窗311执行校准，并以同样的比例显示复印机的操作面板的图和真实视窗311内的数据。因此，当如图14A和图14B所示地移动真实视窗311时，控制器301根据真实视窗311移动了的距离来改变关于真实视窗311在拍摄图像30中的坐标信息。例如，在(x，y)坐标系统中，由(0，0)、(800，0)、(0，640)和(800，640)表示拍摄图像30的区域。关于移动前的真实视窗311的坐标信息为(400，200)、(500，200)、(400，400)和(500，400)。当真实视窗311沿x方向移动100时，控制器301将关于移动后的真实视窗311的坐标信息改变为(500，200)、(600，200)、(500，400)和(600，400)。从而，在真实视窗311上显示在目标点处拍摄的图像。返回参照图12，控制器301通过操作单元303接收对事件(操作)的输入(步骤S203)。在数据产生开始以后，控制器301不断地接收将真实视窗311设定为可见状态或不可见状态的指令以及诸如写入的事件(操作)(步骤S204)。控制器301确定是否已经通过操作单元303输入了将真实视窗311设定为可见状态或不可见状态的指令(步骤S205)。如果控制器301在步骤S205中确定已经通过操作单元303输入了将真实视窗311设定为可见状态的指令，则控制器301移至步骤S207。如果控制器301在步骤S205中确定己经通过操作单元303输入了将真实视窗311设定为不可见状态的指令，则控制器301删除显示在真实视窗上的图像(步骤S206)，并移至步骤S207。更具体地说，控制器301将真实视窗311的层设定为不显示状态。在步骤S207，控制器301确定注释是否写在真实视窗311的范围内。更具体地说，如果关于注释的坐标信息在由关于真实视窗311的四个角的坐标信息所限定的区域内，则控制器301确定注释写在真实视窗311的范围内。如果在步骤S207中的确定的结果是"否"，则控制器301在笔划绘制层36上绘制注释(步骤S208)，并返回步骤S203。因此，笔划绘制层36显示写在真实视窗311之外的注释。如果在步骤S207中的确定的结果是"是"，则控制器301向PC1发送关于写在真实视窗311的范围内的注释相对于拍摄图像30的坐标信息(步骤S209)。之后，控制器301返回步骤S203。如果真实视窗311是不可见的，则在步骤S209中也在笔划绘制层36上绘制写在真实视窗311的范围内的注释。接下来，描述要通过PC1、投影仪10和摄像机11执行的步骤。首先，PC1的控制器101执行初始化步骤，并在存储器104中存储通过输入单元105读取的关于对象物14的识别信息(例如，ID)(步骤S210)。这里，该初始化步骤中的处理包括向投影仪10和摄像机11输出控制命令、通过投影仪IO进行投影、以及输出通过摄像机11拍摄的图像。与PC3侧执行的处理无关地执行步骤S210中的处理。然后，控制器101经由网络5和发送/接收单元102从PC3接收对关于注释在拍摄图像30上的坐标信息的输入(步骤S211)。在数据产生开始时，控制器101不断地从PC2接收指令或诸如写入的事件(操作)(步骤S212)。控制器101接着将所述坐标信息转换为与投影仪IO相适应的坐标信息，并利用转换后的坐标信息和控制指令来控制投影仪10。投影仪10根据转换后的坐标信息在包括对象物14的台面15上投影注释(步骤S213)。摄像机11拍摄其上投影有注释的包括对象物14的台面15的图像，并经由PC1、网络5和发送/接收单元302向PC3的控制器301输出该拍摄图像。控制器101向PC3的控制器301输出存储在存储器104中的关于对象物14的识别信息(步骤S215)。控制器301接收拍摄图像，并更新真实视窗311上的显示(步骤S219)。从而，真实视窗311将注释与包括对象物14的台面15—起进行显示。以连续的方式执行步骤S219中的显示更新。控制器301还从PC1获得关于对象物14的识别信息，并将该识别信息存储在存储器304中(步骤S220)。控制器101将关于注释在拍摄图像上的坐标信息存储在存储器104中(步骤S214)。这里存储的坐标信息是在步骤S211中接收到的。控制器101还将拍摄图像(帧图像)存储在存储器104中(步骤S216)。这里存储的拍摄图像在步骤S215中被输出给控制器301。按一定的间隔(例如，每0.5秒地)执行步骤S214中对关于注释的坐标信息的存储以及步骤S216中对拍摄图像的存储。控制器101接着提取存储在存储器104中的连续拍摄图像之间的差异(步骤S217)。基于关于与连续拍摄图像对应的注释的坐标信息，控制器101从差异提取结果中去除注释(步骤S218)。通过执行步骤S214到步骤S218的处理，可以将利用PC2的UI16写在显示器205的显示区域210中的写信息或者利用笔等直接写在对象物14或台面15上的写信息提取为注释。最后，控制器101经由发送/接收单元102、网络5和发送/接收单元302向控制器301输出在步骤S218中通过去除注释而获得的信息(作为注释的是利用PC2的UI16写在显示器205的显示区域210中的写信息或者利用笔等直接写在对象物14或台面15上的写信息)(步骤218—>步骤S208)。控制器301在笔划绘制层上绘制利用PC2的UI16写在显示器205的显示区域210中的写信息或利用笔等直接写在对象物14或台面15上的写信息(步骤S208)。如上所述，控制器301执行校准。在包括对象物14的台面15的摄像区域(拍摄图像的摄像区域)的尺寸等于显示区域310的尺寸的情况下，控制器101提取写信息，并且控制器301在笔划绘制层36上绘制该写信息。因此，可以将该写信息反映在显示区域310的对应部分处。在如图13所示的校准后的显示区域310中，控制器301可以执行设定操作，从而使得在与写在文档区域312中的复印机的操作面板的图相同的层面上显示真实视窗311。图15示出了该设定之后的显示区域310的实施例。真实视窗311中的虚线表示复印机的操作面板的拍摄图像的一部分。控制器301提取文档区域312中的复印机的操作面板的图(写在文档图像层37上的文档)的特征点以及在真实视窗311上显示的拍摄图像的特征点。接着控制器301在提取的特征点之间执行匹配，并利用注释使匹配的特征点相互关联。因此，观看PC3的显示器305的用户可以容易地掌握被显示为拍摄图像的实际对象物(或复印机的操作面板的实际操作面板或设计图)和文档(文档区域312中的复印机的操作面板的图)之间的对应关系。如上所述，控制器301控制显示器305以可见方式或不可见方式显示真实视窗311。因此，可以让真实视窗311不可见。结果，PC3的用户可以自动地将写在真实视窗311中的注释投影在包括对象物的投影区域上，而不必注意显示拍摄图像的真实视窗311的存在。通过执行校准，控制器301使摄像机11的摄像区域的尺寸与显示器305的显示区域310的尺寸相互匹配。控制器101将写在对象物上或投影区域内的写信息检测为注释，并向PC3输出该注释。在摄像机11的摄像区域与显示器305的显示区域310在尺寸上相等的情况下，显示器305在笔划绘制层36上显示写信息。从而，可以在显示器305的对应部分处反映作为注释直接写在对象物上或投影区域中的写信息。控制器101进一步提取由摄像机11拍摄的连续图像之间的差异，并从该提取结果中去除来自连续提取图像的注释。这样，可以高精度地检测写在对象物上或投影区域中的写信息。(第四示例性实施方式)接下来，参照本发明的第四示例性实施方式。在本示例性实施方式中，将写在文档图像层37上的文档投影在台面15的空白区域上而不与对象物14重叠。由于本示例性实施方式的信息共享支持系统具有和上述信息共享支持系统100相同的结构，因此这里省略了对本示例性实施方式的信息共享支持系统的结构的说明。图16是示出用于产生要在显示器305的显示区域310中显示的数据的过程的流程图。首先，控制器301对真实视窗311执行校准(步骤S301)。由于在第三示例性实施方式已经对于真实视窗311的校准进行了描述，因此这里省略对校准的说明。在校准后，包括对象物14的台面15的摄像区域(拍摄图像的摄像区域)变得与显示区域310在尺寸上相等。接着控制器301获得关于真实视窗311相对于拍摄图像30的坐标信息(步骤S302)，并且还获得写在真实视窗311的范围之外的笔划绘制层36和文档图像层37上的信息(注释38a和对象文档)(步骤S303)。控制器301经由发送/接收单元302和网络5向PC1发送该信息(步骤S304)。具体地说，要发送给PC1的信息是要在除去真实视窗311的区域的显示区域310中显示的数据图像。接下来，描述要通过PC1、投影仪10和摄像机11执行的步骤。首先，PC1的控制器101执行初始化步骤，并将通过输入单元105读取的关于对象物14的识别信息(例如，ID)存储在存储器104中(步骤S305)。这里，初始化步骤中的处理包括向投影仪10和摄像机11输出控制命令、通过投影仪10进行投影、并且输出由摄像机ll拍摄的图像。与PC3侧执行的处理无关地执行步骤S305中的处理。然后，控制器101经由网络5和发送/接收单元102从PC3接收对要在除去真实视窗311的区域的显示区域310中的数据图像的输入(步骤S306)。一旦数据产生开始，控制器101就不断地从PC2接收指令或诸如写入的事件(操作)(步骤S307)。控制器101确定是否已经完成对要在除去真实视窗311的区域的显示区域310中显示的数据图像的输入(步骤S308)。如果在步骤S308中的确定结果为"是"，则数据产生操作结束。如果在步骤S308中的确定结果为"否"，则控制器101利用控制命令和要在除去真实视窗311的区域的显示区域310中显示的数据图像来控制投影仪10。从而，投影仪10在包括对象物14的台面15上投影图像(S309)。摄像机11经由网络5和发送/接收单元302向PC3的控制器301输出其上投影有注释的包括对象物14的台面15的拍摄图像。控制器101向PC3的控制器301输出存储在存储器104中的关于对象物14的识别信息(步骤S310)。控制器301接收该拍摄图像，并更新真实视窗311上的显示(步骤5311)。因此，真实视窗311将注释与包括对象物14的台面15—起显示。以连续的方式执行步骤S311中的显示更新。控制器301还从PCl获得关于对象物14的识别信息，并将该识别信息存储在存储器304中(歩骤5312)。如在第一示例性实施方式中一样，本示例性实施方式的控制器301可以提取写在文档图像层37中的文档(包括字符、绘图或静态图像)的特征点和在真实视窗311内显示的拍摄图像的特征点。接着控制器301可以在提取的特征点之间执行匹配，并利用注释使匹配的特征点相互关联。这里，可以不通过本示例性实施方式的上述方法来执行匹配，而是通过公知的匹配方法(例如，SIFT方法)来执行匹配。从而，观看PC3的显示器305的用户可以容易地掌握被显示为拍摄图像的实际对象物14与文档之间的对应关系。当从摄像机11接收到拍摄图像时，控制器301可以从PC1获得关于投影仪IO和摄像机11的属性信息，并将该属性信息存储在存储器304中。这里，该属性信息包括关于投影仪10的投影位置和投影范围的信息，以及关于摄像机11的摄像位置和摄像范围的信息。当控制器301在存储器304中存储要显示在显示器305的显示区域310中的数据时，在存储器304中存储注释(包括坐标信息)、位于真实视窗311内的拍摄图像以及关于对象文档的主信息。同时，可以使关于真实视窗311的属性信息(位置信息和范围信息)、关于文档的属性信息(包括文档ID、对象页码、文档的显示范围和文档显示位置)、关于对象物的属性信息(关于对象物的识别信息(ID))、以及关于投影仪10和摄像机11的属性信息(包括关于投影仪10的投影位置和投影范围的信息，和关于摄像机ll的摄像位置和摄像范围的信息)与主信息相关联，并将这些信息存储在存储器304中。利用该结构，控制器301可以基于属性信息(例如，关于对象物的识别信息)对要显示在显示器305的显示区域310中的数据进行检索。控制器301还可以执行控制操作，从而使得可以在显示器305的显示区域310中显示存储在存储器304中的数据。如上所述，根据该示例性实施方式，控制器301使摄像机11的摄像区域的尺寸和显示器305的显示区域310的尺寸相互匹配。然后控制器301向投影仪10发送在笔划绘制层36上绘制的注释38a和在文档图像层37上绘制的文档，从而使得可以将注释38a和文档投影在投影区域上，并且使得可以在投影区域和显示器305的显示区域310二者上显示同样的信息(注释38a和文档)。从而，可以在投影区域恻的用户与PC3的用户之间共享信息。可以对每个PC提供记录有用于实现PC1到PC4的功能的软件程序的记录介质，并且各PC的CPU可以读取并执行记录在记录介质上的程序。这样，可以实现和上述第一到第四示例性实施方式相同的效果。用于提供程序的记录介质例如可以是CD-ROM、DVD或SD卡。另选的是，各PC的CPU可以执行用于实现各PC的功能的软件程序，从而实现和上述第一到第四示例性实施方式相同的效果。应该指出的是，本发明不限于那些示例性实施方式，在不脱离本发明的范围的情况下可以对本发明进行各种修改。权利要求1、一种信息共享支持系统，该信息共享支持系统包括第一信息处理装置，该第一信息处理装置与投影仪装置和摄像装置相连接，所述投影仪装置用于在其中包括对象物的投影区域上投影图像，所述摄像装置用于拍摄所述投影图像被投影于其上的、包括所述对象物的所述投影区域的图像；输入单元，该输入单元在第一层中输入事件，向第二层输入作为与所述事件相关联的第一注释图像的一部分的第二注释图像，向第三层输入作为所述第一注释图像的其余部分的第三注释图像，并向第四层输入文档；发送单元，该发送单元向所述投影仪装置发送所述第二注释图像；接收单元，该接收单元从所述摄像装置接收所述投影区域的拍摄图像，该拍摄图像包括通过所述投影仪装置投影在所述投影区域上的所述第二注释图像；以及第二信息处理装置，该第二信息处理装置向所述第二层分配由所述接收单元接收的所述拍摄图像，并且包括以重叠方式显示所述第三层的第三注释图像和所述第四层的文档的显示器。2、根据权利要求1所述的信息共享支持系统，其中所述第一信息处理装置和所述第二信息处理装置之一包括转换单元，该转换单元将关于所述第二注释图像的坐标信息转换为与所述投影仪装置的投影区域相适应的坐标信息；并且所述发送单元向所述转换单元发送关于所述第二注释图像在所述拍摄图像上的坐标信息，并且所述转换单元向所述投影仪装置发送所述经转换的坐标信息。3、根据权利要求1或2所述的信息共享支持系统，其中，所述第二信息处理装置包括提取单元，该提取单元提取在所述第四层上绘制的文档的特征点和在所述第二层上显示的拍摄图像的特征点；匹配单元，该匹配单元在所述提取的特征点之间执行匹配；以及关联单元，所述关联单元利用注释图像来使匹配的特征点相互关联。4、根据权利要求1或2所述的信息共享支持系统，其中，所述第二信息处理装置包括获取单元，该获取单元获取关于所述对象物的属性信息，以及关于所述摄像装置和所述投影仪装置的属性信息；存储器，该存储器存储要显示在所述显示器上的数据、关于所述第二层的属性信息、关于所述文档的属性信息、关于所述对象物的属性信息以及关于所述摄像装置和所述投影仪装置的属性信息，所述数据和所述多组属性信息彼此相关联；以及检索单元，该检索单元基于在关于所述第二层的所述属性信息、关于所述文档的所述属性信息、关于所述对象物的所述属性信息以及关于所述摄像装置和所述投影仪装置的所述属性信息中的至少一组属性信息，来检索要显示在所述显示器上的所述数据。5、根据权利要求1或2所述的信息共享支持系统，其中，所述第二信息处理装置包括设定单元，该设定单元用于将所述第二层设定为在所述显示器上可见或不可见的状态。6、根据权利要求1或2所述的信息共享支持系统，其中，所述第二信息处理装置包括尺寸匹配单元，该尺寸匹配单元使所述摄像装置的摄像区域和所述显示器的显示区域在尺寸上相互匹配；所述第一信息处理装置包括检测单元，该检测单元检测在所述对象物上或在所述投影区域上写入的写信息作为所述第三注释图像；和输出单元，该输出单元向所述第二信息处理装置输出由所述检测单元检测为所述第三注释图像的所述写信息；并且在通过所述尺寸匹配单元使所述摄像装置的摄像区域和所述显示器的显示区域在尺寸上相互匹配的情况下，所述显示器将所述写信息显示在所述第三层上。7、根据权利要求6所述的信息共享支持系统，其中，所述检测单元提取由所述摄像装置拍摄的连续拍摄图像之间的差异，并从所述提取结果中去除在所述连续拍摄图像中包含的所述第二注释图像，从而检测写在所述对象物或所述投影区域上的所述写信息。8、根据权利要求1所述的信息共享支持系统，其中所述第二信息处理装置包括尺寸匹配单元，该尺寸匹配单元使所述摄像装置的摄像区域和所述显示器的显示区域在尺寸上相互匹配；并且在通过所述尺寸匹配单元使所述摄像装置的摄像区域和所述显示器的显示区域在尺寸上相互匹配的情况下，所述发送单元向所述投影仪装置发送绘制在所述第三层上的所述第三注释图像和绘制在所述第四层上的文档。9、一种信息共享支持系统，该信息共享支持系统包括-第一信息处理装置，该第一信息处理装置与投影仪装置和摄像装置相连接，所述投影仪装置用于在其中包括对象物的投影区域上投影图像，所述摄像装置用于拍摄所述投影图像被投影于其上的、包括所述对象物的所述投影区域的图像；输入单元，该输入单元在第一层中输入事件，向第二层输入作为与所述事件相关联的第一注释图像的一部分的第二注释图像，向第三层输入作为所述第一注释图像的其余部分的第三注释图像，并向第四层输入文档；贴附单元，该贴附单元选择所述文档的一部分作为部分图像，并将该部分图像贴附在所述第二层上；以及第二信息处理装置，该第二信息处理装置包括发送单元，该发送单元用于向所述投影仪装置发送贴附在所述第二层上的所述部分图像和关于该部分图像的坐标信息，所述投影仪装置基于关于所述部分图像的所述坐标信息，在包括所述对象物的投影区域上投影所述部分图像。10、根据权利要求9所述的信息共享支持系统，其中，所述第二信息处理装置包括接收单元，该接收单元从所述摄像装置接收通过所述投影仪装置投影有所述部分图像的所述投影区域的拍摄图像；和处理单元，该处理单元向所述第二层分配由所述接收单元接收到的所述拍摄图像，并使所述第三层的所述第三注释图像和所述第四层的所述文档以重叠方式显示在显示器上。11、根据权利要求9或10所述的信息共享支持系统，其中，所述第二信息处理装置包括提取单元，该提取单元提取所述部分图像的特征点和显示在所述第二层上的所述拍摄图像的特征点；匹配单元，该匹配单元在所述提取的特征点之间执行匹配；以及校正单元，该校正单元校正所述部分图像的位置以使匹配的特征点彼此重叠。12、根据权利要求9或10所述的信息共享支持系统，其中所述第二信息处理装置包括提取单元，该提取单元提取所述部分图像的特征点和显示在所述第二层上的所述拍摄图像的特征点；匹配单元，该匹配单元在所述提取的特征点之间执行匹配；以及关联单元，该关联单元利用注释图像来使匹配的特征点相互关联；所述发送单元向所述投影仪装置发送所述部分图像、关于该部分图像的坐标信息和关于所述注释图像的坐标信息；并且所述投影仪装置基于关于所述部分图像和所述注释图像的坐标信息，在包括所述对象物的投影区域上投影所述部分图像和所述注释图像。13、一种经由通信网络与外部装置连接的信息处理装置，所述外部装置与投影仪装置和摄像装置相连接，所述投影仪装置用于在包括对象物的投影区域上投影图像，所述摄像装置用于拍摄包括投影于其上的所述对象物的所述投影区域的图像，所述信息处理装置包括输入单元，该输入单元在第一层中输入事件，向第二层输入作为与所述事件相关联的第一注释图像的一部分的第二注释图像，向第三层输入作为所述第一注释图像的其余部分的第三注释图像，并向第四层输入文档；发送单元，该发送单元向所述投影仪装置发送所述第二注释图像；接收单元，该接收单元从所述摄像装置接收所述投影区域的拍摄图像，该拍摄图像包括通过所述投影仪装置投影在所述投影区域上的所述第二注释图像；以及处理单元，该处理单元向所述第二层分配由所述接收单元接收到的所述拍摄图像，并使所述第三层的所述第三注释图像和所述第四层的所述文档以重叠方式显示在显示器上。14、一种经由通信网络与外部装置连接的信息处理装置，所述外部装置与投影仪装置和摄像装置相连接，所述投影仪装置用于在包括对象物的投影区域上投影图像，所述摄像装置用于拍摄包括投影于其上的所述对象物的所述投影区域的图像，所述信息处理装置包括-输入单元，该输入单元在第一层中输入事件，向第二层输入作为与所述事件相关联的第一注释图像的一部分的第二注释图像，向第三层输入作为所述第一注释图像的其余部分的第三注释图像，并向第四层输入文档；贴附单元，该贴附单元选择所述文档的一部分作为部分图像，并将该部分图像贴附在所述第二层上；以及发送单元，该发送单元向所述投影仪装置发送贴附在所述第二层上的所述部分图像以及关于该部分图像的坐标信息，所述投影仪装置基于关于所述部分图像的所述坐标信息，在包括所述对象物的投影区域上投影所述部分图像。15、一种控制经由通信网络与外部装置连接的计算机的方法，所述外部装置与投影仪装置和摄像装置相连接，所述投影仪装置用于在包括对象物的投影区域上投影图像，所述摄像装置用于拍摄包括投影于其上的所述对象物的所述投影区域的图像，所述方法包括以下步骤在第一层中输入事件，向第二层输入作为与所述事件相关联的第一注释图像的一部分的第二注释图像，向第三层输入作为所述第一注释图像的其余部分的第三注释图像，并向第四层输入文档；向所述投影仪装置发送所述第二注释图像；从所述摄像装置接收所述投影区域的拍摄图像，该拍摄图像包括通过所述投影仪装置投影在所述投影区域上的所述第二注释图像；并且向所述第二层分配接收到的所述拍摄图像，并以重叠方式显示所述第三层的所述第三注释图像和所述第四层的所述文档。16、一种控制经由通信网络与外部装置连接的计算机的方法，所述外部装置与投影仪装置和摄像装置相连接，所述投影仪装置用于在包括对象物的投影区域上投影图像，所述摄像装置用于拍摄其上包括所述对象物的所述投影区域的图像，所述方法包括以下步骤在第一层中输入事件，向第二层输入作为与所述事件相关联的第一注释图像的一部分的第二注释图像，向第三层输入作为所述第一注释图像的其余部分的第三注释图像，并向第四层输入文档；选择所述文档的一部分作为部分图像，并将该部分图像贴附在所述第二层上；并且向所述投影仪装置发送贴附在所述第二层上的所述部分图像以及关于所述部分图像的坐标信息，所述投影仪装置基于关于所述部分图像的所述坐标信息，在包括所述对象物的投影区域上投影所述部分图像。全文摘要本发明公开了信息共享支持系统、信息处理装置和计算机控制方法。该信息共享支持系统包括第一信息处理装置，其与用于在其中包括对象物的投影区域上投影图像的投影仪装置和用于拍摄包括对象物的投影区域的图像的摄像装置相连接，投影图像被投影在所述投影区域上；输入单元，其在第一层中输入事件，向第二层输入作为与所述事件相关联的第一注释图像的一部分的第二注释图像，向第三层输入作为第一注释图像的其余部分的第三注释图像，并向第四层输入文档；发送单元，其向投影仪装置发送第二注释图像；接收单元，其从摄像装置接收拍摄图像；以及第二信息处理装置，其向第二层分配所述拍摄图像，并且包括以重叠方式显示第三注释图像和文档的显示器。文档编号G03B21/00GK101262586SQ20071018194公开日2008年9月10日申请日期2007年10月17日优先权日2007年3月6日发明者三宅弘之,东海研,伊与田哲男,坂本彰司,安部勉,新宫淳,萌时申请人:富士施乐株式会社