专利名称：具有多层信息结构的特别用于技术和工业应用的文件处理系统和方法
技术领域：
本发明涉及一种特别用于技术和工业应用的文件处理系统和方法。
这样一种系统和方法例如可结合所谓的扩充现实技术(Augmented-Reality-Techniken)来应用。其中涉及面向应用的需求分析和基于扩充现实的系统开发，用于支持在制造工艺和加工工艺中复杂技术产品和设备的研究开发、生产和维护的工作过程，以及用于如汽车的维护支持系统，或者用于特定工艺设备的维护。
本发明的目的是，提供一种系统和方法，使得能够按照具体情况(situationsgerecht)快速地获取所存储的文件数据。
这个目的通过一种特别用于技术和工业应用的文件处理系统来实现，该系统包括一个存储单元，用于在多个层面上存储文件数据；一个采集设备，用于采集实际信息；一个存取单元，用于存取文件数据；以及一个分析利用单元，用于分析利用实际信息并根据实际信息选取所存储的文件数据。
这个目的通过一种特别用于技术和工业应用的文件处理方法来实现，在该方法中文件数据被存储在多个层面，并且实际信息通过采集设备被采集，在该方法中文件数据以这种方式被存取，即，分析利用实际信息并根据实际信息选取已存储的文件数据。
文件数据与某些数据有关，例如与设立设备或自动化系统时所产生和收集的数据有关，和/或与设备和自动化系统在运行时根据事先给定的准则进行修正并且与实际吻合的文件数据有关。这些文件数据可以存储在存储单元中，既可以在本地存储，就是说存储在各自的应用场合，也可以存储在任意其它地方，例如存储在每一个设备部件的各自制造厂家的现场。例如，借助于采集单元从一幅图像内容采集实际信息并通过分析利用单元进行利用，使得能够将实际对象归类到存储在文件数据中的对象数据。然后根据实际信息数据，例如以可被检测对象的形式特别自动地选取附加包含在文件数据中的目标数据，并例如在现场提供出来用于维护。通过这种方式使得能够按照具体情况快速地提取当时所需的数据。
由已存储的文件数据进行面向部件的支持，可以通过以下的方式可靠地实现，即文件数据是面向对象地予以存储。例如，一台设备的油箱可以作为实际对象被探测和识别，而其中与这个对象“油箱”相对应的文件数据，如制造年份、容积等被可视化(是可视的)。
按照具体情况快速地提取文件数据还可以通过以下方式进一步得到支持，即采集单元具有一个摄像装置；分析利用单元利用实际信息的方法是，由实际信息求出一种使用环境(Einsatzkontext)，特别是文件数据的一个对象；该系统还具有可视化单元，用于文件数据的可视化。
使用者控制的文件数据存取可以按以下方式实现，采集单元是由使用者控制的、特别是由语音控制的采集单元，和/或由控制数据所控制的采集单元构成。
对于大多应用场合来说，以已存储的文件数据为基础的扩充现实技术的最佳应用可以由这种方式实现，即采集单元和/或可视单元可以由数据眼镜来构成。
下面借助附图所示实施例对本发明予以详细说明。
附图中
图1为一种文件处理系统实施例的方框线路图，图2为用于服务和维护的文件处理系统的应用实例，图3为用于按照具体情况存取文件数据的应用实例。
图1示出借助扩充现实技术获得支持的结构化文件处理系统的方框线路图。该系统包括用于存储文件数据I1…In的存储单元1。文件数据I1…In被存储在多个层面E1…Em上。存储单元1可以通过数据连接D与分析利用单元A相连接，其中分析利用单元A可以与输入单元2和可视单元相连接。在图1所示的实施例中，采集单元2用摄像机表示而可视单元B用显示器表示。但是按照另外一种实施形式，采集单元2和可视设备B也可以是带有集成视频摄像机的数据眼镜。采集单元2用于采集实际信息R，例如关于工业设备和/或自动化设备的各个组成单元的信息。
图1构成了一个利用扩充现实技术与存储在不同层面上的文件数据I1…In的文件处理系统的基本结构。应用说明如下所述借助于采集单元2采集实际信息，例如以图像信息形式表示的设备。接着通过分析利用单元A利用这个实际信息R，以便检测出各个对象，就是说例如自动化系统的各个部件。这一点例如可以通过随着实际对象提供的附加信息形式来实现，例如二进制条型码标签，或者通过将照片信息与存储在分析利用单元A和/或文件数据1中的可比数据进行比较来实现。在获得与实际信息R相一致的所需对象之后，自动地和/或由使用者控制地调出存储在多个层面E1…Em上的文件数据，并通过可视单元B展示给使用者7。这些文件数据I1…In构成附加信息，该附加信息例如在修理、维护等情况下支持使用者7。这种支持包括按照具体情况快速地提取那些必需的数据。其中，文件数据I1…In可以或者就地存储在例如一个数据处理装置中，或者也可以存储在远处，在后面一种情况下信息数据I1…In的存取例如可以通过互联网连接来实现。
图2示出了用于服务和维护的文件处理系统的应用实例。该系统由一个扩充现实系统10所组成，该系统在下面也可以缩写为AR系统。AR系统包括一个用于存储信息数据的信息模块1b，一个AR基础系统8以及一个AR应用模块。AR系统可以通过网络5连接，例如通过互联网与其它的存储单元1a相连接。使用者7与AR系统10之间的通讯通过接口8a、8b实现。为此AR系统具有一个发射-接收装置，该装置能够或者直接借助接口8a，或者借助一个带有通向使用者7的接口8b且设置在使用者7范围之内的无线电发射-接收装置6，通过数据眼镜4在AR系统与使用者7之间实现双向数据通讯。使用者7例如可以是负责维护设备A1…An的服务技术人员。借助于数据眼镜4使得使用者7能够在设备A1…An之间自由移动。
图3所示系统的工作方式基本上对应于已经就图1所述的作用方式。使用者7观察例如设备的各个组成单元。借助于设置在数据眼镜4上的、当作采集单元使用的摄像机将实际信息传送到AR系统10。在那里对实际信息进行分析利用，并存取存储在第一存储单元1a或第二存储单元1b中的文件数据。文件数据通过设置在数据眼镜4上的一个可视装置展示给使用者7，并面向对象地且按照具体情况地提供给使用者7用。
图3示出了一种按照具体情况存取文件数据的应用实例。其中，在左侧的图片B1中展示出管道的图像，这些管道可以通过在图片B2中所示的数据眼镜4来观察。在数据眼镜4上设置例如视频摄像机形式的采集单元2。在左侧图片B1中标出两个点P1、P2，它们分别代表借助于数据眼镜4所观察到的两个图片局部。在观察第一点P1时，即观察第一点P1所属范围内的管道时，使用者7在数据眼镜4中可以看到附加信息。这些附加信息I11、I12由文件数据组成，其中包含与第一点P1有关的这一管道段的工作说明，以及与第二点P2有关的在第二步中要执行的安装说明。在这种情况下安装说明的内容包括，将点P2处的螺纹连接松开所需扭矩和转向通过可视设备E12通知给使用者7。此外在数据眼镜4上设置麦克风11，通过麦克风可以语音控制地支持使用者有针对性地选取文件数据。
下面给出本发明应用领域的背景信息其中涉及面向应用的需求分析和基于扩充现实的系统开发，用于支持在制造工艺和加工工艺中复杂技术产品和设备的研究开发、生产和维护的工作过程，以及用于如汽车的维护支持系统，或者用于任意工程设备的维护。
扩充现实(Augmented Reality)，简称AR，是一种具有巨大潜能支持工业生产过程的全新的人机交互方式。在这一技术中，观察者的视野增加了计算机所产生的虚拟对象，使得产品信息或过程信息能够直观地被利用。除了非常简单的交互之外，便携式计算机的使用以非常灵活的方式拓展了AR的机动应用领域，尤其例如在将过程数据、测量数据或仿真数据与实际对象连接起来的各个方面。
德国工业状况的特征是，顾客对产品的个性和质量要求不断提高，以及产品形成过程的时间显著缩短。尤其是在复杂技术产品和设备的研究开发、生产和服务中，通过人机交互技术革新的解决方案，即在已有数据的基础上按照具体情况支持使用者的知识需求和信息需求，不仅可以实现提高效率和提高产量的目的，而且能够使工作有利于管理和促进学习。
扩充现实是一种可应用在大量技术革新性场合的技术·例如在“混合制造模型”附件的研究领域中，在混合虚拟环境的基础上可以明显地提高原先的研究进程。相对于浸入式、亦即浸没式“虚拟现实”(VR)解决方案来说，对于使用者的主要优点在于，触觉特性能够借助于真实的模型逼真地建立起来，而可视感觉方面，如显示变化，是可以虚拟操纵的。此外对于面向使用者的计算机辅助模型的有效性，如对于结构部件的验证或撞击试验，具有巨大的潜能。
·此外，在柔性制造领域中，具有资格的专业工人可以更加容易地调整机器，其方法是例如通过移动的AR组元可以在视野中直接再现混合虚拟应力状况。如果在现场可以直接将合同状况与该合同所要的产品信息连接起来，则一个适合专业工人的车间生产调度和生产控制将变得更加容易。这一点同样适合于装配，其中每个工作步骤在训练阶段就已经以混合-虚拟方式呈现给装配者。与此相关，例如通过将实际装配过程与包括最佳化方案在内的模拟结果进行比较，不仅可以改善工作计划的质量，而且可以在关键的起动阶段简化并加速装配过程。
·最后，在服务领域，传统的技术几乎不再能够满足需要，不再能支持复杂的诊断过程和故障排除过程并完成建立文档。但由于这些过程在许多领域本来就已经以数字化数据为基础进行规划，AR技术提供了这样的可能性，即，获取用于维护的信息源，并在例如数据眼镜中通过将其叠加在实际对象上以便给技术人员解释执行过程。通过位于远方的专家与位于现场的工人之间跨越全球距离的通信，AR技术辅助的“远程眼睛”能够实现以协同工作为基础协同解决问题。这种情况对于大多数中等规模的机器制造厂家而言尤为显得重要。因为这些厂家受全球化的迫使，其用户产品的地点遍布世界。但是，由于经济原因既不能在所有重要的市场中建立分公司，也不能使总部有经验的服务工人放弃掉对日益变得复杂的设备娴熟深入的知识。
扩充现实中人机交互的特殊性在于，与计算机之间的通信非常简单和直观，例如通过诸如语音处理或姿势识别等多模态交互技术进行补充完善。此外便携式计算机单元的应用能够实现完全新型的移动式使用方式，其中特定数据能够随时通过无线网络而获得。全新的可视化技术使得能够在实际对象上或在实际环境中添加例如测量数据或仿真数据的直接注释。与分布式应用相结合，多个使用者就能够在一种真实环境中借助于公共的数据库共同工作(分享扩充环境)，或在不同的环境中以AR技术辅助的方式进行协作。
扩充现实技术在最近几年才被深入地研究。因此不仅在国内而且在国际上都只有很少的应用，而且大多数是研究机构中科学试验原型的形式。
·美国如同许多最新技术一样，扩充现实技术的应用潜能首先在北美拓展，例如在座舱结构或机电(mechatronisch)仪器的维护方面。飞机制造厂商波音公司已经首先在具有AR技术的装配领域进行现场实验。结果是，美国在这一高技术领域也处于关键位置，随之而来的是可能的技术领先。
·日本在日本正在进行多种AR技术研究，例如混合-虚拟建筑规划，远程会议(Telepraesenz)或“网络购物”。其发展的萌芽是1997年建立的混合现实系统实验室，该实验室作为管理中心由经济界和科学界共同承担。预计日本的家用电器企业在未来的消费品领域中将起到特殊的推动作用。
·欧洲欧洲目前在AR技术领域只有很少的研究小组。维也纳大学的一个研究小组从事于混合-现实可视化方面的研究。IGD小组在已接近尾声的ACTS计划的CICC项目中开发出用于建筑工业的第一个应用，并开发出用于培训汽车制造工人的科学试验原型。
在本发明中尤其是在特指的上下文关系中，应用场合可以理解为“生产机械和机床”(数控的、自动化技术的过程)以及“复杂技术组元/设备/系统(例如汽车、也可以是工业机器和设备)的诊断-/维护支持系统”。
目前，为了支持仪器/系统/设备的复杂性和多样性，维护工作者/专业人员(以下称为“员工”)必须掌握从系统结构/运转状态到维护等阶段的知识，需要面对许多内容丰富的文档。这些文档具体地说可能涉及手册、系统及功能说明、安装指南等等。每一种应用都会产生广泛的信息多样性；存取在实际工作环境中的重要说明经常是与高昂的费用相连的。
除了对信息存取没有合适的支持这一问题之外，目前也没有给出合适的文件结构，通过例如基于AR技术的智能系统支持有针对性地选取使用。这样的系统需要获取经过选择的信息细节，这些信息细节要按照具体情况提供给使用者。目前电子化提供的文件也主要以纸张形式出现。
本发明涉及通过上述意义的智能化支持系统给使用者提供文件的适当结构和初步准备。
目前文件已经制作成电子化可供使用的形式。通过适当的文件结构和合适的获取方式(例如超链接)还将改善DV技术的获取。
按照本发明，文件的信息内容被划分成不同的单元，其中的划分主要用于区分不同的数据，一种数据是以实际信息为基础的(即可观察到的信息，如对象图像)，而另一种数据则描述附加信息(如对象特性，与对象有关的使用说明，结构指南等等)。
通过文件的这种“多层面”结构使得所包含的信息能够有选择地供使用。
总之提供了这样一种系统，该系统在下述意义上支持文件的数据技术结构和使用·文件被组织在多个层面(或“平面”)中；例如可以设想一个或多个“静态面”(草图，图片，视频图象，…)，此外还可以设想一个或多个具有不同细节和分类信息内容的“动态画面”(附加信息)。
·为此将信息内容分类为与“本来能看到什么”有关的(在应用现场所给出的现实)和与“附加地能利用什么”(附加信息/信息细节)有关的信息。
·信息存取可实现面向对象，以便能够按照具体情况快速地获取所需的数据。
基于AR的具有自动环境识别技术的一个实施例已经投入使用例如对于飞机机身中部的管道系统描述对应于工人在其应用现场所发现的给定现实。这种情况由支持系统例如通过摄像机探测/拍摄下来，并能用于查明使用环境(“工人观察哪个对象？”)。由此AR系统推断出附加信息，这个附加信息现在按照具体情况(即对应于被观察的对象)从多层面结构的文件中被提取出来。然后，这些附加信息(例如要执行的工作步骤)通过支持系统，以与实际图像适当重叠的方式，渐显地进入使用者的视野。
另一个实施例与以前传统的文件利用方式有关系使用者自己已经辨别出应用场合并通知支持系统(例如通过条型码识别或传统的DV技术所支持的选择方式)。现在根据情况从多层面结构的文件库中使用静态呈现的照片和视频。使用者的支持系统再自动地从源于对应于现场对象的另外一个层面的多层面结构文件中选择出附加信息。之后，通过重叠将这些信息层(图片/视频以及附加信息)展现在使用者的视野中。
在图3的情况中例如可以采用下面的信息分类·实际的、可观察的信息，在这种情况下是在背景中示出的管道，它或者以静态图片或者以视频的形式进行建档，·通过对文件的一个单独层面进行存取，提供可渐显地进入画面的操作指示数据，·由此再分离出执行工作过程的详细信息或者有关被操作对象(“要安装的管道”)的技术数据。
在研究、生产和服务领域中的应用场合，则是基于透视数据眼镜并结合使用便携式计算机，为受到扩充现实支持的生产提供示例说明或作为扩充现实用于服务和维护。
总之，本发明涉及这样一种特别用于技术和工业应用的文件处理系统和方法，该系统包括存储单元1，用于在多个层面E1…En上存储文件数据I1…In；采集单元2，用于采集实际信息R；存取单元，用于存取文件数据I1…In，以及分析利用单元A，用于分析利用实际信息R并根据实际信息R选取已存储的文件数据。由此，使得能够在维护应用的现场，即例如自动化设备的现场，通过结合作为扩充现实的文件数据I1…In实现结构化地并有选择地存取文件数据。
权利要求
1.一种特别用于技术和工业应用的文件处理系统，它包括存储单元(1)，用于在多个层面(E1…En)上存储文件数据(I1…In)；采集单元(2)，用于采集实际信息(R)；存取单元，用于存取文件数据(I1…In)；以及分析利用单元(A)，用于分析利用实际信息(R)并根据实际信息(R)选取已被存储的文件数据。
2.如权利要求1所述的系统，其特征是，所述文件数据(I1…In)面向对象地进行存储。
3.如权利要求1或2所述的系统，其特征是，所述采集单元(2)具有一个摄像装置，而用于分析利用实际信息(R)的分析利用单元(A)则被设置成，能由实际信息求出文件数据(I1…In)的一个应用环境(Einsatzkontext)，特别是文件数据(I1…In)的一个对象，并且该系统具有用于文件数据可视化的可视单元(B)。
4.如权利要求1至3中任一项所述的系统，其特征是，所述采集单元(2)是由使用者控制的采集单元，且尤其是由语音控制的采集单元和/或由控制数据所控制的采集单元。
5.如权利要求1至4中任一项所述的系统，其特征是，所述采集单元(2)和/或可视单元由数据眼镜构成。
6.一种特别用于技术和工业应用的文件处理方法，按照该方法，文件数据(I1…In)被存储在多个层面(E1…En)内，并且通过采集单元(2)采集实际信息(R)，在该方法中按如下方式对文件数据(I1…In)进行存取，即，分析利用实际信息(R)并根据实际信息(R)选取已存储的文件数据(I1…In)。
7.如权利要求6所述的方法，其特征是，所述文件数据(I1…In)是面向对象存储的。
8.如权利要求6或7所述的方法，其特征是，通过一个摄像装置采集实际信息，由实际信息求出一个应用环境，特别是文件数据(I1…In)的一个对象，并通过可视单元(B)使所求出的文件数据(I1…In)可视化。
9.如权利要求6至8中任一项所述的方法，其特征是，所述采集单元(2)由使用者控制，且尤其是由语音控制的采集单元和/或由控制数据所控制的采集单元。
10.如权利要求6至9中任一项所述的系统，其特征是，所述采集单元(2)和/或可视单元由数据眼镜构成。
全文摘要
本发明涉及一种特别用于技术和工业应用的文件处理系统和方法,该系统包括存储单元(1),用于在多个层面(E1…En)上存储文件数据(I1…In);采集单元(2),用于采集实际信息(R);存取单元,用于存取文件数据(I1…In);以及分析利用单元(A),用于分析利用实际信息(R)并根据实际信息(R)选取已被存储的文件数据。由此,使得例如对于维护应用在现场,即例如自动化设备的现场,通过结合作为扩充现实的文件数据(I1…In)实现结构化地并有选择地存取文件数据。
文档编号G05B23/02GK1349624SQ00806870
公开日2002年5月15日 申请日期2000年3月13日 优先权日1999年3月25日
发明者沃尔夫冈·弗里德里克, 沃尔夫冈·沃尔吉穆特 申请人:西门子公司