专利名称：摄像机控制器和远程会议系统的利记博彩app
技术领域：
本发明涉及摄像机(camera)控制器和远程会议系统，特别涉及用于控制安装有用来改变其取景方向之驱动器的摄像机的成像范围的摄像机控制器和具有所述摄像机控制器的远程会议系统。
背景技术：
近来，由通过多个位于远程端点的终端发送和接收声音和视频数据来实现多点会议的远程会议系统正在受到人们的关注。这种类型的远程会议系统包括具有改变其取景方向功能的摄像机和用于电子地控制该摄像机取景方向的摄像机控制器，从而获取演讲者的图像并发送所获得的图像信号到远程终端。
当会议的参加者开始演讲时，所述摄像机控制器就控制该摄像机的取景方向，从而可以使摄像机获取演讲者的图像。例如，摄像机控制器根据由用来获取声音的话筒发出的声音来预测方向(以下称之为声音方向)，并使摄像机自动地面向所述声音方向进行拍摄。随后，摄像机控制器检测演讲者脸部的轮廓，并控制摄像机的倾斜方向和变焦调整(zoom adjustment)，从而将其脸部能够被定位在画面的中央。由此，摄像机可以获取演讲者的图像。
已经提出了用于使摄像机能够用点亮的灯来自动地跟踪耳机话筒的摄像机方向自动控制器(例如，参见未审查的日本专利申请9-307870，第0016段至0030段和附图1)。根据获取的演讲者的声音，具有灯的耳机话筒点亮该灯。会议的所有参加者都带着这种耳机话筒。所述摄像机方向自动控制器根据摄像机发送的图像数据，检测亮灯的耳机话筒的位置，并指示摄像机朝向亮灯的耳机话筒。这里，即使在摄像机方向自动控制器检测到声音方向并指示摄像机朝向声音方向后不久就检测到来自不同位置的声音，也不能快速地改变摄像机方向以阻止图像的多余运动。因此，一旦改变了摄像机方向，已知的摄像机控制器就要被配置成用于在预定周期内保持摄像机方向，即使后来改变了声音方向也是如此。但是，如果摄像机控制器已经指示摄像机朝向了不正确的方向，那么摄像机会继续发送在不正确方向上的毫无意义的的图像。
而且，由于面部检测是在摇摄(pan)了摄像机之后执行，所以摄像机一点一点地移动直到检测到面部为止。这导致了不稳定的图像。
再者，由于仅当检测到声音方向时才执行摄像机控制，所以没有考虑到除演讲者之外的人物图像。因此，远端的参加者不能看到除演讲者之外的人物图像。
因此，如果要成像的物体改变，那么已知的摄像机控制器不能获取远端参加者想看到的图像，且需要花费时间来完成稳定的图像。上述具有灯的耳机话筒具有相同的问题，因为灯的点亮是与声音输出同步的。
发明内容
鉴于上述背景技术提出了本发明。本发明的目的是希望提供一种摄像机控制器和远程会议系统，其能够使要成像的随机改变的对象(演讲者)能够准确且稳定成像。
根据本发明的实施例，提供了一种用于控制摄像机的成像范围的摄像机控制器，所述摄像机具有用于改变摄像机的取景方向的驱动器。所述摄像机控制器包括面部位置检测单元；注册(registration)单元；计时单元；驱动控制单元；以及保持时间控制单元。所述面部位置检测单元从由摄像机获得的图像信号中检测出人脸的位置。所述注册单元根据面部位置检测单元检测到的结果和有关摄像机的当前取景方向的信息来计算出面部方向信息，并在存储单元中注册计算出来的面部方向信息。所述计时单元测量用于保持摄像机的取景方向固定和维持摄像机的成像范围的保持时间。在驱动控制单元接收到声音方向信息之前，当保持时间已经过去的情况下，驱动控制单元根据所述声音方向信息通过控制驱动器来改变摄像机的取景方向，所述声音方向信息是由用于检测被摄像机拍摄的人物的声音来自方向的声音检测器生成的。当面部位置检测单元在与摄像机取景方向的改变对应移动的成像范围内没有检测到人脸时，保持时间控制单元设置比在面部位置检测单元检测到人脸的情况下所设置的保持时间更短的保持时间。
在上述的摄像机控制器中，在确定了摄像机的成像范围之后，面部位置检测单元从由摄像机获取的图像信号中检测人脸的位置。以所述检测的结果和有关摄像机当前取景方向的信息为基础的面部方向信息由注册单元生成并注册在存储单元中。在驱动控制单元已经接收到声音方向信息之前，在用于保持成像范围的保持时间已经过去的情况下，驱动控制单元根据获得的声音方向信息，通过控制驱动器来将摄像机的取景方向变到由声音方向信息确定的方向上，所述声音方向信息由用于检测被摄像机拍摄的人物的声音来自方向的声音检测器生成。在摄像机的取景方向已经移动之后设置保持时间，并由计时单元对其进行测量。如果声音方向信息已经改变了摄像机的取景方向，那么面部位置检测单元在响应于摄像机取景方向的改变而移动的成像范围中执行人脸检测处理。保持时间控制单元根据所述检测结果设置保持时间。如果没有检测到人脸，那么保持时间控制单元设置比在已经检测到面部时所设置的保持时间短的保持时间。
根据本发明的实施例，提供了一种远程会议系统，其包括摄像机系统，用于拍摄多个人物；声音采集器，用于获取由多个人物发出的声音；及发送器，用于复用从摄像机系统中获得的图像信号和从声音采集器中获得的声音信号，并通过通信线路发送复用信号。所述摄像机系统具有摄像机控制器，其包括面部位置检测单元；注册单元；计时单元；驱动控制单元；和保持时间控制单元。
在上述的远程会议系统中，当演讲者的声音经由声音采集器输入时，声音检测器检测演讲者的声音所来自的方向，并生成声音方向信息。在摄像机控制器中，如果用于保持摄像机的成像范围的保持时间已经结束，那么驱动控制单元根据获得的声音方向信息，通过控制位于摄像机上的驱动器，将摄像机的取景方向变到由声音方向信息所确定的方向上。如果面部位置检测单元在由声音方向信息引起移动的成像范围内检测到了人脸，那么保持时间控制单元设置长的保持时间。如果面部位置检测单元在由声音方向信息引起移动的成像范围内没有检测到人脸，那么保持时间控制单元设置短的保持时间。
在本发明中，当检测到被摄像机拍摄的人的声音所来自的方向时，执行用于改变摄像机取景方向的驱动控制处理，从而能在所检测到的方向上获得图像。此时，如果在摄像机的移动成像范围内检测到了人脸，那么就设置用于保持成像范围的长的保持时间。如果在摄像机的移动成像范围内没有检测到人脸，那么就设置短的保持时间。结果，即使不正确地拍摄了演讲者之外的人物，也能快速地移动成像范围。如果拍摄了演讲者，那么所述状态将被至少维持所述保持时间周期。因此，能够准确且稳定地拍摄随机改变的演讲者。
图1是本发明实施例的概念图；图2是根据本发明实施例的摄像机系统的系统结构图；图3A是描述有关摇摄(pan)和变焦操作的控制信息(Pdeg和Zdeg)的图；图3B是描述有关倾斜操作的控制信息(Zdeg)的图；及图4是表示摄像机控制器和CPU的摄像机控制功能的方框图。
具体实施例方式
接下来将结合附图描述本发明的实施例。首先，将描述本发明实施例的概念。然后，给出实施例的详细描述。
图1是本发明的实施例的概念图。
根据本实施例的摄像机控制器1获得由摄像机10得到的图像信号和由声音检测器(未示出)检测到的声音方向信息，并根据所获得的图像信号和声音方向信息决定摄像机10的取景方向，然后提供驱动指令至摄像机驱动器2。摄像机控制器1具有面部位置检测单元1a、注册单元1b、面部方向信息存储单元1c、保持时间控制单元1d、计时单元1e、和驱动控制单元1f。
面部位置检测单元1a接收由摄像机10得到的图像信号，并利用在当前成像范围内的图像识别方法来执行面部位置检测处理。例如，可适用的图像识别方法包括如下步骤根据包含在图像信号中的颜色信息来检测出鲜艳的颜色分布；根据所述检测结果，确定包含面部轮廓的区域；将所述区域与预先存储的多个面部形态模板进行比较，其中每个模板具有面部轮廓信息和有关眼睛和嘴巴的位置的信息；以及根据所述比较结果判定是否出现了面部。如果检测到面部，那么该检测结果信息表示已经检测到面部并将该面部位置信息输出至注册单元1b。所述检测结果信息还被输出到保持时间控制单元1d。
注册单元1b根据接收到的面部位置信息和有关摄像机10的当前取景方向的信息，计算面部检测信息，并对计算出来的面部方向信息进行注册，然后输出注册过的面部方向信息到面部方向信息存储单元1c。
面部方向信息存储单元1c存储由注册单元1b注册过的所接收的面部方向信息。
保持时间控制单元1d设置保持时间，用于保持摄像机10的成像范围。驱动控制单元1f根据声音方向信息驱动摄像机驱动器2，从而移动成像范围。所述移动后的成像范围被保持由所述保持时间控制单元1d设置的保持时间周期。即使在这个保持时间周期期间获得新的声音方向信息，也不改变摄像机10的取景方向。所以，通过阻止摄像机10的取景方向的多余移动，可以实现稳定的图像。在确定了摄像机10的成像范围后，保持时间控制单元1d获得来自面部位置检测单元1a的面部位置检测结果，并根据检测结果设置所述保持时间。如果检测到了面部，那么保持时间控制单元1d设置长的保持时间，从而能够稳定地对将要被拍摄的面部进行拍摄。另一方面，如果没有检测到面部，那么保持时间控制单元1d设置比在检测到面部时所设置的保持时间短的保持时间，从而能够快速移动摄像机10的成像范围。要设置的保持时间是根据系统状态而合适地决定的。
计时单元1e测量由保持时间控制单元1d所设置的保持时间，并通知驱动控制单元1f，所述保持时间是否已经结束和成像范围的保持是否已经结束。
一旦获得来自声音检测器的与被拍摄的人所产生的声音的方向有关的声音方向信息，则驱动控制单元1f就根据所述声音方向信息控制摄像机10的取景方向。所述声音检测器通过例如比较输入到安置在多个位置的话筒中的声音强度来检测声音方向。驱动控制单元1f根据计时单元1e发送的信息，判定成像范围的保持是否已经结束。如果成像范围的保持已经结束，那么驱动控制单元1f就向摄像机驱动器2输出指令，该指令用于将摄像机10的取景方向变到由声音方向信息所确定的方向。同时，比较存储在面部方向信息存储单元1c中的面部方向信息与所获得的声音方向信息。如果在由声音方向信息确定的方向上检测到了面部，那么驱动控制单元1f根据所述面部方向信息确定摄像机10的取景方向。即，将摄像机10的取景方向变到距离检测到面部的位置最近的位置。因此，如果预先检测到了面部位置，那么就能快速地确定成像范围。另外，不需要渐渐地移动摄像机10的成像范围来进行面部位置调整。如果从在面部方向信息和声音方向信息之间的比较中已经检测到在由声音方向信息确定的方向上出现了人，那么可以认为所述声音方向信息的可靠性是高的。因此，即使目前正在保持取景方向，也可缩短保持时间，从而能够尽早移动取景方向。所以，如果确信能检测到演讲者的出现，那么不需要等到保持时间结束就能拍摄所述演讲者。另一方面，如果面部方向检测单元1a不能检测到面部，那么将摄像机10直接朝向由声音方向信息确定的方向，并控制其拉摄(zoom out)以扩大成像范围。从而在屏幕上显示被检测声音位置的周边环境，并因此能便于远端的与会者掌握情况。如果在预定时间周期内不能从声音检测器中获得声音方向信息，即如果没有人演讲，那么同样地控制摄像机10使其拉摄，以扩大成像范围。结果，在屏幕上显示没有演讲的参加者，并因此能便于远端的与会者掌握情况。例如，远端的与会者能可视地掌握情况并要求与被显示在屏幕上的某个人进行讨论。
下面将介绍摄像机控制器1的操作。
面部方向信息存储单元1c存储多个面部方向信息，其中每个面部方向信息由注册单元1b通过由面部位置检测单元1a在摄像机10的成像范围中检测到的面部位置信息和有关摄像机10的取景方向的对应信息计算出来。
一旦从声音检测器获得表示演讲者声音所来自方向的声音方向信息，那么驱动控制单元1f就将声音方向信息与存储在面部方向信息存储单元1c中的面部方向信息进行比较，并执行驱动控制处理，以确定考虑了保持时间的摄像机10的取景方向。
如果成像范围的保持已经结束，且如果出现了与声音方向信息对应的面部方向信息，那么驱动控制单元1f就根据声音方向信息和对应的面部方向信息来控制摄像机驱动器2。从而，能快速地拍摄演讲者的面部。另一方面，如果没有出现与声音方向信息对应的面部方向信息，那么驱动控制单元1f就根据声音方向信息控制摄像机驱动器2。在将摄像机10的取景方向变到由声音方向信息确定的方向后，面部位置检测单元1a执行面部位置检测处理。如果已经检测到了面部位置，那么由注册单元1b更新面部方向信息。另外，保持时间控制单元1d设置长的保持时间，从而能稳定地拍摄演讲者的面部。如果没有检测到面部位置，那么就设置比在检测到面部位置时所设置的保持时间短的保持时间，从而当检测到来自其它位置的声音时能尽快地移动取景方向。选择地，如果没有检测到面部位置，那么可以控制摄像机10拉摄以在声音检测方向上广泛地进行拍摄。
如果成像范围的保持还没有结束，那么不执行基于声音方向信息的取景方向的改变。但是，如果出现了与声音方向信息对应的面部方向信息，且如果从取景方向的先前移动开始预定时间已经过去，那么就根据面部方向信息和声音方向信息改变取景方向。从而，当出现演讲者时，即使保持时间没有结束也能快速地拍摄到演讲者。
而且，如果在预定时间周期内还没有将声音方向信息发送到驱动控制单元1f，那么驱动控制单元1f可以控制摄像机10拉摄，以扩大成像范围。
因此，如果当已经检测出演讲者声音所来自的方向后摄像机10的取景方向被自动地移动，那么根据在移动的成像范围内是否已经检测到面部来动态地设置用于保持取景方向的保持时间。因此如果检测到面部，演讲者就被稳定地拍摄。如果没有检测到面部，即如果已经选择了不正确的方向，那么可以将所述取景方向快速地移动到另一个取景方向。另外，由于不仅使用声音方向信息而且还使用面部方向信息，所以摄像机10能拍摄本地会议参加者所需的图像。
下面将说明根据本发明实施例的用于远程会议系统的摄像机系统。
图2是根据本发明的实施例的摄像机系统的系统结构框图。
当摄像机10拍摄多个出席会议的人时，使用图2中所示的摄像机系统。这个摄像机系统安装有具有变焦功能的摄像机10；摇摄头20，用于改变摄像机10的取景方向；摄像机控制器30，用于控制摇摄头20的操作；红外接收单元40，用于接收来自远程控制器40a的红外线信号；CPU(中央处理单元)50，用于控制整个系统；显示器60，用于显示获得的图像；图像编码器70，用于根据图像信号执行压缩编码；声音信号分析器80，用于分析声音信号；话筒81和82，用于获取声音；以及声音编码器83，用于根据声音信号执行压缩编码。
摇摄头20水平和垂直地改变摄像机10的取景方向。从CPU50发送的控制信号(变焦指令)控制位于摄像机10上的变焦透镜的焦距。摄像机10将所获得的图像信号发送至摄像机控制器30。摇摄头20从摄像机控制器30接收有关水平和垂直地控制取景方向的控制信息(Pdeg和Tdeg，将在后面介绍)，然后根据Pdeg和Tdeg的值移动。此外，摇摄头20被配置为将Pdeg和Tdeg的当前值发送至摄像机控制器30。
摄像机控制器30根据由CPU50发送来的用于执行摇摄和倾斜操作的操作指令来控制摇摄头20的操作。此外，摄像机控制器30将从摄像机10接收到的图像信号发送至显示器60和图像编码器70。
摄像机控制器30具有下面的功能根据操作指令，保持数据库中与多个人的面部位置有关的信息并控制摇摄头20和摄像机10的变焦操作，从而能在预定的标度系数下自动地拍摄任意面部的功能；从摄像机10获得的图像信号中识别人脸、并在数据库中注册与识别出来的脸部位置有关的信息、或用与识别出来的脸部位置有关的信息更新预先存储在数据库中的信息的功能；以及，获取声音方向信息，并将摄像机10的取景方向变到由获得的声音方向信息确定的方向上的功能。为了实现上述功能，摄像机控制器30被配置为从摇摄头20获得Pdeg和Tdeg的当前值、并从CPU50获得用于变焦操作的当前控制值(后面所描述的Zdeg)、以及通过将Zdeg的值输出到CPU50中来控制摄像机10的变焦操作。
红外接收单元40接收来自远程控制器40a的用于控制摇摄头20的驱动操作和摄像机10的变焦操作的红外信号，并将与所述红外信号对应的按键操作信号发送至CPU50。CPU50根据接收到的按键操作信号，通过将有关摇摄和倾斜操作的操作指令输出至摄像机控制器30和将变焦控制信号输出到摄像机10，来控制摇摄头20的转动和摄像机10的变焦操作。CPU50有时根据摄像机控制器30发送来的Zdeg值，控制摄像机10的变焦操作。
显示器60接收由摄像机10所获得的图像信号，并根据所述图像信号显示图像。结果，显示了会议室或类似的当前图像。
话筒81和82获取其中摄像机10正在运行的会议室中的参加者的声音。话筒81或82所获取的声音信号被输入到声音信号分析器80和声音编码器83，然后通过扬声器(未示出)输出作为声音。声音信号分析器80从接收到的多个声音信号中提取出人的声音，并预测该人的声音所发出的方向，然后将表示预测方向的声音方向信息输出至摄像机控制器30。摄像机控制器30根据接收到的声音方向信息，确定参加者正在演讲的方向，并将摄像机10朝向确定的方向。这里，提供了Pdeg和Tdeg的值作为声音方向信息。
图像编码器70根据摄像机控制器30发送来的图像信号执行压缩编码，从而生成图像流。声音编码器83根据话筒81或82发送来的声音信号执行压缩编码，从而生成声音流。通过通信线路，将生成的图像流和声音流发送到远程会议室。在所述远程会议室中，实时地重现在发送端的会议室中产生的图像和声音。同时，从远程会议室发送在所述远程会议室中生成的图像和声音流。结果，通过显示器60和扬声器，从接收到的图像和声音流中重现图像和声音。因此，可以实现位于远程会议室之间的远程会议。
下面将描述用于决定摄像机10取景方向的控制信息(Pdeg、Tdeg和Zdeg)。
图3A是描述有关摇摄和变焦操作的控制信息(Pdeg和Zdeg)的图。图3B是描述有关倾斜操作的控制信息(Zdeg)的图。
在这个实施例中，用摄像机10在水平方向的取景方向表示有关摇摄操作的控制信息，如以度数为单位作为Pdeg给出的。用摄像机10在垂直方向上的取景方向表示有关倾斜操作的控制信息，如以度数为单位作为Tdeg给出的。用摄像机10的变焦状态表示有关变焦操作的控制信息，如以度数为单位作为Zdeg给出的。图3A示出了摄像机10的水平转动(摇摄操作)。将摇摄头20的最大水平转角设置成例如180°，并将在垂直线和连接摇摄头20的旋转中心与被拍摄人面部的中心的直线之间的夹角(-90.0°到+90.0°)设置作为有关摇摄操作的控制信息(Pdeg)。图3B示出了摄像机10的垂直转动(倾斜操作)。将摇摄头20的最大垂直转角设置成例如60°，并将水平线和连接摇摄头20的旋转中心与被拍摄人面部的中心的直线之间的夹角(-30.0°到+30.0°)设置作为有关倾斜操作的控制信息(Tdeg)。
如图3A所示，用摄像机10的取景方向表示有关变焦操作的控制信息(Zdeg)。参见图3A，将取景角度设置在范围1.0°到45.0°之间。这个角度的值变得越小，对象被摄像机10执行的推摄(zoom-in)操作就放大得越大。
将上述控制信息提供给用于控制摇摄、倾斜和变焦操作的摇摄/倾斜控制单元37和变焦控制单元51。用上述角度信息的组合(Pdeg、Tdeg、Zdeg)表示与存储在面部位置信息数据库31中的每个人的面部位置有关的信息。例如，当将面部图像放大至整个屏幕时，将与存储在面部位置信息数据库31中的变焦操作有关的信息设置成取景角度。
下面将描述根据这个实施例的摄像机系统中的摄像机控制器30。
图4是表示摄像机控制器和CPU的摄像机控制功能的框图。
如图4所示，摄像机控制器30具有下述面部位置信息数据库31；面部识别模块32；数据库更新模块33；数据库恢复模块34；保持时间模块35；声音方向驱动模块36；和摇摄/倾斜控制单元37。CPU50具有变焦控制单元51和指令控制单元52。
控制信息用于控制摇摄头20的转动和摄像机10的变焦操作，从而可以在预定的换算系数下将参加者的面部图像定位在屏幕中央，为每一个参加者生成所述控制信息并随后存储在面部位置信息数据库31中。如接下来将结合图4所描述的，用Pdeg、Tdeg和Zdeg表示该控制信息。Pdeg是由摄像机10在水平方向上以度数为单位的取景方向表示的数据。Tdeg是由摄像机10在垂直方向上以度数为单位的取景方向表示的数据。Zdeg是由摄像机10以度数为单位的变焦状态表示的数据。
面部识别模块32利用图像识别技术，从由摄像机10获得的数字图像信号中检测出人的面部位置，并计算作为坐标(Ppx、Tpx、Zpx)给出的面部位置信息，然后将计算出来的面部位置信息输出至数据库更新模块33。检测结果还被发送到保持时间模块35。
数据库更新模块33将面部识别模块32计算出来的面部位置信息(Ppx、Tpx、Zpx)转换到以度数为单位的面部位置信息，并将所述转换后的面部位置信息注册在面部位置信息数据库31中。另外，数据库更新模块33根据面部识别模块32发送来的面部位置信息，更新面部位置信息数据库31中的内容，即使摄像机10处于运行中也是这样。更具体地，数据库更新模块33根据Pdeg、Tdeg和Zdeg的当前值，将存储在面部识别模块32中的以坐标给出的面部位置信息(Ppx、Tpx、Zpx)转换为以度数为单位的面部位置信息(Pdeg、Tdeg、Zdeg)。例如，如果Pdeg、Tdeg和Zdeg的当前值分别是-30.0、+10.0和+40.0，那么，当前获得的图像左端的Pdeg值变成-30.0-40.0/2＝-50.0，及右端的Pdeg值变成-30.0+40.0/2＝-10.0，及上端的Tdeg值变成+10.0+(40.0×3/4)/2＝+25.0，以及较低端的Tdeg值变成+10.0-(40.0×3/4)/2＝-5.0。因此，通过使这些值与图像末端部分的坐标值线性对应，可以将作为坐标的面部位置信息(Ppx、Tpx、Zpx)转换到以度数为单位的面部位置信息(Pdeg、Tdeg、Zdeg)。
数据库恢复模块34是功能块，用于利用存储在面部位置信息数据库31中的信息控制摄像机10的取景方向和变焦操作。数据库恢复模块34接收来自声音方向驱动模块36的声音方向信息，并从面部位置信息数据库31中提取出表示位于由接收到的声音方向信息指定的方向附近位置的面部位置信息(Pdeg、Tdeg、Zdeg)，然后将提取出来的面部位置信息输出到声音方向驱动模块36中。
保持时间模块35是兼有保持时间控制单元1d和计时单元1e的计数器。保持时间模块35设置与保持时间对应的计数值。根据在声音方向驱动模块36已经改变了摄像机10的取景方向之后，面部识别模块32是否能够基于摄像机10获得的图像信号而检测出面部位置，来设置所述保持时间。所述计数器被配置为在预定周期内倒计数。当计数器的值变成零时，结束保持时间。一旦接收了来自声音方向驱动模块36的请求后，保持时间模块35就将计数值发送到声音方向驱动模块36。
一旦获得来自声音检测器的声音方向信息，声音方向驱动模块36就将声音方向信息发送至数据库恢复模块34，并使数据库恢复模块34恢复表示位于由获得的声音方向信息确定的方向附近位置的面部位置信息。此外，声音方向驱动模块36获得来自保持时间模块35的表示保持时间的计数值。如果所述计数值为零，即成像范围的保持已经结束，且如果已经恢复了面部位置信息，那么声音方向驱动模块36根据面部位置信息和声音方向信息，通过控制摇摄/倾斜控制单元37和变焦控制单元51，控制摄像机10的取景方向和变焦操作。如果没有恢复面部位置信息，那么声音方向驱动模块36根据声音方向信息，通过控制摇摄/倾斜控制单元37和变焦控制单元51，控制摄像机10的取景方向和变焦操作。如果计数值不为零，即成像范围的保持没有结束，那么声音方向驱动模块36保持摄像机10的取景方向，而无需控制摇摄/倾斜控制单元37和变焦控制单元51。如果计数值小于预定值，且如果已经恢复了面部位置信息，那么声音方向驱动模块36根据面部位置信息和声音方向信息，通过控制摇摄/倾斜控制单元37和变焦控制单元51，控制摄像机10的取景方向和变焦操作。
摇摄/倾斜控制单元37根据指令控制单元52发送来的PTZ指令或声音方向驱动模块36发送来的控制信息(Pdeg和Tdeg)，通过将控制信号输出到摇摄头20来控制摇摄头20的摇摄和倾斜操作。同样地，变焦控制单元51根据指令控制单元52发送来的PTZ指令或声音方向驱动模块36发送来的控制信息(Zdeg)，通过将控制信号输出到摄像机10来控制摄像机10的变焦操作。
指令控制单元52根据红外接收单元40发送来的按键操作信号生成PTZ指令，并将用于摇摄和倾斜操作的PTZ指令和用于变焦操作的PTZ指令分别发送到摇摄/倾斜控制单元37和变焦控制单元51中。
根据这个实施例的远程控制器40a安装有PTZ键，用于逐步改变摇摄和倾斜方向以及变焦系数。当用PTZ键执行输入操作时，通过红外接收单元40，将表示摇摄和倾斜方向以及变焦系数(推摄/拉摄系数)的按键操作信号传输到CPU50。指令控制单元52根据所述按键操作信号发出PTZ指令。结果，摇摄/倾斜控制单元37根据所述PTZ指令控制摇摄头20，从而能逐步地改变摄像机10的方向。变焦控制单元51根据所述PTZ指令，逐步地增加或减少摄像机10的变焦系数。
下面将介绍上述摄像机系统的操作。
当开始使用摄像机系统时，例如在会议的一开始，摄像机控制器30执行用于在面部位置信息数据库31中自动注册面部位置信息的自动注册处理。更具体地，摄像机控制器30使CPU50逐步地改变摄像机10的取景方向，并同时使面部识别模块32自动地识别处于摄像机10的成像范围中的人脸，并在面部位置信息数据库31中存储多块他们的面部位置信息。因此，有关会议参加者的面部位置的多块面部位置信息被存储在面部位置信息数据库31中。
当任意一个参加者开始讲话的时候，话筒81或82就获取所述参加者的声音，并将表示声音的声音信号输出到声音信号分析器80。声音信号分析器80根据所述声音信号预测所述声音所发出的方向，并生成声音方向信息(Pdeg和Tdeg)。
一旦接收到来自声音信号分析器80的声音方向信息，摄像机控制器30就使声音方向驱动模块36起动摄像机方向改变的处理。声音方向驱动模块36获得来自保持时间模块35的保持时间。此外，声音方向驱动模块36将声音方向信息发送到数据库恢复模块34，并使数据库恢复模块34执行恢复，无论是否存在表示位于由声音方向信息指定的方向附近位置的面部位置信息。如果保持时间已经结束，且如果已经恢复了面部位置信息，那么声音方向驱动模块36根据声音方向信息和面部位置信息，通过控制摇摄/倾斜控制模块37和变焦控制单元51，来控制摄像机10的取景方向和变焦操作。
如果成像范围的保持已经结束，且如果面部位置信息还没有被恢复，那么同样地，声音方向驱动模块36根据声音方向信息来控制摄像机10的取景方向和变焦操作。如果正在保持成像范围的保持，且如果面部位置信息还没有被恢复，那么声音方向驱动模块36保持摄像机10的当前取景方向。如果正在保持成像范围的保持，且如果已经恢复了面部位置信息，那么仅当剩余的保留时间或逝去的保留时间满足预定条件时，声音方向驱动模块36才结束成像范围的保持，并根据声音方向信息和面部位置信息，通过控制摇摄/倾斜控制模块37和变焦控制单元51，来控制摄像机10的取景方向和变焦操作。
如果摄像机10的取景方向还没有被改变，那么面部识别模块32判定在当前成像范围中是否检测出了面部。如果检测出了面部，那么保持时间模块35设置长的保持时间，以便保持当前成像范围。如果没有检测到面部，那么保持时间模块35设置比在检测到面部时所设置的保持时间短的保持时间，从而能够快速移动成像范围。
通过执行上述处理，能够准确且稳定地拍摄演讲者。
如果将按键操作信号输入到CPU50中，那么分配给按键操作信号较高的优先级。在这种情况下，即使在保持时间期间，也仍然根据经过摇摄/倾斜控制单元37和变焦控制单元51的按键操作信号来控制摄像机10的取景方向和变焦操作。
本领域技术人员应该理解，根据设计要求和其他因素可能产生的各种修改、集合、子集和替换，都在所附的权利要求或其等同的范围内。
相关申请的交叉参考本发明包含了2005年8月17日在日本专利局申请的日本专利申请JP2005-236253所涉及的主题，其所有内容都将被结合在此作为参考。
权利要求
1.一种用于控制摄像机的成像范围的摄像机控制器，所述摄像机具有用于改变摄像机的取景方向的驱动器，所述摄像机控制器包括面部位置检测装置，用于从由摄像机获得的图像信号中检测出人脸位置；注册装置，用于根据由面部位置检测装置检测出来的结果和与摄像机的当前取景方向有关的信息来计算面部方向信息，并在存储装置中注册所述计算出来的面部方向信息；计时装置，用于测量保持时间，在该保持时间中，保持摄像机的取景方向固定和维持摄像机的成像范围；驱动控制装置，在所述驱动控制装置接收到声音方向信息之前，在保持时间已经过去的情况下，其用于根据所述声音方向信息通过控制驱动器来改变摄像机的取景方向，所述声音方向信息由用于检测被摄像机拍摄的人物的声音所来自方向的声音检测器生成；及保持时间控制装置，当面部位置检测装置在响应于摄像机取景方向的变化而移动的成像范围内没有检测到人脸的情况下，其用于设置比在面部位置检测装置检测到人脸时所设置的保持时间短的保持时间。
2.如权利要求1所述的摄像机控制器，其中，所述驱动控制装置比较声音方向信息与存储在存储装置中的面部方向信息，并且，当在由声音方向信息所确定的方向上检测到人脸的情况下，根据声音方向信息和面部方向信息，执行用于改变摄像机取景方向的驱动控制处理。
3.如权利要求1所述的摄像机控制器，其中，所述驱动控制装置比较声音方向信息与存储在存储装置中的面部方向信息，并且，当在声音方向信息确定的方向上检测到人脸的情况下缩短保持时间，并在缩短后的保持时间过去之后，执行用于改变摄像机取景方向的驱动控制处理。
4.如权利要求1所述的摄像机控制器，其中，当面部位置检测装置在与声音方向信息对应的取景范围内没有检测到人脸的情况下，驱动控制装置执行变焦控制处理，从而扩大成像范围。
5.如权利要求1所述的摄像机控制器，其中，当在预定时间周期内没有从声音检测器中得到声音方向信息的情况下，驱动控制装置执行变焦控制处理，从而扩大当前成像范围。
6.一种远程会议系统，包括摄像机系统，用于拍摄多个人物；声音采集器，用于获取由多个人物发出的声音；及发送器，用于复用从摄像机系统中获得的图像信号和从声音采集器中获得的声音信号，并通过通信线路发送复用信号，所述摄像机系统包括摄像机，驱动器，用于改变摄像机的取景方向，及摄像机控制器，用于控制所述驱动器，所述摄像机控制器包括面部位置检测装置，用于从由摄像机获得的图像信号中检测人脸的位置；注册装置，用于根据面部位置检测装置检测到的结果和与摄像机当前取景方向有关的信息来计算面部方向信息，并在存储装置中注册所述计算出来的面部方向信息，计时装置，用于测量保持时间，在该保持时间中，保持摄像机的取景方向固定和维持摄像机的成像范围，驱动控制装置，在所述驱动控制装置接收到声音方向信息之前，在保持时间已经过去的情况下，其用于根据所述声音方向信息通过控制驱动器来改变摄像机的取景方向，所述声音方向信息由用于检测被摄像机拍摄的人物的声音所来自方向的声音检测器生成，以及保持时间控制装置，当面部位置检测装置在响应于摄像机取景方向的改变而移动的成像范围内没有检测到人脸的情况下，其用于设置比在面部位置检测装置已经检测到人脸的情况下所设置的保持时间短的保持时间。
7.一种用于控制摄像机的成像范围的摄像机控制器，所述摄像机具有用于改变摄像机的取景方向的驱动器，所述摄像机控制器包括面部位置检测单元，用于从由摄像机获得的图像信号中检测出人脸位置；注册单元，用于根据由面部位置检测单元检测出来的结果和与摄像机的当前取景方向有关的信息来计算面部方向信息，并在存储单元中注册所述计算出来的面部方向信息；计时单元，用于测量保持时间，在所述保持时间中，保持摄像机的取景方向固定和维持摄像机的成像范围；驱动控制单元，在所述驱动控制单元接收到声音方向信息之前，在保持时间已经过去的情况下，其用于根据所述声音方向信息通过控制驱动器来改变摄像机的取景方向，所述声音方向信息由用于检测被摄像机拍摄的人物的声音所来自方向的声音检测器生成，以及保持时间控制单元，当面部位置检测单元在响应于摄像机取景方向的改变而移动的成像范围内没有检测到人脸的情况下，其用于设置比在面部位置检测单元已经检测到人脸的情况下所设置的保持时间短的保持时间。
8.一种远程会议系统，包括摄像机系统，用于拍摄多个人物；声音采集器，用于获取由多个人物发出的声音；及发送器，用于复用从摄像机系统中获得的图像信号和从声音采集器中获得的声音信号，并通过通信线路发送复用信号，所述摄像机系统包括摄像机，驱动器，用于改变摄像机的取景方向，及摄像机控制器，用于控制所述驱动器，所述摄像机控制器包括面部位置检测单元，用于从由摄像机获得的图像信号中检测出人脸位置；注册单元，用于根据由面部位置检测单元检测出来的结果和与摄像机的当前取景方向有关的信息来计算面部方向信息，并在存储单元中注册所述计算出来的面部方向信息；计时单元，用于测量保持时间，在所述保持时间中，保持摄像机的取景方向固定和维持摄像机的成像范围；驱动控制单元，在所述驱动控制单元接收到声音方向信息之前，在保持时间已经过去的情况下，其用于根据所述声音方向信息通过控制驱动器来改变摄像机的取景方向，所述声音方向信息由用于检测被摄像机拍摄的人物的声音所来自方向的声音检测器生成，以及保持时间控制单元，当面部位置检测单元在响应于摄像机取景方向的改变而移动的成像范围内没有检测到人脸的情况下，其用于设置比在面部位置检测单元已经检测到人脸的情况下所设置的保持时间短的保持时间。
全文摘要
远程会议系统包括摄像机系统，用于拍摄多个人物；声音采集器，用于获取由多个人物发出的声音；及发送器，用于复用从摄像机系统中获得的图像信号和从声音采集器中获得的声音信号，并通过通信线路发送复用信号。所述摄像机系统包括摄像机；驱动器，用于改变摄像机的取景方向；及摄像机控制器，用于控制所述驱动器。所述摄像机控制器包括面部位置检测单元；注册单元；计时单元；驱动控制单元；和保持时间控制单元。
文档编号H04N7/15GK1917623SQ20061013885
公开日2007年2月21日 申请日期2006年8月17日 优先权日2005年8月17日
发明者川口贵义 申请人:索尼株式会社