专利名称：超声波摄像机跟踪系统和相关方法
^^声波l聂^4;u^系^H目关方法相关申请的交叉引用本申请要求2006年10月19日提交的、名称为"Ultrasonic Camera TVacking System and Associated Methods"的美国临时申请No.60/862，132的权 益，其内^b引用作为参考，并要40m^。背景狄演"^^通常^^1手#^控器^制 ^^义系统的摄#^。但是，M5会 议的目的A^M者营造自然的條。因此，不希望要求演i絲或者WM^ 者花费大量的时间iMt制摄^^处^^杂的输入设备。美国专利No.5，844,599、6，731^34和6，980，485中7^开了用于^^I^A^j^的 一些*技术。例如，^ih^Polycom公司的美国专利No,6^980，485公开了一 种^^》:fc^^形的自动摄寸^W^a^。另外，Polycom提^-"^t用于其VSX ^^^C系统的称作"自动摄^^定位"或者ACP的话音跟续系统。另一种kl^ 絲系统^^)基于M的絲械觉分析，从而用摄^^ 目标。虽M效，但是有些 ^^系统可肯化某些方面具有局限性，并且可能 维护絲》嫩困难。在话音絲时，例如，由于^)"或者^^因，摄^W 时可能会指向墻壁或者桌子。另外，如果某个A^有说话，则摄^L可肯^L法 ^it个人移动的同时，这个人而且，在存在多个^"或者不同^码的情况 下，it些l 4^L^会出现问Jlt^/^的i^t4W"^艮，或者至少减小上面提出的一个或者多个问题的影响。发明内容^t摄^tW^系统，包括可4^bf沐、^jW辭'J^制器。 布置为邻近可控摄4棘，并至少对从源发出的超声波作出响应。^J(L可附加 地能够对可听声谱内的声音作出响应。控制器响应从源发出的超声波接》1^^麦J^传达的超声波信号，并处理该超声波信号以确定该源的至少大致位置。然后，该控制器向可控摄^^送一个或者多^^^HT号，以使它至少;UW旨 向该源的所确定的位置。该摄^^J鹏系^源移动并iUl^发出超声波的同 时对该源进行 。该源可以是由人喊的发射器包。该发射器包可具有一个 或者多个超声波换能器，该超声波换能器产生从大约24kHz到大约40kHz进行 扫描的超声波声调。前面的^tii并不意图是对^^开的每个可能实施例或者每个方面的总结。
参考以下具水实施例的详细描述，结合附图进行阅读，前面的概述、M 实施例和4^Hf的i^l的B方面会得到^m^，其中图1所示的是4娥^/〉开的某些教导的損bf^WU续系统的一个实施例。 图2所示的是用于图1中的摄^fe^睹系统的控制单元的软件^I的一个 实施例。图3A所示的A^于摄^^^睹系统的摄^^元的一个实施例。 图3B所示的;UU于图3A的摄^W^宗系统的信号链的一个实施例。 图4A所示的A^于所^^的^^^^续系统的、别N^声波信号降低到可听范围的下，过程的一个实施例。图4B所述的是在图4A的下采样过程阶段期间的信号频镨的图。图5A-邻所示的是用于所/^f的摄^MU宗系统的位置确定算法的一个实施例，其用于4iH十目标源的舰(candidate)位置。 图6A"6B所示的是摄^W续系统的其他实施例。 图7A-7B所示的是用于所乂^的摄^^踪系统的，器单元的替换实施例。虽然;^^f的i^易有^t变形^^换形式，但是通过附图中示例的方 式示出了^R^实施例，并^b^ff^细描t附图和书面的描述不意图以任何方^t本发明构思的范围构成限制'相反，通过参照特定实施例，提供附图和书面的描述以向本^^域的^A员阐a明构思，如35 U.S.C. §112要求的那 样。参考图1,示奮,图示了才MM^^f的某些教导的摄l^W系统100的一个实施例。摄#^ 踪系统100包^W斜几单元120、控制单元130和发射 器单元140。演i絲^ML者携带作为信标的絲器单元140，从而摄^^^元 120可通过检测J^f的信标信号而itt演i^r。在糾实施例中，摄^M^系统100可与遥^^置150^^fM，并可 与夕MP装置160，例:W!J5^i义系絲者雞系统^^M。如图所示，摄<脉 单元120和控制单元130可以^^立的*,或者它们可以IIA^—个单元中。 另外，虽然夕|^ 160被示出为分立部件，但是摄^^元120械制单元 130之一或者二者可以与夕Np^X 160林实施例中，控制单元130控制系统100的摄^^ 和^#征。控 制单元130包括处理器(未示出)，该处理器用于旨必要的计算，以扭行^jHl^^的摄^4^i^iMc。处理器可以是能够M所述必要的计算的^r装置，例如中^t理单元(CPU)、现场可g门阵列(FPGA)和类合;t^置。控制单 元130可接峰由第""^接110发自该摄《^U^元120的标准NTSC、 PAL s- ^|"，类型的 5。控制单元130腿由连接110#^自摄<^1^元 120的多*道(例如4个)的銜洛电平音频(line level audio )。经由第^^接112，控制单元130可对于摄^MMtl20传ii^制。经由 第^J^接U4，控制单元130可连接^MPM 160,例:W1^^R单元。这个 第^i^接114可允许用于向夕Nl5装置160传送,、絲和^Mt号。这个第例如，控制单元130可支持PowerCam应用编程接口 (API)或者Sony EVI D-100API，这样控制单元130可^h^装置160和摄^^元120之间来回地 ^it信息包。第三连接114和第四连接116可用于输出视频，所述^M可仅包 絲自谢^W"元120的舰，或者可包^L^JJt过控制单元130添加的 图形用户接口的^TM (overlay)。 WML 120 ^可控謝沐122和:^A 126的辆124。可鄉像 机122能够进行鄉、倾桥变焦，并可以是城的或者电子的鹏倾斜-变焦 摄"f^L。在一#例中，iir^fe^f^lil22是PoIycomPowerCamPhis，其能 够从中心点开始进行大约士45度的鹏以及+10度释30度的倾斜。摄寸鲜元120 5信号。摄^K^元120 B由连接112响应M制单元130传送的命令， 以 可控摄#^122的##、倾^V或变焦。另夕卜，摄^^"元122可包括 IR棘机125，并可经由连接110将接收自IR遥^^置150的信号传i^"控制 单元130。在一个实施例中，附ijl24包括四个^JL风126。至少两个;^Al26可 具有用于确^C射器单元140位置的水平布置，以控制摄像K 122沿7K平轴的 。同样地，至少两个:^风126可具有用于确^^J"器单元140位置的垂 直布置，以控制摄像机122沿垂直轴的倾斜。应该衝醉，可将两个;^X 126 的可#€容差:而且，应该理解，;将两个i^A 126布置得J4Ui垂直差。阵列124的:^J礼126响应由发射器单元140发射的超声》&^镨中的超声 波。在一个实施例中，阵列124的^jULl26可特别Ak^置用于超声》M5语内的响应，从而系统ioo可具有用于响应可p;fM镨内的声音的额外的^jt风，所述可p;fi^til/fT在大约20Hz到20，000Hz。在另一个实施例中，阵列124的 每个;^A 126 ^T响应"^P斤频镨，并JU^可为^l声》:fc^B普4l;^适当的频率响 应，这样，^jWl26可用i^LM^i义的^:，和基于超声波180的摄^^ g。另夕卜，摄#^元120可与^W^i义系財关的"^"^^t^目结合 <^|双重用途(dual-use)的:^J礼126，例如在所引用的美国专利6,980,485 中公开的或者在Polycom的iPower、 VSX和HDX系列产品中所使用的。it^单元140^"信号发生器^142、功率iUc器143、可充电电池144 和一个或者多个换能器或者扬声器146和148。如上面所简述的，J^i"单元140 由摄4沐122 Jl^的人携带或者條。因此，狄器单元140可具有带子、 夹子、绳套或者用于由人^JS^者携带的^^X (未示出)。在工作时，狄^^元140产生由附'j 124的:OA 126御'J的超声波 180. &，超声波180是重复的声调，其在100ms的时间间隔内扫描(sweep) 24kHz到40kHz的频率，并J^声调之间M大约100ms的短暂无声间隔。为 了产生超声波180的最佳扫描声调，信号发生器电路142的采样频率可以是96kHz，并且该信号iL^器电路142可包括以24.576MHz和50ppm振荡的时钟 振荡器，例如，EPSON SG"710ECK245760MB， RALTRON CO4305^24.5760， SARONIXS1613B"24.5760T。艇地，发射器单元140具有用于单元140的数 字^^#换器的低通滤波器，并且，至少60dB的阻带衰减M用于56kHz或 者更高。it^M带是40kHz到56kHz，并Jjt字^^^换器可以狄自AKM ^H^^司的AK4386。，器单元140可仅M—^^声波换能器146，或者可具有两个或者更 多个超声波换能器146和148。在任一方法中，都通过电线，声波换能器 146/148与;^j"器单元140连接在^，并且，超声波换能器146/148可以^ 电换能器(当经受电压时，压电晶体可以改变形状用于产生声音)，或者^^t伸 缩换能器(^t伸缩材料将磁能转^^^能，或者反itijU^换)。^^射器单 元140包括多于一个换能器146和148的实施例中，例如，演i絲可^""个换 能器146^jt身体的前面，并且可将另一个换能器148 m在身体的背后。 作为替^T案，换能器146和148之中的一个可以佩^4每个肩膀上。在一个 实施例中，每个换能器146和148可被同步而，同样的超声波信号180。在替 换实施例中，换能器146和148可发射完全不同的超声波信号180，对于人的身当用:^A126获得絲的超声波180时，摄#^元120经由连接110 向控制单元130 于每个:OX 126的超声波信号。控制单元130处理接收的信号，以确定声音所起源的^器单元140的至少:^Jt的位置。如下面更 详细讨賴,控制单元130的软件处理该接收的信号，以定位该絲器单元140。 辆定位置^，控制单元130向摄^MMt 120发送一个或者多传4^ft号， 以控制摄^bL22至少;UOWi^t器单元140。狄器单元140的位置确定可以4^t的，其/jM^5域的^A员能糾 可的^^f^bf沐22能够^^指向#^单元140的演^"的#^、倾斜、和/或变 焦的可^^^1之内。而且，将摄胁22指向^"絲^4元140的演絲并 JLXt该演"^i^ft^T以^Jt的，其^j^5域的才^A员能够认可的使得 摄#^22能够捕获到该演诛脊的充分的图像的皿、倾斜、和/或变焦的可M 禾I^之内。为此，至少四个:IJLK 126 i5J^可^^可被容差歧的5^目正交的两个轴上。控制单元100还可iU为^^限定的lW区域内辦该系统， 摄^^几22将不会指向这个区域的夕Mj5。另外，控制单元100可iU为IMt摄像 机22，使得它提供演i絲的窄(tight)或者宽鄉，并提供演i絲(即发射器 位置)位于捕获图像的中间、右iiil者左边的视野。在演i井或^Ml^i义期间，例如，控制单元130控制摄<沐122] #^ 发射单元140的人。当^foW的A^动然后停止时，摄^f抓122的移动(即摇 摆和倾斜)i^l^fei过首;jyt慢，然后停下来指向这个AiM皮控制。例如， 摄<沐122可在2秒钟的时间段内静止并指向这个人，以使得摄《^^动更平 滑，并防jh^il个人再次开始移动的情况下出现急动.这些^lt可以是可由用 户iift^置的。可脅E^v^AiL^i4行微小的移动，但仍^ji^f沐122的冲贼賴角内的情 况。>{^k ，当^jiii种情况下时，摄4沐122不以急动方i^WL^个人，并且， 当这个A^W斜几122的视角内进行微小移动时，摄4沐122意图###"止。 为了实5(Lit—点，控制单元130可确定摄<沐122的视角，并且可以^i亥视角 与所确定的人的位置相关。才娥这个相关，在开始用于移动摄1沐122 A 这个人的命令之前，控制单元130可确定这个A^否e4多动到摄"f脉122的框 W卜。另外，当这个Aj殳有移动到摄^f几122的框W卜时，摄4抓122;^# 动，直到过去大约500ms的^时^止。既然已经讨论了摄^^踪系统100的细节，现yjt^们转向图2，来讨论 用于控制单元130的软件。如图2所示，控制单元的软件架构200的一个实施 例^#用户接口微210、消息处iTOf220、摄^^制微230、賴子系 统240、配置微250、 ^f^^:255、串行(serial)驱动器260、 ^5硬^f 理器265、 TCP/IP微270和iW可编程门解'J (FPGA) 280。命令消息串.用户接口 (UI)歉210处棘自用户的对股遥控独的按压， 并^LM输出Ji^i^图形，该4 !^输出用于为用户显示屏幕菜单系统。 例如，UI模块210可处理用户输入，以诏3和i^l^i史置、打开或者关闭自动 絲、以;sj^择菜JM^式。另外，UI微210可在用于向用户显示的画面上产生^HM"画面、诏i画面、校准画面、信息画面，以;s^^RL觉画面。^"M子系统240经由接口 286、 FPGA 280和"t"0硬件管理器驱动器265接^1UM射財几的:^A126输入的超声波。利用下面更详细讨，冲^，， 子系统240对来自:IJL风126的超声波信号进行滤波和分析，以iL^水平方向 X^垂直方向上确定源的超声》^L射器(未示出)的角位置。音频子系统240 还确定Ma^N^ 122 (或者作为替^"案，与该摄^^ 122相邻布置的:^K 126)到发射器的;^J巨离。賴子系统240周期',向摄^^制嫩230发 iHil恒置信息，从而该摄^^制微230可从而控制摄^^122。运动。在自动 源的自动辦模:期间，谢斜;^制m 230接#自"子系统240的与该源关联的位置信息，并^il个位置信息射^摄^^it动命 令。然后，摄#^制模块230经由串行驱动器260、 FPGA280和接口 284向 该摄4沐122发送摄#^动命令。该命4^^^ff"滑的摄^f腿动，以跟 随该目标源。当^^1可选接口 282用于夕MP装置(例:StxM5^i义单元i60)时， 摄^N^制a 230可经由另一个接口 284将M自该夕I^P装置160的摄^^L 串^^H^发给摄^ 122,并JLiE可将摄^^U 120的响应返回^Mp装置160。 3S^了用于控制单元的软件后，我们^转向图3A，讨^目对于摄^^L 跟踪系统300的部降示出的摄^W元310的M实施例。如前所述，損bf斜几 单元310与控制单元360进^t信连接。另外，控制单元360可以也可以不与 夕NP装置(未示出)相连，所^MP装置例:W^^i义单元、 5监视器、计 #^。摄^^^元310具有用于^t舞降的外壳312、与外壳312相连的悬臂 (boom)318、以阵列布置的多个^Sl^b机320、位于外壳312之上的可移 动摄4^340,以; 1^未示出的*。三个^jt5Wbt/U320 (即#^322、 324和326) 7jC平布J^卜壳312 上。另外，其中一个:^W^320 (即^b^328)位于悬臂318中，并且 冲树于外壳312上的中:fc^Wb^324垂直布置。超声波换能器350在空 间上关于^^bMMt310的位置可利用笛卡儿坐标系(X， Y， Z)进行^it。 ^^声波换能器3邻发射由;^1 ^ 320 ^"取的^^波352。至少部分由控制 单元360 ^^f处理确^^声波换能器350的位置，^H多^W^ 340以g 超声波换能器3邻的位置。利用下面讨絲位置确定算法，由水平布置的^JL ^WbK 322、 324和326 M的超声波352的相位差确^1声波换能器3邻相对于摄^l^元310的水平位置，该水平位置与^W沐340的#^置P相对 应。由垂直布置的:^A^1^几324和328接收的超声波352的相位差确定该 超声波换能器310相对于摄^MML 310的垂直位置，该垂直位置与摄寸^L340 的倾雞置T相对应。在一个实施例中，利用下面讨絲位置确定算法，鹏 和倾^:置可ii^大约0.125度的精度。jH^卜，可利用由7jC平布置的麦jLX^bK 322、 324和326接收的超声波 352的波阵面曲率来确^^声波换能器350到摄^t^元310的距离，该距离与 摄^^几340的变焦位置Z相对应。除jH^卜或者作为替^r案，可利用其^^支 术来确^1声波换能器350到招BN^元310的距离。如之后在附加实施例中 所讨论的，例如，可利用射频(RF)信号和无线麦^A信号。可利用4^域中 已知的^MMM^制摄^^340的距焦。在图3B中，图示了用于图3A的摄^WU瞎系统300的信号链。在该信 号链中，在#^者携带着换能器350的目标源(即用户)诗树于:IJW^收 机320移动时，超声波换能器350发射超声波352。由每个;^A^Ifo^ 320 接收的起声波352的信夸然后^j^'j控制单元360，从而，控制单元360M 四*道的输入信号。然后，可具有一个或者多个数字信号处理器的控制单元 330处Sil些信号(块362 )。这个处理的一些详情将在下面参照图4A4B进行 讨论。然后，控制单元360利用位置;Ut确定算法,^^声波换能器350相对 于#>|^机320的垂直位置、水平位置和距离(例如X， Y, Z)(块364)。位置 确定算法将在下面参照图5进树细讨论。利用所确定的位置(X， Y， Z)，控为了 St置摄^^制命令，控制单元360可将所;定的超声波换能器350的位 置(例如X， Y， Z)转M,、倾#变焦信息，用于摄^^L340的致动装 置、伺服装置或者勤e^342,摄l^Na件330"^il^^令，并利用它们使 摄"f沐340指向所确定的超声波换能器3邻的位置(块344)。用于所公开的跟踪系统350的^波换能器350 ^te^^T较宽的带宽、 ^W灵敏变、低失真以及小厚度的压电超声波换能器。在一个实施例中，例 如，在24kHz到40kHz的频率范围内，超声波换能器350具有^S平坦的频率 响应，但是，要S^的是，摄4^1 系统300并不限于24kHz到40kHz的带宽。作为合理平坦，例如，该频率响应可在其给定7K平的i5。/。以内波动，或者 ^^于实施方式的某种^ii当的容差内波动。而且，24kHz到40kHz的带 宽的限制可通it^上或者减去几kHz而不同，或者通it^Ji^者减去:^于实 施方式的某种，t当的量而不同。超声波^l^几320 M至少在直到40khz ^^有J4Ui平坦的频率响应。 用于所7JHf的摄4^MUf宗系统300的适当的超声波^bbU20;l^自Panasonic 的WM61B和WM64^b机，这些^W^直到40kHz ;*|^"^^上平坦的 频率响应。频率响应有多平坦，或者对于给定实财式来说需要多平坦，都属 于得益于本公开的本领域才t^A员的相关技能。的信号的下采样和^^虑波IMt，以改善对这#^号的后续处理阶1图4A所 示的;W于^P^声波信号斷氐到可听范围和改a号属性的下采样和滤波IMt 400的方块图。起初，J^声波换能器(350) J^j"在24kHz到40kHz范围内扫 描的超声波。在第一阶度401，这个扫描声调由每个^JUW^(320)拾取。 ^^1这个扫描声调而不是带限白噪声信号的一伟点是，这个扫描声调信号使 #^声波换能器(350)对AiM紋不容易由于非幾性失真而被听到。另一伟 点是，^^该扫描声调比白噪声信号产生更高的^>匕。^il个第一阶段401 中，对由每个;^U^U (321 )拾取的24kHz到40kHz的扫描声调信号以 96kHz进行数字采样，如图4B中的曲线图410所示，由于每个:IJW^^ (320)都拾^it个扫描声调，所以控制单元360 可对来自每个:ljU^l^(320)的信号分别4Wt某种处理，并且可对来自所 有鹏机(320)的信号总^t附加处理。但是，在随后的阶敬中，> ^来 自^h^b!M320)的信号分别^t处理。归'初始处理完成，才雜号相加在4在第二阶段402中，控制单元(360)的2"1 (two4(M)股)重M器^ 制^^将iM^后的扫描声M号的频镨从24 ~ 48kHz平移到0 ~ 24kHz，并产 生48kHz的输出;^#频率，如图4B中的曲线图420所示。在第三阶段403中， 控制单元(360)的3-2重采样器产生频率范围从OkHz到16kHz的信号，如图 4B的曲线图430所示。3-2重采样器的输出携带与在阶提401的原始^^信号 相同的信息，但是，在该阶段403的输出处于^H多的采样频率32kHz,这有助于减少后面处理期间所要求的计算。在第四阶度404，在一定的时间间隔期间，匹配滤波W^个扫描声调信 号中的能量进行压缩，从而对# (320)的每付号来说，该能量集中在一 个乐辦状波形中。这样，匹配滤波能够增强4t^匕，并且能够增大系统(300) 的可負^iE宗范围。^M^M^领域中匹配滤波^t^是已知的，因皿不^E进 树细描述了。形。对于^^样和滤波操怍400来说，由^^在采样频率^96kHz时，扫描声^ 仍是一个带限信号，因此，存^W^:于初始接收信号的相位的^t可能的乐jOt 波形，这导致当进行下采样时具有多相胃出。在第五阶段405， A^消除算法将阶段404中的匹配滤波4^的可能由反 射引起的断状波形输出的一些部^4i伤肖除。^t消除算，^i^^lJ^上 对应于到超声波换能器(350)的直接i^圣的信号务辦，并消BHt信号在该5^f ^特定时间量的^^T部分。在一个示例中，狄消除可以絲0.5ms的信号 脉沖，并且可以^il个乐辦^大约39ms的时间清零(zero-out)。 ^i4i4，由 于时域信号的动态范围可变，所以M消除算^f吏用动态阈^M只别与到换能 器(350)的直接5^^t应的信号脉冲。当^^波换能器(350)不时^;^ 间内到处移动，并Jbt目对:^WbllL(320)翻转时，会导致动态范围随时间 变化。^#消除算法首先 刚刚过去的短时间内的信号的最大值，并，态 阈值设置为那些最大值的大约八分之一。除了幼消除O卜，可^t从匹酉诚波阶段404^^的信号波形进行均 衡。例如，由于不理想的频率响应和^k^因，来自匹船虑波阶段404的输出 信号可能J^辦波形妙复杂。为了^^自匹酉&虑波阶段404的输出信号妙 ^il^t， ^t这^ft号^^^皮形均衡，以彬尝超声波换能器(350) (320)的不理想的频率响应。財卜，要注意的是，^jtR^棘(320)还可食y^取背景中的超出底噪 声2O到3OdB的一0超声波声调。背景噪声可能由周围的电子i殳备，例如台 式计胁、计胁、电^/Lf产生，并且会在一定^L斷^!'J量精度。在用 于消fiHT景噪声的第六阶段406中，控制单元(360) ^^利用背景噪声^i十器 和自适应陷波滤波器(notch filter),以消R^"些背景噪声。在*期间，估计器通it^计^^斤M的信号自动检测超声波换能器(350)是^U^从而发射 超声波。估计器以^t时间间隔捕获信号以估计背景噪声水平。这个#可能 仅花费大约一秒钟。然后，伏选使用自适应陷波滤波器来消除至少一些背景声 调。一^S4^亍了下采样和M滤波^^400,将来自:^W^几(320)的处 理过的信号输A^位置确定算法500中。简JM^说，位置确定算法50(M封十超 声波换能器(350)位于多个可負她置中的4^^位置的最大似然。^il个方法中， 初始假i5^声波换能器(350)的位S^^^免(例如房间)中的很多个可能候 选位置中的^-"位置。对每^H^t位置来说，对来自:^Wb^(320)信号 利用)^4^ (delay-sum)辦关于;&tbi^fit当的;t^并相加在"^。结果产^t于^fi^r用频率的最大可能》:^能量。然后，^^个频率械个^A^bW 320鹏白她波器(whitening filter),从而，^到总能量之中时，每个频率^^个接# (320)都同等重 要。然后，在^M矣选位置中搜索产生所有^^^^位置的最大^^能量的一 ^NIi^位置。这^H^t位置被声明作为换能器(350)的估计位置。通常，对来可E^在几百或者几千个要搜索的^^位置。M地，为了减小计算开销，搜 索^^位置利用计算高效的过程。图5A以^f呈图的形式示出用于估计超声波换能器(350)的^yt位置的位 置确定算法500的一个实施例。算法500M四^Ht道的信号作为输入(块502 )。 ^il个实施例中，每^Htit^"应于来自四个^A^M320)的所狄的超 声波信号(352)的下釆样和滤波的部分。接下来，算法500确定水^Ht道(即 每个水平布置的;|^ ^( 320))的产生最大归一化》U能量的相位差(块 504)。参照图邻对(块504)的步^i4行更详细的讨论。然后，利用这个所确 定的;NKi差确定换能器(3邻)的水平位置，并从而确定摄^N/L (340)的## 位置(块506)。然后，算法500通i^j"垂直^^320重复图邻的步絲定垂直信道(即508)。然后，利用这个确定的相位差辆定换能器(350)的垂直位置/并从而 确定摄^fe^ (340)的倾^置(块510 )。随后，算法500计算在7K平布置的麦Uy^l^几(320)处^r测到的超声 波(352 )的波阵面曲率(块512 )，并利用这个曲率计絲能器(350 )的距离， 并从而计算摄像^ (340)的变焦位置(块514)。最后，控制单元(360)命令 摄像bL (340)指向所确定的发射器(350)的位置(块516X在图5B中，示出的步骤550用于确定产生最大归"H匕^^能量的信勤目 位差。首先，对每"言道^f滤^^析(块552)。然后在所有信道的每^M 带中计算》狄能量的树块554 )。将加和的能量与预定的阈值进行J^^(块556 )， 以确定频带的数目是否大于需要的数目(块558X如果不大于，那么由于可能 ;P^v^A够的^t理的信号信息而完全绕过该^m序(块560)。如果频带的数目大于需要的数目，那么跨^t个频带^fTit^W带信号 进行归"^匕(块562)。在一个相位角范围内^f询描搜索，以得到在多个第一 相位角的波束能量(块564)。根据这个搜索，找到与最大归一化i^能對目应 的笫一相位角(块566)。然后，在关于前面找到的第一相位角的更精确的冲敝 角的角范围内WH3描搜索，以得到多个第S目位角的》狄能量(块568X根 4tit个更精确的搜索，彬'J与最大归"^^狄能量对应的第4目位角(块670)。 然后，在^的块572， ^Ut^it^分析水平布置iiA^垂直布置，将这个笫^目 位角返回到图5A中的块504或者块508。SM^/f门转到对位置确定算法的更详细的讨论。在图邻的块552中，为 了在每^HtitJi齡滤齡析，絲声波^btMT号的M^ft道^l^相等数 目的褂燉字(A/D)转换器。这些A/D转换W^声波^NT号转励数 字M。对于每^W波^MT道M来说，累积N个采样的块用于处理。在 一，&实施例中，采^目N为640。所得的输出数据用下iC^E:其中111 = 0， 1，…，M誦1(M是信道数)，！^0，1，…，N画1(N是^HI"道的 iM^X接下来，将M个块的N个采^Mt^^交叠相加滤波器组，在其中一 个实施例中，所述交叠相加滤波器组为每^ft道产生N个賴率。因此，时域 的超声波^bNHifc转涵滤波器组输出，其可絲为滤波器组输出i/J"是具有实部和虚部的复数。这里，A是频带，其可解释为频率盒(frequency bin)编号。每次在预定的时域中出现N个采样的块时，产生一组新的滤波器组输出T/JW。如果对于给定的超声波 接收机W的输入信号是滤波器组输出/fm W的、频率以称为yt'的一个 频带为中心的正弦波时，那么，那个中心频带yt'的滤波器组输出/7j^)的 大小会较大，而A - /t'的所有其他/ZJ"的大小都较小。如上所述，在块554中，计算出所有信道的每^M带中的加和的^^能 量。首先将信号归一化。等式(3)计算归一化的信号，使得在计算波束能量时 #^捐复信号的相位角(3)接下来，在每个频^Ui^ft上面隐含^flJ的)^^沐(delay-and-sum)操 作。如果子频带足够窄，可将^!M;正弦，从而可通过将复信号与相量,相乘F ^Pm(" (4) 其中eA^弦波^W望的时间量时会出现的适当相位角。对于特^J5 率预带6来说，^^Mt通过如下式W算g』=z::。',， (5)处，^表示在换能器(350)的假设位置给^位置(&w)处时，使 W的加和值的大小最大的特定相位角。由于声音到达:IJW^^^几(320)的到达时间不同，等式(5)尝淑hf尝这些不同的时间，从而可将不同的超声波 接^MMt号相加，好^il些信号正好^目同的时间到达所有的:^X^I^L(320)(即这^ft号不会异相到达)。为了计^f吏g^W的加g的大小絲能器(350)的假设位置给U位置(xow)处时最大的等式(5)的适当相位角&，假设换能器源(350)在 笛卡儿坐标系中的位置为H4，并且M (例如4)个^W^Jfc机(320) 位于位置X ，r ,Z处。那么，"下式来计^a能器(350)和第w个;^X (320) 4U聰巨离j_Z) = VK - D2 + K - L )2 + (Z广^ )2 (6)通it^^个:ljW^^(320)作为参考，例如"，参考接收机m' 与^fe^bMU'司的多巨离D的;M^it为△ =￡) -￡>, (7)/n m m另外，在参考^b^L附和^^1^L间，对于频带k的给賴率盒来说，相位角的差用下^^fe& = -2;r(24,000 +的 v ( 8 )其中，6是该子频带滤波器的每个频率:^l赫兹数，即该子频带滤波器的 中心频率为24,000+ &6赫兹。数字24,000由前面参照图4A4B讨，频il"f移 推导出。项^是以英寸为#的接 (320)之间的差射巨离，v是常数，其与声^1的倒数(1/(13.54*1000))成正比。为了抵消等式(8)中的相位移动， 等式(5)中的&被设为:H (9)通常，对频带A的每个频率^^^^声波^U几附来说，等式(9)中的 ^^P是不同的。对于>^^(繊率盒到最高频率盒(即，i^从24kHz到40kHz的范围， ^S皮转化为0到639的频率魏号)范围内的频带* ，彬恃式(5)中的换能 器(350)的萄，^Hai殳位置G",J"。最后确定随后的位^^权函歉『(x,j;,Z)=(10)确定产生等式(10)中的位i^权函数『(;c，;^的最大值的换能器(350) 的^^位置(^，z)，将將为换能器(350)的^i十位置。为了既减小计算开销，又^4检顶'贿度，M时候(例如每个P块)计算 等式(IO)中的位妙权函数『Oc，乂小在一，逸实施例中，P为5，其对应 于大约每0,l秒i^ff一次计算。jH^卜，频率賴带数据&^可在时间械率上进#^剪，使得只^^l絲后的P个块中出现的最有用的数据用于计算在P个 块的时间^C的位J^权函数『Oc，;^)。因此，鞋##论转到用于修剪频率预带数据以及^#<51^时候计算 位^^函数『(;c，w)的一些步骤。在P个块的时间段中，对频带yt的每顿 率盒来说，可通过如下式子^iE^自m >^^声波^fc^ (320)的数据，) (11)其中p-O， 1，…，P-l， m-O， 1，…，M画l。为了彬ll频带/t的给^J5率賴假设位置g( w )，在一^Ht定时间段y内选择i^w，其中，对单^^声波^^w和j^;/来说，大小i^::(w『在^=0， 1， ...， P-l中为最大，其中p可在O到P-l范围内变化。对于这个频率盒，将这个大小值与背景噪声的大小进行》嫩。如^il个大小在强度上与背景噪声过于接近，那么，对于所有的附，将归叫愤号"ot)简单i^iUO， 因为包^it个数4^l会简单iik^^果^口错溪。这样，对于给t顷率盒"假设 的位置用下i^i:然后將式(12)用在等式(10)中，以找到位J^权函数『(x,少,z)的最 大值。对频带yt的一些信号能量接近噪声能量的频率盒来说，则位置G^("将为0。如果非零频率盒的数目太少，则由于最后P个块的数据可能仅归因于噪声，因,b^过整个计算。在等式(12)中，相量项e凡;l^函数，并且具有实部和虚部，它们对 于每个频率盒A和每^^设的源位置u,z来il^不同的。因此，以控制单元(360)的运行时间计算它是4械的。>ffei^，对值进^^b计算， 储器的一个或者多个查絲中，这样控制单元(360)可^Eil行时间期间访问这 些表以拟ti十算。在用預先计算抽表的一个实施例中，时间块的大小可以是N = 640， 频率^l数目也可以为640，从低到高的频率范围可以是所有640个频率，超声 波^tti的数目M可以为4，假设的源位置的数目可为8640 (即180度在48 种距离上以1/4度的增量增加)。在所得的表中条目的数目将为条目数=2x640x16x8640 = 176， 947, 200 (13)为了提供16位的精度，^#这个4^斤需的^#^#为大约350兆字节， >^##器的大小方面，i^t典型的实財iUM兌可負IA被禁止的。为了减小表的大小，等式(12)中的相量项,的实部可用下iCj^: cos(em) = cos(2;r.WAmv)和cos(&) = cos(itA c) (14)其中，对于所有/t和附来说c是常数。由于余弦函树于自变量的每2 C重 复，因此能够通过首先计算^P、Mj ， 4^t个W^以2Tl为模计算，然后在余弦 函狄中查找结絲高^^计算cos(^J 。不是独姚计算等式(14 )，而是两顿先计算的絲表可賴錄制单 元(360)的M器中，并且可用于减少计算。产生第一，先计算的查M Z)(r，附)用于摄^W^睹系统(300 )，其中，是唯一指定3维空间中换能器(350) 的^^设位置Oc,乂z)的索引，m A^声波接WL索引。对于所有的r和m -O，l，."JVl-l，这顿先计算的查絲D"w)的条目可絲为"x (0.001/13.54) x Ar m x 512 (15 )在等式(l5)中，6 - (频率盒的中心频率)//c, A呻是对于索引为r的源位置以英寸为^的^JW附和参考^W^t间的信号i^圣差。 还产生第二顿先计算的^:余弦表cos—,w/e(/)，并定:U7:cos—似6/￡(/) = 008(;^〃256)，其中/ = 0"."512 ( 16)利用这些表Z)(r，/n)和coLto^(/)，可利用下踏到用于换能器。50)的 ^f^^位置r以及频率盒yt的 cos(《cos(6>m) = cos— /aWe
^求5的装置，其中，斜^^Ui包括在可听范围内的频率 响应。
8、 ^itwyMu的装置，还包M为发射超声波的源的可携带狄器， 所^^mw—个或者多^^声波换能器。
9、 根据^'JJNt 1的装置，其中，为了处3S^声波信号以确定源的至少大 致位置，所鄉制器舰置为对超声波信号进行下糾， 将下M的信号滤i^JI^上的l^t，和将经iM波的信号的一些部分变为零值，以去除由^jN"引起的超声波信号
10、 根^ti^u'j^求i的装置，其中，将至少两个#^沿关于所^&水平布置的轴放置，并且其中，为了处S^声波信号以确定所述源的至少U位置，所it控制器鄉5置为利用超声波信号在至少两个^4fcMU'司的相位差来计算所迷源的过水平 位置，和基于该;Ut水平位置确定可"^纟聂^^i的，变量。
11、 才M^5U，JJ^求1的装置，其中，将至少两个接胁沿关于所述源絲 垂直布置的轴放置，并且其中，为了处理超声波信号以确定所述源的至少;Ut 位置，所述控制器舰置为利用超声波信号在至少两个接》1^化间的相位差来计算所述源的^1垂直 位置，和基 过垂直位置确定可控摄胁的倾斜变量。
12、 ^4^'J^求1的装置，其中，至少两个# 1 沿轴布置，并且其中 为了处S^声波信号以确^^斤述源的至少大致位置，所it控制器^己置为L该"的;Ufc^巨离位置，和基于该;U^巨离位置确定可控摄^^的变焦变量。
13、 才N^5U'J^"求1的装置，还包括絲多个用于4^t位置的变量的絲 器，所述控制器与该絲器进^t信连接，并利用这些变量处S^声波信号和 确定源的至少大lt位置。
14、 一种摄^W^方法，包括 用多^^立的信道#*^^声波，所ii^声波^^、发射； 通iM3M所述分立的信道M的超声^^确^^i^的至少;^t位置；和控制摄^bu至少大致指向所述源的所确定的位置。
15、 ^4t^U'J^求14的方法，其中，用多^h^立的信道^^l声波的步骤^fe在每个分立的信ifJi响应大约20kHz到大约40kHz范围内的超声》t
16、 #!1^1决求14的方法，其中，处理用分立的信道#的^波的步 骤包拾在每传立的信CJ^t该超声波的信号进行下采样； 将下采样的信号滤^^1^上的步辦，和将经过滤波的信号的一些部分变为零值，以去除由反射引起的信号的部分。
17、 #^*U，JJN^ 14的方法，其中，确定所述源的至少大致位置的步骤包 括才晦由关于所述源7jc平布置的至少两个分立的信道接收的超声波信号的相 位差来计絲胁的鹏变量。
18、 #^^，]^求14的方法，其中，确定所述源的至少大致位置的步骤包 括條由关于所述源垂直布置的至少两个分立的信道接收的超声波信号的相 位差来计細沐的倾斜变量。
19、 才Fl^M'j^求14的方法，其中，确定所述源的至少大致位置的步骤包 括才Nd由沿轴布置的至少两个分立的信道接收的超声波信号的波阵面的曲率 来计^^f^L的变焦变量。
20、 "^t^^ !^^，其可由可编錄制装置棘，^M!^在该絲 ^f^SJi的指令，用于^^^斤^^可^^^制^ 置^#^似，^"求14的方法。
21、 ^t摄^^^系统，包括 ^"有至少一个J^^声波的超声波换能器的发射器单元； 可移动摄舰与所i^^W目邻布置的多个:^A，其能够至少响应由所逸E少一M 声波换能器发射的超声波；和与所述可移动摄^^^RUt信连接的控制单元，所述控制单元响应从 所赶少一^h^声波换能器检测到的超声波，接Jl^^斤述;^W送的超声波信号，所iyt制单it^:^^斤iiill声波信号，以确^^斤^A少一^N^声波换能器 的至少大ft位置，并控制可移动摄^^至少大致指向所确定的位置。
22、 ^t摄^W宗装置，包拴用于^1UU^^的超声波的装置； 用于#^狄的超声波确^^斤述源的至少大致位置的装置；以及 用于控制^BM^少;tit指向所^^的所确定的位置的^i。
23、 ；^U'澳求22的装置，其中，用于^t^^^^UN"的超声波的装置包括用于在多个分立的信道^^声波的装置，至少两个分立的信道沿第一轴布置，并JL艮少两^h^立的信道沿^j^该第一轴垂直的第^布置。
24、 ##^'决求22的装置，其中，用于^^糾的超声波确^/斤ii^的位JjW;^斤i^少^t位置的装置。
25、根据^U'澳求22的装置，其中，用于控制摄^^几至少大致指向所述源 的所确定的位置的装置包括用于将该樹W^摆、倾#变焦到所^^斤确定的 位置的装置。
全文摘要
本发明公开一种超声波摄像机跟踪系统和相关方法，所述摄像机跟踪系统包括可控摄像机、麦克风阵列和控制器。该麦克风位于可控摄像机附近，并至少响应从源发射的超声波。该麦克风另外能够响应可听频谱的声音。响应从所述源发射的超声波，所述控制器接收从麦克风传送的超声波信号，并对这些超声波信号进行处理，以确定所述源的至少大致位置。然后，所述控制器向可控摄像机发送一个或者多个命令信号，以将摄像机至少大致指向所述源的所确定的位置。该摄像机跟踪系统在所述源运动时对其进行跟踪，并连续发射超声波。所述源可以是具有一个或者多个超声波换能器的发射器包，所述超声波换能器产生从大约24kHz到大约40kHz扫描的声调。
文档编号G01S3/00GK101277422SQ20071016913
公开日2008年10月1日 申请日期2007年10月19日 优先权日2006年10月19日
发明者冯津伟, 尤瑟夫·萨利赫, 彼得·舒, 阿兰·尼米瑞 申请人:宝利通公司