专利名称：一种虚实混合的远程协同工作方法
技术领域：
本发明涉及一种虚实混合的远程协同工作方法，用于构建真人共享三维场景进行协 同工作的虚拟工作区，属于虚拟现实领域。
背景技术：
目前用户参与的共享交流是虚拟现实领域研究的热点之一，已广泛应用于游戏、共 享工作空间、视频会议等各个领域。采用的方法主要有三种。
.第一种，marker方法。该种方法通过对人体关节点增加标志点达到对人体跟踪的目 的，需要特定的设备。marker设备从实现方式上又可以分为两大类磁性跟踪设备和光 学跟踪设备。前者用一个接收器接收人身体佩戴的marker发射出的电磁频率，根据不 同marker频率的不同标定关节点的位置。后者通过在人体关节点安装光发射装置或反 射装置，通过被动接收装置或主动式光学捕获系统实现对关节点的标识。然后把关节点 的运动映射到模型上，用真实人驱动模型在虚拟环境中与其他用户交互。
第二种，模型方法。该种方法广泛应用于动作类游戏中。用一个角色模型代表玩家， 玩家通过键盘鼠标控制该模型完成在三维场景中与其他用户的交互体验。
第三种，视频方法。该种方法主要被应用于视频会议中，采集用户的视频，在各个 参与节点之间进行点对点传输，每个参与用户看到的也是其他用户的视频。
综上所述，在本发明出现之前，用户参与的共享交流要么采用模型的方法，要么采 用互传视频的方法，前者虽然能够很好地与虚拟环境进行交互，但是模型不够真实。而 视频的方法无法与虚拟环境结合，无法达到"共享"的目的。虽然近年来也出现了一些 真人进入的远程沉浸系统，但它们有的是通过多角度视频生成有深度的像素点集合进行 传输再重新组合，有的是通过前景提取的方式抠出人体影像再叠加到虚拟场景中，但前 者由于数据量大，只能采用不可靠的方式传输，造成丢包，所以容易造成人体影像的空 洞，而后者仅是二维的视频影像与三维场景的简单叠加，既不能进行有效交互也没有可 供讨论的道具，因此其效果只是类似于视频会议，并无法体现虚实融合的优势。
发明内容
本发明的技术解决问题克服现有方法的不足，提供一种虚实混合的远程协同工作
方法，该方法具有真实、便利、共享、方便交流等优点；且还可以控制自己的影像在三
4维场景中漫游，也可以通过特定手势与三维对象进行交互。
本发明的技术解决方案 一种虛实混合的远程协同工作方法步骤如下 第一步，构基于多摄像机采集的远程沉浸协同工作装置，所述的工作装置包括三 个摄像机、三个呈a角度放置的显示器和分别位于每个显示器前以45度角放置的用于 改变光路的半透半反镜，三个摄像机分别固定在半透半反镜正上方，镜头在半透半反镜 中的投影与用户正对显示器时眼睛在半透半反镜中的投影重合，通过采集半透半反镜反 射的光线采集到用户的前景影像，其中a大于90度；
第二步，利用第一步构建的装置实现三维场景中用户的实时运动影像的采集、提取、 传输、加载，具体如下
(1) 利用三个摄像机采集用户的三路视频，从视频中提取出用户的前景影像；
(2) 把三路采集的前景影像进行编码合成，生成一个用户半侧面的连续图像，该图 像是半三维前景影像，有立体感；
(3) 把步骤(2)生成的半三维前景影像经过压縮，传输到远程节点端；
(4) 远程节点端接收到压縮的半三维前景影像之后，为其标志alpha通道，通过alpha 混合把半三维前景影像加载到三维场景中，得到真人进入三维场景的效果；
(5) 控制用户影像在三维场景中的漫游及交互。
所述的步骤(1)中的提取出用户的前景影像的步骤如下
a:摄像机标定通过对所述的三个摄像机进行标定；三个摄像机接收外部主机发
出的同一个外触发信号，通过采集所述的半透半反镜反射的光线对同一个场景进行同步
真实图像的采集；
b:进行背景图像采集所述的三个摄像机在同一个硬件触发信号控制下同步采集 目标物体的图像，分别得到图像IraL、 ImM和ImR;
d:进行以用户为前景的图像采集用户进入所述的三个摄像机的采集范围，所述 的三个摄像机同步采集以原背景为背景，以用户为前景的三个图像Iml、 Im2和Im3;
e:计算前景图像对步骤(2)和步骤(3)得到的两组图像ImL和Iml、 ImM和Im2 及lmR和Im3分别求差值，得到用户的前景图像。
所述的三个摄像机的光学参数完全相同，且三个摄像机镜头均竖直向下，与半透半 反镜呈45度夹角，主轴平行。
所述的通过交互装置控制用户影像在三维场景中漫游及交互的，控制装置有键盘鼠 标方式、方向盘脚踏方式和手势方式三种，可择其一进行，或同时选择。
所述的约定手势至少有四种单手向右挥、单手向左挥、双手向前推和双手向回拉，
5分别依次代表的含义依次是视角向左转，视角向右转，影像向后退，影像向前进。
所述的约定手势还包括两种双手张开表示对对当前视野进行放大，双手合拢表示对
当前视野进行缩小。
本发明与现有技术相比的优点在于
(1) 本发明主要利用视频比模型真实感好的特性，通过对用户的视频进行前景提 取和与虚拟场景的alpha混合使真人影像进入到虚拟场景中；为了克服二维视频放在三 维场景中不真实的缺点，对三路视频进行压缩合成，生成了有侧面连续信息的半三维影 像；为了克服视频无法与虚拟对象进行交互的缺点，采用对特定手势的识别来完成交互，
这种使真人进入的虚实混合远程协同设计方法具有真实、便利、共享、方te交流等优点。
(2) 使真人影像进入到三维场景，通过网络传输和远程节点在共享的三维场景中 进行面对面的交互，在三维场景中，加入的是人体的半三维影像，在视角发生一定范围 偏转的时候，可以看到用户侧面的连续影像，具有一定的三维效果，真实感强；在三维 场景中，用户可以控制自己的位置和视角，实现在虚拟场景中的自由活动，而且可以通 过对特定手势的识别实现对虚拟场景的正向交互。
图1为本发明的虚拟协同工作台装置图； 图2为本发明的真人进入三维场景方法的流程图； 图3为本发明的人体影像前景提取方法流程图； 图4为本发明的半三维影像生成方法流程图。
具体实施例方式
本发明通过如图1所示的基于多摄像机采集的远程沉浸协同工作装置进行采集和 显示，在虚拟场景中进行协同工作的人是真人的影像，其全部表情、动作都是实时采集 的真人视频。
图1中的装置由三块半透半反镜2、三个摄像机3和三个显示器1组合。三块半透 半反镜2通过一个固定架4固定或通过三个固定架分别固定，固定架4竖直的一面与显 示器相邻，倾斜的一面放置半透半反镜2，每个半透半反镜2与显示器1的夹角为45度， 相邻两个显示器2间的夹角为a，其中a大于90度，因此半透半反镜不能切割为矩形， 假设显示器1的尺寸为a*b (长X高)，则半透半反镜2所切割成的梯形为一个等腰梯 形，它的上底(较长的一端)为a，下底(较短的一端)为a-2b*C0S (a/2)，两腰长 度为1.414b。
三个摄像机的光学参数完全相同，且三个摄像机分别固定在半透半反镜2的正上
6方，镜头竖直向下，，与半透半反镜呈45度夹角r.主轴平行，镜头在半透半反镜中的投 影与用户正对显示器时眼睛在半透半反镜中的投影重合。在摄像机镜头所在平面放置深 色(黑色或深蓝色等)挡光板，同时挡光板上开一个小孔，孔的尺寸和摄像机镜头尺寸 相当，摄像机通过该小孔采集图像。
如图2所示，本发明一种虚实混合的远程协同工作方法的具体步骤为
(1) 采集用户的三路视频，从视频中提取出用户的前景影像； 其中人体前景影像提取的具体实施方法如图3所示，具体步骤如下-
a:摄像机标定先把三个摄像机镜头向下固定在架子上，让三个摄像机共同采集 一条竖直向下的线(比如两面墙相交的缝)，校正摄像机，使摄像机采集的线的图像和 铅锤线重合，从而保证方向竖直并且主轴之间互相平行；
b:进行背景图像采集三个摄像机在同一个硬件触发信号控制下同步采集目标物 体的图像，分别得到图像IraL、 ImM和ImR，这里的ImL、 ImM和ImR分别是一个像素结构的 数组，该像素结构是一个三元组W， G, B}，元组中R， G， B分量分别代表红，绿，蓝的 颜色值，范围是0~255，而ImL、 ImM和ImR就是这个三元组的一个数组，数组的大小就 是采集图像的像素数。这里的ImL、 I謹和ImR不是实际采集的图像，而是通过计算平均 值得到的。由于光线扰动等因素的干扰，采集背景图像的时候，通常采用一个数组，存 储一段时间采集的背景不变的图像(如10帧)，然后对每个像素的值取平均，从而得到 均一化的ImL、 ImM和ImR。以ImL某一个像素ImLw (i和j分别表示该像素在整个图像中的 行和列)的R分量为例，就是用摄像机采集10帧，分别记为ImL[l] 、 ImL[2]、……、ImL[lO]，
则像素ImUj的R分量分别记为ImL[l!Uj. R、 ImL[2]w. R、 ......、 ImL[10]一 R,贝"mUj.R
- (ImL[l]w.R+ 1111"2]^.1 +……+ ImL[10]i,j.R)/10。按照这个方法对其他分量和每一 个像素进行计算就得到了整个背景图像的均一化值。
c:进行以甩户为前景的图像采集:甩户进入三个摄像机的釆集范围，三个摄像机 同步采集以原背景为背景，以用户为前景的三个图像Iml、 Im2和Im3;
d:计算前景图像对步骤(2)和步骤(3)得到的两组图像ImL和Iral、 ImM和Im2 及ImR和Im3对应的像素的对应分量分别求差值，超过阈值的即为用户的前景图像。
(2) 把三个角度采集的前景图像进行编码合成，生成一个用户半侧面的连续图像， 该图像是半三维的，有一定的立体感；
图像合成的具体实施方法如图4所示，具体步骤如下
a:投影变换，由于用户的前景图像是在不同角度下拍摄的，它们并不在一个投影 平面上，如果直接对重叠图豫进行无缝拼接就会破坏实际景物的视觉一致性，因此，结合本方法的应用范围，需要将得到的反映各自投影平面的图像映射到一个标准投影一一 柱面投影上。
b:特征点提取，在选择特征点的时候，首先要保证旋转、缩放的不变性；其次特 征点的数量应该丰富，因为只有这样，才能充分表达出图像之间的关联关系；另外就是 特征点的提取速度要快，因为本方法是要应用于实时的交互系统中，所以必须满足每秒 15帧的图像性能指标。SURF特征点是可供选择的一种。
c:特征点匹配，以SURF特征点为例，包含了每个特征点属性的矢量，所以可以釆 用距离测度来进行匹配，如选用欧式距离来描述两个特征点之间的相似性。n维空间的 欧式距离公式如下
其中i=l,2,…，n。 Xi,表示第一个点的第i维坐标，Xi2表示第二个点的第i维坐标。 n维欧氏空间是一个点集，它的每个点可以表示为(x。X2，…，xj，其中Xi(i=l，2，…，n) 是实数，称为x的第i个坐标，同样也有y:(y,，y2,…，y )。两个点x和y之间的距离d(x, y) 定义为上述公式。
每个SURF特征点都有一个64位的描述矢量。将每个点的描述矢量作为64维空间 的一个点，利用欧氏距离对两点进行距离测度，距离度量值越小，两点越相似。
d:图像融合，通过上面的算法得到图像ImX和ImY的多组相匹配的特征点x和y 之后，让y所在图像ImY作平移，使得y和x重合，从而实现图像的拼接，生成可以转 动一定角度的半三维影像。
(3) 把生成的半三维影像进行压縮，传输到远程节点端。对半三维影像的压縮分 为两个部分， 一部分是对单帧的压縮， 一部分是对视频流的压缩。
首先是对单帧的压縮，由于生成的半三维影像中的有效数据只有用户的前景影像， 为了压缩数据，这里把原来的三元组的像素结构改成了四元组结构"，R, G， B},其中 n代表某一前景像素点在原图像中的位置，R， G， B分别等于该前景像素点的R， G， B 值。虽然元组多出一维，但是省略了大片背景的传输，还是起到了压缩的效果。另外在 传输的时候还可以采用一些压縮算法对图像数据进行压縮，使数据量更小。
其次是对视频流的压縮，由于该视频流对象的位置、姿势基本不变，因此各帧间相 关性很大，可以对前后两帧做插值，只传递帧间改变的部分，当改变超过一定的阈值才 传递整个图像，这样就能更加节省对网络带宽的占用。
(4) 远程节点端接收到压縮合成的前景图像之后，对其解压缩,并为其标志alpha通道，即把三元组改变为四元组(R， .G.， B， A}，图像中前景部分像素购A值为1，背景 部分像素的A值为O。然后通过alpha混合把影像加入到三维场景中，实现背景透明的 效果。
(5)通过交互装置控制自己的影像在三维场景中漫游，通过对约定手势的识别与 三维对象进行交互。
控制漫游的方式一共有三种，分别是键盘鼠标方式、方向盘脚踏方式和手势方式， 可择其一进行，或同时选择。其中键盘鼠标方式采用一般游戏中常用的操作方法，通过 鼠标控制视角的方向，通过键盘"上"、"下"、"左"、"右"(或"W" 、 "S"、 "A" 、 "D"')控制本地第一人称视点位置的移动，在远程节点端看来就是该用户影像 位置的移动。第二种是方向盘脚踏的方式，类似于机动车的驾驶方式，方向盘控制视角， 脚踏控制本地第一人称视点位置的移动。另外一种就是手势方式，通过对约定手势的识 别实现在场景中的漫游，如单手向右挥、单手向左挥、双手向前推和双手向回拉，分别 依次代表的含义依次是视角向左转，视角向右转，影像向后退，影像向前进。
还可以通过对约定手势的识别与三维对象进行交互，如双手张开表示对对当前视野 进行放大，双手合拢表示对当前视野进行縮小等。
本发明未详细阐述的部分属于本领域技术人员公知技术。
最后所应说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本技术 领域的普通技术人员来说，在不脱离本发明利用把真人前景影像加入三维场景中，并通 过对特定手势的识别与三维场景进行交互原理的前提下，还可以做出若干改进或等同替 换，这些改进和等同替换也应视为本发明的保护范围。
权利要求
1、一种虚实混合的远程协同工作方法，其特征在于步骤如下第一步，构建基于多摄像机采集的远程沉浸协同工作装置，所述的工作装置包括三个摄像机、三个呈α角度放置的显示器和分别位于每个显示器前以45度角放置的用于改变光路的半透半反镜，三个摄像机分别固定在半透半反镜正上方，镜头在半透半反镜中的投影与用户正对显示器时眼睛在半透半反镜中的投影重合，通过采集半透半反镜反射的光线采集到用户的前景影像，其中α大于90度；第二步，利用第一步构建的装置实现三维场景中用户的实时运动影像的采集、提取、传输、加载，具体如下(1)利用三个摄像机采集用户的三路视频，从视频中提取出用户的前景影像；(2)把三路采集的前景影像进行编码合成，生成一个用户半侧面的连续图像，该图像是半三维前景影像，有立体感；(3)把步骤(2)生成的半三维前景影像经过压缩，传输到远程节点端；(4)远程节点端接收到压缩的半三维前景影像之后，为其标志alpha通道，通过alpha混合把半三维前景影像加载到三维场景中，得到真人进入三维场景的效果；(5)控制用户影像在三维场景中漫游及交互。
2、 根据权利要求l所述的虚实混合的远程协同工作方法，其特征在于:所述的步骤 (1)中的提取出用户的前景影像的步骤如下a:摄像机标定通过对所述的三个摄像机进行标定；三个摄像机接收外部主机发 出的同一个外触发信号，通过采集所述的半透半反镜反射的光线对同一个场景进行同步 真实图像的采集；b:进行背景图像采集所述的三个摄像机在同一个硬件触发信号控制下同步采集目 标物体的图像，分别得到图像ImL、 IraM和ImR;d:进行以用户为前景的图像采集用户进入所述的三个摄像机的采集范围，所述 的三个摄像机同步采集以原背景为背景，以用户为前景的三个图像Iml、 Im2和Im3;e:计算前景图像对步骤(2)和步骤(3)得到的两组图像ImL和Iml、 ImM和Im2 及ImR和Im3分别求差值，得到用户的前景图像。
3、 根据权利要求l所述的一种虚实混合的远程协同工作方法，其特征在于所述的 三个摄像机的光学参数完全相同，且三个摄像机镜头均竖直向下，与半透半反镜呈45度夹角，主轴平行。
4、 根据权利要求l所述的虚实混合的远程协同工作方法，其特征在于所述的通过 交互装置控制用户影像在三维场景中漫游及交互的，控制装置有键盘鼠标方式、方向盘 脚踏方式和手势方式三种，可择其一进行，或同时选择。
5、 根据权利要求4所述的虚实混合的远程协同工作方法，其特征在于所述的约定 手势至少有四种单手向右挥、单手向左挥、双手向前推和双手向回拉，分别依次代表 的含义依次是视角向左转，视角向右转，影像向后退，影像向前进。
6、 根据权利要求4所述的一种虚实混合的远程协同工作方法，其特征在于所述的 约定手势还包括两种，双手张开表示对对当前视野进行放大，双手合拢表示对当前视野 进行縮小。
全文摘要
一种虚实混合的远程协同工作方法，由三个拼接显示的显示器组成显示装置，每个显示器前面以45度角倾斜放置半透半反镜，镜子上方摄像头的镜头竖直向下，通过采集镜子反射的光线采集到用户的正对视线。在进行采集时，初始化阶段三个摄像机采集背景图像，然后采集背景不变用户进入的图像，对两组图像分别求差值，得到用户的前景图像；把三路图像进行编码，合成为一个用户半侧面的连续图像，该图像是半三维的有立体感；对图像进行压缩编码并传输，远端接收到压缩合成的前景图像之后设alpha通道，通过alpha混合把前景影像加入到三维场景中，用户可以控制自己的影像在三维场景中漫游，也可以通过特定手势与三维对象进行交互。本发明具有真实、便利、共享、方便交流等优点。
文档编号H04N13/00GK101489150SQ200910077230
公开日2009年7月22日 申请日期2009年1月20日 优先权日2009年1月20日
发明者刘寒冰, 威 吴, 忠 周, 常雪枫, 赵沁平 申请人:北京航空航天大学