专利名称:在会议电视系统中传输多路视频的方法
技术领域：
本发明涉及多媒体通信领域，尤其涉及在会议电视系统中传输多路视频的方法。
技术背景
会议电视系统是指通过各种通讯传输媒体，将图像、语音、文字、图片等多种信息分送到各个用户，使得在地理上分散的用户可以共聚一处，通过图像、声音等多种方式交流信息。这样，开会时就不需要将人们从四面八方召集过来，既节省了时间和金钱，又免除了人们往返奔波之苦。目前，国内外主流的会议电视设备大都采用基于H系列的国际标准，主要集中在H. 320系列和H. 323系列。其中，遵循H. 320协议的会议电视系统主要应用于El、 V. 35、ISDN等以电路交换为基础的网络上，遵循这种标准的会议电视系统具有稳定性和可靠性高、技术标准成熟、设备种类丰富、网络线路专网专用等优点，因而备受那些对图象质量要求高、注重稳定性和可靠性的群体的欢迎。另外，在全球范围内能够使用并且保证质量的会议电视网络目前一般都采用基于H. 320协议技术的视讯设备。
随着H. 320会议电视系统的普及，人们提出了更多需求，传输两路甚至更多路视频就是其中之一。目前，检索到的现有技术方案有两种，分述如下
第一种方案是将两路或更多路视频进行叠加，然后将叠加后的图像进行编码和传输。如华为技术有限公司申请的中国专利02106057. 6“会议电视终端的双视传送系统”，其公开了一种在会议电视终端之间进行双视传送的方法。在各路视频源和编码器之间增加一个多路视频控制器，对多路视频进行处理，处理以后的图像传给编码器进行编码。由该技术方案可见，实际上在会议电视终端之间传输的是多路视频控制器的输出视频，其只是单路视频，不是真正意义上的多路视频传输。
第二种方案是采用ITU-T 的 H. 3 草案“Role Management andAdditional Media Channels for H. 300-series Terminals”。该方案的基本思路为首先通过扩展的能力交换来获取第二路视频的带宽；然后综合呼叫速率和HSD信息计算出第二路视频的信道占用情况，包括起始子时隙和结束子时隙；最后在对应的通道中分别传送两路视频数据。最后的 H. 221帧结构见图1，其中音频数据、FAS、BAS、HSD都和普通H. 221帧结构中的一样，只是视频数据分成第一路视频数据和第二路视频数据两个部分，分占不同的时隙和子时隙进行传输。
这种方案可以实现多路视频的传输，但缺点也很明显
其一，每路视频填入到相应的通道时都要做比特移位操作，这无疑会大大增加计算量。视频路数越多，计算量增加越多，带来的直接结果是系统效率大为降低。
其二，实现复杂。采用这种方案会对现有的H. 320协议有较大改动，MCU和终端需要做大量的改动。
其三，视频码率不能随意设置，因为第二路及以后视频的码率所占用的通道是以子时隙为单位的，而每个子时隙的带宽是8Kbps，所以码率也必须是8Kbps的整数倍。
其四，各路视频的信道占用情况计算复杂。必须获取第一路视频的信息和HSD、MLP、HMLP等信息才能计算出第二路视频的信道占用情况，然后才能计算出第三路视频的信道占用情况，依此类推。
发明内容
本发明的目的在于提供一种在会议电视系统中基于包结构传输多路视频的方法， 以克服现有技术中存在的系统效率低、实现复杂、各路视频码率不能任意设置、信道占用参数计算复杂等缺点。
为实现以上目的，本发明所采取的技术方案为
一种在会议电视系统中传输多路视频的方法，该方法对各路视频分别进行包封装，将生成的多个包组织成单一数据流，并填充到帧结构中进行传输。
优选地，该方法包括对各路视频分别进行编码后，以包封装的方式对所述多路视频进行复用，生成单一视频数据流；将所述多路视频复用后的单一视频数据流与其他类型数据一起构成帧结构；将所述帧结构通过网络发送给接收终端；所述接收终端对所接收的帧结构中的所述单一视频数据流进行解复用，以提取出各路视频数据。
优选地，在所述复用步骤之前还包括确定帧结构中分配给视频数据的时隙和子时隙的情况；根据所确定的视频数据的时隙和子时隙的分配情况计算出视频数据所占用的总带宽；确定要传输的视频路数及各路视频的参数；根据所确定的各路视频的参数分别对各路视频进行编码。
优选地，所述确定视频数据的时隙和子时隙情况的步骤是发送终端与MCU之间、 或接收终端之间通过H. 320协议的能力交互过程完成的。
优选地，所述确定视频路数及各路视频参数的步骤是发送终端与MCU之间、或接收终端之间通过扩展的BAS码完成的，扩展的BAS码内容包括视频路数、每路视频的码率、 视频格式。
优选地，所述各路视频的参数包括带宽、视频格式，其中各路视频的带宽之和小于或等于所计算出的视频数据占用的总带宽。
优选地，所述编码步骤中传送各路视频以进行编码的码率是该路视频的码率乘以折算系数，以考虑对该路视频数据进行封装时包头所占用的带宽，其中该折算系数小于或等于一个包最多可传输的有效数据字节数/包长。
优选地，所述复用步骤进一步包括将各路视频的数据封装成固定大小的包；将各路视频打包后的数据以包为单位进行混合，以生成单一的数据流。
优选地，所述各路视频的数据包由固定长度的包头、视频数据和填充字节组成。
优选地，所述包头包括同步头，其标明包的开始，用于进行包的同步操作；标识， 其标明包的类型，用于区分该包来自哪一路视频；序号，其标明包在该类型中的顺序，用于检测该包与该路视频中其前面的包是否连续；数据长度，其标明包中承载的有效视频数据的长度。
优选地，所述包中的序号依该路视频中数据被封装成包的先后顺序而递增。
优选地，所述填充字节用于在该包中的包头与视频数据的总长度未达到所述固定包长时，填补不足部分。
优选地，所述构成帧结构的步骤进一步包括将所述多路视频复用后生成的单一数据流填充到所确定的带宽中对应于视频数据的时隙和子时隙中；将所述视频数据与其他类型的数据一起、加上H. 320信令构成H. 221帧。
优选地，在所述解复用步骤之前还包括所述接收终端确定帧结构中分配给视频数据的时隙和子时隙的情况；所述接收终端确定所传输的视频路数及各路视频的参数。
优选地，所述确定视频数据的时隙和子时隙情况的步骤是接收终端与MCU或接收终端之间通过H. 320协议的能力交互过程完成的。
优选地，所述确定视频路数及各路视频参数的步骤是所述接收终端与MCU或接收终端之间通过扩展的BAS码完成的，扩展的BAS码内容包括视频路数、每路视频的码率、视频格式。
优选地，所述解复用的步骤进一步包括所述接收终端根据所确定的视频数据对应的时隙和子时隙从所接收的帧结构中提取出视频数据；所述接收终端在所提取出视频数据中分别对应于各路视频的各包中寻找包头；所述接收终端根据所述各包中的包头信息提取出该包中所承载的有效视频数据。
优选地，所述视频数据中的各包为固定大小的包，且各包分别由固定长度的包头、 视频数据和填充字节组成。
优选地，所述各包中的包头包括同步头，其标明包的开始，用于进行包的同步操作；标识，其标明包的类型，用于区分该包来自哪一路视频；序号，其标明包在该类型中的顺序，用于检测该包与该路视频中其前面的包是否连续；数据长度，其标明包中承载的有效视频数据的长度。
优选地，在所述解复用步骤之后还包括所述接收终端对所接收帧结构中的单一视频数据流解复用后得到的各路视频数据进行解码；所述接收终端输出解码后得到的各路视频数据。
采用本发明在会议电视系统中传输多路视频的方法，可以方便地实现在会议电视系统中多路视频数据的传输，而且每路视频的码率可以任意设置。与现有技术相比，本发明技术方案的优势在于
1.由于本发明方法中将所有的视频数据合并成统一的视频流来处理，所以处理两路视频和多路视频的复杂度是一样的，从而提高了系统效率；
2.实现简单，对现有H. 320系统改动小，只需对MCU和终端做很小的改动即可；
3.各路视频的带宽可任意设置；
4.由于各路视频共用一个通道，所以通道建立简单。
相信通过以下结合附图对本发明具体实施方式
的说明，能够使人们更好地了解本发明上述的特点、优点和目的。
图1是现有技术中按照H. 329协议生成的H. 221帧结构的示意图；
图2是根据本发明在会议电视系统中传输多路视频的方法流程图；
图3是根据本发明一个实施例在发送终端处的处理流程图；
图4是根据本发明一个实施例对各路视频数据进行包封装的示意图；
图5是根据本发明一个实施例构成的H. 221帧结构的示意图；[0044]图6是根据本发明一个实施例对多路视频数据进行复用的原理图；
图7是根据本发明一个实施例在接收终端处的处理流程图；
图8是根据本发明一个实施例对多路视频数据解复用的原理图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细的说明。
图2是根据本发明在会议电视系统中传输多路视频的方法流程图。如图2所示， 利用本发明所提供的方法在会议电视系统中实现多路视频传输的过程主要包括采用对各路视频分别进行包封装的方式对多路视频进行复用，以生成单一的数据流，步骤205 ；将多路视频复用后的数据流与其他类型数据一起构成帧结构，步骤210 ；将该帧结构通过网络发送给接收终端，步骤215 ；接收终端对所接收的帧结构中的单一视频数据流进行解复用， 以提取出各路视频数据，步骤220。
在本发明的一个实施例中，要在会议电视系统中实现两路视频的传输，会议码率为1920Kbps ；第一路视频码率为1200Kbps速率，第二路视频码率为640Kbps速率；无HSD ； 音频为56Kbps ;LSD为6. 4Kbps。发送终端和接收终端通过MCU相连。本实施例中，将这两路视频的传输过程划分为发送终端和接收终端处的两部分处理流程，并分别结合图3和图 7来进行描述。
图3显示了本实施例中在发送终端处的处理流程。如图3所示
在步骤305，发送终端按照H. 320协议和MCU进行能力交换，获得视频数据在初始传输信道中所占用的时隙、子时隙的分配情况。音频数据占用了初始传输信道(第1时隙) 的1到7子时隙；LSD数据视频数据占用了初始传输信道除音频数据和FAS、BAS之外的所有带宽；而视频数据占用了信道中2 30时隙的所有带宽。所以视频总带宽为1856Kbps。
在步骤310，发送终端和MCU进行扩展能力交换，得出各路视频的参数，第一路视频码率为1200Kbps，第二路视频为640Kbps。两路视频相加总码率为1840Kbps，小于可用的视频总带宽。
在步骤315，发送终端按照各路视频参数启动两路视频编码。考虑到对视频数据进行包封装时，包头会占用部分带宽，所以传给各路编码单元的视频码率是步骤310中获取的各路视频码率乘以折算系数。从本实施例中对各路视频数据进行封装所采用的包结构，可以得出各路视频传输效率为000-4)/200 = 98%，以此做为折算系数，则第一路视频码率为1176Kbps，第二路视频码率为627Kbps。将折算后的码率传给两路编码单元，以对两路视频数据进行编码。
在步骤320，判断会议电视系统目前是否处于会议中，如果在会议中，则该处理流程前进到步骤325，否则该处理流程结束。
在步骤325，对各路视频数据进行包封装。本实施例中，所采用的包结构为包头占用4个字节，包长为200字节。从各路视频编码单元获取编码后的视频数据，将每路视频数据加上4个字节长度的包头，打成长度为200字节的包。图4是本实施例中对各路视频数据进行包封装的示意图，如图4所示，该包结构中包头包括同步头、标识、序号、数据长度。 下面表1中显示了本实施例的包头中各部分信息的含义
表 1[0057]
顺序 I字段名称I含义
_1_同步头表明是包的开始，用于进行包的同步操作_
_2_标识表明包的类型，用于区分是第几路视频_
3_序号表明该类型包的顺序，用于接收终端检测包是否连续。_
4I数据长度I指明该包中所承载的有效数据长度
其中，包头信息中同步头长1个字节，固定为0x47 ；标识长1个字节，取值范围从 0到255，其中255用做填充空包的标识，用于视频数据长度不够时进行填充，以保证包中码率恒定；序号长1个字节，取值范围从0到255初始值为0，每发送一个同类型的包序号就加1，当到达最大值后又从0开始计数；数据长度长1个字节，取值范围从0到184，为0时代表全部是填充字节；为184则代表包中除包头外全部是有效数据，取值在两者之间的代表包中不仅含有有效数据，还有填充字节。填充字节是用于当视频数据加上包头没有达到包长时，填补不足部分，其固定为OxFF。
在步骤330，将两路打包后的视频数据以包为单位进行混合，复用在一起，生成单一的数据流。图6是本实施例中多路视频数据复用的原理图，其中各路打包后的视频数据通过多路视频复用单元进行复用，生成以包为单位的单一的码流。
在步骤335，将复用后的数据流按照H. 221的帧结构放入所确定的对应时隙中，和其他数据一起形成H. 221帧。根据在步骤305中得到的结果，复用后的数据流应该占用2 到30时隙，图5显示了根据本实施例构成的H. 221帧结构的示意图。此外，当数据不够时要填充空包，以保证输出码率恒为1856Kbps。
在步骤340，发送终端将成帧后的H. 221数据发送到网络。
图7是本实施例中在接收终端处的处理流程图。如图7所示
在步骤705，接收终端按照H. 320协议和MCU进行能力交换，获得在传输信道中视频数据占用的时隙、子时隙的分配情况。得出的结果和步骤305中的一致，视频数据占用了 2 30时隙的所有带宽，总带宽为1856Kbps。
在步骤710，接收终端和MCU进行扩展能力交换，得出各路视频的参数。得出第一路视频码率为1200Kbps，第二路视频为640Kbps。两路视频相加总码率为1840Kbps，小于可用的视频总带宽。
在步骤715，接收终端按照各路视频参数启动两路视频解码。与步骤315中的计算过程一样，得出的结论也一样，第一路视频码率为1176Kbps，第二路视频码率为627Kbsp。 将折算后的码率传给两路解码单元以对两路视频数据进行解码。
在步骤720，判断会议电视系统目前是否处于会议中，如果在会议中，则该处理流程前进到步骤725，否则该处理流程结束。
在步骤725，从网络接收数据。
在步骤730，接收终端从接收的H. 221帧中提取出视频数据。从步骤705中可以得出视频数据占用了 2 四时隙。将这些时隙的数据顺序取出，放入到视频接收缓冲区中。
在步骤735，对接收到的数据进行解复用处理，以得到两路纯粹的视频码流。图8 是本实施例中多路视频数据解复用的原理图，复用的数据流通过多路视频解复用单元进行解复用，剔除包头和填充字节，输出多路视频码流。具体地，在解复用时首先需要寻找包头， 如果连续5次在间隔200字节处找到同步头，即0x47，就表明进入同步状态；如果连续3次在间隔200字节处未找到同步头，就表明进入失步状态，需要再次进行同步操作。解复用时必须根据包头信息来确定该包属于哪路视频，包含多少有效数据，数据是否连续，然后将有效数据分别放到对应路视频的输出缓冲区中。但发现数据不连续时还需做些错误处理，如冻结等。
在步骤740，接收终端从两路视频输出缓冲区中取出视频数据，分别传给两路解码单元。
在步骤745，两路解码单元对所输入的视频数据进行解码，并将解码后的图像输出，在电视机上进行显示。
类似地，可以参照上述步骤来实现传输超过两路视频的情形。
以上虽然通过示例性的实施例对本发明的在会议电视系统中传输多路视频的方法进行了详细的描述，但是以上的实施例并不是穷举的，本领域技术人员可以在本发明的精神和范围内实现各种变化和修改。因此，本发明并不限于这些实施例，本发明的范围仅由所附权利要求
为准。
权利要求
1.一种在会议电视系统中传输多路视频的方法，其特征在于，该方法对各路视频分别进行包封装，将生成的多个包组织成单一数据流，并填充到帧结构中进行传输；该方法包括以下步骤对各路视频分别进行编码后，以包封装的方式对所述多路视频进行复用，生成单一视频数据流；将所述多路视频复用后的单一视频数据流与其他类型数据一起构成帧结构； 将所述帧结构通过传输信道发送给接收终端；所述接收终端对所接收的帧结构中的所述单一视频数据流进行解复用，以提取出各路视频数据。
2.如权利要求
1所述的方法，其特征在于，在所述复用步骤之前还包括 确定传输信道中分配给视频数据的时隙和子时隙的情况；根据所确定的视频数据的时隙和子时隙的分配情况计算出视频数据所占用的传输信道中的总带宽；确定要传输的视频路数及各路视频的参数； 根据所确定的各路视频的参数分别对各路视频进行编码。
3.如权利要求
2所述的方法，其特征在于，所述确定传输信道中视频数据的时隙和子时隙情况的步骤是发送终端与MCU或接收终端之间通过H. 320协议的能力交互过程完成的。
4.如权利要求
2所述的方法，其特征在于，所述确定视频路数及各路视频参数的步骤是发送终端与MCU或接收终端之间通过扩展的BAS码完成的，扩展的BAS码内容包括视频路数、每路视频的码率、视频格式。
5.如权利要求
2所述的方法，其特征在于，所述各路视频的参数包括带宽、视频格式， 其中各路视频的带宽之和小于或等于所计算出的视频数据占用的总带宽。
6.如权利要求
4所述的方法，其特征在于，所述编码步骤中传送各路视频以进行编码的码率是该路视频的码率乘以折算系数，以考虑对该路视频数据进行封装时包头所占用的带宽，其中该折算系数小于或等于一个包最多可传输的有效数据字节数/包长。
7.如权利要求
1所述的方法，其特征在于，所述复用步骤进一步包括 将各路视频的数据封装成固定大小的包；将各路视频打包后的数据以包为单位进行混合，以生成单一的数据流。
8.如权利要求
7所述的方法，其特征在于，所述各路视频的数据包由固定长度的包头、 视频数据和填充字节组成。
9.如权利要求
8所述的方法，其特征在于，所述包头包括 同步头，其标明包的开始，用于进行包的同步操作； 标识，其标明包的类型，用于区分该包来自哪一路视频；序号，其标明包在该类型中的顺序，用于检测该包与该路视频中其前面的包是否连续；数据长度，其标明包中承载的有效视频数据的长度。
10.如权利要求
9所述的方法，其特征在于，所述包中的序号依该路视频中数据被封装成包的先后顺序而递增。
11.如权利要求
8所述的方法，其特征在于，所述填充字节用于在该包中的包头与视频数据的总长度未达到固定包长时，填补不足部分。
12.如权利要求
2所述的方法，其特征在于，所述构成帧结构的步骤进一步包括 将所述多路视频复用后生成的单一数据流填充到所确定的传输信道对应于视频数据的时隙和子时隙中；将所述视频数据与其他类型的数据一起、加上H. 320信令构成H. 221帧。
13.如权利要求
1所述的方法，其特征在于，在所述解复用步骤之前还包括 所述接收终端确定帧结构中分配给视频数据的时隙和子时隙的情况；所述接收终端确定所传输的视频路数及各路视频的参数。
14.如权利要求
13所述的方法，其特征在于，所述确定传输信道中视频数据的时隙和子时隙情况的步骤是接收终端与MCU之间、或接收终端之间通过H. 320协议的能力交互过程完成的。
15.如权利要求
13所述的方法，其特征在于，所述确定视频路数及各路视频参数的步骤是所述接收终端与MCU之间、或接收终端之间通过扩展的BAS码完成的，扩展的BAS码内容包括视频路数、每路视频的码率、视频格式。
16.如权利要求
13所述的方法，其特征在于，所述解复用的步骤进一步包括 所述接收终端根据所确定的视频数据对应的时隙和子时隙在从传输信道中接收的帧结构中提取出视频数据；所述接收终端在所提取出视频数据中分别对应于各路视频的各包中寻找包头； 所述接收终端根据所述各包中的包头信息提取出该包中所承载的有效视频数据。
17.如权利要求
16所述的方法，其特征在于，所述视频数据中的各包为固定大小的包， 且各包分别由固定长度的包头、视频数据和填充字节组成。
18.如权利要求
16或17所述的方法，其特征在于，所述各包中的包头包括 同步头，其标明包的开始，用于进行包的同步操作；标识，其标明包的类型，用于区分该包来自哪一路视频；序号，其标明包在该类型中的顺序，用于检测该包与该路视频中其前面的包是否连续；数据长度，其标明包中承载的有效视频数据的长度。
19.如权利要求
1所述的方法，其特征在于，在所述解复用步骤之后还包括所述接收终端对所接收帧结构中的单一视频数据流解复用后得到的各路视频数据进行解码；所述接收终端输出解码后得到的各路视频数据。
专利摘要
本发明公开了一种在会议电视系统中传输多路视频的方法，包括采用对各路视频分别进行包封装的方式对所述多路视频进行复用，以生成单一的数据流；将所述多路视频复用后的数据流与其他类型数据一起构成帧结构；将所述帧结构通过网络发送给接收终端；所述接收终端对所接收的帧结构中的单一视频数据流进行解复用，以提取出各路视频数据。本发明可以方便地实现在会议电视系统中多路视频数据的传输，而且每路视频的码率可以任意设置，克服了现有技术中的系统效率低、实现复杂、信道占用参数计算复杂等缺点。
文档编号H04N7/15GKCN101073257 B发布类型授权 专利申请号CN 200480044542
公开日2012年5月30日 申请日期2004年12月22日
发明者朱晓斌, 李晖, 田智平 申请人:中兴通讯股份有限公司导出引文BiBTeX, EndNote, RefMan专利引用 (2),