一种视频会议系统及其实现视频图像传输控制的方法
【技术领域】
[0001]本发明属于视频会议技术领域，更具体的说，本发明涉及一种视频会议系统及其实现视频会议视频图像传输控制的方法。
【背景技术】
[0002]视频会议系统，又称会议电视系统，是指两个或两个以上不同地方的个人或群体，通过传输线路及多媒体设备，将声音、影像及文件资料互传，实现即时且互动的沟通，以实现会议目的的系统设备。
[0003]近年来，随着互联网和多媒体技术的迅速发展，具有较好实时性和交互性的实时视频会议系统得到了广泛应用，并且对视频质量提出了越来越高的要求。
[0004]目前在基于混屏方案的多人视频会议系统中，视频客户端根据用户配置参数和网络传输反馈信息，选择合适的视频分辨率和帧率进行编码和传输；多点控制单元(MCU，Mult1-Point Control Unit)收到客户端的码流后，解码所有上行视频流为YUV(其中〃Y〃表示明亮度(Lumina nce或Luma)，也就是灰阶值;是个基带信号。而"U〃和"V〃表示的则是色度(Chrominance或Chroma))图像，然后按照既定的窗口布局，对所有解码YUV图像进行缩放处理后拼接成一幅混屏图像，然后将混频图像编码并发送到每个视频客户端进行显示。从视频图像角度来看，视频客户端采集、编码的图像分辨率和MCU混屏分辨率是相对独立的。
[0005]但上述现有技术存在如下问题:
[0006]第一，视频客户端为保证清晰度一般会按照当前网络允许的最大分辨率进行采集、编码和传输，会造成视频客户端中央处理器的处理能力和网络传输带宽的浪费或成本提升；
[0007]第二，MCU需要解码多路较高分辨率的视频码流，并对其进行缩放和混屏，会增加MCU的解码和缩放负载，如果使用较低复杂度的缩放算法还会造成混屏图像的质量损失。
[0008]第三，MCU混屏后的图像需要发送到每个视频客户端，此混屏图像中包含的视频客户端的视频与视频客户端本地采集的视频实际上是相同的，所以存在MCU的编码负载浪费和网络传输带宽的浪费。
【发明内容】
[0009]本发明解决的技术问题在于提供一种视频会议系统及其实现视频图像传输控制的方法，以减少客户端中央处理器的处理能力和网络传输带宽的浪费或成本提升，减少MCU的解码和缩放负载，以及减少MCU的编码负载浪费和网络传输带宽的浪费。
[0010]为解决上述技术问题，本发明采用如下技术方案:
[0011 ] 一种实现视频会议视频图像传输控制的方法，其包括:
[0012]多点控制单元向新呼入的视频客户端发送当前视频会议的视频布局参数；
[0013]新呼入的视频客户端根据当前视频会议的视频布局参数进行视频图像的视频采集、缩放裁剪、编码以及上行传输；
[0014]多点控制单元根据当前视频布局参数对从新呼入的视频客户端及视频会议中其他视频客户端传来的视频图像数据进行解码；
[0015]多点控制单元根据当前视频布局参数对解码获取的新呼入的会议客户端传送来的视频图像以及视频会议中其他视频客户端传来的视频图像一起进行混屏处理；
[0016]多点控制单元对混屏处理后得到的混屏视频图像数据进行编码后发送给各个视频客户端；
[0017]各个视频客户端接收多点控制单元传送来的混屏视频图像码流后根据当前视频会议的布局参数进行解码得到视频会议图像。
[0018]其中，多点控制单元对混屏处理后得到的混屏视频图像数据进行编码后发送给各个视频客户端具体包括:
[0019]多点控制单元对混屏视频图像数据进行编码得到混频视频图像码流；
[0020]确定要接收混频视频图像码流的目的视频客户端；
[0021]多点控制单元将所述混屏视频图像码流中该目的视频客户端本身上传的视频图像对应的码流去除后再将剩余的其他码流传送给该目的视频客户端；
[0022]各个视频客户端接收多点控制单元传送来的混屏视频图像码流后根据当前视频会议的布局参数进行解码得到视频会议图像具体包括:
[0023]各个视频客户端接收多点控制单元传送来的混屏视频图像码流；
[0024]各个视频客户端根据当前视频会议的布局参数进行解码并将本地采集的视频图像填充到解码后的视频图像中得到完整视频会议图像。
[0025]其中，多点控制单元对混屏视频图像数据进行编码是使用SLICE并行视频编码器将混屏视频图像数据编码为若干个SLICE码流；
[0026]多点控制单元将所述混屏视频图像码流中该目的视频客户端本身上传的视频图像对应的码流去除是将该目的视频客户端本身上传的视频图像编码对应的SLICE码流剔除。
[0027]其中，当视频会议中指定参数变化时，多点控制单元将新的当前视频布局参数传送给视频会议的各个视频客户端，各个视频客户端按照新的当前视频布局参数进行处理。
[0028]其中，指定参数包括分屏的位置、分屏的大小、视频客户端标识。
[0029]其中，多点控制单元与视频客户端之间按照RTP/RTCP/SIP协议传输当前视频布局参数。
[0030]其中，视频布局参数包括:混屏图像分辨率、混屏帧率，每个客户端在混屏图像中的排列位置和分屏分辨率，每个客户端的期望接收帧率、分辨率和码率信息。
[0031 ]另外，本发明的一种多点控制单元，其包括:
[0032]视频布局参数发送处理单元，用于向新呼入的视频客户端发送当前视频会议的视频布局参数以及当视频会议中指定参数变化时，将新的当前视频布局参数传送给视频会议的各个视频客户端；
[0033]解码处理单元，用于根据当前视频布局参数对从新呼入的视频客户端及视频会议中其他视频客户端传来的视频图像码流进行解码；
[0034]混屏处理单元，用于根据当前视频布局参数对解码获取的新呼入的会议客户端传送来的视频图像以及视频会议中其他视频客户端传来的视频图像一起进行混屏处理；
[0035]编码处理单元，用于对混屏处理后得到的混屏视频图像进行编码处理；
[0036]码流传送处理单元，用于将编码得到视频图像码流传送给各个视频客户端。
[0037]其中，编码单元包括SLICE并行视频编码器，用于将混屏视频图像数据编码为若干个SLICE码流；
[0038]码流传送处理单元包括:
[0039]确定处理单元，用于确定要接收混频视频图像码流的目的视频客户端；
[0040]码流选择处理单元，用于将所述混屏视频图像码流中该目的视频客户端本身上传的视频图像对应的码流去除选择剩余的其他码流；
[0041 ]传送处理单元，将所述码流选择单元选择的码流传送给该目的视频客户端。
[0042]另外，本发明的一种视频客户端，其包括:
[0043]视频布局参数接收处理单元，用于从多点控制单元接收当前视频布局参数；
[0044]视频采集处理单元，用于根据接收得到的当前视频会议的视频布局参数进行视频图像的视频采集；
[0045]缩放裁剪处理单元，用于根据接收得到的当前视频会议的视频布局参数进行视频图像的缩放裁剪；
[0046]编码处理单元，用于根据接收得到的当前视频会议的视频布局参数对上行传送给多点控制单元的视频图像进行编码；
[0047]传输处理单元，用于根据接收得到的当前视频会议的视频布局参数将编码后的视频图像码流传送给多点控制单元；
[0048]混频视频图像接收处理单元，用于接收多点控制单元传送来的混屏视频图像码流，进行解码并将本地采集的视频图像填充到解码后的视频图像中得到完整视频会议图像。
[0049]本发明取得了以下技术效果:
[0050]本发明的视频会议系统及实现视频会议视频图像传输控制的方法，其方法中采用:M⑶向新呼入的视频客户端发送当前视频会议的视频布局参数;新呼入的视频客户端根据当前视频会议的视频布局参数进行视频图像的视频采集、缩放裁剪、编码以及上行传输，而无需按照最大分辨率进行采集、编码和传输，可减少客户端中央处理器的处理能力和网络传输带宽的浪费或成本提升；同时由于不需MCU进行缩放裁剪，可减少MCU的解码和缩放负载，而MCU对混屏处理后得到的混屏视频图像数据进行编码后发送给各个视频客户端，其中MCU将混屏视频图像码流中目的视频客户端本身上传的视频图像对应的码流去除后再将剩余的其他码流传送给该目的视频客户端;减少MCU的编码负载浪费和网络传输带宽的浪费。各个视频客户端接收MCU传送来的混屏视频图像码流后根据当前视频会议的布局参数进行解码得到视频会议图像。
【附图说明】
[0051 ]图1是根据本发明实现视频会议中视频图像传输控制的一种具体实施例流程图；
[0052]图2是根据本发明视频会议系统中多点