专利名称:一种基于视觉中心原理的视频传输装置及其传输方法
技术领域:
本发明涉及视频传输技术领域,尤其是指一种基于视觉中心原理的视频传输装置及其传输方法。
背景技术:
网络技术的迅速发展使多媒体通信的应用和研究受到前所未有的重视。视频的数据量巨大,但由于目前网络有限的带宽、hternet的分组丢失率、无线网络的高误码率、网络异构性以及网络延迟等多种因素的影响,如何降低视频的存储、传输量都是计算机科技界一直在研究的问题。在窄带高噪声无线网络信道环境下,如何利用人体视觉模型的特性来合理地使用有限的网络带宽,即让有限的视频比特流合理地分配,从而提高视频重建图像的主观质量是非常有意义的。
公开日为1998年9月30日、公开号为CN11M934A的专利公开了一种视频传输装置,具有传输经复接的视频信息的多个传输媒体,每个视频信息接收单元与相应的传输媒体相连,以在系统传输媒体上接收特定视频信息,图像显示单元显示视频信息,把图像显示单元与任一视频信息接收单元相连以向图像显示单元提供视频信息的开关,和图像显示请求单元与每个视频信息接收单元和开关进行通信,并通过向可以接收特定视频信息的相关视频信息接收单元和开关发出命令以请求在图像显示单元上显示特定视频信息。但是,该发明所使用的传输方法,数据量依然可能很庞大,在有限带宽条件下传输缓慢。
发明内容
为了解决现有视频数据传输量较大的问题,本发明提出了一种基于视觉中心原理的视频传输装置及其传输方法,在视频编解码时保证视觉中心部分逼真再现,而其余部分降低图像质量,从而在不影响观看效果的前提下增加压缩比、减少视频的数据传输量,提高视频图像的主观质量。本发明所采用的技术方案是一种基于视觉中心原理的视频传输装置,包括依次连接的视觉中心分析模块、视频编码模块和视频传输模块,所述的视觉中心分析模块用于查找视频的视觉中心区,所述的视频编码模块采用不同压缩率的编码对视频的视觉中心区和其他区分别编码,所述的视频传输模块用于将编码后的视频传输至外部的视频输出设备。“视觉中心” 一词一般出现于视觉艺术类的领域中,可以指平面艺术(如绘画)中的主体,即画面中以构图、色彩等画面元素所表现出来的画面的主要元素,也可以指人的视野在一个平面中的中心点,通常人的视觉中心会在物理中心的偏上方。在本发明中,视频中吸引人视觉注意的部分定义为视觉中心。因为一段视频的内容往往变化很多,如千军万马的场面、城市喧闹的市区等,人眼无法全都注意到每个细节,故人们只会注意图像中的特殊部分,如动作变化情况、色彩、形状的不同等,如千军万马向前奔时,会特别注意红旗、特殊颜色的马、速度最快的领袖等等。利用人眼的这一现象,在视频压缩时,当整个图像变化很大时,只需保证特殊部分逼真再现,而其余部分可以做省略压缩,如降低帧频,或降低分辨率,甚至转为黑白色等,从而在不影响观看效果的前提下达到增加压缩比、减少视频传输量的目的。这种技术适用于网络视频传输、高压缩比的MP4播放器等。作为优选,所述的视觉中心的类型包括亮度视觉中心、色彩视觉中心、运动视觉中心。视觉中心的主要表现就是视觉中心部分会与其他部分形成较大的反差,如颜色变化、运动变化、亮度变化等等。如在黑白的背景上出现彩色的物体,周围全是冷色调的图像中出现一个暖色体(如雪地里出现一个红色旗帜)或周围全是暖色调的图像中出现冷色体(如艳阳天里出现一个树荫),这就是颜色上的反差,而这里的视觉中心定义为色彩视觉中心;如环境都在运动,只有中间一个人或物不动,或环境都是不动的,只有一个物体在动,这是运动上的反差,而这里的视觉中心定义为运动视觉中心;如黑天里出现一盏灯,或太阳光里出现一个黑影,这是亮度上的反差,而这里的视觉中心定义为亮度视觉中心;如一个人的目光从一个地方转向另外一个地方,那观众就会关注他要看什么,而这里的视觉中心定义为其他视觉中心。一种基于视觉中心原理的视频传输方法,步骤如下a.视觉中心分析模块对视频进行分析,分析出该视频的视觉中心位置和类型,将视频划分为视觉中心区和其他区;b.视频编码模块对视觉中心区和其他区压缩编码,给视觉中心区分配较多的码字,而其他区则分配较少的码字;C.视频传输模块将重新编码后的视频传输至视频输出设备,视觉中心区采用彩色画质,分辨率大于800*600,且以大于30帧/秒的帧频传输,其他区以低于或等于视觉中心区的分辨率和帧频传输。找出视觉中心后,对视觉中心区做低压缩率的传输,保证视觉中心区是清晰的,然后以视觉中心为中心向其他区扩展,其他区扩展优先采用低分辨率传输。作为优选,所述的步骤c中,若传输速度小于ΙΟΟΙΛ/s时,其他区采用黑白画质,分辨率小于或等于320松40,且以小于25帧/秒的帧频传输。传输速度较小时,其他区在分辨率、色彩、帧频等方面做牺牲来保证视觉中心的质量。作为优选,所述的步骤c中,若传输速度为ΙΟΟΙΛ/s至3001A/S时,其他区采用彩色画质,分辨率在32(^240和800*600之间,且以25帧/秒至30帧/秒的帧频传输。在传输速度略有富余,可以提高其他区的分辨率,有条件可使用彩色画质。作为优选,所述的步骤c中,若传输速度大于3001A/S时,其他区采用彩色画质,分辨率大于或等于800*600,且以大于30帧/秒的帧频传输。若传输速度足够快,其他区和视觉中心区可采用同样的帧频和分辨率。作为优选,步骤b中视频编码模块所选用的编码方式为MPEG-2或MPEG-4或 H. 264。本发明的有益效果是视频编解码时保证视觉中心部分逼真再现,而其余部分省略压缩,从而在不影响观看效果的前提下增加压缩比,减少视频的数据传输量,提高视频的图像主观质量。
图1是本发明的一种结构框图;图2是本发明的一种工作流程图。其中,1-视觉中心分析模块,2-视频编码模块,3-视频传输模块,4-视频输出设备。
具体实施例方式下面结合附图和实施例对本发明作进一步的详细说明。实施例1如图1所示,一种基于视觉中心原理的视频传输装置,包括依次连接的视觉中心分析模块1、视频编码模块2和视频传输模块3。视觉中心分析模块1用于查找视频的视觉中心区。视觉中心的类型包括亮度视觉中心、色彩视觉中心、运动视觉中心和其他视觉中心。对于颜色、运动、亮度等的视觉中心比较好找,或寻找颜色的对比度,或查找两帧图像相减后与其它大区域明显不同的小区域,或将灰度二值化等,但对于其他视觉中心,特别是隐含的视觉中心则相对难找。视频编码模块2采用不同压缩率的编码对视频的视觉中心区和其他区分别编码。 视频编码模块2采用的编码方式为MPEG-2或MPEG-4或H. 264等。视频传输模块3用于将编码后的视频传输至视频输出设备4。传输速度较小时,其他区扩展采用黑白画质,采用低分辨率传输,在分辨率、色彩、帧频等方面做牺牲来保证视觉中心的质量。本发明的工作流程如图2所示。首先,视觉中心分析模块1对视频进行分析,分析出该视频的视觉中心位置和类型,将视频划分为视觉中心区和其他区。在寻找视觉中心时我们以图像块为单位,所谓图像块就是将整幅图像分为若干区域,每个区域为一块。若视频中有亮度反差,则存在亮度视觉中心。先将每块的亮度取块内的平均值,然后求各个块的灰度增量,如果一个块的灰度增量大于一个阈值,则它就是亮度反差大的视觉中心。灰度增量的求解方法可以按照索贝尔算子(SOBEL)的求解方法进行。对于索贝尔算子的求解结果,如果某一个块的SOBEL边缘提取结果是孤立的一个点,那它就是亮度视觉中心。若视频中有冷暖色反差,则存在色彩视觉中心。冷暖色是美术里的术语,彩色是由红绿蓝三种颜色组成,本发明将冷暖色定义为红色与蓝色的比例,该比例值大就为暖色,该比例值小就为冷色。计算各个块的冷暖色比例,然后用索贝尔算子边缘提取求各个块比例值的变化量,再判断变化量大且孤立的块,这样的块就是色彩视觉中心。如果不孤立,则就是连片的变化,不算是中心。若视频中有运动的反差,则存在运动视觉中心。为了降低计算量,提高判别速度, 将一帧图中每4X4小块的平均灰度生成该帧的简图,利用图像空间几何知识求取各个帧简图之间的仿射参数。根据仿射参数可以知道相邻帧之间缩放、旋转、平移等运动状态,若某个参数大于一定阀值,则它即为运动视觉中心。至于其他视觉中心,比如说隐含视觉中心,如一个人的目光从一个地方转向另外一个地方,那观众就会关注他要看什么,这一类涉及目标识别等复杂算法,暂时不考虑。
找出视觉中心后视频编码模块2对视觉中心区和其他区压缩编码,给视觉中心区分配较多的码字,而其他区则分配较少的码字。这里,视频编码模块可选用的编码方式为 MPEG-2、MPEG-4、H. 264 等多种方式。然后,视频传输模块3将重新编码后的视频传输至视频输出设备4,视觉中心区采用彩色画质,分辨率大于800*600,且以大于30帧/秒的帧频传输,其他区以低于或等于视觉中心区的分辨率和帧频传输。若传输速度小于ΙΟΟΙΛ/s时,其他区采用黑白画质,分辨率小于或等于320拉40,且以小于25帧/秒的帧频传输;若传输速度为ΙΟΟΙΛ/s至3001cb/S 时,其他区采用彩色画质,分辨率在32(^240和800*600之间,且以25帧/秒至30帧/秒的帧频传输;若传输速度大于3001A/S时,其他区采用彩色画质,分辨率大于或等于800*600, 且以大于30帧/秒的帧频传输。总之,在保证视觉中心为高质量传输的前提下,如果传输速率不够就在分辨率、色彩、帧频等方面做牺牲来保证视觉中心的质量,这样对观看者的影响不大。以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明的保护范围之内。
权利要求
1.一种基于视觉中心原理的视频传输装置,其特征在于包括依次连接的视觉中心分析模块、视频编码模块和视频传输模块,所述的视觉中心分析模块用于查找视频的视觉中心区,所述的视频编码模块采用不同压缩率的编码对视频的视觉中心区和其他区分别编码,所述的视频传输模块用于将编码后的视频传输至外部的视频输出设备。
2.根据权利要求1所述的一种基于视觉中心原理的视频传输装置,其特征在于所述的视觉中心的类型包括亮度视觉中心、色彩视觉中心、运动视觉中心。
3.一种基于视觉中心原理的视频传输方法,其特征在于步骤如下a.视觉中心分析模块对视频进行分析,分析出该视频的视觉中心位置和类型,将视频划分为视觉中心区和其他区;b.视频编码模块对视觉中心区和其他区压缩编码,给视觉中心区分配较多的码字,而其他区则分配较少的码字;c.视频传输模块将重新编码后的视频传输至视频输出设备,视觉中心区采用彩色画质,分辨率大于800*600,以大于30帧/秒的帧频传输,其他区以低于或等于视觉中心区的分辨率和帧频传输。
4.根据权利要求3所述的一种基于视觉中心原理的视频传输方法,其特征在于所述的步骤c中,若传输速度为ΙΟΟΙΛ/s至3001A/S时,其他区采用彩色画质,分辨率在32(^240 和800*600之间,以25帧/秒至30帧/秒的帧频传输。
5.根据权利要求3所述的一种基于视觉中心原理的视频传输方法,其特征在于所述的步骤c中,若传输速度大于3001A/S时,其他区采用彩色画质,分辨率大于或等于 800*600,且以大于30帧/秒的帧频传输。
6.根据权利要求3所述的一种基于视觉中心原理的视频传输方法,其特征在于所述的步骤c中,若传输速度小于ΙΟΟΙΛ/s时,其他区采用黑白色画质,分辨率小于或等于 320拉40,且以小于25帧/秒的帧频传输。
7.根据权利要求3或4或5或6所述的一种基于视觉中心原理的视频传输方法,其特征在于步骤b中视频编码模块所选用的编码方式为MPEG-2或MPEG-4或H. 264.
全文摘要
本发明公开了一种基于视觉中心原理的视频传输装置及其传输方法,装置包括依次连接的视觉中心分析模块、视频编码模块和视频传输模块,视觉中心分析模块用于查找视频的视觉中心区,视频编码模块采用不同压缩率的编码对视频的视觉中心区和其他区分别编码,视频传输模块用于将编码后的视频传输至视频输出设备。本发明可以在视频编解码时保证视觉中心部分逼真再现,而其余部分省略压缩,从而在不影响观看效果的前提下增加压缩比,减少视频的数据传输量,提高视频的图像主观质量。
文档编号H04N7/26GK102438134SQ201110372060
公开日2012年5月2日 申请日期2011年11月22日 优先权日2011年11月22日
发明者雷志辉, 鞠怡明 申请人:苏州科雷芯电子科技有限公司