专利名称:一种视频信号采集设备的利记博彩app
技术领域:
本发明涉及视频通信技术,特别涉及一种具有伽玛特性校正功能的视频信号采集设备。
背景技术:
视频通信目前正在随着宽带网络的迅速发展而得到日益广泛的应用,在国内和国际上,视频会议和可视电话业务正在成为NGN(Next Generation Network下一代网络)上的基本业务。各国的电信运营商也非常重视这个市场机会,可以预期在未来几年中,视频通信业务将成为运营商重要的业务增长点。
发展此类业务的一个关键问题是提高端到端(End-to-end)的用户体验(User Experience,或者叫做Quality of Experience)。用户体验中除了网络的QoS(丢包,延迟,抖动,R因子等)参数外,对于视频,因为各个环节引起的Gamma非线性问题,造成对于亮度信号的畸变(Distortion),也是影响最终用户体验的重要因素。
但是目前,对于提高端到端用户体验的方法和技术主要集中在保证网络QoS和视频压缩编码相关的前后处理(Pre-processing,Post-processing)方面,而对于Gamma特性引起的亮度畸变问题,缺乏关注和系统的解决方法,但是该问题的严重性已经引起了一些国际大电信运营商的关注。法国电信(FranceTelecom)在国际电信联盟ITU-T近期就提出了要在视频通信中考虑Gamma特性对于通信用户体验的影响,并对此类问题加以解决的建议。
视频通信过程中,在一个视频通信终端(下文简称终端)中,从需要被传送的场景(人物,背景,文件等)的光信号进入到摄像机/摄像头,经过A/D转换成数字图像信号,再经过压缩编码,传送出去到达对方终端经过去压缩(Decompression)解码还原为数字图像信号,然后再在显示设备上显示出来,最终又变成光信号被人眼感知。这个过程中图像亮度信号(Luminance,这里是一种广义的亮度信号,即一开始的光信号,到电信号,再到数字化的图像亮度/灰度信号,每个阶段的信号都含有亮度信号的信息,因此广义来说,亮度信号经过了多个环节)经过了多个环节。
如图1所示,图1为环节Gamma特性的模型示意图,Gamma特性就是一个环节的亮度信号输入-输出关系不是线性的,而是一种非线性。Gamma非线性环节畸变的影响如图2所示,上面的一行灰度方块亮度是线性递增的,从0.1到1.0,下面一行是经过Gamma非线性环节畸变的,亮度是按照幂函数规律递增的。
在实际中,Gamma非线性是由不同原因引起的,例如CRT(Cathod RayTube,阴极射线管)显示器的Gamma特性在理想状况下满足公式1Lout=Lin2.2(1)而对对应的摄像机/摄像头的理想Gamma满足公式2Lout=Lin0.45(2)从Gamma问题的起源来看,起源于CRT显示器,因为其Gamma值是2.2,为了补偿掉这个非线性,在摄像机中人为引入了Gamma值0.45。如果在系统中只存在两个Gamma环节CRT显示器和摄像机,那么可以实现完全的Gamma校正。
需要说明的是,这里的输入和输出亮度信号都是在各自的坐标空间中进行了规一化(Normalized)的,即0≤Lout≤1,0≤Lin≤1。而其它类型的显示器比如液晶等,其Gamma函数的形式或者不同,或者虽然形式上也是幂函数,但是参数不同。
如图3所示,图3为多个环节级联(Cascading或者叫做串联)起来环节Gamma特性的模型示意图,总的Gamma特性等于各个环节Gamma函数的复合(Composition),满足公式3
GCT(.)=G(1)(.)oG(2)(.)oG(3)(.)........G(n-1)(.)oG(n)(.)lout=GCT(lin)=G(n)(G(n-1)(G(n-2)(.......G(2)(G(1)(lin)))))(3)“。”表示函数的复合运算。CT表示Cascaded Total,即级联总Gamma的意思。
理想的情况是输入光信号从进入摄像头到最终在显示屏上显示输出光信号,输入和输出亮度信号之间存在线性关系,即Lout=Lin,这样人看到的景物才和原来的完全一样,用户体验最好。
要获得线性关系,必须对于具有非线性Gamma特性环节进行Gamma校正(Gamma Correction)。如图4所示,对于一个环节来说,其Gamma特性给定,那么可以用另外一个校正环节和它进行级联,来使得级联后总的Gamma特性称为真正的线性关系,从而达到了补偿掉给定环节非线性的目的,校正环节的模型为Gamma特性等效模型的逆模型,如果等效模型可以用函数关系式表示,则逆模型的函数关系式为其反函数。显然,Gg(.)和Gc(.)互为反函数。一般情况下,对于一个函数,要获得其反函数不一定有解(或者即使解存在,也无法用计算的方法获得)。
实际应用中更多的情况如图5所示,校正环节需要插入到前后两个给定环节之间,此时Gc(.)情况更加复杂,Gc(.)和Ga(.)或者Gp(.)不再是简单的反函数关系。
根据前面的描述,Gamma校正问题的起源在于具有Gamma特性的CRT显示设备,而摄像机/摄像头提供Gamma校正是一个要求。现有技术中,高端的摄像机一般都能够提供Gamma校正功能,但是大量低端的摄像头却不能提供。如果摄像机能够提供Gamma校正功能,则意味着摄像机作为一个整体对外的Gamma特性由公式2给出。
现实情况是目前电信运营商都在大力推动面向公众的视频信,必然要提供非常便宜的终端才能吸引广大公众,这样使用廉价的摄像头是不可避免的。这类廉价摄像头可能存在非线性的Gamma特性,但不是公式2给出的形式,甚至根本不具有幂函数的形式。根据实际的测试结果,发现了很多基于CCD(ChargeCoupled Device)的廉价摄像头的Gamma特性,最接近的幂函数是Lout=Lin0.22左右,并且很多数据点偏离这条曲线,因此很难说是一个指数曲线。
另外,因为在终端系统中,完全可能存在其它的Gamma环节,因此即使摄像机具有了由公式2给出的标准Gamma特性,也可能无法达到完全Gamma校正的效果,并且摄像机/摄像头的Gamma校正一般不可调整,或者调整范围有限,缺乏自适应能力。
发明内容
本发明提供一种视频信号采集设备,该视频信号采集设备具有伽玛特性校正功能,以解决现有技术中视频信号采集设备对视频信号的伽玛特性缺乏适应性校正能力的问题。
本发明所述视频信号采集设备,包括采集视频信号的摄像模块,所述视频信号采集设备还包括控制模块,解析校正控制指令并输出对应的指示信号;处理模块,根据所述指示信号获取所述视频信号的相关伽玛特性参数,计算并输出伽玛特性校正参数;校正发生模块,根据所述伽玛特性校正参数校正视频信号的伽玛特性。
所述视频信号采集设备还包括存储模块,该存储模块连接在控制模块和处理模块之间,用于保存预先设定的初始校正参数、和/或经过校正发生模块校正后的视频信号的目标伽玛特性参数。
其中,所述存储模块包括初始校正参数存储子模块;用于保存所述初始校正参数;和/或目标伽玛特性参数存储子模块;用于保存所述目标伽玛特性参数。
所述存储模块还包括摄像模块伽玛特性参数存储子模块,用于保存摄像模块伽玛特性参数;和/或校正模板存储子模块,用于存储至少一组校正模板参数。
所述控制模块包括校正控制指令接收子模块,用于接收外部校正控制指令,校正控制指令解析子模块,用于解析校正控制指令并向处理模块输出相应的指示信号,具体包括如下之一或任意组合接收到第一校正控制指令时指示处理模块执行如下操作接收控制模块输入的摄像模块伽玛特性参数和所述校正发生模块输出的视频信号所经过的后续模块的伽玛特性参数,根据所述摄像模块伽玛特性参数和后续模块伽玛特性参数计算所述伽玛特性校正参数,并根据摄像模块伽玛特性参数和该伽玛特性校正参数计算所述目标伽玛特性参数,然后将该目标伽玛特性参数存入目标伽玛参数存储子模块;接收到第二校正控制指令时指示处理模块执行如下操作从所述摄像模块伽玛特性参数存储子模块提取摄像模块伽玛特性参数,并接收控制模块输入的所述后续模块伽玛特性参数,根据所述摄像模块伽玛特性参数和后续模块伽玛特性参数计算所述伽玛特性校正参数,并根据摄像模块伽玛特性参数和该伽玛特性校正参数计算所述目标伽玛特性参数,然后将该目标伽玛特性参数存入目标伽玛参数存储子模块;接收到第三校正控制指令时指示处理模块执行如下操作接收控制模块输入的摄像模块伽玛特性参数和目标伽玛特性参数,根据所述摄像模块伽玛特性参数和目标伽玛特性参数计算所述伽玛特性校正参数,然后将目标伽玛特性参数存入目标伽玛参数存储子模块;接收到第四校正控制指令时指示处理模块执行如下操作从所述摄像模块伽玛特性参数存储子模块提取摄像模块伽玛特性参数,并接收控制模块输入的当前目标校正伽玛特性参数,根据所述摄像模块伽玛特性参数和当前目标校正伽玛特性参数计算所述伽玛特性校正参数,并将目标伽玛特性参数存入目标伽玛参数存储子模块;接收到第五校正控制指令时指示处理模块执行如下操作接收控制模块输入的摄像模块伽玛特性参数,并从校正模板参数存储子模块提取该第五校正控制指令中指示的校正模板参数,根据所述摄像模块伽玛特性参数和校正模板参数计算所述伽玛特性校正参数,并将该校正模板参数存入目标伽玛参数存储子模块;接收到第六校正控制指令时指示处理模块执行如下操作从所述摄像模块伽玛特性参数存储子模块提取摄像模块伽玛特性参数,并从校正模板参数存储子模块提取该第六校正控制指令中指示的校正模板参数,根据所述摄像模块伽玛特性参数和校正模板参数计算所述伽玛特性校正参数,并将该校正模板参数存入目标伽玛参数存储子模块;接收到第七校正控制指令时指示处理模块执行如下操作从所述初始校正参数存储模块中提取初始校正参数并输入校正发生模块。
所述控制模块还包括伽玛特性参数读/写子模块,用于接收外部指令输入的相关伽玛参数并写入对应的存储子模块;或者,根据外部指令从存储子模块中读取参数并输出;或者,根据外部指令删除对应的存储子模块中的参数。
本发明所述的视频信号采集设备中,所述控制模块、伽玛特性参数存储模块、处理模块和校正发生模块集中设置为独立的实体,并且校正发生模块通过第一接口接收待校正的视频信号,并通过第二接口输出校正后的视频信号;控制模块通过第三接口接收所述外部输入的相关伽玛参数和校正控制指令。
其中,所述摄像模块包括摄像机/摄像头、视频采集子模块和视频信号采集驱动子模块;其中,所述校正发生模块连接在摄像机/摄像头和视频采集子模块之间、或视频采集子模块和视频信号采集驱动子模块之间、或采集驱动子模块和后续模块之间。
或者,所述摄像模块包括摄像机/摄像头、视频信号接口采集板卡和视频信号采集驱动子模块;其中,所述校正发生模块连接在摄像机/摄像头和视频信号接口采集板卡之间、或视频信号接口采集板卡和视频信号采集驱动子模块之间、或采集驱动子模块和后续模块之间。
所述的后续模块具体包括连接所述视频信号采集设备,用于在本地显示所述视频信号的显示模块;或者所述视频信号在接收终端上经过的所有具有伽玛特性的环节。
所述校正发生模块包括两个或两个以上。
本发明的有益效果如下本发明在视频信号采集设备中加入Gamma校正环节,从而实现对于任意摄像机/摄像头和后续模块适用的Gamma校正,可以通过电路和硬件的方法实现,也可以利用软件方法实现,提升了视频用户体验质量;当需要同时对本地显示和输出给通信对端的视频信号进行校正时,本发明视频信号采集设备中可以并行设置多个校正模块,分别连接视频信号的显示模块和网络输出接口,分别用于利用摄像头模块和显示模块的伽玛特性校正功能来校正本地显示的视频信号,或者利用通信终端的伽玛特性校正本终端输出视频信号的伽玛特性,提高视频通信系统的伽玛校正性能。
图1为环节Gamma特性的一般模型;图2为环节Gamma特性引起的亮度信号畸变的示意图;图3为多环节级联Gamma特性的一般模型;图4为校正单个环节的Gamma特性示意图;
图5为校正多个给定环节的Gamma特性示意图;图6为多个Gamma环节级联时,可能校正点的示意图;图7为多个Gamma环节级联时,通用Gamma特性校正方法示意图;图8a为基于独立硬件盒子的多媒体通信终端内部模块结构示意图;图8b为基于通用计算机的多媒体通信终端内部模块结构;图9为本发明视频采集设备的结构示意图,其中包括本发明所述视频信号校正子系统;图10为图9中控制模块的结构示意图。
具体实施例方式
作为本发明实施的基础,这里首先介绍一种利用Gamma路径校正多环节Gamma特性的通用方法。
请参阅图6所示,假设视频信号从采集到输出经过的Gamma路径包括Nt个级联的Gamma环节,可以选择任意两个环节之间进行校正点,校正环节将图像经过的Gamma路径分为前后两段,校正点之前包括Na个环节,校正点之后包括Np个环节。
如图7所示,先分别确定Na个环节和Np个环节的等效综合Gamma特性,然后分别构造等效Gamma特性的校正子环节,然后将两个校正子环节进行复合后插入校正点,校正环节实际上是两个校正子环节的复合,具体包括如下步骤1、确定与信号相关的Gamma特性环节的级联路径,以及该级联路径包括的环节数目为Nt;2、在所述路径中确定一个校正点,该校正点将所述Nt个环节划分为级联在该校正点之前的Na个环节和级联在该校正点之后的Np个环节,其中Na≥0、Np≥0、Na+Np=Nt;3、分别根据每一个环节的Gamma特性等效模型及其参数构造所述Na个环节的第一综合等效模型和所述Np个环节的第二综合等效模型;
4、确定所述第一综合等效模型的第一逆模型和第二综合等效模型的第二逆模型;5、根据所述第一逆模型和所述第二逆模型构造校正环节模型,利用该校正环节模型确定所述Na个环节最后输出信号的校正信号并将该校正信号输入所述Np个环节。
根据本方法,校正环节模型的构造方法包括下列之一直接计算法实时利用第一逆模型的函数关系式和第二逆模型的函数关系式的复合函数关系式计算Na个环节的最后输出信号的校正信号;两步计算法实时利用第一逆模型的函数关系式计算Na个环节的最后输出信号的一次校正信号,利用第二逆模型的函数关系式计算该一次校正信号的二次校正信号,将该二次校正信号作为所述校正信号;查表法预先根据所述直接计算法或两步计算法,计算出所述Na个环节的最后输出信号的取值区间中的多个采样值对应的校正值,并将对应关系保存在一个数据表中,然后通过实时查询该数据表确定任意待校正值的校正值。
对于采用数据表形式的模型,等效模型本身没有解析形式(比如采用查表方法实现的,当然其反函数也就没有解析形式了),那么其逆模型就是该数据表的逆表,一个表存在两列,很多行,左列(输入列)是输入信号的采样值,即待校正的信号值,右列(输出列)是对应的输出信号值,即校正后的信号值,行数取决于采样点数,行数越多越精确,逆表就是把左右两列对调得到的新数据表。并且对于数据量大的视频数据,进行实时计算的计算量很大,查表是最实际的方法。
利用上述方法的前提是终端必须能够确定出本终端上所有Gamma特性环节,当等效模型采用函数表示形式时,发送端或接收端通过如下步骤分别确定本端每一个Gamma特性环节的等效模型及其参数。
本发明还在此介绍一种确定每一个Gamma特性环节等效模型及其参数的检测方法,包括如下步骤
首先,选择一组单环节Gamma特性的通用等效模型,例如第一类Gamma模型满足公式4Lout=pLinα+(1-p) 0<p≤1,α≥1(4)其中公式4所示函数的定义域(即自变量取值范围)为区间
,值域(函数值的取值范围)为区间[(1-p),1]。
第二类Gamma模型满足公式5Lout=(qLin+(1-q))1β,q≥1,β≥1---(5)]]>其中公式5所示函数的定义域(即自变量取值范围)为区间[1-1/q,1],值域(函数值的取值范围)为区间[(0,1]。
然后将其中的一个作为待测模型进行下列步骤1、在输入亮度信号Lin在
区间上选择间隔均匀的N个采样点Lin(0)、Lin(1)、Lin(2)......Lin(i)......Lin(N-2)、Lin(N-1);2、将亮度信号N个采样值分别输入环节中,并测量实际输出亮度信号N个对应的值LPout(0)、LPout(1)、LPout(2)......LPout(i)......LPout(N-2)、LPout(N-1);3、构造拟合的目标函数,目标函数和实际检测的输出亮度信号与通过Gamma特性模型确定的理论输出亮度信号之间的差值相关,而且,差值越小,说明模型的等效效果越接近实际情况。
目标函数的构造方法很多,较为常用的是下述公式6或公式7FT1(p,α)=Σi=0N-1(LoutP(i)-pLin(i)α-(1-p))2---(6)]]>或者,FT2(q,β)=Σi=0N-1(LoutP(i)-(qLin(i)+(1-q))1β)2---(7)]]>4、设定目标函数值的门限T和最大迭代次数M,利用数学优化法寻找最适合的参数组;首先对于第一类的代价函数FT1(p,α)=Σi=0N-1(LoutP(i)-pLin(i)α-(1-p))2,]]>采用某种数学优化技术,例如爬山法、0.618法(华罗庚优选法)、最速下降法或共轭梯度法等求取其最小值;
这个过程其实是一个迭代过程,在这个过程中不断调整参数p和α,函数值F在不断下降,当函数值下降到小于给定门限T后,则认为已经找到了最小点。此时对应的参数p和α,就认为是本次应用环境模型的真正参数。
如果对于FT1(p,α)=Σi=0N-1(LoutP(i)-pLin(i)α-(1-p))2]]>经过M次迭代,还不能使得函数下降到门限T以下,则认为模型选择不对。应该选择第二类模型,于是对于FT2(q,β)=Σi=0N-1(LoutP(i)-(qLin(i)+(1-q))1β)2]]>重复上述步骤4,得到对应的模型参数q和β,应当注意的是,参数q和β的取值范围分别是q≥1、β≥1。
如果想要得到更精确的参数,可以在目标函数值F下降到门限T以下后,仍然再迭代几次,如果目标函数值F持续下降,或下降后又上升,或直接上升,不管目标函数值F是何种变化情况,则选择其中的最小值对应的参数作为测量结果会在一定程度上提高参数测量的精度。
可以看到,模型类型的确定和参数的测量是同时进行的,实际中,等效模型的类型不只这两种形式,通过上述方法可以在相关的所有等效模型通过测量参数的方法找到最合适的一个。
同样可以利用上述方法测量多环节综合Gamma特性模型及其参数,测量方法步骤完全相同,需要指出,从形式上看,多个Gamma环节级联的综合Gamma特性模型的函数关系式仍然可以采用公式6和公式7所示的两类,但是第一类综合特性模型中,根据定性分析结果和实际测量的经验值,指数α取值范围变成α>0,而第二类综合特性模型中,指数β取值范围变成β>0。
因此,对于一个多媒体通信终端来说,从外部光信号进入摄像机/摄像头,经过各个环节处理,最终到本端的显示器显示转换成光信号;或者经过压缩编码环节在经过通信网络传送到达对方终端,再经过去压缩解码恢复成图像,再到多方终端显示器上显示出来转换成光信号;或者经过光信号从摄像机/摄像头进入后,转换成电信号,然后经过一定的处理,被写入到文件,保存在硬盘等存储设备上。每一个视频信号经过的途径多可以看作如图7所示的Gamma路径,可以利用上述通用方法进行Gamma特性的校正。
本发明所述的多媒体通信终端结构包括摄像机/摄像头、视频采集模块、采集驱动模块、本地显示/文件存储模块、视频前处理模块和视频压缩编码模块,采集驱动模块内置有驱动程序。
本发明所述的多媒体通信终端可以分为两类第一类如图8a所示,为基于独立硬件盒子形式的终端,包括会议室型多媒体会议终端,STB类型的可视电话终端,带有多媒体视频通信能力的移动终端PAD、手机,家庭网络中的多功能终端/家庭网关等;第二类如图8b所示,为基于通用计算机的终端,例如PC、工作站等。
基于独立硬件盒子终端作为一大类,涵盖具体的产品形式非常多。从内部模块结构来说,图8a提供了最一般的情况,在实际中,可能视频处理板和主控板是合在一块板上的(这样可以缩小体积,降低成本,移动终端尤其需要),并且摄像头可以是内置在盒子中的。
另外,图8b中在基于通用计算机的终端模块结构中,可能不需要视频信号采集接口卡作为一种独立的硬件插卡存在,但是其逻辑功能肯定是需要的,对于那些可以直接通过USB口和计算机相连的摄像头,这部分逻辑功能被分配到摄像头内部和视频采集驱动程序中去了。因此,需要强调,本发明是在功能逻辑层面上进行描述的,方法适用于任何的具体硬件和软件实现,不限于某种或者某些具体的实现形式。
在以上两种类型的多媒体通信终端中,本发明所述的视频采集设备分别是位于点划线框中的结构。上述通用Gamma校正方法可以在摄像机/摄像头中实现,即将可以有多种选择的校正点选择在摄像机/摄像头中。因为摄像机/摄像头其实严格来说,如果包含其所带的采集卡和驱动软件作为一个整体(这种整体化处理是合理的,因为从信号流向来说,来自摄像机/摄像头的视频信号被采集卡和驱动软件获取,再输入到多媒体通信终端的其它模块去,因此可以作为一个整体)可以叫做视频信号采集设备,因此,在本发明中,视频采集设备是一个功能逻辑概念,不一定仅仅对应实际的摄像机/摄像头。
另外,在摄像机/摄像头中都有微处理器芯片(可能和基于这种芯片的控制程序),在本发明的一个实施例中,这是实现Gamma校正功能的具体位置和物理基础。
本发明中,将发光信号从进入摄像机/摄像头后经过的各个环节(这里指具有Gamma特性的环节)等效成如下两个环节1、摄像机/摄像头Gamma环节;符号用Gcam(.)表示;2、后续各个环节的总Gamma特性用GRear(.)表示,即信号经过的后续各个环节中,所有具有Gamma特性的环节的Gamme特性级联形成的总Gamma特性,以下简称后续Gamma特性。
本发明最可能的应用场景是校正本地显示的视频图像,因此后续Gamma特性指显示模块各Gamma环节引入的Gamma特性,其中,显示器的Gamma特性占主要比例,实际应用中,也正是基于摄像机/摄像头Gamma环节和显示器Gamma环节特性参数进行校正。
本发明所述具有校正功能的视频采集设备的实现原理如图9所示,在以上两个环节之间加入一个校正环节,利用上述多环节级联Gamma特性校正方法进行校正,该校正环节实际上构成视频采集设备内Gamma校正子系统,通过加入该子系统,不论摄像机/摄像头的Gamma特性和后续Gamma特性如何,都能够实现Gamma校正,该子系统的Gamma特性用GCor(.)表示,其中,Cor表示Correction校正。
那么,可以看出,整个视频采集设备的Gamma特性GVAD(.)(VAD,VideoAcquisition Device)表示两个部分的级联结果,显然,GVAD(.)满足公式8GVAD(.)=Gcam(.)。GCor(.) (8)其中符号“。”表示级联的复合运算;而设置GCor(.)的目的就是使得理想的Gamma特性满足公式9,即Lout=LinGVAD(.)。GRear(.)=Gcam(.)。GCor(.)。GRear(.)(9)。
根据公式9,只要给定Gcam(.)和GRear(.),那么就可以得到GCor(.),从而实现视频图像的Gamma校正。
Gamme特性是可以参数化的,相比而言,采用函数形式的参数化(假设Gamme特性可以用某类函数表示,从而函数表达式中的相关参数就可以用来表征Gamma特性,即一组参数和一个Gamma特性一一对应)受到函数形式的局限,而采用查表形式的参数化适应范围广,具有通用性。
查表参数法的大致原理如下因为Gamma特性作为一个函数,其定义域(Lin的取值范围)和值域(Lout的取值范围)都是区间
。但这是经过了规一化处理的结果,其实Lout、Lin作为信号,存在各自的取值范围,一般对于亮度信号,在当前的视频通信技术中,分成256级,亮度值为0-255,用8比特表示(一个字节)。规一化就是把在0-255范围内的数值通过除以255(如果最大值不是255,那么就除以相应的最大值)转化成
区间的规一化亮度信号。
本发明就采用亮度信号取值为0-255,规一化主要用于基于函数的表示中,如果用查表参数化,可以直接在0-255范围内建立Lout和Lin之间的对应关系。这种对应关系表1所示。
表1.查表参数化的原理示意
应该说明,本发明以查表参数化为主,但是有些方面也采用函数参数化,后面将详细描述。
综上所述,本发明是在图8a和图8b定义的视频信号采集设备中,提供一个校正子系统,实现通过外部指令控制可调整的自适应Gamma校正。这个校正子系统可以实现在摄像机/摄像头中,也可以实现在视频信号采集接口卡(针对通用计算机终端)或者视频处理板的视频采集模块中(针对独立硬件盒子终端),或者是视频采集驱动程序中,实现的方法可以基于硬件或软件,也可以硬件软件混合实现。
一般情况下校正发生模块直接和摄像机/摄像头相连,对于摄像机/摄像头输出的视频数据流进行校正。采集接口卡/采集模块,还有驱动程序一般不会造成Gamma失真。但是在理论上,校正发生模块可以连接在上述三者任何一个之后。因为,校正子系统的实现位置有多种可能性,比如实现在驱动程序中的话,那么其输入的数据应该是采集卡的输出。但是因为采集卡和驱动程序本身不带来Gamma失真,因此从逻辑上讲,发生模块仍然是“直接”接在摄像机/摄像头之后的。也就是说,在Gamma路径上,如果中间有某些环节具有线性Gamma特性,那么这些环节在Gamma意义上是视作不存在。
如图9所示,为实现上述技术构思,本发明所述的校正子系统包含如下模块1、数据存储区模块数据存储区模块可以分成三个更小的子模块a、当前GVAD(.)数据存储区,存储当前时刻的GVAD(.),根据外部指令,GVAD(.)可能发生变化,即调整过程,那么控制和处理模块将负责把最新的当前GVAD(.)写入本存储区;b、GVAD(.)模板数据存储区,模板是可以由视频采集设备生产厂家(既可以是摄像机/生产厂家,也可以是终端生产厂家,当然很多情况下两者是一家)在出厂的时候预置的,也可以是后来用户通过外部控制添加的,当然也可以删除和修改;设置GVAD(.)模板数据存储区的目的在于实现近似校正。
c、GCor(.)出厂数据存储区,作为缺省的数据由视频采集设备生产厂家(既可以是摄像机/生产厂家,也可以是终端生产厂家,当然很多情况下两者是一家)在出厂的时候预置的。这种情况下,厂家知道Gcam(.),厂家一般可以根据配套的后续环节数倍,确定对应的目标GVAD(.),由公式8给出相应的初始GCor(.),存储在本存储区中。
在使用过程中,用户随时可以通过外部控制指令,将校正环节Gamma特性发生模块的参数复位到出厂设置的初始GCor(.)。
数据存储区模块还可以包括d、Gcam(.)数据存储区,用于保存摄像头/机的Gamma特性数据,用于具体的校正计算,避免用户多次输入Gcam(.)。
以上各个存储区存储的Gamma特性参数的格式采用a、查表参数格式,如表1所示。用于存储除了部分GVAD(.)模板参数外的全部Gamma特性参数。
b、函数参数格式,仅仅限于部分GVAD(.)模板参数。
2、处理模块该模块是所述校正子系统的核心,负责整个子系统的计算和处理,当摄像机/摄像头都是标准设备时,可以将根据出厂数据进行的具体计算和处理划分为以下四类第一类、根据Gcam(.)和GRear(.)进行较为精确的校正,使本地输出的视频信号达到最佳效果,具体校正计算包括以下几种情况(1)、Gcam(.)和GRear(.)都是从外部指令输入;利用Gamma校正后输入输出之间应该满足线性关系计算出GCor(.),将GCor(.)写入校正环节Gamma特性发生模块,由Gamma特性发生模块根据GCor(.)生成相应的Gamma特性以校正视频图像,同时根据公式8再计算出GVAD(.),把GVAD(.)写入当前GVAD(.)数据存储区。
(2)、Gcam(.)已经内置在所述子系统中,GRear(.)由外部指令输入;先从Gcam(.)数据存储区获取Gcam(.),利用Gamma校正后输入输出之间应该满足线性关系计算出GCor(.),将GCor(.)写入校正环节Gamma特性发生模块,由Gamma特性发生模块根据GCor(.)生成相应的Gamma特性以校正视频图像,同时根据公式8再计算出GVAD(.),把GVAD(.)写入当前GVAD(.)数据存储区。
第二类、利用Gcam(.)和用户设定目标GVAD(.)进行预定的校正,使校正后的视频图像具有预定的Gamma特性,具体包括以下几种情况(3)、Gcam(.)和目标GVAD(.)都是从外部指令输入;利用公式8计算出GCor(.),将GCor(.)写入校正环节Gamma特性发生模块,由Gamma特性发生模块根据GCor(.)生成相应的Gamma特性以校正视频图像,再将目标GVAD(.)直接写入当前GVAD(.)数据存储区。
(4)、Gcam(.)已经内置在所述子系统中,目标GVAD(.)由外部指令输入;先从Gcam(.)数据存储区获取Gcam(.),利用公式8计算出GCor(.),将GCor(.)写入校正环节Gamma特性发生模块,由Gamma特性发生模块根据GCor(.)生成相应的Gamma特性以校正视频图像,再将目标GVAD(.)直接写入当前GVAD(.)数据存储区。
第三类、利用模板进行近似校正,具体包括以下几种情况(5)、Gcam(.)从外部写入,GVAD(.)根据外部指令从预存的GVAD(.)模板数据存储区中选择;从预存的GVAD(.)模板数据存储区中获取指定的GVAD(.)模板数据,利用公式8计算出GCor(.),将GCor(.)写入校正环节Gamma特性发生模块,由Gamma特性发生模块根据GCor(.)生成相应的Gamma特性以校正视频图像,然后将选择的GVAD(.)模板数据写入当前GVAD(.)数据存储区。
(6)、Gcam(.)内置在所述子系统中,GVAD(.)根据外部指令从预存的GVAD(.)模板数据存储区中选择;先从Gcam(.)数据存储区获取Gcam(.),从预存的GVAD(.)模板数据存储区中获取指定的GVAD(.)模板数据,利用公式8计算出GCor(.),将GCor(.)写入校正环节Gamma特性发生模块,由Gamma特性发生模块根据GCor(.)生成相应的Gamma特性以校正视频图像,再将目标GVAD(.)直接写入当前GVAD(.)数据存储区。
上述情况5和情况6中,用户可以分别选择GVAD(.)模板观察本地输出的视频图像,最后确定较佳的校正模式。
第四类、直接根据GCor(.)出厂数据存储区中存储的初始校正数据复位校正发生模块(7)、GCor(.)的出厂标准数据内置所述子系统中;控制和处理模块还可以根据外部输入指令,从GCor(.)出厂数据存储区中读取GCor(.)出厂数据,然后直接写入校正环节Gamma特性发生模块,将GCor(.)写入校正环节Gamma特性发生模块,由Gamma特性发生模块根据GCor(.)生成相应的Gamma特性以校正视频图像,上述过程不需要进行计算。
上述七种校正场景实际对应了常用七种校正控制模式指令,用户可以从中选择并输入相应的控制指令,并且,还可以设置开机时的缺省模式,或者保存用户上次关机时应用的控制模式。
3、校正环节Gamma特性发生模块Gamma特性发生就是对于给定的Gamma特性参数(函数参数化或者查表参数化都行),在输入和输出之间产生对应的Gamma特性,即根据输入利用给定的Gamma特性参数计算输出,使得输出和输入的关系和给定的Gamma特性一致,是一个非线性关系的模拟环节。
4、控制模块,用于接收控制指令和数据读写指令,包括校正控制指令和数据读写操作指令(1)、校正控制指令包括前述七种模式指令,控制模块需要解析收到的校正控制指令并向处理模块输入相应的指示信号,由处理模块执行具体的校正模式;(2)、数据读写操作指令,根据外部控制数据读写操作指令向所述子系统的相应数据存储区写入数据,或者从所述子系统读出数据,数据操作指令可以逐条接收,也可以批量接收。数据读写操作指令具体包括
a、读取当前GVAD(.)参数指令;用于从所述子系统种读取GVAD(.)参数,读出的目的是,可能需要知道整个采集设备整体的一个Gamma特性,用于检验和诊断,比如用户选择了一个GVAD(.)模板下发到采集设备中,那么如果设备工作正确,读出来的GVAD(.)、下发的GVAD(.)模板以及实际测量的Gamma特性三者之间应该一致,否则说明设备工作不正常。
b、写入目标GVAD(.)参数指令;用于把用户期望的目标GVAD(.)写入所述子系统,然后所述子系统经过调整过程后,就能够使得所述子系统的Gamma特性达到该目标GVAD(.)Gamma特性。因此,本发明就能够使得所述子系统表现出任意给定的Gamma特性,实现任意可调的Gamma校正,而不是像现有技术,只能校正某种或者某些情况;本发明的主要目的在于实现本端显示的视频图像的Gamma特性校正,就是让本地显示尽量没有Gamma失真。这样的话,对于发送到对端的码流,还是需要在后面的某个地方加上校正环节,或者由对方来校正,当然这样需要把GVAD(.)发送给对方。当然也还可以为本端和对端设置两路码流输出,其各自的校正子系统可以共用一些共同模块,但是需要两个发生模块。另外,在某些情况下,一个终端可以有多个摄像机/摄像头和它相连,比如一个摄像机/摄像头专门是给远端看的,这个时候,它的校正目标GVAD(.)就可以按照远端的Gamma路径来进行设置。
因此,当需要同时对本地显示和输出给通信对端的视频信号进行校正时,本发明视频信号采集设备中可以并行设置多个校正模块,分别连接视频信号的显示模块和网络输出接口,分别用于利用摄像头模块和显示模块的伽玛特性校正本地显示的视频信号,或者利用通信终端的伽玛特性校正本终端输出视频信号的伽玛特性,提高视频通信系统的伽玛校正性能。
c、写入Gcam(.)参数指令;用于向所述子系统写入Gcam(.)参数。配合写入GRear(.)参数指令,所述子系统能够计算出最优的GVAD(.)和GCor(.),完成调整,从而实现完全的Gamma校正;d、写入GRear(.)参数指令;用于向所述子系统写入GRear(.)参数。配合写入GCam(.)参数指令(如果所述子系统内置了GCam(.),则不需要从外部写入),所述子系统能够计算出最优的GVAD(.)和GCor(.),完成调整,从而实现完全的Gamma校正;e、读取GCor(.)参数指令;用于读取GCor(.)参数;f、读取GVAD(.)模板参数指令;用于从所述子系统中读出以前预置的GVAD(.)模板参数。可以每次读取一个模板,也可以批量读取多个模板;g、写入(新增)GVAD(.)模板参数指令;用于向所述子系统中写入新的GVAD(.)模板参数。可以每次写入一个模板,也可以批量写入多个模板;h、写入(替换旧的)GVAD(.)模板参数指令;用于向所述子系统中写入GVAD(.)模板参数,替换某个/某些旧的模板。可以每次写入一个模板,也可以批量写入多个模板;通过读出和写入GVAD(.)模板参数指令配合使用,就可以实现模板的增加、修改保存。
i、删除GVAD(.)模板参数指令;用于删除所述子系统中的GVAD(.)模板参数,可以每次删除一个模板,也可以批量删除多个模板;由此,参见图10,控制模块包括具体子模块Gamma特性参数读/写子模块,用于接收并执行外部数据操作指令,包括将相关Gamma参数并写入对应的存储子模块;或者,从存储子模块中读取参数并输出;校正控制指令接收子模块,用于接收外部校正控制指令,
校正控制指令解析子模块,用于解析校正控制指令并向处理模块输出相应的指示信号,具体包括如下七种类型接收到第一校正控制指令时指示处理模块执行如下操作接收控制模块输入的摄像模块Gamma特性参数和所述校正发生模块输出的视频信号所经过的后续模块的Gamma特性参数,根据所述摄像模块Gamma特性参数和后续模块Gamma特性参数计算所述Gamma特性校正参数,并根据摄像模块Gamma特性参数和该Gamma特性校正参数计算所述目标Gamma特性参数,然后将该目标Gamma特性参数存入目标Gamma参数存储子模块;接收到第二校正控制指令时指示处理模块执行如下操作从所述摄像模块Gamma特性参数存储子模块提取摄像模块Gamma特性参数,并接收控制模块输入的所述后续模块Gamma特性参数,根据所述摄像模块Gamma特性参数和后续模块Gamma特性参数计算所述Gamma特性校正参数,并根据摄像模块Gamma特性参数和该Gamma特性校正参数计算所述目标Gamma特性参数,然后将该目标Gamma特性参数存入目标Gamma参数存储子模块;接收到第三校正控制指令时指示处理模块执行如下操作接收控制模块输入的摄像模块Gamma特性参数和目标Gamma特性参数,根据所述摄像模块Gamma特性参数和目标Gamma特性参数计算所述Gamma特性校正参数,然后将目标Gamma特性参数存入目标Gamma参数存储子模块;接收到第四校正控制指令时指示处理模块执行如下操作从所述摄像模块Gamma特性参数存储子模块提取摄像模块Gamma特性参数,并接收控制模块输入的当前目标校正Gamma特性参数,根据所述摄像模块Gamma特性参数和当前目标校正Gamma特性参数计算所述Gamma特性校正参数,并将目标Gamma特性参数存入目标Gamma参数存储子模块;接收到第五校正控制指令时指示处理模块执行如下操作接收控制模块输入的摄像模块Gamma特性参数,并从校正模板参数存储子模块提取该第五校正控制指令中指示的校正模板参数,根据所述摄像模块Gamma特性参数和校正模板参数计算所述Gamma特性校正参数,并将该校正模板参数存入目标Gamma参数存储子模块;接收到第六校正控制指令时指示处理模块执行如下操作从所述摄像模块伽玛特性参数存储子模块提取摄像模块伽玛特性参数,并从校正模板参数存储子模块提取该第六校正控制指令中指示的校正模板参数,根据所述摄像模块Gamma特性参数和校正模板参数计算所述Gamma特性校正参数,并将该校正模板参数存入目标Gamma参数存储子模块;接收到第七校正控制指令时指示处理模块执行如下操作从所述初始校正参数存储模块中提取初始校正参数并输入校正发生模块。
5、伽玛校正子系统的外部接口(或者叫做参考点)总共有三个I1来自摄像机/摄像头Gamma环节的接口这个接口主要用于接收从摄像机/摄像头输入的视频数据。如果所述子系统位于摄像机/摄像头内部,那么这个接口就是和成像单元(Imaging Unit,就是指CCD单元或者CMOS单元等)及其附属电路之间的接口;如果所述子系统位于视频信号采集接口卡上,那么这个接口就是和视频信号采集接口卡上某个其他模块之间的接口,如果所说子系统在视频采集驱动程序中实现,那么这个接口就是和驱动程序中某个其他模块的接口。经过这个接口传送的视频信号格式可能是a、复合视频信号格式(Composite Video);b、亮色分离的视频信号格式(S-video);c、基于USB的数字视频信号格式;I2去往后续模块的接口用于连接后续模块,将校正后的视频信号输入到后续模块,相应的经过I2接口传送的视频信号格式可能是a、复视频信号格式(Composite Video);b、亮色分离的视频信号格式(S-video);c、基于USB的数字视频信号格式;
I3外部控制主机之间的接口实现基于指令的控制和数据的输入/输出。
上述控制指令和数据操作指令的输入方式有多种,在最上层,用户在用户界面上可以通过界面控制元素(菜单,按钮,甚至命令行等)来输入指令,显然界面控制元素和这里定义的指令并不一一对应。有些指令,可能不一定由用户通过界面控制发出,而是程序运行所需要的,用于诊断检测目的,比如为了进行诊断来读出GVAD(.)等,有程序代码控制。但是无论哪种方式,本技术领域的技术人员都可以根据本发明公开的信息具体实现。
本发明所述采集设备中,如果厂家没有给出GCam(.)或GRear(.),有时可以根据本发明前述的确定Gamma特性环节等效模型及其参数的检测方法来进行确定,但是很多情况下无法精确获得GRear(.)或GCam(.),则无法通过计算获得GVAD(.)。这种情况下,本发明提供下述两种近似的解决办法(1)从外部写入一组目标GVAD(.)参数。
(2)使用模板。
近似办法当然只能达到近似效果,不能完全实现校正,但是仍然是一种可行的方案,有两个基本模板是一定有的必备模板1Lout=Lin0.45(10)必备模板2Lout=4.5Linif0≤lin≤0.0181.099Lin0.45-0.099if0.018<Lin≤1---(11)]]>必备以上两个模板的原因在于多数情况下能够达到很好的近似效果,特别时在后续环节除了显示器不存在其它Gamma环节,并且显示器是CRT显示器并具有标准的Gamma特性,那么用以上两个必备模板可以达到很好的校正效果。
模板的选择由用户根据先验知识选择,或者采用人机交互的方法选择即轮流试验各个模板,用户观察现实的视频的用户体验,最终选择用户体验最好的模板。模板可以增加,以适应不同的应用场景和设备情况,长期不用的模板可以删除,节省存储空间。
本发明在下述合理假设环境中的应用都可以收到良好的校正效果1、摄像机/摄像头具备或者不具备公式2所给出的标准Gamma特性;2、终端系统中可能存在其它Gamma环节;3、摄像机/摄像头的Gamma特性和终端系统中其它Gamma环节的Gamma特性为已知(产品出厂时候由厂家提供)可以精确测量。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
权利要求
1.一种视频信号采集设备,包括采集视频信号的摄像模块,其特征在于,所述视频信号采集设备还包括控制模块,解析校正控制指令并输出对应的指示信号;处理模块,根据所述指示信号获取所述视频信号的相关伽玛特性参数,计算并输出伽玛特性校正参数;校正发生模块,根据所述伽玛特性校正参数校正视频信号的伽玛特性。
2.如权利要求1所述的视频信号采集设备,其特征在于,所述视频信号采集设备还包括存储模块,该存储模块连接在控制模块和处理模块之间,用于保存预先设定的初始校正参数、和/或经过校正发生模块校正后的视频信号的目标伽玛特性参数。
3.如权利要求2所述的视频信号采集设备,其特征在于,所述存储模块包括初始校正参数存储子模块;用于保存所述初始校正参数;和/或目标伽玛特性参数存储子模块;用于保存所述目标伽玛特性参数。
4.如权利要求3所述的视频信号采集设备,其特征在于,所述存储模块还包括摄像模块伽玛特性参数存储子模块,用于保存摄像模块伽玛特性参数;和/或校正模板存储子模块,用于存储至少一组校正模板参数。
5.如权利要求4所述的视频信号采集设备,其特征在于,所述控制模块还包括校正控制指令接收子模块,用于接收外部校正控制指令,校正控制指令解析子模块,用于解析校正控制指令并向处理模块输出相应的指示信号,具体包括如下之一或任意组合接收到第一校正控制指令时指示处理模块执行如下操作接收控制模块输入的摄像模块伽玛特性参数和所述校正发生模块输出的视频信号所经过的后续模块的伽玛特性参数,根据所述摄像模块伽玛特性参数和后续模块伽玛特性参数计算所述伽玛特性校正参数,并根据摄像模块伽玛特性参数和该伽玛特性校正参数计算所述目标伽玛特性参数,然后将该目标伽玛特性参数存入目标伽玛参数存储子模块;接收到第二校正控制指令时指示处理模块执行如下操作从所述摄像模块伽玛特性参数存储子模块提取摄像模块伽玛特性参数,并接收控制模块输入的所述后续模块伽玛特性参数,根据所述摄像模块伽玛特性参数和后续模块伽玛特性参数计算所述伽玛特性校正参数,并根据摄像模块伽玛特性参数和该伽玛特性校正参数计算所述目标伽玛特性参数,然后将该目标伽玛特性参数存入目标伽玛参数存储子模块;接收到第三校正控制指令时指示处理模块执行如下操作接收控制模块输入的摄像模块伽玛特性参数和目标伽玛特性参数,根据所述摄像模块伽玛特性参数和目标伽玛特性参数计算所述伽玛特性校正参数,然后将目标伽玛特性参数存入目标伽玛参数存储子模块;接收到第四校正控制指令时指示处理模块执行如下操作从所述摄像模块伽玛特性参数存储子模块提取摄像模块伽玛特性参数,并接收控制模块输入的当前目标校正伽玛特性参数,根据所述摄像模块伽玛特性参数和当前目标校正伽玛特性参数计算所述伽玛特性校正参数,并将目标伽玛特性参数存入目标伽玛参数存储子模块;接收到第五校正控制指令时指示处理模块执行如下操作接收控制模块输入的摄像模块伽玛特性参数,并从校正模板参数存储子模块提取该第五校正控制指令中指示的校正模板参数,根据所述摄像模块伽玛特性参数和校正模板参数计算所述伽玛特性校正参数,并将该校正模板参数存入目标伽玛参数存储子模块;接收到第六校正控制指令时指示处理模块执行如下操作从所述摄像模块伽玛特性参数存储子模块提取摄像模块伽玛特性参数,并从校正模板参数存储子模块提取该第六校正控制指令中指示的校正模板参数,根据所述摄像模块伽玛特性参数和校正模板参数计算所述伽玛特性校正参数,并将该校正模板参数存入目标伽玛参数存储子模块;接收到第七校正控制指令时指示处理模块执行如下操作从所述初始校正参数存储模块中提取初始校正参数并输入校正发生模块。
6.如权利要求5所述的视频信号采集设备,其特征在于,所述控制模块还包括伽玛特性参数读/写子模块,用于接收外部指令输入的相关伽玛参数并写入对应的存储子模块;或者,根据外部指令从存储子模块中读取参数并输出;或者,根据外部指令删除对应的存储子模块中的参数。
7.如权利要求1所述的视频信号采集设备,其特征在于,所述控制模块、伽玛特性参数存储模块、处理模块和校正发生模块集中设置为独立的实体,并且校正发生模块通过第一接口接收待校正的视频信号,并通过第二接口输出校正后的视频信号;控制模块通过第三接口接收所述外部输入的相关伽玛参数和校正控制指令。
8.如权利要求1所述的视频信号采集设备,其特征在于,所述摄像模块包括摄像机/摄像头、视频采集子模块和视频信号采集驱动子模块;其中,所述校正发生模块连接在摄像机/摄像头和视频采集子模块之间、或视频采集子模块和视频信号采集驱动子模块之间、或采集驱动子模块之后。
9.如权利要求1所述的视频信号采集设备,其特征在于,所述摄像模块包括摄像机/摄像头、视频信号接口采集板卡和视频信号采集驱动子模块;其中,所述校正发生模块连接在摄像机/摄像头和视频信号接口采集板卡之间、或视频信号接口采集板卡和视频信号采集驱动子模块之间、或采集驱动子模块之后。
10.如权利要求5所述的视频信号采集设备,其特征在于,所述后续模块包括连接所述视频信号采集设备,用于在本地显示所述视频信号的显示模块;或者所述视频信号在两方或者多方通信过程中的接收终端上经过的所有具有伽玛特性的环节。
11.如权利要求1所述的视频信号采集设备,其特征在于,所述校正发生模块包括两个或两个以上。
全文摘要
本发明涉及视频通信技术,特别涉及一种视频信号采集设备,以解决现有技术中视频信号采集设备对视频信号的伽玛特性缺乏适应性校正能力的问题。视频信号采集设备,包括采集视频信号的摄像模块,还包括控制模块,解析校正控制指令并输出对应的指示信号;处理模块,根据所述指示信号获取所述视频信号的相关伽玛特性参数,计算并输出伽玛特性校正参数;校正发生模块,根据所述伽玛特性校正参数校正视频信号的伽玛特性。本发明在视频信号采集设备中加入伽玛校正环节,从而实现对于任意摄像机/摄像头和后续模块适用的伽玛校正,可以通过电路和硬件的方法实现,也可以利用软件方法实现,提升了视频用户体验质量。
文档编号H04N7/14GK1852396SQ20051012407
公开日2006年10月25日 申请日期2005年11月28日 优先权日2005年11月28日
发明者罗忠 申请人:华为技术有限公司