专利名称：一种面向移动设备的足球视频智能播放方法
技术领域：
本发明涉及到一种面向移动设备实时播放足球比赛视频的方法。此方法采用一种 完全基于区域的算法，能够实现在普通移动设备的低分辨率环境下智能地实时播放足 球视频，具有新颖实用、准确度高且实时性好的特点，能够为观看者提供与高分辨率显示设备上几乎一样的视觉效果。
技术背景随着多媒体技术的飞速发展，在移动设备中实时播放电视节目已成为现实；随 着人们生活水平的日益提高，越来越多的人表现出对体育运动的喜爱，在移动设备中 观看体育比赛也随之变得越来越流行，在移动设备中观看足球比赛的实时转播尤其受 到人们的关注。但是由于移动设备本身的限制，如屏幕尺寸十分有限，会给用户在观 看实时转播时带来很大的不便。这一点主要表现在视觉效果差、分辨率降低和精彩细 节部分的丢失上。针对这些问题，迫切需要一个能够提高视觉效果的智能播放方法。 本发明就是为解决当前问题而设计。和众多的体育视频一样，足球视频有其自身的特点，它和普通的电视、电影视频 有着很大的区别。如在播放时，画面中总是会出现大面积的绿色区域，而这个区域的 像素具有共同的颜色和纹理特性。同时足球视频的镜头分类十分简单，大致可以分为 以下三种传统类型的镜头长景(Long-shot)，中景(Middle-shot)，特写(Close-up)，如 图2所示。此外，在实时播放过程中，观众基本上只对足球场内的事件和对象感兴趣， 对场外的情况和事件基本不以关注。利用这些特征，我们设计了一个智能播放方法， 能够实现镜头的精准分类、足球的准确跟踪和感兴趣区域的动态提取与显示。三种典 型的镜头类型中，中景和特写本身的视野范围并不是很广，对于这两类镜头，观众在 移动设备上基本能够看清和理解播放内容，播放效果虽较高清晰电视有所下降，但是 还是能够达到清晰和完整的要求，因此本方法并不对这两种进行特殊处理。对于长景， 由于宽阔的视野和拍摄距离，在移动设备中播放，会给观看带来很大的不便，对于这 种镜头我们确定其感兴趣区域，在移动设备中只播放这个感兴趣区域的内容。 发明内容本发明的目的在于针对已有技术存在的缺陷，提供一种面向移动设备的足球视频 智能播放方法，能够克服传统方法的弊端，极大地改善视觉效果。本方法把足球比赛中最精彩的部分(本方法中定义为感兴趣区域)提取出来，然后加以放大处理再展现给观众，使观众在低分辨率的移动设备中能够更好地欣赏比赛中的精彩部分，如图3所示。从美学的角度来讲，本方法做到了使美的东西更加清晰，精彩的部分更加清楚。 为了达到上述目的，本方法思路是首先对足球场进行建模，得到场地的基本统计信息，将场地和其它对象分割开；然后，在场地模型的基础上实现对镜头的聚类；最后，动态提取和播放比赛中的感兴趣区域。根据上面的思路和方法流程图(如图1所示)，本发明采用的技术方案如下 一种面向移动设备的足球视频智能播放方法，其特征在于将镜头分为三种典型的类型长景，中景和特写；针对长景通过动态定位和提取其感兴趣区域然后放大来解决分辨率降低的问题；实现步骤是a. 场地建模和球场检测首先通过在HSV空间对视频进行直方图分析得到反映 场地本身情况的一些参数，从而实现场地基本特征的提取；然后通过所提取的场地特 征参数和一些先验知识来对场地建模；在所构建模型的基础上，对场地颜色进行阈值 判断，最终实现对足球场和其它对象的准确分离；b. 镜头分类在场地分割的基础上，利用场地像素在长景、中景和特写三种镜 头内所占比例的不同这一显著特性来对镜头进行准确的分类；C.感兴趣区域的提取在镜头分类的基础上，对于长景，根据比赛的进行动态 地定位和提取其最精彩的部分，然后放大显示这个最精彩的部分。 上述步骤a中的场地建模和球场检测按下述步骤进行足球比赛视频有其自身的特点，绝大部分镜头都包含足球场，正常条件下足球场 地的颜色总是绿色的，所以在大部分镜头中绿色区域总会占据很大的面积。在直方图 上这一点表现为集中在某个像素区间上出现较大值。当然，直方图在不同类型的镜 头中是非常不同的，但是考虑到只有三种类型的镜头我们就可以利用颜色特征对场地 进行检测和建模。本方法中我们选择在HSV空间中分析场地特征，因为HSV色彩模 型更加符合人眼的视觉特征。A.场地建模首先，利用视频的前若干帧(本发明取为30帧，即l秒的视频长度)，分别计算 出每一帧的Fwe, Sa wrariow和&/恥通道的直方图Hue、 Saturation和Value的直方图，A^,jVs,iVK分别对应其像素级，其中Hue为 色调，Satumion为饱和度，Value为像素值；&],^ 。 ,[^:]和//va, 分 别为第/帧对应的三个通道的直方图，A^，A^,A^分别对应其像素级。本方法种定义 &，^, 的值分别为64， 64和256，如图4所示。为了能够更加准确地对场地进行建模，我们得出前30帧的累积直方图，如下式所示<formula>formula see original document page 31</formula>/2^，^/"7^//^和v"/we表示前30帧的累积直方图，它们包含了前三十帧场地的累积统计信息，横坐标同样定义为A^,A^,AV。但是前30帧的累积直方图并不一定能够反映出场地的真实情况，我们规定只有满足下式才算对场地的累积统计信息收集 成功，即211 0.7 x々a附e.w/df/2 x 30 x々"附e力e/g/^ ^ S/zwe[A]A=9(3)0 W/ ens其中，ftw^/s表示场地分析标志，/rawe.wWA和/rame./ze〖g/zf分别表示视频 帧的宽和高，if为若，others为其它；若GmM/"为0，表示信息收集不成功，舍弃 当前30帧，继续分析接下来30帧，直到G战"一为1止。若满足(3)式，表示通过计算累积直方图我们已经获得了场地的基本累积信息，下面我们就可以对场地进行建 模了。通过累积直方图我们得到如下两个统计量，它们足够反映场地的基本情况和条11<formula>formula see original document page 12</formula>(4)其中rfl/恥PeaWw&;c表示&/^通道累积直方图中最大值所对应的像素，它直接与 足球场地中绿色像素的多少的相对应；SWwrario"Mea"表示5towra"o"通道的加权平 均，它对应场地绿的程度。B.球场检测在上一步建模的基础上，可以对场地进行检测。通过如下两式来判 断出某个像素是属于足球场地还是其它对象。<formula>formula see original document page 12</formula>(6) S代表HSV色彩空间的饱和度分量，V代表HSV色彩空间的像素值分量，r， g, b 代表RGB色彩空间的红，绿，蓝分量。Max(r，g,h)代表r， g， b的最大值，Min(r，g,b) 代表r， g， b的最小值，Ground(x，y)代表当前像素是否为场地像素。(5)式为某一像 素从RGB色彩空间到HSV空间的转换，通过(6)式就可以将球场和其它对象分离出来， 从而实现对场地的检测，球场检测结果如图5所示。综上所叙，场地的建模和检测都是基于区域的，不涉及到复杂的模型分析过程。 与传统方法相比，如利用高斯混和模型或其它方法来对场地建模，本方法具备很高的 实时性，有很高的实用价值。上述步骤b中镜头分类实现步骤是构造场方地块，镜头切换检测，确定黄 金地带，镜头分类。镜头分类的方法有很多种，鉴于实时性的要求，同时为了充分利 用足球比赛本身的特点，本方法提出一种基于区域的"黄金地带比例法"，具体方法 下面将详细介绍。A.构造场地方块将当前帧分成一系列16x16的小块，每个小块是否属于场地用0otm^^w"(/j) 来表示，如(7)式<formula>formula see original document page 13</formula>'16，"" /16 其中GTO"m/尸/xe/ ，您e分别为Gro朋必gro^(/,y)内场地像素的个数和该场地块 的大小。本方法中我们规定如果Grawm/S^""(/J)中场地像素个数大于或等于该方块中总像素的一半，就设为1，否则就设为0。经过这样处理后，我们就得到一个 二维的二值矩阵。B.镜头切换检测定义7SZ),.为当前时刻/的帧相似性指数，它代表相邻帧的相 似程度。本方法中，我们利用下列异或运算来检测镜头切换。= X！ S Grot/"必《t^e,—3 (x,y) C roimc/iS^iwe,. (x,力 (8)其中0ow"afS《w^^.为当前帧的场地方块矩阵，Graw"^S^皿A^—3为当前帧之前的第三帧的场地方块矩阵。可以利用相邻两帧的相似性指数来判断当前帧是否属于 镜头切换，判别式如下-.f 1 ，,—, <《歸—細，,21— 《g。—为以固定阈值，本方法中设它为30。如果(9)式中幼o^zm^y为1就判决当前帧为镜头切换帧，否则判决当前帧仍属于当前镜头。C.确定"黄金地带"在镜头边缘检测的基础上，我们定义当前帧的中心矩形 区域为黄金地带，如图6所示。根据大量的观察和统计，我们发现在长景、中景和特 写这三类镜头中，每一帧的中心矩形区域中的场地像素比例是有很大的差别的。我们可以利用足球比赛的这个特征来进行镜头分类。定义(户^,g—)和(尸^2,尸,》分别表示中心矩形区域的左上角和右下角坐标，并且设置它们的值如下— #a 7e.vWt///z. 0.2, S砂i —々(2附e./ze/g/^. 0.2(10)设Sg。w一^为这个中心矩形区域的面积，即X一w = l - ).血-《,'砂2(11)D.镜头分类定义Syrf为场地像素的面积，我们通过下列判别式来确定 当前镜头到底属于哪一类。to.o = ^i (12)附Ww鹏/20Z, 々, < i (3"d < A ,, ,、广c/osewp 广/o"g^/w/ (13)其中，/ a"o为当前帧黄金地带中场地像素所占的比例，S/wf7);;^表示当前帧的 镜头类型，Size代表核心区域的面积。/owgWof,meWw7w/20f,c/(we"p分别对应长景，中景和特写，A。"^。,，/^。，p分别为两个固定的阈值。本方法中我们设定它们分别为 0.7和0.4，实验结果如图7所示。以上充分利用了足球比赛自身的特点，从统计角度出发设计了一种高效快捷的镜 头分类算法。上述步骤C中的感兴趣区域(R0I)的提取 一般来说，观众最关注的部分总是以球为中心的周围部分。因为整个比赛基本上是围绕球进行的，双方队员都会极力 争夺球、控制球和传接球，所以以球为中心的周围区域自然是最精彩的区域。那么只 要检测出球，然后根据比赛的进行，就可以动态地确定感兴趣区域。本方法中我们用 矩形框来标出感兴趣区域，具体方法如下A.球的检测在第一步球场检测的基础上，计算并且标记足球场内的连通区域， 如图6所示，然后在标记的连通区域中检测出球。1.检测出可能是球的区域定义/70^"^/_^//为当前帧内任意一可能是球的区域，本方法中利用颜色、面 积和形状等特征来检测，如下式所示3 < M < 20，D 1 5 < w淑x /ze妙fv4M) 0.6S邵e"一raft."1.7^VD (14)其中，object代表检测出来的对象，AND代表条件与运算，ValuePeaklndex代表 (4)式检测出的最大像素值对应的横坐标。M表示该连通区域内所含像素的个数，w/^Wz,/^/g/^表示该连通区域外接矩形的宽和高，a^erf —为球场中连同区域的 宽和高的比率，即"^^"-ra^二w^^^e&^， /"fe似^为该连通区域中某像素点 的亮度值，W/"fem^ = (" + g + 6^。可能是球区的域检测结果如图8中红色标记所 示。将当前帧内所有可能是球的区域的中心位置坐标依次保存到队列^中，同样将下一帧中所有可能是球的区域的中心位置坐标保存到另一队列A中，然后利用两帧 之间球的相对位移来最终确定球的位置。2.球的检测在上一步检测出的所有可能是球的区域基础上，本方法按如下 机制来检测出球。队列A和A分别保存了相邻两帧中所有可能是球区域的中心位置 坐标，我们通过比较这两个队列来检测出球。比较的标准为相邻两帧间po&"ri"/ — 6"〃的相对偏移c设(x,，为)为A中第/个； oto^a/_>a〃的中心位置坐标，(x2，y2)为丄2中第乂 po"wria/_6a//的中心位置坐标，设S/z^为相对偏移量水<formula>formula see original document page 16</formula>球的判别式:<formula>formula see original document page 16</formula>其中6fl//表示检测出球的实际位置。上式表明当S/z^大小满足某一特定值时就 表示得出的/ ofe""a/ —6a〃的位置是真实的球位置，如不满足，就继续比较直到找 到为止，球的检测结果如图9黑色标记所示。 B. 感兴趣区域的提取步骤如下1.初始化<formula>formula see original document page 16</formula>w/wfow,为矩形窗的中心位置，为球的中心位置，G^^为偏移量，d砍为参考偏移量。Smin,Sm狄,Sc薩",分别为窗口大小的最小值、最大值和当前大小，frame, width, frame, height分别代表当前帧的宽和高。设窗口的初始大小为最 小值，它们的初始值如(17)和(18)式所示。2.动态更新ROI窗口的动态更新包括两部分窗口的位置移动和尺寸的自适应 调整。为了更好地给观众舒适的观赏效果，移动和调整都应与比赛的内容相适应，尽 量把比赛中最精彩的部分更加清晰地展现给观众。下面就详细介绍窗口更新的过程(a)窗口位置的移动为了便于分析，我们规定"砍》0。分析这种情况不会丢失一般性，与之相对应有以下三种情况。(1).球的偏移量不是很大(19)(2).球的偏移增大到某一程度《顿《J /2(3).球的偏移增大到更大范围i/"女纖e譜'愈/ A饥4 S (i砍S々ame譜'淑(20)(21)其中为符号函数，为符号函数，当t〉时^'g"W为1， t〈0时^'gw^)为 0。本方法中用来控制ROI窗口的移动方向，d，S,^分别为三个加速因子，用它来控 制窗口移动的快慢。(b)尺寸自适应调整动态更新中，步骤(a)只实现了窗口位置的改变，为了能 让观众更加舒适、方便地在移动设备上观看比赛，还必须使窗口的尺寸能够随比赛的 进行动态有节奏的变化。本方法中，我们根据当前ROI窗口中球员的个数来自适应调 整当前窗口的大小。若球员个数增多，则需要扩大窗口的大小；若减少，则需要缩小 窗口；否则保持大小不变。17当前窗口大小& *可以用(22)式来计算=血(4 -尸,2 ) — &力) (22) abs代表绝对值运算其中(gpA,)和(S2,^2)分别为矩形的左上角和右下角坐标，可以通过改变 (A，d)和(尸C2)来调整其大小。当(d,^)增大，(S2,^)减小时，窗口就变小；当(d,S,)减小，(《2，&2)增大时，窗口就变大。设^W,0《"71。一。J， Tl。一。,表示当前长景镜头的总长度，W(O为当 前帧ROI窗口内球员的个数。可以根据(23)式来判别是否应调整窗口大小、FM (23)其中SizeAdaptation当前帧感兴趣区域窗口的状态，W(r)和W(f-l)表示相邻 两帧内R0I窗口内球员的个数，而幼n'"&ge , ^S M^az和^qv分别表示窗口縮小，扩大和不变。上式表明可以根据相邻两帧内R0I区域相对变化率来实时调整大小，如 图10所示。为了使播放更加稳定和流畅，并不是对每相邻的两帧都进行统计窗口内 球员的个数，而是每隔8帧进行窗口大小的调整。由上述可知，通过准确地检测出球，可以根据比赛的内容动态地定位和显 示R0I区域，从而把最精彩的部分更加清晰地展现给用户。本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点本发明充分利用了足球比赛自身的一些特点，实现了在移动设备中智能地实时播放足 球比赛视频。该发明中所有环节采用的方法均是基于区域的，模型简单但是高效实用， 具备很高的实时性能。同时该发明想法新颖，有很大的潜在商业价值。
图1是本发明一个实施例的程序流程图。图2是典型的镜头类型(图中图(a)为长景图，图(b)为中景图，图(c)为特 写图)。图3是长景的特殊处理图(图中的图(a)为原始长景图，图(b)为处理后长景图)。图4是长景和其对应H，S和V通道直方图(图中的图(a)为长景图，图(b)为 Hue通道直方图，图(c)为Saturation通道直方图，图(d)为Value通道直方图)。图5是场地检测图(图中(a)为检测前，(b)为检测后)。图6是黄金地带图。图7是三种镜头和其相应的黄金地带图(图中(A)为中景和其黄金地带图，(B) 为长景及其黄金地带图，(C)为特写及其黄金地带图)。图8是可能是球的区域检测图(图中(a)为第10帧，(b)为第ll帧)。 图9是球的检测图。图IO是ROI窗口自适应调整图(图中的(A)为窗口内球员多时窗口稍大，(B) 为窗口内球员少时窗口稍小)。图11是三种镜头的处理图(图中的(A)为长景的处理图，(B)为中景的处理 图，(C)为特写的处理图)。图12是视频1中长景的处理结果图(图中的(A)为第20帧，(B)为第30帧，(C) 为第90帧)。图13是视频2中长景的处理结果图(图中的(A)为第20帧，(B)为第40帧， (C)为第50帧)。图14是视频3中长景的处理结果图(图中的(A)为第30帧，(B)为第40帧， (C)为第50帧)。
具体实施方式
本发明的一个实施例子结合附图详述如下本发明实现在低分辨率环境下的移动设备中清晰地实时播放足球比赛，程序框架图如图1所示。在CPU为3.0GHz、内存1024M的PC测试平台上编程实现，图3-10 给出了处理过程中的一些结果。本发明充分挖掘足球比赛自身的特征，实现在移动设备中清晰地实时播放足球比 赛。将镜头分为三种典型的类型长景，中景和特写。针对不同类型的镜头采取不同 的处理措施中景和特写的视野范围并不宽广，即使在移动设备中的低分辨率环境下 用户也能够清晰地观看，鉴于这个特点同时为了降低运算的复杂度，我们并不对它们 进行特别的处理；长景的视野范围十分广豁，在移动设备中播放时其分辨率会明显的 降低，会给用户在观看时带来很大的不舒适感，本发明中通过动态定位和提取其感兴 趣区域然后放大来解决分辨率降低的问题。 具体的实现步骤是a. 场地的建模和球场检测首先通过在HSV空间对视频进行直方图分析得到 反映场地本身情况的一些参数，从而实现场地基本特征的提取。然后通过所提取的场 地特征参数和一些先验知识来对场地建模。在所构建模型的基础上，对场地颜色进行 阈值判断，最终实现对足球场和其它对象的准确分离。b. 镜头分类在场地分割的基础上，利用场地像素在三种镜头内所占比列的不 同这一显著特性来对镜头进行准确的分类。C. 感兴趣区域(ROI)的提取在前面镜头分类的基础上，对于长景，根据比赛 的进行动态地定位和提取其最精彩的部分，然后放大显示这个最精彩的部分。 上述场地建模和球场检测的步骤是(1) 在HSV空间中计算当前帧各个通道的直方图，如式(l)所示；计算每个通 道前三十帧的累积直方图，如式(2)所示；进行场地识别判断，若满足(3)式说明对场 地统计信息的搜集已达到要求，否则表示还未达到要求，舍弃当前的搜集结果重复 (1)， (2)直到满足(3)式为止；若场地识别成功，在累积直方图中提取反映场地自身特 性的特征参数，如式(4)所示；(2) 利用特征参数和先验知识进行对象分割，从而分离场地和其它对象，如 图5所示；上述镜头分类处理实现步骤(1) 构造场地块，进行镜头切换检测，如公式(7), (8), (9)所示；(2) 定义当前帧的"黄金地带"，如公式(10)和图6所示；(3) 计算当前帧"黄金地带"内场地像素所占IH1:匕例，如式(12)所示20(4)利用"黄金地带"内场地像素的不同比例从而对镜头类型进行检测，结果 如图7所示； 上述ROI窗口的动态定位和显示的实现步骤-(1) 在相邻两帧内，利用式(14)检测出球场内可能是球的区域，并将每帧检 测出的结果压入到两个队列中。结果如图8红色标记所示；(2) 利用相邻两帧中可能是球的区域的相对偏移来检测出球的实际位置，如 式(15), (16)所示，检测结果如图9黑色标记所示；(3) 初始化ROI窗口的位置和大小，如式(17), (18)所示；(4) ROI窗口的位置和大小的动态更新。位置的变化取决于球的位置和相邻 三帧球的相对偏移大小；尺寸的改变取决于当前帧内ROI窗口中球员的个数当球员个数增多时暗示ROI窗口应该自适应增大，相反就应该自适应减小，如图io所示。如上所述已经能够实现在移动设备中的低分辨率环境下实时地播放足球比赛，该 发明可以有效地解决视频效果因分辨率下降而导致细节丢失和观赏性降低的问题。根据图2的程序流程图，以下给出实现的实例，视频主要来至于实际的比赛，如欧洲冠 军联赛和英格兰超级联赛，图3至图IO给出了处理过程中相应的结果。下面结合程 序流程图来进行各部分试验的说明。试验在长景中动态地定位，提取和放大感兴趣区域是本算法的目的。根据图l可以看出在低分辨率环境下中景和特写仍然能够比较清晰地将比赛展现给移动设备 用户，而长景的视觉效果在低分辨率下就变得比较差，其观赏性也随之降低了。根据图2所示的程序流程图，第一步为利用视频的前若干帧进行建模和分割，实验结果如 图4， 5所示；第二步为在前面的基础上进行镜头分类，得到三类基本的典型镜头， 实验结果如6， 7所示；第三步为动态的定位，提取和放大显示ROI区域的内容,实验 结果为8， 9， IO所示。为了进一步说明本发明的实用性，图11至图12给出了更多的实验结果。图 11说明不同类型的镜头的不同处理方法；图12至14为用本方法所处理的三段视频 的ROI提取和放大显示。从实验结果可以看出，本方法可以动态地定位、提取和放 大显示视频中长景镜头的ROI，从而提高了视觉效果和增强了观赏性。
权利要求
1.一种面向移动设备的足球视频智能播放方法，其特征在于将镜头分为三种典型的类型长景，中景和特写；针对长景通过动态定位和提取其感兴趣区域然后放大来解决分辨率降低的问题；实现步骤是a.场地建模和球场检测首先通过在HSV空间对视频进行直方图分析得到反映场地本身情况的一些参数，从而实现场地基本特征的提取；然后通过所提取的场地特征参数和一些先验知识来对场地建模；在所构建模型的基础上，对场地颜色进行阈值判断，最终实现对足球场和其它对象的准确分离；b.镜头分类在场地分割的基础上，利用场地像素在长景、中景和特写三种镜头内所占比例的不同这一显著特性来对镜头进行准确的分类；c.感兴趣区域的提取在镜头分类的基础上，对于长景，根据比赛的进行动态地定位和提取其最精彩的部分，然后放大显示这个最精彩的部分。
2. 根据权利要求书1所述的面向移动设备的足球视频智能播放方法，其特征在于所 步骤a中的场地建模和球场检测的步骤是A.场地建模利用视频的前若干帧，设定为前30帧，即l秒的视频长度，分别计算出每一 帧的5tewrariow和通道的直方图，计算公式如下<formula>formula see original document page 2</formula>其中，W,W和Hva,we, W分别为第Z'帧对应的三个通道Hue、Satumrion和Value的直方图，A^，iVs, 分别对应其像素级，其中Hue为色调，Saturaion为饱和度，Value为像素值；正常条件下足球场地的颜色总是绿色的，所以在大部分镜头中绿色区域总会 占据很大的面积；在直方图上这一点表现为集中在某个像素区间上出现较大值，通过计算累积直方图来获取场地的统计信息，计算累积直方图的公式如下<formula>formula see original document page 3</formula>/me，s^wra"ow和va/i/e表示前30帧的累积直方图，它们包含了前三十帧场地的累积统计信息，横坐标同样定义为a^，a^,av;前30帧的累积直方图并不一定能够反映出场地的真实情况，我们规定只有满足下式才算对场地的累积统计信息收集成功， 即 <formula>formula see original document page 3</formula>(3)其中，foo^j^表示场地分析标志，/rawe.wz'^/ 和/rame./ze/g似分别表示视频帧的 宽和高，i为若，W力ers为其它；g^l4/"为0，表示信息收集不成功，舍弃当前30 帧，继续分析接下来30帧，直到g^/^为1止；若满足(3)式，表示通过计算累积直方图我们已经获得了场地的基本累积信息，下面我们就可以对场地进行建模了；通过 累积直方图我们得到如下两个统计量，它们足够反映场地的基本情况和条件 <formula>formula see original document page 3</formula>其中表示&/恥通道累积直方图中最大值所对应的像素，它直接与 足球场地中绿色像素的多少的相对应；Sa似rario"Mea"表示5towraf/o"通道的加权平 均，它对应场地绿的程度；B.球场检测在上一步建模的基础上，可以对场地进行检测，通过如下两式来判断出 某个像素是属于足球场地还是其它对象<formula>formula see original document page 4</formula>其中，S代表HSV色彩空间的饱和度分量，V代表HSV色彩空间的像素值分量， r，g,b代表RGB色彩空间的红，绿，蓝分量。Max(r，g，h)代表r， g， b的最大值， Min(r,g,b)代表r， g， b的最小值，Ground(x， y)代表当前像素是否为场地像素。(5) 式为某一像素从RGB色彩空间到HSV空间的转换，通过(6)式就可以将球场和其它对 象分离出来，从而实现对场地的检测。
3.根据权利要求书1所述的面向移动设备的足球视频智能播放方法，其特征在于所述步骤b中的镜头分类实现步骤是构造场方地块；镜头切换检测；确定黄金地带；镜头分类；其中最后的镜头分类如下-定义^wrf为场地像素的面积，通过下列判别式来确定当前镜头到底属于哪一类<formula>formula see original document page 4</formula>其中，i a"'o为当前帧黄金地带中场地像素所占的比例，S/2W7)^e表示当前帧的镜头 类型，/o"gs/2c^，meAiww/zof,c/(wew;7分别对应长景，中景和特写<formula>formula see original document page 4</formula>分别为长景和特写的固定阈值；Size代表整个核心区域的大小。
4.根据权利要求书1所述的面向移动设备的足球视频智能播放方法，其特征在于所 述步骤C中的感兴趣区域的提取步骤是首先找出球，然后确定以球为中心的矩 形区域为感兴趣区域；球的检测步骤如下A.球的检测(1).检测出可能是球的区域定义/ 0&她'0/_^//为当前帧内任意一可能是球 的区域，利用颜色、面积和形状特征来检测，按下式所示<formula>formula see original document page 5</formula>其中，object表示当前检测出的对象的标志，M表示该连通区域内所含像素的 个数，wz'fiW2，/2e/g&表示该连通区域外接矩形的宽和高，a^erf — rario为球场中连同 区域的宽和高的比率，即""^e"-ra^二wz'^^&g&， /^e附^为该连通区域中某像素点的亮度值，即/",謹'0^(r + g")^， AND代表......，ValuePeaklndex为(4)中得到的最大值对应的横坐标。将当前帧内所有可能是球的区域的中心位置坐标依次 保存到队列A中，同样将下一帧中所有可能是球的区域的中心位置坐标保存到另一 队列^中，然后利用两帧之间球的相对位移来最终确定球的位置；(2).球的检测在上一步检测出的所有可能是球的区域基础上，按如下机制来 检测出球，队列A和丄2分别保存了相邻两帧中所有可能是球区域的中心位置坐 标，我们通过比较这两个队列来检测出球；比较的标准为相邻两帧间 potew"a/ —6a〃的相对偏移。设(A,;O为A中第z'个pote^'a/ —6a〃的中心位置坐标，(x2,y2)为丄2中第j'个 pote""a/ —6a〃的中心位置坐标，设S/z辨为相对偏移量<formula>formula see original document page 6</formula>球的判别式(11)<formula>formula see original document page 6</formula>其中k)f〃表示检测出球的实际位置；上式表明当s/h;/ 大小满足某一特定值时就表示得出的戶&油'fl/ —6a〃的位置是真实的球位置，如不满足，就继续比较直到找 到为止；b.感兴趣区域的提取步骤如下1) .初始化<formula>formula see original document page 6</formula>为矩形窗的中心位置，/og为球的中心位置，c^A为偏移量，^砍为参考偏移量。^^,Sm^,S，^,分别为窗口大小的最小值、最大值和当前大小，frame, width, frame, height分别代表当前帧的宽和高。设窗口的初始大小为最小 值。它们的初始值如(12)和(13)式所示。2) 动态更新感兴趣区域窗口的动态更新包括两部分窗口的位置移动和尺寸 的自适应调整。为了更好地给观众舒适的观赏效果，移动和调整都应与比赛的内容相 适应，把比赛中最精彩的部分更加清晰地展现给观众；下面就详细介绍窗口更新的过 程(a)窗口位置的移动为了便于分析，我们规定"砍20，分析这种情况不 会丢失一般性，与之相对应有以下三种情况 i.球的偏移量不是很大<formula>formula see original document page 7</formula>(14)ii.球的偏移增大到某一程度<formula>formula see original document page 7</formula> (15) 球的偏移增大到更大范围<formula>formula see original document page 7</formula>(16)其中为符号函数，当t〉时^'g"(0为1， t〈0时^'g"(0为0。本方法中 用来控制ROI窗口的移动方向，3，A，&分别为三个加速因子，用它来控制窗口移 动的快慢；(b)尺寸自适应调整动态更新中，步骤(a)只实现了窗口位置的改变，为了能让观众更加舒适、 方便地在移动设备上观看比赛，还必须使窗口的尺寸能够随比赛的进行动态有节奏的 变化；感兴趣冈域根据当前窗口中球员的个数来自适应调整当前窗口的大小；若球员 个数增多，则需要扩大窗口的大小；若减少，则需要縮小窗口；否则保持大小不变；<formula>formula see original document page 7</formula>(17)其中abs表示求绝对值，(&,&)和(S2,S2)分别为矩形的左上角和右下角坐标， 可以通过改变(d,&)和(《2,50来调整其大小；当(S"&)增大，(《2,^2)减 小时，窗口就变小；当(g"&)减小，(^2,^2)增大时，窗口就变大；设^W，os"7i。一J， 表示当前长景镜头的总长度，7V(0为当前帧ROI窗口内球员的个数，根据下式来判别是否应调整窗口大小<formula>formula see original document page 8</formula>(18)其中SizeAdaptation感兴趣区域窗口的状态类型。和W(f — 1)表示相邻两 帧内R0I窗口内球员的个数，幼n'"to取，^^ra^2和5"toy分别表示窗口縮小，扩大和不变；上式表明根据相邻两帧内感兴趣区域相对变化率来实时调整大小；为了使 播放更加稳定和流畅，并不是对每相邻的两帧都进行统计窗口内球员的个数，而是每 隔8帧进行窗口大小的调整。
全文摘要
本发明涉及一种面向移动设备的足球视频智能播放方法。本方法是首先对足球场面进行建模，得到场地的基本统计信息，将场地和其它对象分割开；然后，在场地模型的基础上实现对镜头的聚类；最后，动态提取和播放比赛中的感兴趣区域。本发明充分利用了足球比赛自身的一些特点，实现了在移动设备中智能地实时播放足球比赛视频。本发明是基于区域的，模型简单，但是高效实用，具备很高的实时性能。
文档编号G06T7/20GK101324957SQ200810040640
公开日2008年12月17日 申请日期2008年7月16日 优先权日2008年7月16日
发明者志 刘, 李伟伟, 韩忠民, 顾建栋, 颜红波 申请人:上海大学