专利名称：一种利用标志检测进行电视节目内部自动分割的方法
技术领域：
本发明属于图像处理和模式识别技术领域，具体涉及一种利用标志检测进行电视 节目内部自动分割的方法。
背景技术：
目前，广播电视每天都在产生海量的视频，并且给出了电子节目菜单。随着网络电 视和数字电视的广泛普及，为了提供更佳的观赏感受，许多电视节目尝试通过内部段落分 割，给出节目内部收视指导。同时，节目的内部分割也是进一步内容分析与检索的前提。面 对海量的视频，人工标注分割已经不能满足时效要求，机器完成的自动分割成为迫切需求。 视频结构化分析是指对视频流进行镜头分割、关键帧提取和场景分割等处理，从而得到视 频的结构化信息。场景分割主要集中在场景聚类，重复视频检测，镜头相似度比对等方法 上，往往比较复杂。当前，越来越多的电视节目在使用台标或节目自有标志时十分注意知 识产权在节目内部的非自有产权的视频段落，如广告，引用的电影片段等，将不会加载这 些标志；而使用标志的视频段落通常是片头片尾，访谈部分，或其他由本节目自己录制的片 段。标志在时间序列上的不连续性使得电视节目具有很强的结构性，为电视节目的内部分 割提供了依据。
发明内容
针对电视节目，其台标或节目标志，下面统称为标志，具有时间上的不连续性，本 发明提供一种对此种电视节目内部自动分割方法，达到准确快速的分割效果。本发明所述的电视节目内部自动分割方法的主要步骤如下步骤一，利用一种现有镜头分割技术对电视节目视频进行镜头分割，获得时间连 续的镜头序列信息；步骤二，对每个镜头按时间平均方式取5帧关键帧，并提取所有关键帧中标志所 在位置的矩形区域的子图；步骤三，提取训练集所有子图的图像特征向量，含有标志的子图为正样本，不含标 志的子图为负样本，训练得到用于标志检测的SVM分类器；步骤四，将待分割的本节目视频，经过步骤一和步骤二得到所有子图，提取与步骤 三相同的图像特征向量，利用步骤三中得到的SVM分类器进行分类，得到子图的分类结果；步骤五，标记镜头标志属性，如果一个镜头中至少有3帧子图被判定为存在标志， 则标记这一镜头为标志镜头，否则标记为非标志镜头；步骤六，节目视频内部分割，将视频中具有不同标志属性的相邻镜头的边界作为 分割点，把视频分割成段落。
图1是本发明所述的电视节目结构示例图。
图2是本发明所述方法的基本流程图。
具体实施例方式如图2流程图所示，本发明所述方法包含两个阶段离线训练分类器与在线处理 待分割视频。两个阶段共同的步骤是镜头分割，提取5帧关键帧及其标志区域子图。以下 为方法具体实施方式
。(1)镜头分割步骤是利用现有的一种镜头分割算法，如基于直方图、基于运动以及 针对压缩视频的算法，将电视节目视频切分成时间连续的镜头序列。(2)将每一个镜头按时间平均分成6段，取相邻段的5帧图像作为关键帧；针对此 电视节目，对已知的标志确定其所在的矩形区域，此矩形恰好将标志完全包围，矩形坐标为 (X，y，w, h)，其中X，y分别为矩形左上角点的横纵坐标，w, h分别为矩形的宽和高；对所有 关键帧提取此矩形，称为子图。(3)提取所有子图的三种图像特征向量HSV空间颜色直方图，边缘梯度直方图， 基于词袋模型的SIFT特征点直方图；然后将三种特征连接，形成最后的图像特征向量。具 体特征提取方法如下1.颜色直方图提取对子图提取HSV空间颜色统计直方图，其中H空间分为8个区间，S空间分为3个 区间，V空间分为3个空间，将直方图归一化，形成72维的特征向量；2.边缘梯度直方图提取对子图提取边缘梯度直方图，每5度为一个区间，累加各个区间范围内的梯度，将 直方图归一化，形成72维的特征向量；3.基于词袋模型的SIFT特征点直方图提取提取所有子图SIFT特征向量；使用K均值聚类算法对训练集数据的SIFT特征向 量聚类，得到64个聚类中心，作为词袋模型的码本；将每个子图的所有SIFT特征向量投影 到码本，形成64维的直方图并做归一化，得到特征向量；4.将以上三种特征向量串连，形成最后的208维的特征向量。(4)离线训练用于标志检测的SVM分类器，将训练集的正负样本的图像特征向量 输入SVM工具进行训练，此处，正负集样本数目均大于1000，SVM选择基于卡方距离的核函 数。(5)对待分割视频的子图提取与步骤⑶相同的图像特征向量，共208维；其中， 形成SIFT的直方图特征向量的需要的码本是步骤(3)中使用的码本，由训练集经K均值方 法聚类得到。(6)利用步骤(4)得到的SVM分类器对步骤(5)得到的特征向量进行分类，分类结 果标定各个子图是否存在标志。(7)由步骤(6)结果检查每个镜头中含有标志的关键帧数目，如果大于等于3，则 标记此镜头为标志镜头，否则标记此镜头为非标志镜头。(8)逐镜头检查待分割视频的镜头标记，如果相邻两个镜头标记不同，则将这两个 镜头的边界作为一个分割点，直到顺序检查完所有相邻镜头，最后此节目视频内部分割完 成。
权利要求
1. 一种利用标志检测进行电视节目内部自动分割的方法，其特征在于包括如下步骤 步骤一，利用镜头分割技术对电视节目视频进行镜头分割，获得时间连续的镜头序列 fn息；步骤二，对每个镜头按时间平均方式取5帧关键帧，并提取所有关键帧中标志所在位 置的矩形区域的子图；步骤三，提取训练集所有子图的图像特征向量，含有标志的子图为正样本，不含标志的 子图为负样本，训练得到用于标志检测的SVM分类器；步骤四，将待分割的本节目视频，经过步骤一和步骤二得到所有子图，提取与步骤三相 同的图像特征向量，利用步骤三中得到的SVM分类器进行分类，得到子图的分类结果；步骤五，标记镜头标志属性，如果一个镜头中至少有3帧子图被判定为存在标志，则标 记这一镜头为标志镜头，否则标记为非标志镜头；步骤六，节目视频内部分割，将视频中具有不同标志属性的相邻镜头边界作为分割点， 把视频分割成段落。其中，所述步骤二具体包括步骤1，将每一个镜头按时间平均分成6段，取相邻段的5帧图像作为关键帧； 步骤2，针对此电视节目，对已知的标志确定其所在的矩形区域，此矩形恰好将标志完 全包围，矩形坐标为(X，1，w, h)，其中X，y分别为矩形左上角点的横纵坐标，w, h分别为矩 形的宽和高；步骤3，对所有关键帧提取此矩形，称为子图。 其中，所述步骤三具体包括步骤1，对子图提取HSV空间颜色统计直方图，其中H空间分为8个区间，S空间分为3 个区间，V空间分为3个空间，将直方图归一化，形成72维的特征向量；步骤2，对子图提取边缘梯度直方图，每5度为一个区间，累加各个区间范围内的梯度， 将直方图归一化，形成72维的特征向量；步骤3，提取所有子图SIFT特征向量，使用K均值聚类算法对训练集数据的SIFT特征 向量聚类，得到64个聚类中心，作为码本，将每个子图的所有SIFT特征向量投影到码本，形 成64维的直方图并做归一化，得到特征向量；步骤4，将以上三种特征向量串连，形成最后的208维的特征向量； 步骤5，离线训练用于标志检测的SVM分类器，将训练集的正负样本的特征向量输入 SVM工具进行训练，此处，训练中正负集样本数目均大于1000，SVM选择基于卡方距离的核 函数。
全文摘要
本发明涉及图像处理和模式识别技术领域，提出了一种利用标志检测进行电视节目内部自动分割的方法。目前，电视节目的内部分割具有迫切需求；节目中标志的时间不连续性使得节目具有良好的结构性。本发明所述方法主要包括以下步骤(1)对节目视频分割镜头，在每个镜头关键帧上提取标志所在区域的子图；(2)提取子图的特征向量，利用针对此标志检测的SVM分类器进行分类；(3)统计分类结果，标定每个镜头的标志属性；(4)在相邻镜头的标志属性切变点分割视频。本发明在标志检测过程中，只对关键帧做处理，从而提高了方法的效率；另外，本发明的应用对象是节目中标志具有不连续性的电视节目，对节目内容类型无要求，增强了方法应用的普适性。
文档编号H04N5/262GK102098449SQ20101057407
公开日2011年6月15日 申请日期2010年12月6日 优先权日2010年12月6日
发明者肖国锐, 董远 申请人:北京邮电大学