视频序列比对的方法及其系统的利记博彩app
【技术领域】
[0001] 本发明设及视频处理技术领域，尤其设及视频序列比对的方法及其系统。
【背景技术】
[0002] 如今，视频时序比对在许多视频应用，例如场景检测，内容监控等中展示出巨大的 应用价值。所述序列比对方法可W看成是在成本矩阵中不断解决问题的路径。也就是，所 述双序列比对的过程可W转化为寻找一条从所述矩阵的左下角到右上角的路径。所述矩阵 的每一维都分别代表对应的视频序列的视频帖的特征。
[0003] 现有技术中，一般应用动态时间归整值TW)算法来进行时序比对（具体例如 needleman-wusch全局比对算法，dijkstra算法等）。所述DTW算法用于寻找用于比对的 两条序列之间不同的部分的可能的比对结果。例如，needleman-wusch全局比对算法运行 双序列比对并找出其中得分最高的比对结果。但是，上述算法都存在当比对序列较为庞大 时，需要耗费极大运算时间及存储容量的问题。因为，上述算法的复杂度为〇(NM)，N和M为 矩阵的维数。显然地，上述算法W平方阶增长的时间及空间复杂度限制了它们在实时服务 中的应用。
[0004] 本发明公开的方法及其系统用于解决现有技术中的一个或者多个问题。
[000引发明概述
[0006] 本发明一方面公开了视频序列比对方法，所述方法包括输入第一及第二视频序列 并且从第一及第二视频序列中获取视频特征。所述方法还包括通过层次结构序列比对方法 生成一个拓展路径并使用关键帖比对方法生成包含捜索空间的图像掩膜。更进一步的，所 述方法还包括使用区域A*算法计算捜索空间中最低的路径成本，从而找出最小比对路径， W及在捜索空间中使用区域A*算法后，输出最终的序列比对结果。
[0007] 本发明另一方面公开了视频序列比对的系统，所述系统包括输入视频序列模块， 用于提供从任何合适类型的视频中获取两条相应的第一及第二视频序列W及视频特征提 取模块，用于从第一及第二视频序列中提取特征。所述系统还包括；层次结构序列比对模 块，用于使用层次结构比对算法生成扩充路径W及关键帖匹配模块，用于生成带捜索空间 的掩膜。更具体的，所述系统还包括；计算模块，用于使用区域A*算法计算捜索空间中最低 的路径成本，从而找出最小比对路径，W及输出模块，用于在捜索空间中使用区域A*算法 后，输出最终的序列比对结果。
[000引本发明的其他方面，所属技术领域技术人员能够依据本发明的权利要求书，说明 书，W及附图有效实施并充分公开。
[0009] 附图简要说明
[0010] 图1为本发明【具体实施方式】提供的具体工作系统的示意图。
[0011] 图2为本发明【具体实施方式】提供的计算系统的结构框图。
[0012] 图3为本发明【具体实施方式】提供的视频序列比对方法的方法流程图。
[0013] 图4为本发明【具体实施方式】提供的成本矩阵的示意图。
[0014] 图5为本发明【具体实施方式】提供的视频序列比对方法中的关键帖比对方法的方 法流程。
[0015] 图6a-6f为本发明【具体实施方式】提供的视频序列比对方法中的带关键帖的路径 评估的示意图。
[0016] 图7为本发明【具体实施方式】提供的视频序列比对方法中的启发性成本函数的示 意图。
[0017] 图8为本发明【具体实施方式】提供的视频序列比对方法中的计算別导分的示意图。 [001引图9为本发明【具体实施方式】提供的视频序列比对系统的结构框图。
[0019] 图10为本发明【具体实施方式】提供的视频序列比对系统的层次结构序列比对模块 的结构框图。
[0020] 详细说明
[0021] 附图中展示的部分将被引用W具体说明，阐述本发明具体技术实施方案。说明书 中引用的数字代表附图的相应部分。
[0022] 如图1所示，该是本发明【具体实施方式】中的工作系统100。所述工作系统100中包 括有：电视机102、遥控器104、用户108。当然，还可W包括网络设备106。
[0023] 电视机102可W是任何合适类型的终端或者计算设备，电视机102可W是电视机， 例如等离子电视，LCD电视，背投式电视，智能电视或者非智能电视。电视机102还可W是 个人电脑，掌上电脑或者智能手机等。
[0024] 所述遥控器104可W是任何合适类型的能够遥控操作电视机102的遥控器，例如 配套的电视遥控器，通用电视遥控器，掌上电脑，智能手机或者其他能够实现遥控功能的智 能设备。遥控器104还可W包括其他不同类型的设备，例如动作感应遥控设备，图像感应遥 控设备W及其他一些简单输入设备，例如键盘，鼠标，声控输入等。当电视机102为个人电 脑或者其他计算机设备时，所述遥控器104可W减省。
[0025] 为了观看电视102或者进行其他感兴趣的活动，例如购物或者观看，编辑视频节 目，用户108使用遥控器104控制电视机102播放不同的节目或者进行该感兴趣的活动。如 果电视机配备有动作感应或者图像感应装置，用户还可W简单的使用手势动作进行控制。 通过上述过程，用户108可W与电视机102和/或网络设备106互动。
[0026] 具体的，所述网络设备106可W是任何合适类型的计算机网络或者通信网络，用 于实现遥控器104W及电视102之间的通信，数据存储及处理。当然，电视机102,遥控器 104W及网络设备106之间通过一个或多个通信网络相互连接。
[0027] 电视机102,遥控器104W及网络设备106在一个合适的电子计算平台实现其功 能。图2是本发明【具体实施方式】中的一种可用于实现上述电视机102,遥控器104W及网络 设备106功能的计算系统200的结构框图
[002引如图2所示，所述计算系统200包括一个处理模块202,存储模块204,监视器206， 通信模块208,数据库210W及外围设备212。所述计算系统可W减省上述设备，也可W添 加一些其他类型的设备，而不限于上述设备。
[0029] 所述处理模块202可W是任何合适的处理器或处理器组。具体的，所述处理模块 202为能够进行多线程处理的多核屯、处理器。存储器204可W是任何合适的存储设备，例 如ROM,RAM,闪存或者大容量存储器，例如CD-ROM,硬盘等。存储器204用于存储为进行各 种数据处理而预设的计算机运行程序。
[0030] 所述外围设备212具体包括；各种类型的传感器W及输入，输出设备，例如键盘， 鼠标。通信模块208具体包括；各类网络交互设备，用于在设备间通过网络系统建立连接。 数据库210具体包括一到多个用于存储不同数据W及对数据进行一些处理，例如捜索数据 的数据库。
[0031] 实际运行中，电视机102和/或网络设备106可W用于执行一系列视频分析程序， 该分析程序作用为捜索，对比和/或编辑输入电视机102的视频序列。图3为本发明执行 视频序列比对程序的具体实施例的方法流程图。
[0032] 如图3所示，首先，获取第一视频序列及第二视频序列（S301)。所述视频序列可W 包括任何类型的视频内容。所述视频内容可W包括视频信息及元数据。所述视频内容可W 与许多视频帖相关联，并且视频帖也可W交由其他模块进行各种不同类型的处理。
[0033] 具体的，从第一及第二视频序列中提取视频特征（S302)。所述视频特征是分别从 第一视频序列X及第二视频序列Y中的每一帖中提取的。所述视频特征可W被矢量化为一 个恒定的长度向量，可W使用曼哈顿距离来表示特征之间的相似度，具体定义如下：
[0034] cost(x",yj= |x"-yj(1)
[0035] X。分别ym代表视频X第n帖W及视频Y第m帖的特征向量。
[0036] 在获得第一及第二视频序列的特征后，通过层次结构序列比对算法获得一个拓展 的路径。（S303)
[0037] 图4展示了一个双序列比对的成本矩阵，W及在成本矩阵中具有最小总距离的 扭曲路径的具体实施例。如图4所示，假设X= [Xi，X2,…Xn]G及Y= [y^y2，''' yjGR"w为两个待比对序列，其中，N和M分别表示时序序列X及Y的长度。为了比对所 述时序序列X和Y，首先创建一个大小为NXM的矩阵D。可W看到路径（灰色区域）从矩 阵的左下角延伸到右上角。在视频序列比对中，所述视频时序中的每个元素包括了对应视 频帖中的多个的特征，所述多个特征合并，堆积成为一个长度为L的特征向量。矩阵D中的 每个元素d(n，m)的计算方法是cost(x"，ym)，此时可W用成本函数表征距离度量（如欧