专利名称：基于内容的视频分析融合系统的利记博彩app
技术领域：
本发明涉及基于内容的视频分析，更特别地，涉及基于内容的视频分析管理系统及融合系统。
背景技术：
基于内容的视频检索是指根据视频节目内容方面的特征进行视频节目的检索。目前，业界已经有一些针对视频节目的检索系统，这些系统都是将已有的视频文件进行人工注释，其核心技术仍然是传统的基于文字的检索技术。但是，人工的注释往往受到主观因素的影响，无法客观的刻画出视频节目的真正特征。此外，人工的为视频节目进行注释工作量很大，造成生产效率的低下，也增加了企业的用人成本。基于内容的视频检索可以避免人工注释所带来的缺点。基于内容的视频检索由于自动化的提取视频特征，从而方便了检索服务的提供方，由于允许用户提交样例文件作为检索条件，从而方便了用户的使用，由于为用户提供了除文字以外的其他检索条件，从而避免了由于用户描述模糊而带来的烦恼。
图1是视频搜索系统的整体结构图。
从图1可以看出视频搜索整个系统由视频内容分析集群、检索服务器集群和客户端搜索工具三部分构成，其中视频内容分析集群包括内容分析调度服务器、视频分析服务器、音频分析服务器、字幕分析服务器、融合分析服务器；视频检索服务器集群包括视频搜索调度服务器、视频特征数据库、字幕特征数据库、语音缓冲检索数据库、语音最优化数据库、语音特征数据库、视频元数据库、音频元数据库、图片元数据库。视频内容分析集群中的融合分析服务器上就运行着基于内容的视频分析融合系统。
在视频搜索系统中，视频分析融合系统是视频内容分析集群和视频检索服务器集群的桥梁，该系统监视和管理各种分析服务器、元数据库、特征数据库，同时该系统也将视频分析、音频分析、字幕分析的结果进行融合、审核，最后入库到各个特征数据库中。
发明内容
本发明旨在提供一个控制系统，该系统可以适用于基于内容的视频分析融合。
本发明的一个目的是可以有效地控制用于视频分析的视频分析服务器、音频分析服务器、字幕分析服务器，使其正常运转。
本发明的另一个目的是可以使一个被分析文件按照分析、融合、审核、入库的流程进行。
为了实现这些目的和其他优点并根据本发明的目的，如这里所列举和广泛描述的一样，根据本发明的基于内容的视频分析融合系统如图2所示，包括以下几个部分融合管理单元、结果审核单元、集中控制单元、设备管理单元、核心数据库和基本信息配置单元。
融合管理单元的主要功能是处理视频分析、音频分析、字幕分析的结果，对各个结果进行整合、优化，并且将生成结果审核、入库；结果审核单元的主要功能是将经过融合的分析结果显示在界面上，并且为用户提供增加、删除、平移场景和镜头的操作，使用户能够人工对场景镜头进行修改，然后再将用户修改的结果保存起来；集中控制单元的主要功能是监视元数据库是否有新的文件产生、管理所有的任务按照分析、融合、审核、入库的流程进行；设备管理单元的主要功能是监视各个相关设备的状态，相关设备包括视频分析服务器、音频分析服务器、字幕分析服务器、视频元数据库、音频元数据库、图片元数据库、视频特征数据库、音频特征数据库、字幕特征数据库、视频特征FTP服务器、音频特征FTP服务器、字幕特征FTP服务器、临时文件FTP服务器、流媒体FTP服务器；核心数据库存储视频分析融合系统的所有的基本视频信息、基本任务信息、文件状态信息、访问元数据库信息；基本信息配置单元的主要功能是管理视频分析融合系统所必须的参数，包括各个数据库的用户信息、各个FTP服务器的用户信息、各个任务的基本配置信息等。
应该理解，本发明的前面的一般描述和随后的详细描述都是示范性和解释性的，目的是提供所要求的发明的进一步解释。
图1为视频搜索系统结构图；图2为视频分析融合系统结构图；图3为设备管理单元所管理的设备示意图；具体实施方式
参见图2及图3；视频分析融合系统将每一个经过转码并且在视频元数据库中生成记录的文件作为一个任务，以该文件在元数据库中的ID值来标识任务。每个任务有可能有以下几种状态未处理状态、正分析状态(开始视频分析状态、开始音频分析状态、开始字幕分析状态、视频分析结束状态、音频分析结束状态、字幕分析结束状态)、可融合状态、可审核状态、可入库状态、处理完成状态。对于每个任务的处理也需要严格按照分析、融合、审核、入库流程进行，换句话说，每个任务必须经过未处理状态、正分析状态、可融合状态、可审核状态、可入库状态、处理完成状态才能完成整个的视频分析流程。
在操作视频分析融合系统之初，必须对基本信息配置单元进行配置。基本信息配置单元所需要配置的内容主要包括以下几个方面1)视频元数据库的服务器名、数据库名、用户名、用户密码、最大连接数、最小连接数；2)音频元数据库的服务器名、数据库名、用户名、用户密码、最大连接数、最小连接数；3)图片元数据库的服务器名、数据库名、用户名、用户密码、最大连接数、最小连接数；
4)视频特征数据库的服务器名、数据库名、用户名、用户密码、最大连接数、最小连接数；5)音频特征数据库的服务器名、数据库名、用户名、用户密码、最大连接数、最小连接数；6)字幕特征数据库的服务器名、数据库名、用户名、用户密码、最大连接数、最小连接数；7)核心数据库的服务器名、数据库名、用户名、用户密码、最大连接数、最小连接数；8)视频特征FTP服务器的IP地址、用户名、用户密码、上传路径；9)音频特征FTP服务器的IP地址、用户名、用户密码、上传路径；10)字幕特征FTP服务器的IP地址、用户名、用户密码、上传路径；11)流媒体FTP服务器的IP地址、用户名、用户密码、上传路径；12)临时文件FTP服务器的IP地址、用户名、用户密码、上传路径；13)用户是否需要进行审核操作；以上各个参数是视频分析融合系统所必需的系统参数，是系统访问各个数据库、FTP服务器的基础。
在运行视频分析融合系统之前，还需要配置核心数据库，核心数据库包括基本视频信息、基本的任务信息、文件状态信息、访问元数据库信息。下面对各种信息做详细的介绍基本视频信息包括节目ID、节目名称、导演、演员、产地、文件格式、文件大小、片长、节目地址、节目文件名、上载时间、上载地址、节目级别；基本任务信息包括任务ID、屏幕长度、屏幕宽度、帧率；文件状态信息包括任务ID、任务状态(任务状态包括未处理状态、正分析状态、可融合状态、可审核状态、可入库状态、处理完成状态)；访问元数据库信息包括程序最后访问元数据库时间，默认时间为1900年1月1日0时0分0秒。
在视频分析融合系统启动以后，设备管理单元就开始监视各个设备。设备管理单元所管理的设备如图3所示，该单元监视视频分析服务器、音频分析服务器、字幕分析服务器、核心数据库、视频元数据库、音频元数据库、字幕元数据库、视频特征数据库、音频特征数据库、字幕特征数据库、视频特征FTP服务器、音频特征FTP服务器、字幕特征FTP服务器、流媒体FTP服务器、临时文件FTP服务器。设备管理单元通过定时发送数据包给相应的分析服务器，来检查各个分析服务器是否在线，并且将该信息及时反应到界面。当设备管理单元在打开数据库或者连接FTP服务器出现问题时，也会及时将消息反应到界面，并且写入日志。
在视频分析融合系统启动以后，视频分析融合系统的集中控制单元就会定时轮循视频元数据库，以获得最新的转码文件信息。集中控制单元记录下当前时间，然后根据对元数据库的最后访问时间(从核心数据库查询得到)查询元数据库中该时间之后的所有记录，并且返回给集中控制单元。如果返回的结果集非空，则表示有新的转码文件产生，集中控制单元则将该文件作为新的任务，标识该任务的状态为开始状态，将该任务保存在本地数据库中，同时给界面发送更新消息，使界面及时更新。
用户界面显示所有任务的列表，并记录该任务的当前状态。当某一任务是未开始状态时，界面需要根据各个分析服务器的连接情况而显示用户可以发送的分析请求，举个例子，如果视频分析服务器在线，而音频分析服务器、字幕分析服务器不在线，则界面只允许用户发送视频分析请求。下面以用户发出一个视频分析请求为例，描述具体的分析过程首先，集中控制单元接收到该视频分析请求，并且检查视频分析服务器是否在线；第二，集中控制单元将该任务组成一个数据包，发送给视频分析服务器，数据包的内容主要包括任务ID、任务基本信息(屏幕长度、屏幕宽度、帧率)、文件的基本信息(供视频分析服务器显示)；第三，集中控制单元更新该任务的状态为开始视频分析状态；第四，集中控制单元更新核心数据库中该任务的状态值为开始视频分析状态；第五，集中控制单元更新界面上该任务的状态为“正在视频分析状态”；考虑到对于一个任务，视频分析、音频分析、字幕分析的开始、结束时间并不相同，因此将任务状态值的低8位分别表示以上几种状态开始视频分析状态用0x01表示；开始音频分析状态用0x02表示；开始字幕分析状态用0x04表示；视频分析结束状态用0x10表示；音频分析结束状态用0x20表示；字幕分析结束状态用0x40表示；当任务状态变化时，就加上新的状态值。在本例子中，任务的状态变为0x01。
视频分析服务器在接收到一个新任务之后，就会处理该任务，当该任务处理完毕之后，视频分析服务器就将分析结果写入XML文件，并且上传到临时文件FTP服务器，之后给视频分析融合系统发送任务结束数据包，该数据包的主要内容是分析完毕的任务的ID。
视频分析融合系统的集中控制单元如果接收到视频分析服务器发送来的分析结束消息，则将该任务的状态值加上0x10，同时判断该任务是否视频分析、音频分析、字幕分析均已结束，判断方法就是计算该任务的状态值的视频分析结束位、音频分析结束位、字幕分析结束位是否为1，如果视频分析、音频分析、字幕分析均已结束，则该任务的状态值应变为可融合状态。
集中控制单元需要将上面所计算出的状态值更新到核心数据库和界面上。
以上描述集中控制单元对视频分析、音频分析和字幕分析的控制流程。该流程保证了视频分析、音频分析、字幕分析完全结束之后才能够融合的整体流程。
在一个任务进入可融合状态之后，用户就可以对该任务发送融合请求。融合模块根据任务的ID到临时文件FTP服务器上下载相应的分析结果。为了方便访问，视频分析融合系统对于所有生成文件的命名做了统一的规定视频分析的结果XML命名为PID_video.xml；音频(语音)分析的结果XML命名为PID_audio.xml；音频(拼音)分析的结果XML命名为PID_voice.xml；字幕分析的结果XML命名为PID_text.xml；经过融合后的视频分析的结果XML命名为PID_DBvideo.xml；经过融合后的语音分析的结果XML命名为PID_DBaudio.xml；经过融合后的拼音分析的结果XML命名为PID_DBvoice.xml；经过融合后的字幕分析的结果XML命名为PID_DBtext.xml；经过融合后的统一的结果XML命名为PID_DBmerge.xml；上面的PID代表该任务的ID；视频分析结果XML文件中记载着如下内容1)所解析的文件的基本信息(包括媒体文件路径、媒体类型等)；
2)场景信息(包括场景ID、场景开始时间、场景结束时间、场景关键帧ID、镜头ID)；3)镜头信息(包括镜头ID、镜头开始时间、镜头结束时间、镜头关键帧ID)；4)关键帧信息(包括关键帧ID、关键帧的特征数据)。
音频(语音)分析结果XML文件记载如下内容1)所解析的文件的基本信息(包括媒体文件路径、媒体类型等)；2)音频片断基本信息(包括片断开始时间、结束时间、音频类型、特征数据ID)；3)语音特征信息(特征数据ID、特征数据)；音频(拼音)分析结果XML文件记载如下内容1)所解析的文件的基本信息(包括媒体文件路径、媒体类型等)；2)音频片断基本信息(包括片断开始时间、结束时间、音频类型、特征数据ID)；3)拼音特征信息(特征数据ID、特征数据)；字幕分析结果XML文件记载如下内容1)所解析的文件的基本信息(包括媒体文件路径、媒体类型等)；2)字幕串基本信息(包括串开始时间、结束时间、特征数据ID)；
3)字幕特征信息(字幕特征信息ID、字幕特征信息)；经过融合后的视频分析的结果XML记载如下内容1)所解析的文件的基本信息(包括媒体文件路径、媒体类型等)；2)场景信息(包括场景ID、场景开始时间、场景结束时间、场景关键帧ID、镜头ID)；3)镜头信息(包括镜头ID、镜头开始时间、镜头结束时间、镜头关键帧ID)；4)关键帧信息(包括关键帧ID、关键帧的特征数据)。
经过融合后的语音分析的结果XML记载如下内容1)所解析的文件的基本信息(包括媒体文件路径、媒体类型等)；2)场景信息(包括场景ID、场景开始时间、场景结束时间、镜头ID)；3)镜头信息(包括镜头ID、镜头开始时间、镜头结束时间、语音特征信息ID)；4)语音特征信息(包括语音特征信息ID、语音特征信息)。
经过融合后的拼音分析的结果XML记载如下内容1)所解析的文件的基本信息(包括媒体文件路径、媒体类型等)；2)场景信息(包括场景ID、场景开始时间、场景结束时间、镜头ID)；
3)镜头信息(包括镜头ID、镜头开始时间、镜头结束时间、拼音特征信息ID)；4)拼音特征信息(包括拼音特征信息ID、拼音特征信息)。
经过融合后的字幕分析的结果XML记载如下内容1)所解析的文件的基本信息(包括媒体文件路径、媒体类型等)；2)场景信息(包括场景ID、场景开始时间、场景结束时间、镜头ID)；3)镜头信息(包括镜头ID、镜头开始时间、镜头结束时间、字幕特征信息ID)；4)字幕特征信息(包括字幕特征信息ID、字幕特征信息)。
经过融合后的统一的结果XML记载如下内容1)所解析的文件的基本信息(包括媒体文件路径、媒体类型等)；2)场景信息(包括场景ID、场景开始时间、场景结束时间、镜头ID，场景特征数据)，其中场景特征数据包括场景关键帧信息、场景音频特征数据信息、场景拼音特征数据信息、场景字幕特征数据信息；3)镜头信息(包括镜头ID、镜头开始时间、镜头结束时间、镜头特征数据)，其中镜头特征数据包括镜头关键帧信息、镜头音频特征数据信息、镜头拼音特征数据信息、镜头字幕特征数据信息；
融合过程就是将视频分析、音频分析、字幕分析所生成的XML文件经过解析、提取场景镜头信息、优化、进而形成融合后文件。各个融合后文件均包括场景和镜头信息，这样在检索过程中，只要查询条件与其中某一类特征信息相匹配，就可以知道该信息所在的文件路径和在文件中的具体位置。
以上介绍的分析、融合流程均是计算机自动完成的，而审核流程就需要人来参与场景、镜头信息的划分。审核流程是可选流程，用户可以通过对基本配置信息单元的配置而选择是否进入审核流程，如果用户选择不进入审核流程，则在融合流程之后任务自动转换为可入库状态，如果用户选择进入审核流程，则在融合流程之后任务转换为可审核状态。
审核流程首先将从流媒体FTP服务器上下载当前需要处理的媒体文件，然后经过抽帧程序顺次抽出所有帧，分批显示在审核界面上。用户可以通过对视频帧的比较，判断出视频文件的场景、镜头信息。审核流程为用户提供了增加、删除、平移场景和镜头信息的操作，用户可以对融合后的场景、镜头信息进行微调、细化。审核流程将用户所做的修改保存起来，进而形成各种融合后的XML文件。
审核流程之后，集中控制单元将任务的状态变为可入库状态，同时将该状态值更新到核心数据库和视频分析融合界面。
可入库流程将融合后的XML文件分别上传到视频特征FTP服务器、音频特征FTP服务器、字幕特征FTP服务器，然后调用视频特征数据库、音频特征数据库、字幕特征数据库的控制接口将XML文件保存在各个特征数据库中，完成入库操作。
完成入库流程之后，集中控制单元将任务的状态变为处理完成状态，同时将该状态值更新到核心数据库和视频分析融合界面。
参照其示例性实施用例本发明已经被具体的显示和描述，本领域的普通技术人员将会理解，在不脱离所附权利要求所定义的本发明的精神和范围的情况下，可对其进行形式和细节的各种改变。
权利要求
1.一个基于内容的视频分析融合系统，其特征在于包括一个融合管理单元，主要是将视频、音频、字幕分析的结果进行提取、优化、融合，进而进行审核、入库；一个结果审核单元，将视频、音频、字幕分析的结果进行显示，并且为用户提供接口，使用户通过插入、删除、平移等操作对分析结果进行修改、细化；一个核心数据库，以保存整个系统所需要处理的管理任务以及系统的基本配置信息；一个设备管理单元，主要监视视频分析服务器、音频分析服务器、字幕分析服务器、元数据库、特征数据库、流媒体FTP服务器、临时文件FTP服务器设备的状态；一个集中控制单元，主要是对整个视频分析系统进行控制，集中发布命令；一个基本信息配置单元，主要对整个系统的基本信息进行配置。
2.如权利要求1所述的基于内容的视频分析融合系统，其特征在于融合管理单元针对一个视频分析文件需要经过分析、融合、审核、入库四个步骤才能够进入到特征数据库。
3.如权利要求1所述的基于内容的视频分析融合系统，其特征在于融合管理单元针对同一个视频文件需要经过视频分析、音频分析、字幕分析三种分析才可以进入到融合阶段。
4.如权利要求1所述的基于内容的视频分析融合系统，其特征在于融合管理单元解析视频分析结果、音频分析结果、字幕分析结果，根据视频分析结果的场景、镜头信息对音频分析结果、字幕分析结果进行融合。
5.如权利要求1所述的基于内容的视频分析融合系统，其特征在于融合管理单元需要对融合结果进行优化，以保证融合结果在特征数据库中便于查询。
6.如权利要求1所述的基于内容的视频分析融合系统，其特征在于融合管理单元的入库操作是将融合结果生成XML文件然后插入到特征数据库中。
7.如权利要求1所述的基于内容的视频分析融合系统，其特征在于在融合管理单元中，一个待融合文件有如下几种状态未处理状态、正分析状态、可融合状态、可审核状态、可入库状态、处理完成状态。其中正分析状态包括开始视频分析状态、开始音频分析状态、开始字幕分析状态、视频分析结束状态、音频分析结束状态、字幕分析结束状态。
8.如权利要求1所述的基于内容的视频分析融合系统，其特征在于融合管理单元中，待处理的视频文件审核阶段是可供用户选择的。
9.如权利要求1所述的基于内容的视频分析融合系统，其特征在于融合管理单元中，待处理的视频文件的审核需要显示经过融合后的视频的场景和镜头信息。
10.如权利要求1所述的基于内容的视频分析融合系统，其特征在于融合管理单元中，待处理视频文件的审核需要逐帧显示视频图像，并且提供添加、删除、平移场景和镜头的接口。
11.如权利要求1所述的基于内容的视频分析融合系统，其特征在于融合管理单元中，待处理视频文件的审核操作需要保存用户对场景和镜头信息的修改。
12.如权利要求1所述的基于内容的视频分析融合系统，其特征在于核心数据库主要包括基本视频信息、基本任务信息、文件状态信息和访问元数据库信息。其中基本视频信息包括节目ID、节目名称、导演、演员、产地、文件格式、文件大小、片长、节目地址、节目文件名、上载时间、上载地址、节目级别字段。基本任务信息包括任务ID、屏幕长度、屏幕宽度、帧率字段。
13.如权利要求1所述的基于内容的视频分析融合系统，其特征在于设备管理单元需要实时监控视频分析服务器、音频分析服务器、字幕分析服务器的状态，如果某个服务器不在线，则需要立即通知给用户。
14.如权利要求1所述的基于内容的视频分析融合系统，其特征在于设备管理单元需要对各个元数据库、特征数据库进行监控，如果发现其不在线，则需要立即通知给用户。其中元数据库包括视频元数据库、音频元数据库、图片元数据库。特征数据库包括视频特征数据库、音频特征数据库、字幕特征数据库。
15.如权利要求1所述的基于内容的视频分析融合系统，其特征在于设备管理单元需要对各类FTP服务器进行监控，如果发现其不在线，则通知用户。其中FTP服务器的类型有流媒体FTP服务器和临时文件FTP服务器两类。
16.如权利要求1所述的基于内容的视频分析融合系统，其特征在于集中控制单元需要对所有待处理和已处理文件进行管理。
17.如权利要求1所述的基于内容的视频分析融合系统，其特征在于集中控制单元需要根据用户所选中的文件为用户提示该文件的下一步操作。
18.如权利要求1所述的基于内容的视频分析融合系统，其特征在于集中控制单元需要严格按照分析、融合、审核、入库的操作流程来处理文件。
19.如权利要求1所述的基于内容的视频分析融合系统，其特征在于集中控制单元需要定时监控元数据库中是否有新的文件产生，如果有新的文件，则需要将信息更新到核心数据库和任务链表中。
20.如权利要求1所述的基于内容的视频分析融合系统，其特征在于集中控制单元通过TCP/IP协议与视频分析服务器、音频分析服务器、字幕分析服务器进行信息传递。
21.如权利要求1所述的基于内容的视频分析融合系统，其特征在于基本信息配置单元配置整个系统所必须的参数，包括各个元数据库的服务器名、数据库名、用户名、密码；各个特征数据库的服务器名、数据库名、用户名、密码；各个FTP服务器的IP地址、用户名、密码；各个文件是否需要审核。
全文摘要
本发明提供一种基于内容的视频分析融合系统，该系统包括一个核心数据库、一个设备管理单元、一个集中控制单元、一个融合管理单元、一个结果审核单元、一个基本信息配置单元。摘要附图中的图1是该视频分析融合系统的方框图。其中，核心数据库保存整个系统所需要处理的管理任务以及系统的基本配置信息；设备管理单元主要监视各种设备的状态；集中控制单元主要是对整个视频分析系统进行控制，集中发布命令；融合管理单元主要是将分析结果进行提取、优化、融合，进而进行审核、入库；结果审核单元是将分析结果进行显示，并且为用户提供接口，使用户对分析结果进行修改、细化；基本信息配置单元的主要功能是对整个系统的基本信息进行配置。
文档编号H04N5/262GK101021853SQ20061014049
公开日2007年8月22日 申请日期2006年10月10日 优先权日2006年10月10日
发明者杨旭明, 苏磊, 鲍东山 申请人:鲍东山