基于海量数据的分布式视频处理系统的利记博彩app【
技术领域：
】[0001]本发明属于视频分析
技术领域：
，涉及一种利用大数据处理技术来实现对海量数据进行分布式处理系统。【
背景技术：
】[0002]随着视频数据量的急剧增长，给视频监控带来了一系列现实的问题:网络带宽紧张、存储空间庞大、对性能的要求成倍增长、投资与维护成本高昂、系统扩展升级压力等。传统的集中式视频处理存在存储能力和数据处理能力不足、存储能力和处理能力不可扩展的缺点。[0003]分布式计算是近年来提出的一种新的计算方式，作为一门新兴科学领域它主要研究如何把一个需要很大的计算能力才能解决的大问题划分成若干个小的问题，然后把这些小问题分配给多台计算机进行并行协同处理，最后把各部分计算结果综合汇总起来得到最终结果。[0004]Hadoop提供了一个分布式系统基础架构，其采用并行计算框架进行高效的分布式计算并拥有自己的分布式文件系统HDFS提供可扩展、健壮的数据存储；[0005]Yarn是一种资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处；[0006]MapReduce计算框架封装了底层的具体实现，减少了并行编程的难度，使用户可以在不了解分布式底层实现细节的情况下开发分布式程序；其生态圈中的HBase数据库，是一个分布式的、面向列的开源数据库，适合于非结构化数据存储，主要用来存储大量的小数据文件，如图片数据。[0007]将视频分析与分布式计算结合起来，充分利用分布式计算的处理能力，将一台机器的负载分摊到多台机器并行处理，降低了时间成本，减轻了带宽压力，还可以应对并发视频处理任务，从而使视频处理在执行效率上有了较大提升。由于视频中帧数据的关联性，使用Hadoop内置的数据结构无法对数据直接进行分块读取，实现任务的分布式处理，因此，需要设计数据结构及相关接口对MapReduce框架进行扩展，使其可以对视频进行分布式分析。【
发明内容】[0008]本发明的目的是提供基于海量数据的分布式视频处理系统，解决了传统的集中式视频处理在存储能力和处理能力不足及不可扩展的问题，通过对Hadoop、MapReduce框架的数据结构及相关接口进行扩展，实现海量视频的分布式处理和分析。[0009]为达到上述目的，本发明的技术方案如下:[0010]基于海量数据的分布式视频处理系统，包括:[0011]步骤一、视频的读取、分割、封装[0012]首先从HDFS分布式文件系统中获取相应路径下的视频文件，然后对视频文件进行读取、分割，将分割后的视频片段数据封装为对象，以便对视频封进行传输；[0013]步骤二、视频分析算法封装:[0014]采用视频分析算法用来完成对视频片段数据的分析处理，且视频分析算法通过JNI接口和Hadoop平台进行交互；[0015]步骤三、结果整合及存储:[0016]采用Hadoop平台，在各节点调用封装的视频分析算法完成视频的分析处理，然后将视频片段数据整合成完整视频。[0017]在本发明的一个优选实施例中，针对步骤一中视频文件中的视频流进行解码，根据视频流信息定位分割点帧数或时间所对应的物理位置。[0018]在本发明的一个优选实施例中，针对步骤一中视频片段数据进行封装时，所述视频片段包含该段视频片段所对应的视频名称、该段视频片段所在整个视频中的顺序id以使该段视频片段实现顺序排布。[0019]在本发明的一个优选实施例中，所述步骤二中的视频片段数据的交互通过本地文件的形式实现，而视频片段数据中图片数据存储于HBase开源数据库中，并通过thrift接口与所述HBase开源数据库进行交互连通，其中thrift接口为传输数据的中间件。[0020]在本发明的一个优选实施例中，所述步骤三中采用Hadoop分布式系统基础架构在各节点调用存储的视频片段数据，并从视频存储类中获取各视频片段的顺序id，按照id实现对结果的整合。[0021]通过上述技术方案，本发明的有益效果是:[0022]本发明通过对Hadoop平台的扩展，通过对视频的数据分割、传输、处理分析及对分析结果进行合并等过程，实现对海量视频的分布式处理分析，有效地克服了传统视频处理在存储和分析方面能力不足及不可扩展的缺点，极大地提升了在海量视频处理方面的效率。【附图说明】[0023]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0024]图1是本发明的分布式视频分析流程；[0025]图2是本发明的视频分割及读取流程；[0026]图3是本发明的视频分析算法封装流程；[0027]图4是本发明的结果整合及存储流程。【具体实施方式】[0028]为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。[0029]分布式视频分析处理整体流程如图1所示，主要包含:视频读取部分(包括视频分割及读取、键值对的设计)、视频分析算法封装、结果整合及存储，具体如下:[0030]开始执行视频分析任务时，需要从HDFS中获取相应路径下的视频文件，并根据设置对视频文件进行分割、读取、封装(键值对形式)。[0031]该部分整体流程如图2所示。首先需要设计视频段的封装形式即键值对中Value，Value指的是封装后的视频段对象，由于在集群运行过程中需要对Value进行序列化和反序列化操作，因此Value要实现Writable接口，使得封装的视频段可以进行序列化处理(即可以进行存储)，另外，在最终进行结果合并时，为了保证结果的准确性，在其中加入顺序的标识。之后，由于Hadoop会通过输入格式接口InputFormat来读取HDFS中相应目录下的所有文件，在具体使用时可继承文件类输入格式FileInputFormat类，并重写其isSplitable方法、creat当前第1页1 2