一种异常数据处理方法及装置的制造方法
【技术领域】
[0001]本发明涉及网络视频流处理技术领域，尤其涉及一种基于分段视频流的异常数据处理方法及装置。
【背景技术】
[0002]随着互联网的飞速发展，基于网络的视频传输流量也越来越大。在网络视频流处理领域的实际运用中，由于分段下载、UDP协议的特性，数据传输过程中的丢包、数据突变等，使得乱序、不完整的视频流存在。而在处理这些分段传输的异常视频流时，如解码时常用的方法是，将不能正常解码的异常流直接丢弃，该异常流是指视频解码系统不能正常解码的视频流，其中也包括由于解码系统自身原因不能解码的伪异常流。
[0003]在处理海量分段视频流时，由于针对某路会话出现异常的分段位置随机，又由于出现异常是个后知后觉的过程，因此常用的分段视频流的异常数据处理方法是将所有会话的视频片段全部完整保存，然后根据异常视频会话ID去查询已保存的异常流，以实现线下复现曾经出现的异常现象。
[0004]现有技术不足在于:一方面，由于异常流或是异常现象随着现有视频处理系统的不断完善，属于小概率事件，而捕获异常流或是异常现象常用的解决方法为存储海量分段视频流数据，因此，对主机存储空间要求较高;另一方面，捕获异常流后，由于线上应用场景发生变化，仅仅依靠在线下将异常流作为输入送至视频处理系统进行重新处理很难复现异常现象，即便复现异常现象也很难保证和之前丢弃的异常现象完全一致，无法定位造成异常现象的真正原因。
【发明内容】
[0005]本发明实施例提出了一种异常数据处理方法及装置，以解决现有技术中分段视频流的异常数据处理方法，对主机存储空间要求较高，以及异常现象无法保证复现一致性和无法定位原因的技术问题。
[0006]在一个方面，本发明实施例提供了一种异常数据处理方法，其特征在于，包括如下步骤:
[0007]对会话的分段视频流进行线下解码监测，判断当前分段视频流是否存在解码异常现象；
[0008]若所述当前分段视频流存在解码异常现象，则获取线上包含所述当前分段视频流中解码异常现象所处位置的异常上下文信息；
[0009]根据获取到的异常上下文信息复现线上所述当前分段视频流中的异常视频流。
[0010]在另一个方面，本发明实施例提供了一种异常数据处理装置，其特征在于，包括:
[0011]线下监测模块，用于对会话的分段视频流进行线下解码监测，判断当前分段视频流是否存在解码异常现象；
[0012]线下获取模块，用于若所述当前分段视频流存在解码异常现象，则获取线上包含所述当前分段视频流中解码异常现象所处位置的异常上下文信息；
[0013]线下复现模块，用于根据获取到的异常上下文信息复现线上所述当前分段视频流中的异常视频流。
[0014]有益效果如下:
[0015]本发明实施例所提供的异常数据处理方法及装置，通过线下识别、捕获筛选后的异常数据，并进行分析和统计，结合线上实时获取指定异常会话数据和异常会话上下文信息的方式，减少了异常数据存储的空间开销，同时提高了针对异常数据复现和分析的准确性，从而实现了对视频处理系统自身容错性的完善。
【附图说明】
[0016]下面将参照附图描述本发明的具体实施例，其中:
[0017]图1示出了本发明实施例中异常数据处理方法的流程示意图；
[0018]图2示出了本发明实施例中线上异常数据处理方法的流程示意图；
[0019]图3示出了本发明实施例中异常数据处理装置的结构示意图。
【具体实施方式】
[0020]为了使本发明的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。
[0021 ]发明人在发明过程中注意到:
[0022]由于现有技术中对小概率事件的异常流或是异常现象的捕获需要占用较大的主机存储空间，以及线下复现异常现象具有一定的局限性，即无法保证异常现象复现一致性和无法定位造成异常现象的根本原因。发明人想到通过对异常视频流进行分析，最大限度的完善视频处理系统自身的容错性。
[0023]要实现最大限度的完善视频处理系统自身的容错性，需要考虑以下两方面:
[0024](I)为了减少异常数据存储的空间开销，通过重建会话上下文的方式，仅保存出现异常现象的当前分段和该会话的第一个分段的视频流异常数据；
[0025](2)利用一种分段视频流异常数据线上和线下相结合的处理架构，最大限度的还原出现异常现象时的相关上下文信息，从而提高针对异常数据复现和分析的准确性，实现视频处理系统的进一步完善。
[0026]基于此，本发明实施例提出了一种异常数据处理方法及装置，下面进行说明。
[0027]图1示出了本发明实施例中异常数据处理方法的流程示意图，如图所示，包括:
[0028]步骤101、对会话的分段视频流进行线下解码监测，判断当前分段视频流是否存在解码异常现象。
[0029]实施中，所述的对会话的分段视频流进行线下解码监测包括:
[0030]管理工具加载线上预存的异常上下文信息；
[0031]根据所述异常上下文信息，解码所述异常上下文信息对应的分段视频流，并实时监测解码过程。
[0032]具体实施中，不对获取线上异常上下文信息的具体方法进行限定，包括但不限于:当线上识别出当前分段视频流出现解码异常现象退出解码后，关闭视频处理系统的保活机制，使系统保持解码异常现象，以便线下确认异常复现和后续分析;打开视频处理系统的处理流程记录机制，管理工具将线上获取到的异常上下文信息加载到视频处理系统，并利用视频处理系统对该异常上下文信息对应的分段视频流进行解码。同时，在解码各分段视频流时，增加类似时间戳的路径标记，记录解码出现异常现象时的程序处理流程，即管理工具通过对线上捕获到的异常数据流所在的各分段视频流的解码情况进行实时监控，能够利用该路径标记定位解码异常现象所处位置。其中，线上获取到的异常上下文信息是指针对各分段视频流后续分段视频解码所需的视频头信息和出现异常时核心数据结构的关键数据?目息O
[0033]实施中，所述的线上预存异常上下文信息的步骤包括:
[0034]获取会话的第一分段视频流，重建所述会话上下文并保存所述第一分段视频流；
[0035]解码所述第一分段数据流，并识别所述第一分段数据流是否存在异常视频流；
[0036]若存在异常视频流，则根据所述异常视频流类型生成相应的异常上下文信息:
[0037]若不存在异常视频流，则获取下一分段视频流，重建所述会话上下文并解码所述下一分段数据流。
[0038]具体实施中，不对获取会话的第一分段视频流(或第一个数据分段)的具体方法进行限定，包括但不限于:当接收到会话的第一分段视频流后，保存第一分段视频流，找到第一分段视频流的上下文信息，并重建上下文信息，重建的上下文信息至少包括解码所需的视频头信息和核心数据结构的关键数据信息，并用于解码后续乱序分段视频流。
[0039]实施中，根据所述异常视频流类型生成相应的异常上下文信息的步骤包括:
[0040]若所述异常视频流为解码失败，正常退出，则输出包含错误码信息的异常上下文信息；
[0041 ]若所述异常视频流为解码失败，发生段错误或死循环，则