针对高帧率和可变帧率捕获来调整视频压缩的利记博彩app
【专利说明】针对高帧率和可变帧率捕获来调整视频压缩
[0001]优先权要求
[0002]本申请要求如下申请的优先权:2013年8月21日提交的美国专利申请13/972，434、2013年6月7日提交的美国临时申请61/832，447和2013年7月1日提交的美国临时申请61/841，635，通过引用将其全文并入本文。
【背景技术】
[0003]本公开总体上涉及图像和视频处理领域。更具体地，本公开涉及对具有可丢弃的帧的帧进行编码和解码，以及以慢动作来显示具有可丢弃的帧的编码视频的方法。
[0004]视频捕获技术的进步允许以高帧率捕获视频数据。包括此类技术的相机通常与功能强大的处理器耦接，该处理器能够对这种数据容易地编码并通过高速通信信道发送编码视频内容。不过，用于显示所捕获的视频数据的设备并非始终能够以相同的高帧率显示视频数据。这些设备可能具有有限的资源来对视频数据进行解码以及以高帧率实时显示数据。于是，在显示设备接收以高帧率的编码视频数据时，由于设备的资源有限，显示设备可能无法实时对视频内容进行解码和显示。
【附图说明】
[0005]为了能够理解本发明的特征，下文描述多个附图。不过，要指出的是，附图仅仅示出了特定实施例，因此不被视为其范围的限制，因为本发明可以涵盖其他同样有效的实施例。
[0006]图1示出了根据本发明的实施例的视频编码系统的简化框图。
[0007]图2是根据本发明的实施例的视频捕获和显示系统的功能框图。
[0008]图3是根据本发明的实施例的视频编码系统的功能框图。
[0009]图4是根据本发明的实施例的视频解码系统的功能框图。
[0010]图5示出了根据本发明的实施例的对具有可丢弃的帧的视频数据进行编码的方法。
[0011]图6示出了根据本发明的实施例的用于对具有可丢弃的帧的视频数据进行解码的方法。
[0012]图7示出了用于对具有可丢弃的帧的视频数据进行解码以供慢动作回放的方法。
[0013]图8示出了根据本发明的实施例的用于以慢动作处理视频数据的方法。
[0014]图9示出了可以根据本发明的实施例处理的视频数据的图像序列。
【具体实施方式】
[0015]本发明的实施例提供了视频编码和解码系统和方法，所述视频编码和解码系统和方法允许要在具有有限资源(例如，解码器和/或显示资源)的设备上显示高帧率的视频数据。这些设备可以将其资源专用于其他任务，或者可能不能以高帧率显示视频数据。该编码方法可以包括对帧进行编码使得在编码视频数据中包括附加的可丢弃的帧。解码方法可以包括在对编码视频数据进行解码之前丢弃可丢弃的帧，以减少将要被解码和显示的帧数。这些方法可应用于具有可变帧率的视频数据，可以与处理图像序列相组合以供慢动作回放。
[0016]图1示出了根据本发明的实施例的视频编码系统100的简化框图。系统100可包括经由网络150互连的多个终端110-140。针对数据的单向传输，第一终端110可以在本地位置对视频数据进行编码，以通过网络150传输到其他终端120。第二终端120可从网络150接收另一个终端的编码视频数据，对编码数据进行解码并显示恢复的视频数据。在媒体服务应用等中，单向数据传输是常见的。
[0017]图1示出了为支持编码视频的双向传输而提供的第二对终端130、140，例如，在视频会议期间，可能发生这种情况。针对数据的双向传输，每个终端130、140可以对本地位置捕获的视频数据进行编码，以通过网络150传输到其他终端。每个终端120、130、140也可接收另一终端发送的编码视频数据，可对编码数据解码并可以在本地显示设备处显示恢复的视频数据。
[0018]终端110-140能够以高帧率(例如120fps、240fps等)捕获视频。终端110-14能够以可变帧率捕获视频。捕获视频所在的帧率可以基于视频中的内容、场景条件和/或用于捕获和处理视频的处理资源的可用性而动态变化。例如，当光线较少时可以减小帧率(如从120fps到20fps)。在视频内容中动作增多时，可以由相机增大帧率(例如，从120fps到240fps)。相机可以基于可用于捕获和处理(例如滤波和编码)所捕获视频的资源来增大捕获帧率。
[0019]在图1中，终端110-140被例示为服务器、个人计算机和智能电话，但本发明的原理并不限于此。本发明的实施例可应用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。终端120-140可以包括有限的资源以对视频进行解码和/或显示。
[0020]网络150可代表在终端110-140之间传输编码视频数据的任意数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络150可在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或互联网。出于本论述的目的，除非下文作出解释，否则网络150的体系结构和拓扑结构对本发明的操作是无关紧要的。
[0021]图2是根据本发明的实施例的视频捕获和显示系统200的功能框图。系统200可以包括用于对视频数据进行捕获和编码第一终端210，和用于对编码视频数据进行解码并显示解码视频数据的第二终端230。第一终端210中的发送器216可以通过通信信道220向第二终端230中的接收器232发送编码视频。
[0022]第一终端210可以包括视频源212，视频源212以高帧率(例如129fps或240fps)提供视频数据。视频源212提供并向解码器234发送的视频数据的帧率可能超过第二终端230能够对视频数据进行解码和/或显示的默认帧率(例如，24fpS、25fpS、30fpS或60fps)。为了显示视频数据，解码器234可以仅对从编码视频数据选择的若干帧进行解码。解码器234可以丢弃若干可丢弃的帧以减少对编码视频数据进行解码所需的资源。解码器234可以丢弃若干可丢弃的帧以将帧率减小到默认帧率(S卩，解码器234能够应对的帧率和/或视频显示器236能够显示视频内容所用的帧率)。
[0023]第一终端210中的视频编码器214可以对来自视频源212的视频数据进行编码。视频编码器214可以对视频数据教学编码，使得编码帧包括可以被丢弃且不被视频解码器234解码的可丢弃的帧。可丢弃的帧可以包括在预测任何其他帧时不使用的帧。在一个实施例中，尽管可丢弃的帧可以取决于要解码的其他帧中的数据，但可能没有其他帧取决于可丢弃的帧中的数据。因此，在解码器234不对可丢弃的帧进行解码时，无需已解码的可丢弃的帧中的数据，仍然可以对其他帧进行解码。
[0024]视频编码器214还可以对视频数据进行编码，使得编码帧包括不可丢弃的帧。不可丢弃的帧可以包括对其他帧进行编码时用作参考帧的帧。
[0025]视频编码器214可以对视频数据进行编码，使得编码视频数据包括足够多可丢弃的帧，以将帧率减小到默认帧率(例如，第二终端230能够对视频数据进行解码和/或显示的帧率)。于是，视频编码器可以对视频数据进行编码，使得每秒和/或特定数量的不可丢弃的帧有指定数量的可丢弃的帧。视频编码器214可以标记哪些帧是可丢弃的帧和/或哪些帧是不可丢弃的帧。视频编码器214可以具有预设的默认帧率或可以从第二终端230接收默认帧率，该默认帧率可以基于解码器234和/或显示器236可用的资源而变化。
[0026]编码器214可以对视频数据进行编码以针对超过帧率阈值(例如，默认帧率)的任何帧产生可丢弃的帧。例如，在帧率阈值为60fps且视频源212提供的帧率处于240fps时，可以将每四个帧中的至少三个帧编码成可丢弃的帧。在帧率阈值为60fps且视频源212提供的帧率处于120fps时，可以将每两个帧中的至少一个编码成可丢弃的帧。在帧率阈值为60fps且视频源212提供的帧率处于60fps时，任何帧都不需要是可丢弃的。
[0027]在另一个实施例中，视频源212能够以动态变化的帧率提供视频数据。帧率可以基于视频中的内容、场景条件和/或用于捕获和处理(例如，编码)视频数据的处理资源的可用性而动态变化。帧率的范围可能会超过第二终端能够对视频数据进行解码和/或显示的默认帧率。在源视频数据的帧率超过默认帧率时，视频编码器214可以改变编码参数以在编码视频数据中提供附加的可丢弃的帧。附加的可丢弃的帧可以允许解码器234丢弃可丢弃的帧并以默认帧率对编码数据解码。
[0028]利用可丢弃的帧对视频编码为解码器234提供了时间稳定性，这样允许根据解码器资源、显示器资源、播放速率等对更多或更少帧解码。可以向多个设备发送具有可丢弃的帧的编码视频数据，其中每个设备可以具有可用于对视频数据进行解码和/或显示的不同资源。为编码数据提供可丢弃的帧可以确保所有设备都能够显示视频内容。每个设备可以基于设备上可用的资源，选择要解码的帧的数量以及待丢弃哪些帧。
[0029]包括附加的可丢弃的帧可以提高编码视频数据的比