针对高帧率和可变帧率捕获来调整视频压缩的利记博彩app_4

文档序号:9508372阅读:来源:国知局
器解码的默认帧率(例如,24fpS,25fpS,30fpS或60fps)高。编码视频数据可以包括可丢弃的帧,没有任何其他帧取决于可丢弃的帧中的数据。
[0072]可以对编码视频数据解码(方框720)以提供具有标准帧率的解码视频数据。标准帧率(例如,30fps)可以是在设备的显示器上正常显示的速率或可以由解码器和/或显示器的资源应对的速率。对编码视频数据解码可以包括在对编码视频解码之前丢弃可丢弃的帧。被丢弃的可丢弃的帧的数量可以对应于将解码视频数据的帧率设置到标准帧率所需的帧数。可以在设备的显示器上以标准帧率显示解码视频数据(方框730)。
[0073]用户可以发出命令,以利用慢动作回放来显示视频数据(方框740)。用户可以在以标准帧率回放视频数据期间发出命令(方框730)。响应于该命令,可以对编码视频数据解码以便以增大的帧率提供解码视频数据(方框750)。可以使用增大的帧率来在相同帧率(例如,标准帧率)下显示相同视频内容,但利用慢动作回放来显示来自可丢弃的帧的附加视频内容(方框760)。可以改变用于提供慢动作的可丢弃的帧定时以便以标准帧率显示可丢弃的帧。
[0074]为了增加要显示的帧数,编码器可以对附加的可丢弃的帧解码。被解码的附加可丢弃的帧的数量可以对应于用户选择的慢动作回放速度。于是,如果减小了选择的回放速度,可以对更多可丢弃的帧解码。在用户选择标准回放速度时,解码器可以再次增加被丢弃的可丢弃的帧数量,以将解码视频数据帧率减小到标准帧率。
[0075]图8示出了根据本发明的实施例的用于以慢动作回放处理视频数据的方法。该方法800可以包括接收编码视频数据(方框810),接收供慢回放的命令(方框820),处理编码视频数据以供慢回放(方框830),以及输出编码视频数据(方框840)。可以无需对输入的视频数据转码就执行方法800。可以在软件和/或硬件中执行方法800。
[0076]接收编码视频数据(方框810)可以包括通过通信信道或从存储设备接收编码视频数据。编码视频数据可以包括高帧率(例如120fps或240fps)。编码视频数据的帧率可以比用于在显示设备上显示视频内容的默认帧率(例如,24fps,25fps,30fps或60fps)高。默认帧率可以受到显示设备上对视频内容解码和/或显示的可用资源限制。如图8所示,输入的编码视频数据812可以包括可丢弃的帧“d”和不可丢弃的帧“I”和“P”。可丢弃的帧可以包括没有任何其他帧取决于可丢弃的帧中的数据的帧。不可丢弃的帧可以包括对其他帧编码时用作参考帧的帧。如上所述,如果其他帧(例如P帧或B帧)不依赖于它们而被解码,I帧、P帧和B帧可以是可丢弃的。尽管在图8中,输入的视频数据被示为具有一组图片(G0P),其具有每个I帧和每个P帧之后的三个可丢弃的帧的模式,但在G0P中可以包括其他模式。
[0077]接收慢动作回放的命令(方框820)可以包括选择输入的视频数据中应当以慢动作显示的部分。以慢动作显示可以改变所选部分的每个帧中示出的内容的持续时间。在图8的实例中,输入的视频数据822可以包括选择要以0.25x原始帧率的慢动作速率显示的帧8-15。可以不选择帧0-7和帧16-23以慢动作显示。
[0078]供慢动作回放的命令(方框820)可以包括起始帧或开始慢动作回放的起始时间。该命令可以包括供慢动作回放的起始帧和结束帧,或者,包括起始帧和结束时间。或者,该命令可以包括起始帧/应当提供慢动作回放的时间和持续时间(例如,以时间或帧数为单位)。该命令可以包括慢动作回放的速度或缩放倍数。在一个实施例中,可以将应用于输入视频数据的一部分的慢动作的回放速度预定于为固定值(例如,原始速率的0.25x、0.5x或0.75x速度)。可以从对具有高帧率的原始视频数据中的视频做出的选择、从对用于显示帧内容的默认帧率(例如30fps)提供的视频数据做出的选择、或从基于原始高帧率内容中的参考帧(例如I帧和/或P帧)做出的选择来接收供慢动作回放的命令。可以在以默认帧率在显示设备上显示视频数据的同时接收供慢动作的命令。
[0079]响应于供慢动作回放的命令,可以处理输入的编码视频数据,以调节输入的视频数据的选择的部分的定时(例如,帧的持续时间)。可以增加输入的视频数据的所选择部分中帧的持续时间,以提供选择的慢动作速度(例如,0.25x或0.5x原始速率的回放)。例如,如果输入的视频数据的帧率为120fps,且输入的视频数据的一部分要以原始的视频数据内容的0.25X速度显示,可以调节所选择部分中帧的持续时间,以提供30fps,而未选择的部分中帧的持续时间可以保持在120f p s。
[0080]在一个实施例中,可以增加输入的视频数据的选择部分中帧的持续时间,以基于将用于显示视频数据内容的固定帧率在选择的慢动作速度下显示视频内容。例如,如果输入视频数据的帧率为120fps,则输出视频数据帧率被设置为30fps,且输入视频数据的所选择部分要以原始速率的0.25X速度显示,可以调节选择部分中帧的持续时间,以提供30fps(不丢弃任何帧),未选择的部分中的若干帧可以丢弃,并可以调节未选择的部分中其余帧的持续时间以提供30fps。
[0081 ] 在另一个实施例中,可以丢弃输入的视频数据的所选择的部分中的一个或多个帧,以便以固定的显示帧率实现期望的慢动作。如果显示帧率和输入的视频数据帧率之间的比例低于要应用于视频数据的该部分的慢动作速度(例如0.25或0.5),可以丢弃要以慢动作显示的选择部分中的帧。例如,如果输入视频数据的帧率为240fps,显示的视频数据帧率为30fps,且期望的慢动作速度为0.25X,则可以丢弃视频数据选择部分中帧的一半,可以增加选择部分中其余帧的持续时间以便以30fps输出。
[0082]在一个实施例中,处理编码视频数据以进行慢速回放(方框830)可以包括对所选择的部分中帧的重新定时(方框832),丢弃可丢弃的帧(方框834)和/或转换未选择部分中的帧率(方框836)以便以恒定帧率输出编码视频数据。
[0083]对帧重新定时(方框832)可以包括改变选择以供慢动作的部分中的帧的持续时间。在图8的实例中,可以改变图像序列833中帧8-15的持续时间以提供原始的帧率的0.25X速度。可以调节所选择的部分中的每个帧以提供输出帧率。可以将未选择以供慢动作的帧(例如,帧0-7和帧16-23)保持为相同持续时间。
[0084]丢弃可丢弃的帧(方框834)可以包括丢弃图像序列中未选择供慢动作的部分中的可丢弃的帧。可以丢弃帧以提供视频内容将被显示所处的帧率。例如,如果以120fps提供输入的视频数据,并且要以30fps显示输出的视频数据,可以丢弃第三个帧。如图8所示,可以丢弃图像序列835中的帧1、2、3、5、6、7、17、18、19、21、22和23。如上所述,在一些实施例中,还可以丢弃选择部分中的帧。
[0085]在丢弃帧之后,可以调节未选择部分中帧的帧率(方框836)。调节帧率可以包括调节帧的持续时间以在输出视频数据中提供恒定帧率。在图8的实例中,能够以相同帧率(例如,30fps)提供图像序列837中选择部分中和未选择部分中的所有帧。
[0086]输出编码视频数据(方框840)可以包括在显示设备上显示处理过的视频数据,在存储器或存储设备中存储处理过的视频,或通过通信信道传输处理过的视频。可以存储处理过的视频数据用于以后显示或由后续过程处理(例如,应用视觉效果或处理视频数据)。后续过程可以包括应用视觉效果以在正常回放和慢动作回放之间转变。
[0087]图9示出了可以根据本发明的实施例来处理的视频数据的图像序列。输入的图像序列910可以代表以120fps捕获的帧,以提供大约0.2秒的视频内容。尽管图9中不出的实例被例示为具有特定帧数,但本发明的实施例不限于此。
[0088]输入的图像序列910可以包括选择以供慢动作的部分912,未选择部分914以及中间慢动作部分916。输入的图像序列910可以包括帧的GOP,包括参考帧1、可丢弃的帧P和不可丢弃的帧P。帧的GOP可以不限于图像序列910中示出的帧结构。
[0089]可以选择输入图像序列910中的帧组以提供为慢动作回放而选择的序列的一部分912。可以进行选择,使得这些部分起始于I帧或不可丢弃的帧P。输入的图像序列910可以包括未选择供慢动作回放的部分914。用户可以为慢动作回放部分912选择缩放倍数。用户可以从预定义的慢动作速度(例如,0.75X, 0.5X和0.25X)中选择要应用于慢动作回放部分912的慢动作。
[0090]输入序列可以包括用于中间慢动作回放的序列部分916。中间慢动作回放部分916可以用于逐渐调节图像内容的回放速度。中间慢动作回放部分916可以由系统设置或由用户选择。该系统可以基于为慢动作回放部分912做出的选择来设置中间慢动作回放部分916的慢动作回放和/或持续时间。在一个实施例中,系统或用户可以从慢动作回放部分912或从未选择的部分914选择以供中间慢动作回放部分916的帧。
[
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1