专利名称：交互电视频道切换方法及系统、音视频流发送方法及装置的利记博彩app
技术领域：
本发明涉及通信技术领域，特别涉及交互电视频道切换方法及系统、音视频流发送方法及装置。
背景技术：
作为"三网融合"的重要形式，交互业务已经成为通信行业发展的重点业务方向，其终端用户规模正在迅速扩张。交互电视的主要业务形态是通过接收终端为用户提供基于IP网络的直播、点播、录播、时移等音视频服务和其它增值多媒体服务。尽管出现了大量衍生业务，基础音视频业务仍旧是交互中使用最为广泛的业务，因此提升基础音视频业务的用户体验是提升交互业务体验的关键。作为交互电视的基础业务，电视直播由于采用了与数字电视相同的编码技术，在频道切换过程中，接收终端只有等到I帧到达后才能开
始解码和播放，而I帧的间隔在1到2秒左右，因此通常接收终端需要等待1秒以上才能获得I帧，因此频道切换速度逊于无需做任何等待的模拟电视。此外，由于解码器需要緩存足够的数据才能触发正常播放，因此接收终端在获得I帧后还要等到解码器达到足够的緩沖，这进一步增加了交互电视的频道切换时间。由于上述因素的影响，交互电视直播的频道切换时间通常在2秒左右，这远远超出了普通用户能够接受的范围。
针对上述情况，业界通常采用I帧緩存加快速緩冲的方式加快频道切换的速度。緩存服务器緩存一定量的直播数据，在切换频道时，接收终端首先请求緩存服务器从最近的I帧开始做快速緩冲，并在緩冲区达到播放下限时开始播放。通过这种方式，I帧的间隔不再成为问题，解码緩冲时间也小于正常时间，因此频道切换速度有明显提升。具体存在以下两种解决方案
参见图1,其是现有技术二的整体框架示意图。緩存服务器102与接收终端103 —同接收编码器101发出的数据流。在切换频道时，接收终端101首先从緩存服务器102上获得快速直播数据，并在緩冲足够的数据后开始接收编码器101的数据。通过这种方式，现有技术能够达到在切换频道时，接收终端能够首先从緩存服务期获得緩存的I帧并进行快速緩冲，在一定程度 上缩短了频道切换的时间。而且该方法对网络没有特殊要求，因此实际部署 的可能性更高。
但是发明人在实现本发明过程中，发现现有技术中至少存在如下问题 编码器输出码流的音视频并不同步，因此接收终端需要在恢复了音视频同步 后再进入播放。在最恶劣的情况下，PTS相同的音视频包在传输过程中可能 相差1.5秒，这是限制交互电视频道切换速度的另一主要因素。
发明内容
本发明实施例在于提供一种交互电视频道切换方法及系统、音视频流发 送方法及装置，以缩短由于音视频数据发送不同步而导致的频道切换延迟， 提高交互电视频道切换速度。
本发明实施例提供了一种交互电视频道切换时的音视频流发送方法，包
括
建立^L频流和音频流的同步关联关系；
接收到频道切换请求后选择I视频帧，下发所述I视频帧数据，根据所 述视频流和音频流的同步关联关系查找与所述I视频帧关联的音频帧，下发 与所述I视频帧关联的音频帧，之后顺序下发下一个视频帧及与之关联的音 频帧。
本发明实施例还提供了一种交互电视频道切换方法，包括
緩存服务器建立视频流和音频流的同步关联关系；在接收到频道切换请 求后选择I视频帧，下发所述I视频帧数据，根据所述视视频流和音频流的 同步关联关系查找与所述I视频帧关联的音频帧，下发与所述I视频帧关联 的音频帧，之后顺序下发下一个纟见频帧；
接收终端从所述緩存服务器上快速下载音一见频数据，在自身緩冲区达到 播放下限时开始播放从所述緩存服务器下载的音视频数据，在自身緩冲区緩 存足够多的音视频数据后，切换为播放编码器下发的音视频数据。
本发明实施例还提供了 一种交互电视频道切换时的音视频流发送装置， 包括关联单元，用于建立视频流和音频流的同步关联关系；视频帧选择单元，用于接收到频道切换请求后选择I视频帧；数据下发单元，用于下发所述I视频帧数据，根据所述视频流和音频流的同步关联关系查找与所述I视频帧关联的音频帧，下发与所述I视频帧关联的音频帧，之后顺序下发下一个视频帧及与之关联的音频帧。本发明实施例还提供了一种交互电视频道切换系统，包括緩存服务器，用于建立视频流和音频流的同步关联关系；在接收到频道切换请求后选择I视频帧，下发所述I视频帧数据，根据所述视频流和音频流的同步关联关系查找与所述I视频帧关联的音频帧，下发与所述I视频帧关联的音频帧，之后顺序下发下一个视频帧及与之关联的音频帧；编码器，用于下发音视频数据。
应用本发明，缩短了由于音视频数据发送不同步而导致的频道切换延迟，而且由于整个切换操作仅在緩存服务器和接收终端间进行，无需第三方的参与，因而与现有网络有很好的兼容性。本发明切换过程简单，协议开销小，具备良好的普遍适用性，能够应用于交互式网络电视(IPTV)和交互式数字电视(DTV)等领域。
图l是现有技术的整体框架示意图2是根据本发明一实施例的緩存服务器建立音视频流同步关联关系的流程图3是根据本发明一实施例的緩存服务器发送音视频流的流程图4是根据本发明一实施例的接收终端进行频道切换的流程图5是根据本发明一实施例的交互电视频道切换时的音视频流发送装
置；
图6是根据本发明一实施例的一种交互电视频道切换系统。
具体实施例方式
下面结合附图及具体实施例对本发明再做详细说明。
8为了缩短由于音视频数据发送不同步而导致的频道切换延迟，本发明实
施例提供的一种交互电视频道切换时的音视频流发送方法，包括建立视频 流和音频流的同步关联关系；接收到频道切换请求后选择I视频帧，下发所述 I视频帧数据，根据所述视频流和音频流的同步关联关系查找与所述I视频帧 关联的音频帧，下发与所述I视频帧关联的音频帧，之后顺序下发下一个视频 帧及与之关联的音频帧。本发明实施例缩短了由于音视频数据发送不同步而 导致的频道切换延迟，而且由于整个切换操:作仅在緩存服务器和接收终端间 进行，无需第三方的参与，因而与现有网络有很好的兼容性。下面具体说明。 参见图2，其是根据本发明一实施例的緩存服务器建立音视频流同步关联 关系的流程图。本实施例中假设音频帧滞后于视频帧，要求音频帧向视频帧 同步。
步骤201,緩存服务器收到一个音频数据包。
步骤202,判断该音频数据包是否是一个新的音频帧第一包，若是，则执 行步骤204，否则执行步骤203。
步骤203，确定所述音频数据包属于一个完整的音频帧的中间或末尾后， 将该音频数据包中的音频帧数据写在存储空间中对应音频包的中间或尾部， 结束。
步骤204,获取所述新的音频帧的显示时间标记(PTS)。 步骤205，读取视频队列中最后一个视频帧的PTS.
步骤206,判断所述最后一个视频帧的PTS是否大于所述新的音频帧的 PTS，若是，则执行步骤207,否则执行步骤208。
步骤207,获取视频队列中前一个视频帧的PTS,然后再次执行步骤206。
步骤208,建立当前视频帧和音频帧的同步关联关系。
至此，緩存服务器建立了音视频流的同步关联关系。
当视频滞后于音频时，建立视频帧和音频帧的同步关联关系的步骤与上 述音频帧滞后于视频帧的过程类似，简要说明如下接收到一个视频数据包 后，判断出所述视频数据包是一个新的视频帧后，读取所述视频帧的显示时 间标记，并获取音频队列中最后一个音频帧的显示时间标记；判断所述最后获取音频队列中前一个音频帧的显示时间标记，然后再次执行判断操作，否则，建立当前音频帧和视频帧的同步关联关系。由于一个视频帧可关联多个音频帧，因而，若被关联的音频帧的前一个音频帧没有关联任何视频帧，则将该前一个音频帧与当前视频帧关联起来。从而建立音视频流的同步关联关系。
为了提高适配性，本发明实施例定义可以针对每个频道定义音频码流和视频码流的同步关联关系，而緩存服务器可以根据同步关联关系确定音视频
码流的处理方式(即确定^L频向音频同步，或是音频向-见频同步)。
为了方便存储和发送，本发明实施例可以定义视频数据和音频数据独立存储。
参见图3,其是根据本发明一实施例的緩存服务器发送音视频流的流程图。
步骤301，緩存服务器根据接收终端发起频道切换请求的时间，选择一个合适的I帧。緩存服务器接收到来自接收终端的频道切换请求后，根据所述接收终端发起频道切换请求的时间，选择一个合适的I帧。
具体的选择方法可以是緩存服务器接收到来自接收终端的频道切换请求后，根据所述接收终端发起频道切换请求的时间，以及与所述发起请求的时间倒推预设时间长度，选择与所述倒推预设时间长度最接近的I视频帧作为所选择的的I视频帧，如当接收终端发起频道切换请求的时间为14点40分23秒，倒推预i殳时间长度为2秒或3秒，则可以选择与14点40分21秒，或与14点40分20秒最接近的I视频帧作为所选择的的I视频帧。
步骤302，下发所述I视频帧数据。
步骤303,当I视频帧数据发送完毕后，根据前述音视频流同步关联关系判断是否存在和I视频帧同步关联的音频帧，若存在执行步骤305,否则执行步骤304。
步骤304，顺序地读取下一个视频帧，并将其发往接收终端，之后再次执行步骤303。步骤305,下发与所述I视频帧关联的音频帧，并转向步骤303,再次判断 是否还存在与该I视频帧同步关联的音频帧，以确保一个I帧关联多个音频帧 时系统仍能正常工作。
本发明上述实施例缩短了由于音视频数据发送不同步而导致的频道切换 延迟，而且由于整个切换操作仅在緩存服务器和接收终端间进行，无需第三 方的参与，因而与现有网络有很好的兼容性。
需要说明的是，通常情况下都会找到与视频帧同步关联的音频帧，但也 不排除个别找不到的情况，因而当不能查找到与某个视频帧同步关联的音频 帧时，可顺序读取并下发下一个^f见频帧。
需要说明的是，每秒通常包含50个左右的音频帧，30个左右的视频帧， 因而， 一个视频帧可能会同步关联一个或一个以上音频帧。
需要说明的是，本发明实施例并不限定音视频流所采用的传输机制，如 所述音视频帧所在数据流采用的传输机制包括但不限于运动图像专家组传输 流(MEPG TS ),或国际流々某体联盟(ISMA)等。
当所述音视频帧所在数据流采用MEPG TS机制时，在建立视频帧和音频 帧的同步关联关系后，需要修改传输流TS单元中序列号，以保证连续的TS 包中序列号连续；或者，在下发数据时再修改传输流TS单元中序列号，以保 证连续的TS包中序列号连续。
需要说明的是，本发明实施例可以将除音视频帧之外的其他类型数据与 视频帧所在的视频数据流一同存储、下发；所述除音视频帧之外的其他类型 数据包括但不限于字幕、加扰消息等。
参见图4，其是根据本发明一实施例的接收终端进行频道切换的流程图。
步骤401,接收终端接收用户发出的频道切换请求。
步骤402,接收终端请求退出前一个直播频道。
步骤403,接收终端请求緩存服务器快速发包。
步骤404,接收终端快速緩冲。
步骤405,接收终端在緩冲区达到播放下限后即开始播放从緩沖服务器下 载的音视频数据。
步骤406,接收终端请求接收来自编码器的直播数据，即正常的直播数据。
i步骤407,接收终端开始接收来自编码器的直播数据，即正常的直播数据。步骤408,接收终端确定緩冲区已緩存足够多的音视频数据用于播放步骤409,接收终端请求緩存服务器停止发包。
步骤410，接收终端从I视频帧开始，切换为播放编码器下发的音视频数据即切换至处理正常直播数据。
若切换过程不要求平滑，则接收终端在接收并緩存足够多緩存服务器发出的数据后直接切换为播放来自编码器的数据，无需考虑緩存服务器数据和编码器数据的无缝4并接。
若切换过程要求平滑，接收终端在从緩存服务器上快速下载々某体数据的同时直接接收编码器发出的数据。接收终端首先播放緩存服务器下发的数据，并在合适的时刻切换成播放编码器下发的数据。同时出现在上述两路(来自緩存服务器的和来自编码器的)视频流的视频帧是可能的切换点，但为了保证切换后终端能够不间断的播放，要求接收终端判断所选定的用于切换视频帧所对应的音频帧已经在所述緩冲区内时，再从该所选定的视频帧切换为播放编码器下发的音视频数据，否则切换时将出现画面停顿的现象。
为了进一步缩短频道切换的时间，可以在接收终端在上电时接收緩存服务器的地址，并在启动时与所述緩存服务器建立连接，从而节约了频道切换时连接緩存服务器所带来的时间延迟。
综上，本发明实施例还提供了一种交互电视频道切换方法，包括
緩存服务器建立视频流和音频流的同步关联关系；在接收到频道切换请求后选择I视频帧，下发所述I视频帧数据，根据所述视视频流和音频流的同步关联关系查找与所述I视频帧关联的音频帧，下发与所述I视频帧关联的音频帧，之后顺序下发下一个一见频帧；
接收终端从所述緩存服务器上快速下载音视频数据，在自身緩冲区达到播放下限时开始播放从所述緩存服务器下载的音视频数据，在自身緩冲区緩存足够多的音视频数据后，切换为播放编码器下发的音视频数据。
上述交互电视频道切换方法还可以进一步包括接收终端在从緩存服务器下载音视频数据的同时，接收编码器发出的音视频数据；
12当接收终端緩冲区緩存足够多的音视频数据后，还可以进一步包括判
断所选定的用于切换视频帧所对应的音频帧已经在所述緩沖区内时，再从该 所选定的视频帧切换为播放编码器下发的音视频数据。以达到平滑切换的要求。
上述交互电^见频道切换方法还可以进一步包括所述接收终端在上电时
接收所述緩存服务器的地址，并启动时与所述緩存服务器建立连接，从而节
约了频道切换时连接緩存服务器所带来的时间延迟。
本发明实施例还提供了 一种交互电视频道切换时的音视频流发送装置，
参见图5，包括
关联单元501 ，用于建立^L频流和音频流的同步关联关系； 一见频帧选择单元502,用于接收到频道切换请求后选择I视频帧； 数据下发单元503,用于下发所述I视频帧数据，根据所述视频流和音频
流的同步关联关系查找与所述I视频帧关联的音频帧，下发与所述I视频帧关
联的音频帧，之后顺序下发下一个纟见频帧。
所述数据下发单元503，还用于若根据所述视频帧和音频帧的同步关联关
系未查找到与所述I视频帧关联的音频帧时，直接顺序下发下一个视频帧及与
之关联的音频帧。
所述交互电视频道切换时的音视频流发送装置位于緩存服务器、编码器 或直播转发服务器上。
本发明实施例还提供了一种交互电视频道切换系统，参见图6，包括
緩存服务器601,用于建立视频流和音频流的同步关联关系；在接收到频 道切换请求后选择I视频帧，下发所述I视频帧数据，根据所述视频流和音频 流的同步关联关系查找与所述I视频帧关联的音频帧，下发与所述I视频帧关 联的音频帧，之后顺序下发下一个视频帧及与之关联的音频帧；
编码器602,用于下发音视频数据。
上述交互电视频道切换系统还可以包括接收终端603，用于从所述緩存服 务器上快速下载音视频数据，在自身緩冲区达到播放下限时开始播放从所述 緩存服务器601下载的音视频数据，在自身緩冲区緩存足够多的音视频数据 后，切换为播放编码器602下发的音视频数据。所述接收终端603，还用于在从緩存服务器下载音视频数据的同时，接收 编码器发出的音视频数据；在緩冲区緩存足够多的音视频数据后，判断所选 定的用于切换视频帧所对应的音频帧已经在所述緩冲区内时，再从该所选定 的视频帧切换为播放编码器下发的音视频数据。
所述交互电i见频道切换系统还包括交互电^L应用系统604,用于在所述 接收终端在上电时下发所述緩存服务器701的地址，
所述接收终端603,还用于在上电时接收所述緩存服务器701的地址，并 在启动时与所述緩存服务器601建立连接。
所述緩存服务器601和编码器602为均独立的物理实体，或者，所述緩存 服务器601为逻辑实体，且所述緩存服务器701位于所述编码器602的出口处。
本文提出的各个实施例除了适用于组播环境外，对于采用组播中继和全 网单播的媒体分发网络同样有效。接收终端同样采用先从緩存服务器获取数 据，再从组播中继或直播转发服务器上获取数据的方式完成频道切换。本实 施例中描述的所有机制和方法均能在全网单播的直播转发服务器上使用。
骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机 可读取存储介质中，该程序在执行时，可以包括前述本发明基于MIP技术的 通信方法各个实施方式的内容。这里所称得的存储介质，如ROM/RAM、 磁石乘、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范 围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均 包含在本发明的保护范围内。
权利要求
1、一种交互电视频道切换时的音视频流发送方法，其特征在于，包括建立视频流和音频流的同步关联关系；接收到频道切换请求后选择I视频帧，下发所述I视频帧数据，根据所述视频流和音频流的同步关联关系查找与所述I视频帧关联的音频帧，下发与所述I视频帧关联的音频帧，之后顺序下发下一个视频帧及与之关联的音频帧。
2、 根据权利要求1所述的方法，其特征在于，当音频滞后于视频时，所 述建立视频流和音频流的同步关联关系包括接收到 一个音频数据包后，判断出所述音频数据包是一个新的音频帧后， 读取所述音频帧的显示时间标记，并获取视频队列中最后一个视频帧的显示 时间才示"i己，判断所述最后一个视频帧的显示时间标记是否大于所述音频帧的显示时 间标记，若是，则获取视频队列中前一个视频帧的显示时间标记，然后再次 执行判断操作，否则，建立当前视频帧和音频帧的同步关联关系。
3、 根据权利要求1所述的方法，其特征在于，当视频滞后于音频时，所 述建立视频流和音频流的同步关联关系包括接收到 一个视频数据包后，判断出所述视频数据包是一个新的^L频帧后， 读取所述视频帧的显示时间标记，并获取音频队列中最后一个音频帧的显示 时间才示i己，判断所述最后一个音频帧的显示时间标记是否大于所述视频帧的显示时 间标记，若是，则获取音频队列中前一个音频帧的显示时间标记，然后再次 执行判断操作，否则，建立当前音频帧和视频帧的同步关联关系。
4、 根据权利要求l所述的方法，其特征在于，所述接收到频道切换请求 后选择I视频帧的步骤包括接收到来自接收终端的频道切换请求后，根据所述接收终端发起频道切 换请求的时间，以及与所述发起请求的时间倒推预设时间长度，选择与所述 倒推预设时间长度最接近的I视频帧作为所选择的的I视频帧。
5、 根据权利要求1所述的方法，其特征在于，所述与I视频帧关联的音 频帧为一个或一个以上。
6、 根据权利要求1所述的方法，其特征在于，所述下发所述I视频帧数 据后进一步包括若根据所述视频流和音频流的同步关联关系未查找到与所 述I视频帧关联的音频帧，则直接顺序下发下一个视频帧。
7、 根据权利要求1所述的方法，其特征在于，所述音视频帧所在数据流 采用的传输机制包括运动图像专家组传输流MEPG TS，或国际流媒体联盟 ISMA。
8、 根据权利要求7所述的方法，其特征在于，当所述音视频帧所在数据 流采用运动图像专家组传输流MEPG TS机制时，在建立视频帧和音频帧的 同步关联关系后，修改传输流TS单元中序列号；或者，在下发数据时再修 改传输流TS单元中序列号。
9、 根据权利要求1所述的方法，其特征在于，进一步包括将除音视频 帧之外的其他类型数据与视频帧所在的视频数据流一 同存储、下发；所述除音视频帧之外的其他类型数据包括字幕、加扰消息。
10、 一种交互电视频道切换方法，其特征在于，包括 緩存服务器建立视频流和音频流的同步关联关系；在接收到频道切换请求后选择I视频帧，下发所述I视频帧数据，根据所述视视频流和音频流的 同步关联关系查找与所述I视频帧关联的音频帧，下发与所述I视频帧关联 的音频帧，之后顺序下发下一个视频帧；接收终端从所述緩存服务器上快速下载音视频数据，在自身緩冲区达到 播放下限时开始播放从所述緩存服务器下载的音视频数据，在自身緩冲区緩 存足够多的音视频数据后，切换为播放编码器下发的音视频数据。
11、 根据权利要求IO所述的方法，其特征在于，进一步包括接收终端 在从緩存服务器下载音视频数据的同时，接收编码器发出的音视频数据；当接收终端緩冲区緩存足够多的音视频数据后，进一步包括判断所选 定的用于切换视频帧所对应的音频帧已经在所述緩冲区内时，再从该所选定 的视频帧切换为播放编码器下发的音视频数据。
12、 根据权利要求10或11所述的方法，其特征在于，进一步包括所 述接收终端在上电时接收所述緩存服务器的地址，并启动时与所述緩存服务 器建立连接。
13、 一种交互电视频道切换时的音视频流发送装置，其特征在于，包括 关联单元，用于建立视频流和音频流的同步关联关系； 视频帧选择单元，用于接收到频道切换请求后选择I视频帧； 数据下发单元，用于下发所述I视频帧数据，根据所述视频流和音频流的同步关联关系查找与所述I视频帧关联的音频帧，下发与所述I视频帧关 联的音频帧，之后顺序下发下一个视频帧及与之关联的音频帧。
14、 根据权利要求13所述的装置，其特征在于，所述数据下发单元，还 用于若根据所述视频帧和音频帧的同步关联关系未查找到与所述I视频帧关 联的音频帧时，直接顺序下发下一个视频帧。
15、 根据权利要求13所述的装置，其特征在于，所述装置位于緩存服务 器、编码器或直播转发服务器上。
16、 一种交互电视频道切换系统，其特征在于，包括 緩存服务器，用于建立视频流和音频流的同步关联关系；在接收到频道切换请求后选择I视频帧，下发所述I视频帧数据，根据所述视频流和音频 流的同步关联关系查找与所述I视频帧关联的音频帧，下发与所述I视频帧 关联的音频帧，之后顺序下发下一个视频帧及与之关联的音频帧； 编码器，用于下发音视频数据。
17、 根据权利要求16所述的系统，其特征在于，所述系统还包括接收终 端，用于从所述緩存服务器上快速下载音视频数据，在自身緩冲区达到播放 下限时开始播放从所述緩存服务器下载的音视频数据，在自身緩沖区緩存足 够多的音视频数据后，切换为播放编码器下发的音视频数据。
18、 根据权利要求17所述的系统，其特征在于，所述接收终端，还用于 在从緩存服务器下载音视频数据的同时，接收编码器发出的音视频数据；在 緩冲区緩存足够多的音视频数据后，判断所选定的用于切换视频帧所对应的 音频帧已经在所述緩冲区内时，再从该所选定的视频帧切换为播放编码器下 发的音视频数据。
19、 根据权利要求17或18所述的系统，其特征在于，还包括 交互电视应用系统，用于在所述接收终端在上电时下发所述緩存服务器的地址，所述接收终端，还用于在上电时接收所述緩存服务器的地址，并在启动 时与所述緩存服务器建立连接。
20、根据权利要求16所述的系统，其特征在于，所述緩存服务器和编码 器为均独立的物理实体，或者，所述緩存服务器为逻辑实体，且所述緩存服 务器位于所述编码器的出口处。
全文摘要
本发明公开了一种交互电视频道切换时的音视频流发送方法，包括建立视频流和音频流的同步关联关系；接收到频道切换请求后选择I视频帧，下发所述I视频帧数据，根据所述视频流和音频流的同步关联关系查找与所述I视频帧关联的音频帧，下发与所述I视频帧关联的音频帧，之后顺序下发下一个视频帧及与之关联的音频帧。本发明实施例缩短了由于音视频数据发送不同步而导致的频道切换延迟，而且由于整个切换操作仅在缓存服务器和接收终端间进行，无需第三方的参与，因而与现有网络有很好的兼容性。本发明同时还公开了一种交互电视频道切换时的音视频流发送装置，以及交互电视频道切换方法及系统。
文档编号H04N7/173GK101662689SQ20081014683
公开日2010年3月3日 申请日期2008年8月25日 优先权日2008年8月25日
发明者宇 陈 申请人:华为技术有限公司