流式传送服务器和流式传送系统的利记博彩app

专利名称：流式传送服务器和流式传送系统的利记博彩app
技术领域：
本发明涉及一种流式传送(streaming)方法，并且特别涉及一种将用于 播放流数据的终端从正在接收该流数据的终端切换至另 一终端的方法。
背景技术：
技术发展已经允许计算机网络更快且更廉价，因此在网络上的视频传送 正变得普遍。用于接收视频传送的终端也已进一步多样化，并且，除了移动 电话和个人计算机之外，也已经开发了配备有因特网接入功能的家用电器， 即电视机和DVR(数字录影机)。从现在起，家用电器很可能接收、显示并 记录在因特网上传送的视频流数据。多种多样的设备可以分别显示通过网络接收的视频图像的上述环境允许 由适合于用户情况的设备来显示视频图像，并且可以增大用户能够观看视频 图像的机会。例如，假设用户正在房间里用电视机在因特网上观看视频内容 节目。当用户出去时，并且如果用户将显示视频内容节目的设备切换为移动 电话，则用户在户外也可以欣赏该节目的其余部分。在此示例中(其中，在电视机与移动电话之前切换显示设备)，将电视机 已经在接收的视频内容节目的接收会话切换至移动电话。在多个不同设备之 间的这样的会话切换被称为会话移动性。虽然上面是视频传送中的会话移动 性的示例，但是会话移动性还可以应用于用于传送音频或其它数据的会话。会话移动性所需的属性包括两个特性(a)速度和(b)连续性。速度指尽可能快速地切换显示设备。通过从用户指示切换时到使用会话中，通过从切换指令到在切换目的设备上显示视频图像时的时间表示速度。连续性指在切换前后的内容的连续。即，当在视频内容节目的中间将显 示该视频内容节目的设备切换至另 一设备时，要求切换目的设备显示切换源 设备在切换指令时正在显示的场景的延续。日本专利公开申请第2002-368846号公开了 一种用于经由短程无线通信 将在移动终端中积蓄的内容输出到外部设备的过程，作为实现会话移动性的 方案。具体地，移动终端搜索外部设备，建立与所发现的外部设备的连接， 并且传送内容。发明内容本发明要解决的问题在流式传送中，分组从源规则地输出。称作"抖动(jitter)"的现象通常发 生在经由网络的分组通信中，在"抖动"中，规则输出的分组的到达之间的 间隔变化。连续地再现所接收的流数据需要运动图像数据和音频数据，但是 抖动的发生将破坏所述再现。为了在流式传送中防止此问题，在开始数据再 现之前执行緩冲处理，在该緩冲处理中，将所接收的数据存储在緩沖器中。 在切换终端时也执行緩冲处理。为此原因，当开始下载流数据时，以及当切 换要播放流数据的终端时，在开始数据再现之前将需要时间。上面提到的日本专利公开申请第2002-368846号提出了一种方法，其中， 通过在用户执行开始操作之前搜索外部设备，减少搜索外部设备所需的时间， 但是该申请完全没有考虑緩冲所需的时间。考虑到上述背景而进行的本发明的目的是提供一种流式传送方法，其中， 减少了在切换终端时的初始緩冲时间，并且可以平滑地切换播放数据的终端。用于解决上述问题的方法本发明的流式传送服务器是用于流式传送通过帧间预测编码的数据的服 务器，并且该流式传送服务器包括緩沖关键帧生成器，用于使得向可独立 解码的关键帧附加跟随在该关键帧之后的至少一个差异帧(difference frame)， 以创建一个传送单位的数据，并且生成附加了关于该一个传送单位的数据的 信息的緩冲关键帧，所述信息包括帧编号；以及帧发送器，用于在预先设定 为确定周期的该关键帧的传送定时(timing),传送利用应当在该传送定时传送 的关键帧而生成的緩冲关键帧，并且在该关键帧的传送定时的间隔期间提供 的差异帧的传送定时，传送任意帧。本发明的另 一方面的流式传送服务器是用于流式传送由通过帧间预测编 码的运动图像数据和音频数据组成的数据的服务器，并且该流式传送服务器包括缓沖关键帧生成器，用于使得向运动图像数据的可独立解码的关键帧附加对应于该关键帧的音频帧、以及跟随在所述音频帧之后的至少一个音频 帧，以创建一个传送单位的数据，并且生成附加了关于该一个传送单位的数据的信息的緩沖关键帧，所述信息包括帧编号；以及帧发送器，用于在预先 设定为确定周期的该关^t帧的传送定时，传送利用应当在该传送定时传送的 关键帧而生成的緩冲关键帧，并且在该关键帧的传送定时的间隔期间提供的 差异帧的传送定时，传送应当在所述传送定时传送的差异帧和任意音频帧。本发明的流式传送系统包括流式传送服务器，用于流式传送通过帧间 预测编码的数据；第一终端，用于再现从该流式传送服务器传送的流数据； 以及第二终端，用于接收从该第一终端传送的流数据，并且再现该流数据， 其中，该流式传送服务器包括緩沖关键帧生成器，用于使得向可独立解码 的关键帧附加跟随在该关键帧之后的至少一个差异帧，以创建一个传送单位 的数据，并且生成附加了关于该一个传送单位的数据的信息的緩沖关键帧， 所述信息包括帧编号；和帧发送器，用于在预先设定为确定周期的该关键帧 的传送定时，传送利用应当在该传送定时传送的关键帧而生成的緩沖关键帧， 并且在该关键帧的传送定时的间隔期间提供的差异帧的传送定时，传送任意 帧，其中，该第一终端包括帧接收器，用于接收从该流式传送服务器传送 的緩沖关键帧和差异帧；緩冲器，用于存储接收的帧；回放部件，用于读取 存储在该緩冲器中的帧并再现流数据；再现帧编号存储器，用于存储已经再 现的帧的帧编号；和删除单元，用于如果从所述緩冲器读取的帧的帧编号匹 配存储在所述再现帧编号存储器中的帧编号，则删除该帧而不再现该帧，以 及其中，当接收到切换请求时，该第一终端从存储在所述緩冲器中的数据中 读取存储在该緩冲器中的、以紧邻在接收所述切换请求之前播放的緩沖关键 帧开头的数据，并且将所读取的数据传送至第二终端。本发明的流式传送方法包括步骤用于流式传送通过帧间预测编码的数 据的流式传送服务器使得向可独立解码的关键帧附加跟随在该关键帧之后的 至少一个差异帧，以创建一个传送单位的数据，并且生成附加了关于该一个 传送单位的数据的信息的緩沖关键帧，所述信息包括帧编号；在预先设置为 确定周期的所述关键帧的传送定时，传送利用应当在该传送定时传送的关键帧而生成的緩冲关键帧；以及在所述关键帧的传送定时的间隔期间提供的差 异帧的传送定时，传送任意帧。存在如下面所述的本发明的其它方面。因此，本发明的此公开意在提供 本发明的部分方面，而非意在限制这里描述和声明的本发明的范围。


图1是第一实施例的系统的配置框图；图2是第一实施例的传送时序图；图3是第一实施例的服务器101的操作流程图；图4是第一实施例的切换源终端102a的操作流程图；图5是第一实施例的切换目的终端102b的操作流程图；图6是第二实施例的传送时序图；图7是第二实施例的服务器101的操作流程图；图8是第二实施例的切换源终端102a的操作流程图；图9是第二实施例的切换目的终端102b的操作流程图。
具体实施方式
下面是对本发明的详细描述。将理解，下面描述的实施例仅仅是本发明 的示例，并且可以在各个方面改变本发明。因此，下面公开的具体配置和功 能 不限制权利要求。一个实施例的流式传送服务器是用于流式传送通过帧间预测编码的数据 的服务器，并且该流式传送服务器包括緩冲关键帧生成器，用于使得向可 独立解码的关键帧附加跟随在该关键帧之后的至少一个差异帧，以创建一个 传送单位的数据，并且生成附加了关于该一个传送单位的数据的信息的緩冲 关键帧，所述信息包括帧编号；以及帧发送器，用于在预先设定为确定周期 的该关键帧的传送定时，传送利用应当在该传送定时传送的关键帧而生成的 缓沖关键帧，并且在该关键帧的传送定时的间隔期间提供的差异帧的传送定 时，传送任意帧。通过如上所述在关键帧的传送定时，传送附加了跟随在该关键帧之后的 差异帧的关键帧作为一个传送单位的数据，可以减少緩冲所需时间。即，通 常，在关键帧的传送定时仅关键帧可以缓沖，但是在本实施例中，可以緩冲8关键帧和跟随在该关键帧之后的差异帧。此外，因为执行将差异帧附加至以 确定周期出现的关^t帧的处理，所以，即使已经接收流数据的终端要将该流 数据从其中间传送至另 一终端，也可以减少另 一终端緩沖所需的时间。在本实施例的流式传送服务器中，帧发送器可以在该差异帧的传送定时， 传送在该差异帧之前和之后的关键帧之间的差异帧中、还未传送的差异帧， 并且，如果之前和之后的关键帧之间的所有差异帧都已经被传送了，则可以 传送任意帧。如上所述地传送在前和在后关键帧之间的还未传送的差异帧允许接收流 数据的终端适当地播放该流数据。如果在前和在后关键帧之间的所有差异帧 已被传送，则传送任意帧以保持关键帧之间的差异帧数量恒定，并且这允许 该接收终端基于关于在次序中的什么位置接收该帧的信息，来识别帧的顺序 位置。结果，即使不解码所接收的数据，接收终端也可以基于该帧在接收次 序中的位置，来识别緩沖关键帧。该任意帧可以是关键帧或差异帧。帧发送 器可以再次传送已经传送了的帧作为任意帧。本实施例的另一方面的流式传送服务器是用于流式传送由通过帧间预测编码的运动图像数据和音频数据组成的数据，并且该流式传送服务器包括 緩冲关键帧生成器，用于使得向运动图像数据的可独立解码的关键帧附加对 应于该关^t帧的音频帧、以及跟随在所述音频帧之后的至少一个音频帧，以 创建一个传送单位的数据，并且生成附加了关于该一个传送单位的数据的信 息的緩冲关键帧，所述信息包括帧编号；以及帧发送器，用于在预先设定为 确定周期的该关键帧的传送定时，传送利用应当在该传送定时传送的关键帧 而生成的緩冲关键帧，并且在该关键帧的传送定时的间隔期间提供的差异帧 的传送定时，传送应当在所述传送定时传送的差异帧和任意音频帧。通过如上所述在运动图像数据的关键帧的传送定时，传送关键帧和对应 于关键帧的音频帧并附加跟随在该音频帧之后的音频帧作为一个传送单位的 数据，可以减少緩沖音频帧所需的时间。另外，因为执行将音频帧附加至以 确定周期出现的关键帧的处理，所以，即使已经接收流数据的终端要将该流 数据从其中间传递至另 一终端，也可以减少另 一终端緩沖音频帧所需的时间。端，并且该终端包括帧接收器，用于接收从该流式传送服务器传送的緩沖 关键帧和差异帧；緩沖器，用于存储接收的帧；回放部件，用于读取存储在该緩冲器中的帧并再现流数据；播放帧编号存储器，用于存储已经播放的帧 的帧编号；以及删除单元，用于如果从所述緩冲器读取的帧的帧编号匹配存 储在所述播放帧编号存储器中的帧编号，则删除该帧而不再现该帧。
在此配置中，如果从緩冲器读取已经播放的帧，则删除该帧而不播放该 帧。因此，不会重复播放相同的帧，并且可以适当地播放流数据。
本实施例的终端可以具有切换请求接收器，用于接收将播放流数据的终 端切换至另一终端的切换请求，其中，当接收到该切换请求时，控制器可以 从存储在该缓沖器中的数据中读取存储在緩沖器中的、以紧邻在接收所述切 换请求之前播放的緩冲关键帧开头的数据，并且可以将所读取的数据传送至 另一终端。
如上所述，将以紧邻在接收切换请求之前播放的缓沖关键帧开头的流数 据传送至切换目的地的另一终端，并且，这可以减少另一终端緩沖所需的时 间。结果，可以迅速地切换播放流数据的终端。
本实施例的流系统包括流式传送服务器，用于流式传送通过帧间预测 编码的数据；第一终端，用于再现从该流式传送服务器传送的流数据；以及 第二终端，用于接收从该第一终端传送的流数据，并且再现该流数据，其中， 该流式传送服务器包括.'緩沖关键帧生成器，用于使得向可独立解码的关键 帧附加跟随在该关键帧之后的至少一个差异帧，以创建一个传送单位的数据， 并且生成附加了关于该一个传送单位的数据的信息的緩冲关键帧，所述信息 包括帧编号；和帧发送器，用于在预先设定为确定周期的该关键帧的传送定 时，传送利用应当在该传送定时传送的关键帧而生成的緩冲关键帧，并且在 该关键帧的传送定时的间隔期间提供的差异帧的传送定时，传送任意帧，其 中，该第一终端包括帧接收器，用于接收从该流式传送服务器传送的緩冲 关键帧和差异帧；緩冲器，用于存储接收的帧；回放部件，用于读取存储在 该緩冲器中的帧并再现流数据；播放帧编号存储器，用于存储已经播放的帧 的帧编号；和删除单元，用于如果从所述緩沖器读取的帧的帧编号匹配存储 在所述播放帧编号存储器中的帧编号，则删除该帧而不再现该帧，以及其中， 当接收到切换请求时，该第一终端从存储在所述緩冲器中的数据中读取存储 在该緩冲器中的、以紧邻在接收所述切换请求之前播放的緩沖关键帧开头的 数据，并且将所读取的数据传送至第二终端。
如在流式传送服务器的上述实施例的情况下，此配置可以减少第一和第
10二终端緩冲流数据所需的时间。
本实施例的流式传送方法包括步骤:用于流式传送通过帧间预测编码的
数据的流式传送服务器使得向可独立解码的关键帧附加跟随在该关键帧之后的至少一个差异帧，以创建一个传送单位的lt据，并且生成附加了关于该一
个传送单位的数据的信息的緩冲关键帧，所述信息包括帧编号；在预先设置为确定周期的所述关键帧的传送定时，传送利用应当在该传送定时传送的关键帧而生成的緩冲关键帧；以及在所述关键帧的传送定时的间隔期间提供的差异帧的传送定时，传送任意帧。
如在流式传送服务器的上述实施例的情况下，此配置可以减少接收流数据的终端缓冲该流数据所需的时间。即使已经接收流数据的终端要将该流数据从其中间传递至另 一终端，也可以减少另 一终端緩冲所需的时间。
本实施例的流式传送方法可以包括步骤流式传送服务器从终端接收关于要被附加至关键帧的差异帧的数量的数据，其中，由接收流数据的终端基于抖动来计算数据；以及根据关于差异帧的数量的数据，增加或减少要被包含在緩沖关键帧中的差异帧的数量。
此配置可以响应于在流式传送服务器和终端之间的通信状态变化，实现最佳流式传送控制。
本实施例的流式传送方法可以包括步骤接收从所述流式传送服务器传送的緩冲关键帧和差异帧；将接收的緩冲关键帧和差异帧存储在緩沖器中；读取存储在緩冲器中的帧并再现流数据；将已经播放的帧的帧编号存储在播放帧编号存储器中；以及如果从所述緩冲器读取的帧的帧编号匹配存储在所述播放帧编号存储器中的帧编号，则删除该帧而不再现该帧。
在此配置中，如果从该緩冲器读取了已经播放的帧，则删除该帧，而不播放该帧。因此，不重复播放相同帧，并且可以适当地播放流数据。
本实施例的流式传送方法可以包括步骤接收用于将播放流数据的终端切换至另一终端的切换请求；以及当接收到所述切换请求时，从存储在该缓沖器中的数据中读取存储在该緩冲器中的、以紧邻在接收所述切换请求之前播放的緩冲关键帧开头的数据，并且将所读取的数据传送至另一终端。
在此配置中，可以减少另一终端緩冲所需的时间，并且可以迅速地切换播放流数据的终端。
本实施例的流式传送方法可以包括步骤检测从所述流式传送服务器传送的数据中的抖动的大小；基于该抖动，计算要附加至所述关键帧的差异帧的数量；以及将关于所述差异帧的数量的数据传送至所述流式传送服务器。
此配置可以响应于在流式传送服务器和终端之间的通信状态变化，实现最佳流式传送控制。
现在，将参考附图，详细描述本发明的实施例的流式传送系统。(第一实施例)
图1示出了第一实施例的流式传送系统的配置。如图1中所示，流式传送系统具有服务器101、切换源终端102a、以及切换目的终端102b。
服务器101通过规则地传送帧而传送流数据。包含流数据的帧由运动图像帧和音频帧组成。本实施例使用压缩每个运动图像帧和音频帧的编解码器。这样的编解码器包括例如用于运动图像的MPEG-2或MPEG-4(包括H.264 )、以及用于音频的MPEG-2/MPEG-4 AAC (先进音频编码)和MP3 (MPEG-1音频层-3)。在使用帧间预测的编解码器中，在帧中处理画面的情况下的画面类型包括-f叉通过帧内压缩而生成的独立帧(I帧)、以及通过帧间压缩而生成的差异帧(P帧或B帧)。差异帧(difference frame)使用与独立帧的差异来表示关于帧的信息，并且在没有独立帧的情况下不能被播放。为此原因，开始运动图像数据的再现需要利用独立帧来开始该再现。在下文中，将I帧称为独立帧，而在下文中，将P或B帧称为差异帧。以确定的周期传送独立帧。例如按照标准定义独立帧的传送周期，并且通常，该传送周期对应于每15个帧一个。
服务器101具有运动图像存储器111、音频存储器112、多路复用器113、输出单元114、控制器115、以及传送数据生成器116。运动图像存储器111积蓄由服务器101传送的运动图像数据。音频存储器112积蓄由服务器101传送的音频数据。例如，运动图像存储器111和音频存储器112每一个都由存储设备组成。
传送数据生成器116读取存储在运动图像存储器111中的运动图像数据、以及存储在音频存储器112中的音频数据，以生成传送数据。在独立帧的传
以及例如跟随在该独立帧之后的两个差异帧，并且生成传送数据。被附加了例如两个差异帧的独立帧对应于"緩冲关键帧"。在并非独立帧的差异帧的传送定时，传送数据生成器116读取跟随在在前时间读取的帧之后的帧，以生
12成传送数据。
多路复用器113多路复用由传送数据生成器116生成的传送数据以生成
多路复用的流。输出单元114将由多路复用器113生成的多路复用的流输出至切换源终端102a。控制器115控制服务器101的操作。
切换源终端102a具有输入单元121a、控制器122a、緩沖器123a、回放部件124a、切换输出单元125a、以及重复删除单元126a。输入单元121a从服务器IOI接收控制信号、运动图像数据、音频数据等。输入单元121a对应于网络协议栈，诸如TCP/IP。控制器122a执行有关通信的终端控制，诸如另一终端的呼叫控制和传送速率变化。控制器122a对应于应用软件。
缓沖器123a暂时存储由输入单元121a接收的运动图像数据和音频数据。緩冲器123a包括例如存储器。回放部件124a读取存储在緩冲器123a中的数据，并且播放所读取的数据。回放部件124a包括例如用于显示的存储器、用于运动图像数据和音频数据的解码器、用于运动图像的显示程序、用于图形显示和音频再现的硬件、显示器、以及扬声器。
切换输出单元125a建立与切换目的终端102b的连接。切换输出单元125a实现为协议栈，如输入单元121a的情况。输入单元121a和切换输出单元125a与地址彼此不同的目的地连接。控制器122a可以通过设置的差异在输入单元121a与切换输出单元125a之间区分。
重复删除单元126a具有删除已经播放的、从緩冲器123a读取的运动图像数据和音频数据的功能，以便不重复播放它们。重复删除单元126a具有播放帧编号存储器127a,并且存储已经播放的运动图像帧和音频帧的帧编号。当从緩沖器123a读取运动图像帧和音频帧时，重复删除单元126a确定读取的运动图像帧和音频帧的帧编号是否存储在播放帧编号存储器127a中。如果读取的运动图像帧和音频帧的帧编号存储在播放帧编号存储器127a中，则重复删除单元126a删除从緩沖器123a读取的该运动图像帧和音频帧。如果读取的运动图像帧和音频帧的帧编号没有存储在播放帧编号存储器127a中，则重复删除单元126a将从缓沖器123a读取的该运动图像帧和音频帧的帧编号存储在播放帧编号存储器127a中。虽然本实施例采用其中当从緩冲器123a读取运动图像帧和音频帧时、将帧编号存储在播放帧编号存储器127a中的配置，但是，还可以采用其中当实际上已经完成再现时、将帧编号存储在播放帧编号存储器127a中的配置。切换目的终端102b的基本配置与切换源终端102a的基本配置相同。切换目的终端102b与切换源终端102a的不同在于切换目的终端102b不具有切换输出单元125a，而具有切换输入单元125b。当切换终端时，切换输入单元125b接收从切换源终端102a输出的流数据。切换目的终端102b将来自切换输入单元125b的输入存储在緩冲器123b中(如同来自服务器101的输入一样)，并且通过使用回放部件124b来播放存储在緩冲器123b中的数据。
图2示出了本实施例的流式传送系统的操作中的运动图像数据和音频数据的输出和再现的时序。时间轴212显示时间的经过。在图2中，用矩形表示运动图像帧和音频帧，并且将指示帧编号的数字写在矩形中。在运动图像数据的帧编号前面给出"V"(其代表视频)，而在音频数据的帧编号前面给出"A"(其代表音频)。例如，将帧编号为4的帧表示为"V4"或"A4"，而将帧编号为1至3的一组帧表示为"Vl-3"或"Al-3"。
在本实施例中，再现运动图像帧所需的时间与再现音频帧所需的时间相同。只要运动图像数据和音频数据彼此对应，并且在再现时彼此同步，则运动图像帧和音频帧可以在长度上彼此不同。在该情况下，将运动图像数据和应当同时被播放的音频数据作为一组处理，这提供与本实施例相同的优势。
如前所述，独立帧通常每15个帧出现一个。然而，在图2中，为了简化起见，描述了独立帧每4个帧出现一个的示例。在图2中，"V1"、 "V5"、 "V9"和"V13"是独立帧，它们显示在具有粗体边框的框中。在本实施例中，关键帧总体地指当执行流式传送时在传送目的地的处理中扮演重要角色的帧，如同独立帧对于运动图像那样。
在图2中，运动图像数据201a和音频数据201b显示输出每个帧的定时。在本实施例中，运动图像数据201a和音频数据201b共同地称作多路复用的流201。
在图2中，运动图像数据202a和音频数据202b显示切换源终端102a将从服务器101接收的运动图像数据和音频数据的每一帧存储在緩沖器123a中的定时。在本实施例中，运动图像数据202a和音频数据202b共同称作多路复用的流202。
在图2中，运动图像数据203a和音频数据203b显示切换源终端102a播放运动图像数据和音频数据的每一帧的定时。在本实施例中，运动图像数据203a和音频数据203b共同称作多路复用的流203。在图2中，运动图像数据204a和音频数据204b显示切换目的终端102b将从切换源终端102a接收的运动图像数据和音频数据的每一帧存储在緩冲器123b中的定时。在本实施例中，运动图像数据204a和音频数据204b共同称作多路复用的流204。
在图2中，运动图像数据205a和音频数据205b显示切换目的终端102b播放从切换源终端102a接收的运动图像数据和音频数据的每一帧的定时。在本实施例中，运动图像数据205a和音频数据205b共同称作多路复用的流205。
现在将参考图2描述本实施例的流式传送系统中的多路复用流的流动。
首先将描述本实施例中的服务器101的操作。服务器101以固定时间间隔输出多路复用的流201,其中运动图像帧和音频帧被多路复用。当传送独立帧时，服务器101通过将用于緩沖的确定数量的运动图像帧和音频帧附加到运动图像数据和音频数据的独立帧，生成多路复用的流。根据指示帧在传送次序中的位置的帧编号k是否匹配独立帧的编号，检测要传送该独立帧的定时。假设独立帧之间的间隔是n(个)，则独立帧的编号是1 、 1 + n、 1 + 2n、...、等等。因此，控制器115确定帧编号k是否满足k二l+mxn(m是等于或大于零的整数)，并且，如果帧编号k满足上述等式，则确定该帧是独立帧。当传送独立帧时，服务器101通过附加用于緩沖的b个运动图像帧和b个音频帧，生成多路复用的流201，并且输出该多路复用的流201。
在图2中所示的示例中，用于緩沖的帧数量b是2。例如，当输出帧编号为1的帧作为多路复用的流201时，服务器101输出独立帧，即，帧编号为1的运动图像帧VI和音频帧Al,并附加用于緩冲的两个运动图像帧V2和V3、以及两个音频帧A2和A3。结果，在比不执行该附加处理的情况下更早的定时，输出运动图像帧V2和V3、以及音频帧A2和A3。即，当未执行该附加处理时，将在数据2的传送定时传送运动图像帧V2和音频帧A2，并且，将在数据3的传送定时传送运动图像帧V3和音频帧A3。因此，直到数据3的传送定时才可以传送运动图像帧V2和V3、以及音频帧A2和A3。在本实施例中，通过在数据1的传送定时传送附加了运动图像帧V2和V3、以及音频帧A2和A3的关键帧，可以在比数据2的传送定时更早的定时传送运动图像帧V2和V3、以及音频帧A2和A3。在图2中，对于在第l、第5、第9和第13时间输出的多路复用的流，分别执行附加运动图像帧和音频帧的处理。在图2中以相同大小描绘出独立帧和差异帧，但是实际上，差异帧中的 数据量远小于独立帧中的数据量。因此，由于将差异帧附加至独立帧而导致 的传送延迟小于独立帧传送间隔。可以在下一帧的传送之前传送被附加了差 异帧的独立帧，而甚至不改变独立帧传送间隔。
在传送差异帧的定时，服务器101多路复用并输出跟随在之前刚刚输出
的运动图像帧和音频帧之后的帧。在第k时间(k- l+mxn)输出的多路 复用的流201的帧编号是(k + b)。在图2中所示的示例中，在第k时间(k # 1 + m x n)，在帧传送定时传送的运动图像数据201a和音频数据201b的帧编 号是(k + 2)。例如，在第2时间输出的多路复用的流201包括运动图像数据 V4和音频数据A4,并且在第3时间输出的多^^复用的流201包括运动图像 数据V5和音频数据A5。
在本实施例中，当系统开始操作时，服务器101输出由运动图像数据201a 和音频数据201b组成的多路复用的流201,其中，运动图像数据201a包括运 动图像帧V1-3(V1、 V2和V3;在下文中，将同样应用)，音频数据201b包 括音频帧Al-3(Al、 A2和A3;在下文中，将同样应用)。接下来将描述用 于运动图f^帧Vl-3和音频帧A1-3的系统的处理。
当接收到运动图像帧Vl-3和音频帧Al-3时，切换源终端102a将所接收 的运动图像帧Vl-3和音频帧Al-3存储在緩沖器123a中。如图2中所示，相 对于从服务器101传送的时间，切换源终端102a在緩冲器123a中进行存储 的定时被延迟。此延迟时间209是运动图像帧Vl-3和音频帧Al-3的网络传 送和接收、以及将数据存储在緩沖器123a中所需的时间。
当完成将三个帧(Vl-3和Al-3 )存储在緩冲器123a中的处理时，切换 源终端102a通过使用回放部件124a而执行再现处理。如在现有技术的实施 例中那样，在确定量的数据被存储在緩沖器123a中的时间点开始再现。在此 示例中，在对应于三个帧(Vl-3和Al-3)的数据被存储在緩冲器123a中的 时间点开始再现。从确定量的数据被存储在緩沖器123a中时到再现的延迟时 间210是从緩沖器123a读取、解码和再现数据所需的时间。 一旦已经开始再 现，则切换源终端102a连续读取并播放存储在緩沖器123a中的运动图像数 据和音频数据。
在跟随运动图像帧Vl-3和音频帧Al-3的第2时间的输出定时，服务器 101多路复用运动图像帧V4和音频帧A4，以生成和输出多路复用的流201 。
16切换源终端102a将一帧运动图像帧V4和音频帧A4存储在緩沖器123a中。 服务器101在第3时间的输出定时输出由运动图像帧V5和音频帧A5组成的 多路复用的流201,并且在第4时间的输出定时输出由运动图像帧V6和音频 帧A6组成的多路复用的流201。响应于这些动作，切换源终端102a执行在 緩冲器123a中进行存储的处理，如多路复用的流201由运动图像帧V4和音 频帧A4组成的情况下 一样。
服务器101在第5时间的输出定时输出运动图像帧V5-7和音频帧A5-7, 其中，在该第5时间，在帧输出的次序中的位置匹配1 + mx4 (m是等于或 大于零的整数)；在第9时间的输出定时输出运动图像帧V9-11和音频帧 A9-ll;以及，在第13时间的输出定时输出运动图像帧V13-15和音频帧 A13-15。响应于这些动作，切换源终端102a执行在緩冲器123a中进行存储 的处理，如多i 各复用的流201由运动图4象帧Vl-3和音频帧Al-3组成的情况 下一样。
当再现多路复用的流203时，切换源终端102a执行设备发现和连接处理
206。 设备发现和连接处理206是切换源终端102a检测切换目的终端102b并 与其建立通信连接的处理。设备发现和连接处理206的执行允许切换源终端 102a和切换目的终端102b相互通信。可以通过用户操作、计时器或其它触发 器来激活设备发现和连接处理206。
当通过设备发现和连接处理206检测到切换目的终端102b时，切换目的 终端102b输出用于切换播放多路复用的流201的终端的终端改变请求207。 切换目的终端102b可以在设备发现和连接处理206之后输出该终端改变请求
207。 切换目的终端102b可以响应于用户的操作或指令输出终端改变请求 207，或者无需用户操作而自动地输出终端改变请求207。
响应于终端改变请求207，切换源终端102a将包括再现所需的独立帧的 多路复用的流202输出至切换目的终端102b。在图2所示的示例中，当终端 改变请求207^:输入到切换源终端102a时，在切换源终端102上正在播^L运 动图像帧V5和音频帧A5。因此，切换源终端102a将流数据传递至切换目的 终端102b，使得可以播放运动图像帧V6、音频帧A6和随后的数据。
由运动图像帧V5-7和音频帧A5-7组成的多路复用的流202输入至切换 目的终端102b。因为多路复用的流202包括三个运动图像帧和三个音频帧， 所以切换目的终端102b立即完成在数据再现开始之前的緩冲。切换目的终端102b通过^f吏用回》文部件124b来将多^各复用的流202多^各分解为运动图^^帧 和音频帧，随后对它们进行解码，并且开始再现。从终端改变请求207到开 始显示所需的时间是时间211。
现在将参考图3至5来详细描述服务器101、切换源终端102a和切换目 的终端102b的操作。下面描述的操作仅仅是用于在如图2中所示的定时传送 和再现运动图像数据和音频数据的示例。本发明不限于下面描述的操作。 (服务器的操作)
图3示出了服务器101的操作。首先，服务器101执行初始化处理(SIO)。 服务器101的控制器115用1代替循环计数器i，该循环计数器i指示要输出 的多路复用的流201的顺序位置。用数据i表示要在第i时间输出的多路复用 的流201。控制器115基于其使用的编解码器而设置独立帧出现间隔n的值， 并且设置用于緩冲的帧数量b。在本实施例中，它们被设置为n-4和b二2。
控制器115确定接下来要输出的帧是否为独立帧(S12)。具体地，控制 器115确定当除以独立帧出现间隔n时，循环计数器i是否剩余余数l。如果 确定结果表示接下来要被输出的帧处于独立帧的顺序位置(S12的是)，则传 送数据生成器116进入用于生成緩沖关键帧的处理(S14)。传送数据生成器 116从运动图像存储器111和音频存储器112读取帧编号为i至i + b- 1的运 动图像帧和音频帧。
首先，因为循环计数器i的值是l(初始值)，所以确定该帧为独立帧(S12 的是)。传送数据生成器116从运动图像存储器111和音频存储器112读取帧 编号为1至2的运动图像帧和音频帧。
传送数据生成器116随后读取帧编号为i + b的运动图像帧和音频帧 (S16)。因为这里1=1且6 = 2,所以传送数据生成器116读取帧编号为3 的运动图像帧和音频帧。使用如上读取的帧编号为1至3的运动图像帧和音 频帧，传送数据生成器116生成由帧1至3组成的传送数据。
多路复用器113多路复用由传送数据生成器116读取的帧编号为1至3 的运动图像帧和音频帧，将要被识别为一个传送单位的由三个帧组成的数据 的帧信息附加至报头信息，并且生成多路复用的流(S18)。服务器101从输 出单元114传送多路复用的流(S20)。顺便提及，多路复用的流的传送格式 包括包含目的地址等的报头部分、以及包含运动图像帧和音频帧的数据部分， 并且在报头部分中具有包含帧信息的可选区域。报头部分中的可选区域可以包括例如下列中的任何一个作为关于一个传送单位的数据的帧信息关键帧 的帧编号、差异帧的帧编号、帧类型(P/B画面)、大小、传送周期n、以及 附加帧的数量b。帧信息不仅可以被包括在报头部分中的可选区域中，还可 以被多路复用到多路复用的流中作为帧信息部分。
在传送多路复用的流之后，服务器101的控制器115确定流式传送是否 要结束(S22)。如果确定结果指示流式传送结束(S22的是)，则控制器115 结束流式传送处理。如果确定流式传送未结束(S22的否)，则控制器115递 增循环计数器i ( S24 )，并且进入确定接下来要输出的帧是否处于独立帧的顺 序位置的处理(S12)。
在第二个循环中，循环计数器i变为2，因此，在关于要被输出的帧是否 为独立帧的确定中，当除以独立帧出现间隔4时，循环计数器2剩余余数为 2(S12)。因此，确定要被输出的帧不是独立帧(S12的否)。从而，控制器 115进入读取帧编号为i + b的数据的处理(S16)。因为这里i-2且b二2， 所以控制器115读取帧编号为4的运动图像帧和音频帧。
多路复用器113随后多路复用由控制器115读取的帧编号为4的运动图 像帧和音频帧，以生成多路复用的流(S18)，并且从输出单元114传送多路 复用的流(S20)。
如上所述，传送数据生成器116根据帧是否为独立帧，在读取独立帧和 随后的两个差异帧以及仅读取差异帧之间切换，并从而传送如图2中所示的 多^各复用的流201。
(切换源终端的操作)
图4示出切换源终端102a的操作。首先，切换源终端102a执行初始化 处理(S30)。切换源终端102a的控制器122a用0代替循环计数器i ,该循 环计数器i指示多路复用的流201的顺序位置(ordinal position )。控制器122a 基于其使用的编解码器而设置独立帧出现间隔n的值，并且设置用于緩冲的 帧数量b。在本实施例中，它们被设置为n-4和b二2。
切换源终端102a的输入单元121a通过网络103接收从服务器101传送 的多^各复用的流201 (S32)。首先，输入单元121a接收由月良务器101首先输 出的、包括运动图像帧Vl-3和音频帧Al-3的多3各复用的流201。
当从服务器101接收多路复用的流201时，切换源终端102a通过使用控 制器122a确定是否从切换自的终端102b接收到终端改变请求207 ( S34 ).
19如果还未"^妄收到终端改变请求207 ( S34的否)，则在切换源终端102a上扭^亍 再现处理；以及，如果接收到终端改变请求207 (S34的是)，则执行将流数 据传递至切换目的终端102b的处理。
首先将描述还未接收到终端改变请求207的情况(S34的否)。控制器122a 将由输入单元121接收到的多路复用的流201存储在緩冲器123a中(S36 )。 控制器122a将循环计数器i递增1，并且将所接收到的帧作为数据i而存储 在緩沖器123a中。首先，包括运动图像帧Vl-3和音频帧Al-3的多路复用的 流201作为数据1而存储在緩冲器123a中。
切换源终端102a随后开始播放流数据。在图4中所示的操作中，在三个 帧存储在緩冲器123a中的时间点开始再现流数据。在直到三个以上的帧存储 在緩沖器123a中才开始再现的情况下，切换源终端102a不进入下面描述的 处理，而返回至数据接收处理(S32)，并等待下个运动图像帧和音频帧的接
收。 '
将描述在切换源终端102a上再现流数据。重复删除单元126a从緩冲器 读取数据i ( S38 )。重复删除单元126a随后将从緩沖器123a读取的数据i多 路分解为运动图像帧和音频帧(S40)。在此情况下，数据l被多路分解为运 动图像帧VI、 V2和V3、以及音频帧Al、 A2和A3 ( S40 )。重复删除单元 126a随后将已经播放的运动图像帧和音频帧作为重复接收的数据而删除 (S42)。起先，不存在已经播放的运动图像帧和音频帧，因此，重复删除单 元126a不删除任何运动图像帧和音频帧。重复删除单元126a还确定从緩沖 器123a读取的运动图像帧和音频帧为已经播放的，并且将读取的运动图像帧 和音频帧的帧编号存储在播放帧编号存储器127a中(S44)。在此情况下，存 储运动图像帧V1、 V2和V3、以及音频帧A1、 A2和A3的每个帧编号。
回放部件124a随后解码并播放帧编号为i的帧(S46)。在此情况下，解 码并插-;故帧编号为1的运动图〗象帧VI和音频帧Al。
控制器122a确定流式传送是否结束(S52)。如果确定流式传送未结束 (S52的否)，则切换源终端102a返回至数据接收处理(S32);以及，如果 确定流式传送结束(S52的是)，则切换源终端102a结束该处理。
现在将描述连续接收并播放流数据的操作。如果流式传送未结束，则输 入单元121a接收包括运动图像帧V4和音频帧A4的多路复用的流(S32 )， 并将它们作为数据编号2存储在緩沖器123a中(S36)。重复删除单元126a随后从緩沖器123a读取数据编号为2的数据(S38)，并且将其多路分解为运 动图像帧V4和音频帧A4 ( S40 )。重复删除单元126a不删除运动图像帧V4 和音频帧A4，因为它们的帧编号未存储在播放帧编号存储器127a中。重复 删除单元126a随后将运动图像帧V4和音频帧A4的帧编号存储在播放帧编 号存储器127a中(S44)。随后，回放部件124a播放帧编号为2的运动图像 帧V2和音频帧A2，它们已经;故多^各分解为帧(S46 )。与上面类似地处理由 运动图像帧V5和音频帧A5组成的流数据、以及由运动图像帧V6和音频帧 A6组成的流数据，其中，重复删除单元126a将它们的帧编号存储在播放帧 编号存储器127a中。
切换源终端102a的输入单元121a随后《^妾收由运动图<象帧V5-7和音频帧 A5-7组成的多路复用的流201 (S32)。控制器122a将所接收的多路复用的流 作为数据编号5存储在緩冲器123a中(S36 )。重复删除单元126a随后从緩 沖器123a读取数据编号为5的数据(S38),并且将其多路分解为运动图像帧 V5、 V6和V7、以及音频帧A5、 A6和A7 ( S40 )。重复删除单元126a删除 上述帧中的运动图像帧V5、音频帧A5、运动图像帧V6和音频帧A6,因为 它们的帧编号存储在播放帧编号存储器127a中(S42)。重复删除单元126a 随后将运动图像帧V7和音频帧A7的帧编号存储在播放帧编号存储器127a 中(S44)。随后，播放已经被多路分解为帧的、帧编号为5的运动图像帧V5 和音频帧A5(S46)。这样，切换源终端102a将从流式传送服务器传送的多 路复用的流存储在緩沖器123a中，并且连续地从緩冲器123a读取数据并播 放流数据。
接下来，将描述将终端改变请求207 (见图2)从切换目的终端102b输 入到切换源终端102a的情况下的操作。
当终端改变请求207被输入到切换源终端102a时，在确定是否接收到终 端改变请求的处理(S34)中，确定接收到终端改变请求(S34的是)。
控制器122a计算要从切换源终端102a输出到切换目的终端102b的数据 的帧编号k。此帧编号k是最近播放的独立帧的编号。在本实施例中，通过 下面的等式计算帧编号k (S48 ):<formula>formula see original document page 21</formula>
在上述等式中，[]表示floor函数，其返回不超过其自变量的值的最大整 数。例如，如果已经播放了直到帧编号为5的帧，那么i二5且n二4;因此，k=[5/4] x4 + 1 =5。
切换输出单元125a随后将数据k输出至切换目的终端102b ( S50 )。数 据k是独立帧，并且在本实施例中包括帧编号为k的运动图像帧和音频帧、 以及帧编号为k+l至k + b的运动图像帧和音频帧。现在，k = 5，因此将数 据5输出至切换目的终端102b。因为在此情况下b = 2，所以数据5包括帧编 号为5的帧、以及帧编号为6和7的帧。切换源终端102a因此将运动图像帧 V5-7和音频帧A5-7输出至切换目的终端102b。
在响应于终端改变请求207而将存储在緩冲器123a中的数据编号为k的 独立帧输出之后，切换源终端102a将从流式传送服务器101传送的数据传递 到切换目的终端102b。当完成处理终端改变请求207时，切换源终端102a 停止数据再现，因为播放流数据的终端被切换到切换目的终端102b。 (切换目的终端的操作)
图5示出切换目的终端102b的操作。图5示出在输出终端改变请求207 后接收流时的操作(见图2)。切换目的终端102b的操作基本上与切换源终 端102a的接收和再现数据的操作相同。然而，与切换源终端102a不同，切 换目的终端102b通过使用切换输入单元125b接收多路复用的流。
首先，切换目的终端102b执行初始化处理(S60)。切换目的终端102b 的控制器122b用O代替循环计数器i,该循环计数器i指示多路复用的流204 的顺序位置。控制器122b基于其使用的编解码器而设置独立帧出现间隔n的 值，并且设置用于緩冲的帧数量b。在本实施例中，它们被设置为n二4和b二 2。
络104传送的多路复用的流202 ( S62 )。起先，包括运动图像帧V5和音频帧 A5(它们是在终端改变请求207时播放的最近(mostrecent)的独立帧)、以及 运动图像帧V6和V7及音频帧A6和A7 (它们跟随在所述独立帧之后)的多 路复用流被输入到切换输入单元125b。
控制器122b将输入到切换输入单元125b的多路复用的流存储在緩沖器 123b中(S64)。控制器122b将循环计数器i递增1,并且将所接收的帧作为 数据i而存储在緩沖器123b中。首先，控制器122b将包括运动图像帧V5-7 和音频帧A5-7的多路复用的流202作为数据1而存储在緩冲器123b中。
切换目的终端102b随后开始播放流数据。如切换源终端102a的情况一
22样，在三个帧被存储在緩冲器123b中的时间点，切换目的终端102b开始再 现流数据。流再现可以在三个以上的帧被存储在緩沖器123b中之后开始。
当开始再现流数据时，重复删除单元126b从緩冲器123b读取数据i (S66 )。重复删除单元126b随后将从缓冲器123b读取的数据i多路分解为 运动图像帧和音频帧(S68)。在此情况下，数据1被多路分解为运动图像帧 V5、 V6和V7、以及音频帧A5、 A6和A7(S68)。
重复删除单元126b随后确定是否将从緩冲器123b读取的运动图像帧和 音频帧的帧编号存储在播放帧编号存储器127b中。如果将读取的运动图像帧 和音频帧的帧编号存储在播放帧编号存储器127b中，则重复删除单元126b 从緩冲器123b删除所述运动图像帧和音频帧(S70)。起先，不存在已经播放 的运动图像帧和音频帧，因此，不删除运动图像帧和音频帧。重复删除单元 126b还确定从缓沖器123b读取的运动图像帧和音频帧为已经播放的，并且 将所述帧的编号存储在播放帧编号存储器127b中(S72)。在此情况下，确定 运动图像帧V5、 V6和V7、以及音频帧A5、 A6和A7为已经插_;故的。
回放部件124b随后解码并播放具有最小帧编号的帧(S74 )。在此情况下， 解码并播放帧编号为5的运动图像数据和音频数据。
控制器122b确定流式传送是否结束(S76)。如果确定流式传送未结束 (S76的否)，则切换目的终端102b返回至数据接收处理(S62);以及，如 果确定流式传送结束(S76的是)，则切换目的终端102b结束该处理。
现在将描述连续接收并播放流数据的操作。如果流式传送未结束，则切 换输入单元125b接收包括运动图像帧V8和音频帧A8的多路复用的流 (S62 ),并将它们作为数据编号2存储在緩沖器123b中(S64 )。重复删除单 元126a随后从緩沖器123b读取数据编号为2的数据(S66 )，并且将其多路 分解为运动图^f象帧V8和音频帧A8 (S68)。重复删除单元126b不删除运动 图像帧V8和音频帧A8,因为它们的帧编号未存储在播放帧编号存储器127b 中。重复删除单元126b随后将运动图像帧V8和音频帧A8的帧编号存储在 播放帧编号存储器127b中(S72)。随后，回放部件124b播放帧编号为6的 运动图像帧V6和音频帧A6，它们已经被多路分解为帧(S74)。与上面类似 地处理由运动图像帧V9和音频帧A9组成的多路复用的流、以及由运动图像 帧V10和音频帧A10组成的多路复用的流，其中，重复删除单元126b将它 们的帧编号存储在播放帧编号存储器127b中。切换目的终端102b的切换输入单元125b随后接收由运动图像帧V9-11 和音频顿A9-l 1组成的多路复用的流202 ( S62 )。控制器122b将所接收的多 路复用的流作为数据编号5存储在緩冲器123b中(S64 )。重复删除单元126b 随后从緩冲器123b读取数据编号为5的数据(S66)，并且将其多路分解为运 动图像帧V9、 VlO和Vll、以及音频帧A9、 AlO和All (S68 )。重复删除 单元126b删除上述帧中的运动图像帧V9、音频帧A9、运动图像帧VIO和音 频帧AIO，因为它们的帧编号存储在播放帧编号存储器127b中(S70)。这样， 因为切换目的终端102b通过使用播放帧编号存储器127b而管理已经播放的 帧的编号，并且删除重复的帧，所以其不会重复播放一个帧。
重复删除单元126b随后将运动图像帧Vll和音频帧All的帧编号存储 在播放帧编号存储器127b中(S72)。随后，回放部件124b播放已经被多路 分解为帧的、帧编号为9的运动图像帧V9和音频帧A9 (S74)。这样，切换 目的终端102b将从流式传送服务器传送的多路复用的流存储在緩冲器123b 中，并且连续地从緩冲器123b读取数据并播放流数据。
到此为止，已经描述了第 一 实施例的流式传送系统和流式传送方法。
本实施例的流式传送系统在第1时间的传送定时传送附加两个差异帧的 独立巾贞的多路复用的流，并且可以因此减少初始緩冲所需的时间。传统上， 直到在数据3的传送定时传送运动图像数据V3和音频数据A3为止，才完成 緩冲。如图2中所示，在本实施例中，在第1时间的传送定时将三帧翁:据存 储在缓冲器123a中，从而，在完成数据l的緩冲之后，可以立即开始再现。
本实施例的流式传送系统不仅在流式传送的开始，而且以规则间隔传送 附加两个差异帧的独立帧的多路复用的流，并且将多路复用的流存储在切换 源终端102a的緩冲器123a中。这允许当播放流数据的终端从切换源终端102a 切换至切换目的终端102b时传递包括三个帧的多路复用的流的数据，因此可 以减少切换目的终端102b緩沖数据所需的时间。即，切换源终端102a不能 预测用于接收终端改变请求的定时，但是在本实施例中，通过附加用于緩冲 的差异帧而生成以规则间隔传送的独立帧的多路复用的流，因此，不论在什 么定时接收终端改变请求，都提供上述减少緩沖所需时间的优点。
当切换播放流数据的终端时，切换源终端102a按原样输出多路复用的流， 因此切换源终端102a不需要重新编码，并且可以减少用于切换的时间。软件 和硬件中的处理量也被减少，并且，这导致促进软件和硬件两者的开发的优本实施例的流式传送服务器101在独立帧的传送定时传送应当正常地在 该传送定时传送的独立帧，从而保持流式传送的传送速率，并且因此，其可 以支持现有接收终端。在本实施例中，在独立帧的传送定时传送多个帧，并 且重复传送一个帧，以便保持流式传送速率。然而，如上所述，即使一个帧
到达多次，切换源终端102a或切换目的终端102b也在再现流数据时，通过 使用重复删除单元126a或126b而删除重复的帧。因此， 一个帧的重复传送 将不会导致相同帧在切换源终端102a或切换目的终端102b上重复再现的不便。
(第二实施例)
现在将描述第二实施例的流式传送系统。第二实施例的流式传送系统是 仅将音频数据作为用于緩冲的数据附加至独立帧的流式传送系统。第二实施 例的流式传送系统的配置与第一实施例的流式传送系统的配置相同(见图1 )。
图6示出在第二实施例的流式传送系统中运动图像帧和音频帧的传送定 时。如在第一实施例的情况下，运动图像帧的独立帧出现间隔设置为n = 4， 并且将要被附加用于緩冲的音频数据的帧数量设置为b = 2。
将描述图6中服务器101的操作。服务器101以固定时间间隔输出多路 复用的流601，其中运动图^^贞和音频帧#1多^各复用。因为独立帧出现间隔 是n，所以独立帧的帧编号被表示为(l+nxm)，其中m是等于或大于零的 整数。帧编号为(l+nxm)的帧被附加b个音频帧用于緩沖。
随后，在图6中，对于由服务器101输出的多路复用的流601，分别将 作为独立帧的运动图4象帧VI、 V5、 V9和V13与音频帧Al-3、 A5-7、 A9-11 和A13-15多路复用。即，两个音频帧被附加至运动图像帧VI、 V5、 V9和 V13。
在第二实施例中，当系统开始操作时，服务器101输出由运动图像帧VI 和音频帧A1-3(A1、 A2和A3;在下文中，将同样应用)组成的多路复用的 流601。接下来将描述用于运动图像帧VI和音频帧Al-3的流式传送系统的处理。
切换源终端102a将运动图像帧VI和音频帧Al-3存储在緩冲器123a中。 此操作的延迟时间609是网络传送和接收、以及将数据存储在缓冲器123a中 所需的时间。当完成将一个运动图像帧和三个音频帧存储在緩沖器123a中的
25处理时，切换源终端102a通过使用回放部件124a执行再现。在图6中所示的示例中，在存储音频数据的三个帧(Al-3)的时间点开始显示。此延迟时间610是用于在切换源终端102a上显示的延迟时间。
于是，在跟随运动图像帧V1和音频帧Al-3的第2时间的输出定时，月良务器101多路复用运动图像帧V2和音频帧A4,以生成并输出多路复用的流601。在完成将一个运动图像帧V2和音频帧A4存储在緩沖器123a中的处理之后，切换源终端102a通过使用回放部件124a执行再现。在此情况下，播放运动图像帧V2和音频帧A2，因为从緩冲器123a输出的运动图像数据603a和音频数据603b是跟随在先前时间播放的帧之后的帧。
服务器101在第3时间的输出定时，输出由运动图像帧V3和音频帧A5组成的多路复用的流601，并且在第4时间的输出定时，输出由运动图像帧V4和音频帧A6组成的多路复用的流601。响应于这些动作，切换源终端102a执行与在由运动图像帧V2和音频帧A4组成的多路复用的流601的情况下相同的操作。在第5、第9、第13时间的输出定时，切换源终端102a分别接收运动图像帧V5和音频帧V5-7、运动图像帧V9和音频帧V9-11、以及运动图像帧V13和音频帧V13-15，其中，在所述第5、第9、第13时间，多路复用的流601在输出次序中的位置匹配1 +nxm (m是等于或大于零的整数)。
当再现多路复用的流603时，切换源终端102a通过使用控制器122a而执行设备发现和连接处理606。设备发现和连接处理606是切换源终端102a检测切换目的终端102b并与其建立通信连接的处理。设备发现和连接处理606的执行允许切换源终端102a和切换目的终端102b相互通信。可以通过用户操作、计时器或其它触发器来激活设备发现和连接处理606。
当通过设备发现和连接处理606检测到切换目的终端102b时，切换目的终端102b输出用于切换播放多路复用的流601的终端的终端改变请求607。响应于终端改变请求607，切换源终端102a将包括再现所需的独立帧的多路复用的流602输出至切换目的终端102b。在图6中所示的示例中，当终端改变请求607被输入到切换源终端102a时，正在播放运动图像帧V5和音频帧A5,因此切换源终端102a将由运动图像帧V5和音频帧A5-7组成的多路复用的流602输出至切换目的终端102b。
将由运动图像帧V5和音频帧A5-7组成的多路复用的流602输入至切换目的终端102b。当接收到由运动图像帧V5和音频帧A5-7组成的多路复用的流602时，切换目的终端102b立即完成在数据再现开始之前的緩冲。切换目的终端102b通过使用回放部件124b将多路复用的流602多路分解为运动图像数据和音频数据，随后对它们进行解码，并且开始再现。从终端改变请求607到开始显示所需的时间是时间611。
现在将参考图7至9来详细描述服务器101、切换源终端102a和切换目的终端102b的操作。下面描述的操作仅是在如图6中所示的定时传送和再现运动图像数据和音频数据的示例。本发明不限于下面描述的操作。(服务器的操作)
图7示出了第二实施例的服务器101的操作。第二实施例的服务器101的操作基本上与第一实施例的服务器101的操作相同，除了如果接下来要传送的帧是独立帧，则将音频数据附加至该独立帧用于緩冲。即，如果帧编号是l+nxm (m是等于或大于零的整数)，则传送数据生成器116读取帧编号为i至i + b-l的音频帧用于緩冲。例如，传送数据生成器116读取对于第1个独立帧(帧编号为1)的音频帧Al和A2 (S84)。如果接下来要传送的帧不是独立帧(S82的是)，或者，如果服务器101处于跟随在读取要被附加至独立帧的音频帧的处理(S84)之后的处理中，则传送数据生成器116读取帧编号为i的运动图像帧、以及帧编号为i + b的音频帧(S86)。服务器101的多路复用器113多路复用如上读取的运动图像帧和(多个)音频帧(S88)，并且服务器101从输出单元114传送其(S90)。
(切换源终端和切换目的终端的操作)
图8示出了第二实施例的切换源终端102a的操作，并且图9示出了第二实施例的切换目的终端102b的操作。第二实施例的切换源终端102a和切换目的终端102b的操作基本上与第一实施例的切换源终端102a和切换目的终端102b的操作相同。与第一实施例的差异是因为服务器101在独立帧的传送定时仅附加音频数据，所以在输入至切换源终端102a或切换目的终端102b的多路复用的流601中不存在重复的运动图像帧。因此，本实施例的不同在于重复删除单元126a不执行删除重复的运动图像数据的处理。
因为第二实施例的流式传送系统将两个音频帧作为用于緩冲的音频帧而附加至独立帧，所以其可以减少緩冲音频帧所需的时间。另外，当要切换再现终端时，可以通过传送附加了音频帧的音频帧来减少切换目的终端102b中的緩沖时间，使得可以迅速地切换终端。说明书第24/25页
因为第二实施例的流式传送系统采用仅附加音频帧的配置，所以其可以
应用于在服务器101与切换源终端102a之间的网络103是窄带的情况。人们对于音频中断和噪声比对于运动图像中的帧丢失和噪声更加敏感。为此原因，在服务器101与终端之间的带宽有限的情况下，如本实施例的情况仅緩冲音频并防止音频质量下降是有利的。防止音频中断允许向用户提供舒适的观看体验。
在第二实施例的流式传送系统中，切换源终端102a既不需要解码多路复用的流601,也不需要在输出时对其重新编码，如第一实施例的情况。软件和硬件中的处理量也被减少，并且，这导致促进软件和硬件两者的开发的优点。
虽然已经利用实施例而详细描述了本发明的流式传送系统，但是本发明不限于上述实施例。
已经在上述实施例中描述了示例，其中，向所有运动图像独立帧(关键帧)附件运动图像帧和音频帧以用于緩沖，以便生成多路复用的流，但是，用于緩冲的运动图像帧和音频帧不必被附加至所有独立帧。可以采用如下配置在其中，向一些独立帧(关键帧)附件运动图像数据或音频数据，以用于緩沖。
在上述实施例中，切换源终端102a可以被增加检测抖动大小的功能、以及基于抖动而计算要被附加至独立帧的差异帧的数量并通知服务器101的功能。与此相关联，服务器101可以被增加如下功能根据由切换源终端102a指定的帧数量，增加或减少用于緩沖的帧数量。此配置可以响应于在服务器和终端之间的通信状态变化，实现最佳流式传送控制。例如，当抖动大时，增加緩冲器数量可以防止流中的中断，而当抖动小时，减少用于緩冲的帧数量可以节省要使用的带宽。
在上述实施例中，可以使用将切换源终端102a和切换目的终端102b的功能合并到其中的终端。这实现双向终端切换。
在上述实施例中，服务器可以在多路复用帧之前向该帧附加时间戳，并且切换源终端102a可以使用该时间戳来确定重复的帧。如果使用时间戳，则即使在服务器101与切换源终端102a之间的路径上发生分组丢失时，切换源终端102a也可以在由服务器指定的定时播^:运动图像和音频。
虽然已经在上述实施例中描述了服务器101将用于緩冲的数据附加至多路复用的流的过程，但是切换源终端102a可以执行相同的处理。例如，在第一实施例中，切换源终端102a将用于緩沖的帧编号为i + 1至i + b的运动图像帧和音频帧附加至独立帧i,并且将它们作为数据i而存储在緩冲器123a中。切换源终端102a以诸如如下的方式将帧编号为相对于多路复用的流的顺序位置增加了 b的数字的数据作为多路复用的流而存储在緩沖器123a中，直到帧编号为i + 1的下个独立帧位置存储帧编号为i + b+ 1的数据作为数据i+l;以及，存储帧编号为i + b + 2的数据作为数据i + 2。切换源终端102a随后响应于来自切换目的终端102b的终端改变请求，开始对包括最近的独立帧的数据i进行流式传送，从而提供减少切换时间的优点。
虽然已经描述了目前被认为是本发明的优选的实施例的内容，但是应当理解，可以对其进行各种修改和变化，并且，意欲当所有这些修改和变化落入本发明真正的精神和范畴之内时、所附权利要求覆盖所有这些修改和变化。
工业适用性
如上所述，本发明的流式传送系统具有能够减少在流式传送中的緩沖所需的时间的有点，并且(例如)作为可以将播放流数据的终端从接收终端切换至另 一终端的系统等是有用的。
29
权利要求
1.一种用于流式传送通过帧间预测编码的数据的服务器，该流式传送服务器包括缓冲关键帧生成器，用于使得向可独立解码的关键帧附加跟随在该关键帧之后的至少一个差异帧，以创建一个传送单位的数据，并且生成附加了关于该一个传送单位的数据的信息的缓冲关键帧，所述信息包括帧编号；以及帧发送器，用于在预先设定为确定周期的该关键帧的传送定时，传送利用应当在该传送定时传送的关键帧而生成的缓冲关键帧，并且在该关键帧的传送定时的间隔期间提供的差异帧的传送定时，传送任意帧。
2. 如权利要求1所述的流式传送服务器，其中，所述帧发送器在该差异 帧的传送定时，传送在该差异帧之前和之后的关键帧之间的差异帧中、还未 传送的差异帧，并且，如果之前和之后的关键帧之间的所有差异帧项都已经 被传送了，则传送任意帧。
3. —种用于流式传送由通过帧间预测编码的运动图像数据和音频数据组 成的数据的服务器，该流式传送服务器包括緩沖关键帧生成器，用于使得向运动图像数据的可独立解码的关键帧附 加对应于该关键帧的音频帧、以及跟随在所述音频帧之后的至少一个音频帧， 以创建一个传送单位的数据，并且生成附加了关于该一个传送单位的数据的 信息的緩冲关键帧，所述信息包括帧编号；以及帧发送器，用于在预先设定为确定周期的该关键帧的传送定时，传送利 用应当在该传送定时传送的关键帧而生成的緩沖关键帧，并且在该关键帧的 传送定时的间隔期间提供的差异帧的传送定时，传送应当在所述传送定时传 送的差异帧和任意音频帧。
4. 一种用于再现从4艮据权利要求1或2所述的流式传送服务器传送的流 数据的终端，该终端包括帧接收器，用于接收从该流式传送服务器传送的緩冲关键帧和差异帧； 緩沖器，用于存储接收的帧；回放部件，用于读取存储在该緩冲器中的帧并再现流数据； 播放帧编号存储器，用于存储已经播放的帧的帧编号；以及 删除单元，用于如果从所述緩沖器读取的帧的帧编号匹配存储在所述播放帧编号存储器中的帧编号，则删除该帧而不再现该帧。
5. 如权利要求4所述的终端，具有切换请求接收器，用于接收将播放流数据的终端切换至另一终端的切换请求，其中，当接收到该切换请求时，控 制器从存储在该緩冲器中的数据中读取存储在緩冲器中的、以紧邻在接收所 述切换请求之前播放的緩沖关键帧开头的数据，并且将所读取的数据传送至 另一终端。
6. —种流式传送系统，包括流式传送服务器，用于流式传送通过帧间 预测编码的数据；第一终端，用于再现从该流式传送服务器传送的流数据； 以及第二终端，用于接收从该第一终端传送的流数据，并且再现该流数据，其中，该流式传送服务器包括緩冲关键帧生成器，用于使得向可独立解码的关键帧附加跟随在该 关键帧之后的至少一个差异帧，以创建一个传送单位的数据，并且生成附加 了关于该一个传送单位的数据的信息的緩冲关键帧，所述信息包括帧编号；和帧发送器，用于在预先设定为确定周期的该关键帧的传送定时，传 送利用应当在该传送定时传送的关键帧而生成的緩沖关键帧，并且在该关键 帧的传送定时的间隔期间提供的差异帧的传送定时，传送任意帧， 其中，该第一终端包括帧接收器，用于接收从该流式传送服务器传送的緩冲关键帧和差异帧；緩冲器，用于存储接收的帧；回;^文部件，用于读取存储在该緩冲器中的帧并再现流数据；播放帧编号存储器，用于存储已经播放的帧的帧编号；和删除单元，用于如果从所述緩沖器读取的帧的帧编号匹配存储在所述播放帧编号存储器中的帧编号，则删除该帧而不再现该帧，以及其中，当接收到切换请求时，该第一终端从存储在所述緩冲器中的数据中读取存储在该緩冲器中的、以紧邻在接收所述切换请求之前播放的緩沖关键帧开头的数据，并且将所读取的数据传送至第二终端。
7. —种流式传送方法，包括步骤用于流式传送通过帧间预测编码的数据的流式传送服务器使得向可独立 解码的关键帧附加跟随在该关键帧之后的至少一个差异帧，以创建一个传送单位的数据，并且生成附加了关于该一个传送单位的数据的信息的緩沖关键: 帧，所述信息包括帧编号；在预先设置为确定周期的所述关键帧的传送定时，传送利用应当在该传 送定时传送的关键帧而生成的緩冲关键帧；以及在所述关键帧的传送定时的间隔期间提供的差异帧的传送定时，传送任 意帧。
8. 如权利要求7所述的流式传送方法，具有步骤 所述流式传送服务器从所述终端接收关于要被附加至所述关键帧的差异帧的数量的数据，其中，由接收流数据的终端基于抖动来计算所述数据；以 及根据关于差异帧的数量的所述数据，增加或减少要被包含在緩冲关键帧 中的差异帧的数量。
9. 如权利要求7所述的流式传送方法，具有步骤 接收从所述流式传送服务器传送的緩沖关键帧和差异帧； 将接收的緩冲关4建帧和差异帧存储在缓冲器中； 读取存储在緩冲器中的帧并再现流数据；将已经播放的帧的帧编号存储在播放帧编号存储器中；以及 如果从所述緩沖器读取的帧的帧编号匹配存储在所述播放帧编号存储器 中的帧编号，则删除该帧而不再现该帧。
10. 如权利要求9所述的流式传送方法，具有步骤接收用于将播放流数据的终端切换至另一终端的切换请求；以及 当接收到所述切换请求时，从存储在该緩冲器中的数据中读取存储在该緩冲器中的、以紧邻在接收所述切换请求之前播放的緩沖关键帧开头的数据，并且将所读取的数据传送至另 一终端。
11. 如权利要求9所述的流式传送方法，具有步骤 检测从所述流式传送服务器传送的数据中的抖动的大小； 基于该抖动，计算要附加至所述关键帧的差异帧的数量；以及 将关于所述差异帧的数量的数据传送至所述流式传送服务器。
全文摘要
一种服务器(101)流式传送通过帧间预测编码的数据。该服务器(101)包括传送数据生成单元(116)和输出单元(114)。该传送数据生成单元(116)向可独立解码的关键帧附加跟随在该关键帧之后的至少一个差异帧，以形成一个传送单位数据，并且生成具有关于所述一个传送单位数据的信息的缓冲关键帧，所述信息包括帧编号。该输出单元(114)在关键帧的传送定时传送通过使用要传送的关键帧而生成的缓冲关键帧，并且在差异帧的传送定时传送任意帧。这可以减少当在多个终端之间切换用于再现流的终端时的缓冲时间，并且平滑地进行切换。
文档编号H04N7/173GK101682741SQ20088001856
公开日2010年3月24日 申请日期2008年6月27日 优先权日2007年7月2日
发明者小宫大作, 石井秀教 申请人:松下电器产业株式会社