显示控制器、屏幕图像传送装置和屏幕图像传送方法
【专利摘要】本发明提供显示控制器、屏幕图像传送装置和屏幕图像传送方法。该显示控制器用于从帧缓冲器读取帧数据，并且生成要显示在显示器上的屏幕输出图像，其中，所述显示控制器配备有用于提取所述屏幕输出图像作为要传送到另一设备的用于传送的屏幕图像的路径，并且将该用于传送的屏幕图像写入与帧缓冲器分离地提供的专用存储器。
【专利说明】显示控制器、屏幕图像传送装置和屏幕图像传送方法
【技术领域】
[0001]本技术涉及传送屏幕图像的技术。
【背景技术】
[0002]高图像质量的图形的使用已经展开为其中诸如例如个人计算机或者专用游戏机使用高质量三维计算机图形执行诸如游戏、仿真等的应用或者再现通过将实际拍摄的图像与计算机图形组合而获得的视频内容的使用。
[0003]另一方面，已经增强了诸如智能手机、平板终端等的移动设备的显示面板的显示性能，并且也在移动设备中使用高图像质量的计算机图形和视频。
【发明内容】
[0004]移动设备一般具有小屏幕。由此需要在电视机的大屏幕、固定游戏机等的监视器等上显示并观看移动设备的屏幕图像。也需要将移动设备连接到另一设备，以使得家庭或者朋友观看相同的屏幕图像，或者在多个用户之间共享屏幕图像以享受诸如游戏等的应用。
[0005]已经鉴于这些问题作出本技术。期望提供用于传送由特定设备生成的屏幕图像到另一设备并且在其他设备上显示该屏幕图像的技术。
[0006]根据本技术的模式的显示控制器是显示控制器，用于从帧缓冲器读取帧数据，并且生成要显示在显示器上的屏幕输出图像，其中，显示控制器配备有用于提取屏幕输出图像作为要传送到另一设备的用于传送的屏幕图像的路径，并且将该用于传送的屏幕图像写入与帧缓冲器分离地提供的专用存储器。
[0007]根据本技术的另一模式是屏幕图像传送装置。该装置包括:主存储器，包括帧缓冲器；显示控制器，配置为从帧缓冲器读取帧数据，并且生成要显示在显示器上的屏幕输出图像；专用存储器，与主存储器分离地布置；以及系统互连，配置为相互互连主存储器、显示控制器和专用存储器。提供用于从显示控制器提取屏幕输出图像作为要传送到另一设备的用于传送的屏幕图像的路径，并且在用于传送的屏幕图像不通过该系统互连的情况下将用于传送的屏幕图像写回到专用存储器。
[0008]本技术的另一模式也是屏幕图像传送装置。该装置包括:主存储器，包括帧缓冲器；显示控制器，配置为从帧缓冲器读取帧数据，并且生成要显示在显示器上的屏幕输出图像；专用存储器，配置为存储由显示控制器生成的屏幕输出图像作为要传送到另一设备的用于传送的屏幕图像；以及编码器，配置为压缩编码用于传送的屏幕图像。该编码器在不执行帧间预测的情况下压缩编码用于传送的屏幕图像。
[0009]本技术的另一模式是屏幕图像传送方法。该方法是用于传送装置中的屏幕图像的方法，该装置包括由系统互连来相互互连的主存储器、显示控制器和专用存储器，该方法包括:从主存储器中包括的帧缓冲器读取帧数据，并且由显示控制器生成要显示在显示器上的屏幕输出图像；从显示控制器提取该屏幕输出图像作为要传送到另一设备的用于传送的屏幕图像，并且在用于传送的屏幕图像不通过该系统互连的情况下将用于传送的屏幕图像写回到专用存储器；以及压缩编码用于传送的屏幕图像，用于传送的屏幕图像被写回到专用存储器，并且传送用于传送的屏幕图像到其他设备。
[0010]要注意，上面组成元件和通过在方法、装置、系统、计算机程序、数据结构、记录介质等之间转换本技术的表达而获取的模式的任意组合也和本技术的模式一样是有效的。
[0011]根据本技术，由特定设备生成的屏幕图像可以被高效地传送到另一设备并且被显示在另一设备上。
【专利附图】
【附图说明】
[0012]图1A是从移动设备向TV(电视)/监视器传送屏幕图像的系统的框图；
[0013]图1B是从移动设备向固定设备发送屏幕图像的系统的框图；
[0014]图1C是从移动设备向另一移动设备发送屏幕图像的框图；
[0015]图1D是分发平台经由云服务器传送屏幕图像到云服务客户端的系统的框图；
[0016]图1E是从移动设备向运动图像共享服务上载屏幕数据的系统的框图；
[0017]图2是移动设备的框图；
[0018]图3A是帮助解释图2中的系统LSI中的屏幕图像传送功能的实现的示例的示图；
[0019]图3B是帮助解释图2中的系统LSI中的屏幕图像传送功能的实现的另一示例的示图；
[0020]图3C是帮助解释在屏幕图像传送处理和向下兼容处理之间共享图2中的专用存储器的配置的示图；
[0021]图4是图2中的显示控制器的框图；
[0022]图5A到图5C是帮助解释使用用于传送的写回路径从显示控制器提取的屏幕图像的示图；
[0023]图6是帮助解释配备有两个信道的图像输出的显示控制器的配置的示图；
[0024]图7A到7C是帮助解释使用具有两个输出信道的显示控制器的示例的示图；
[0025]图8A到SC是帮助解释使用具有两个输出信道的显示控制器的另一示例的示图；
[0026]图9A到9C是帮助解释使用具有两个输出信道的显示控制器的另一示例的示图；以及
[0027]图10是帮助解释屏幕图像发送系统和屏幕图像接收系统之间的软件握手的例程的流程图。
【具体实施方式】
[0028]根据实施例的屏幕图像传送系统实时地从特定设备向另一设备传送屏幕图像。另夕卜，当用户在作为传送目的地的设备上提供一些操作输入时，操作内容被传送到作为传送源的设备，并且反映操作内容的更新后的屏幕图像被传送到作为传送目的地的设备。将参考图1A到IE描述根据本实施例的屏幕图像传送系统的配置的一些示例。
[0029]图1A是从移动设备100向TV/监视器300传送屏幕图像的系统的框图。
[0030]通过诸如无线LAN(局域网)等的网络相互连接移动设备100和TV/监视器300。移动设备100例如是诸如便携式游戏机、智能手机、写字板等的便携式设备。移动设备100具有下面要描述的屏幕图像传送功能模块200。
[0031 ] 屏幕图像传送功能模块200通过诸如MPEG-4AVC (运动画面专家组_4高级视频编码)等的运动画面压缩编码系统来压缩编码由移动设备100的显示控制器生成的屏幕图像(该屏幕图像没有必要是在移动设备100的显视器上显示的屏幕图像)，并且经由诸如无线LAN等的网络来传送压缩编码后的屏幕图像到TV/监视器300。
[0032]TV/监视器300具有AVC (高级视频编码)解码器400。TV/监视器300解码从移动设备100接收到的压缩后的屏幕数据，并且在大屏幕显示器上显示解码后的屏幕数据。在移动设备100的小屏幕上观看的图像由此可以在TV/监视器300的大屏幕上显示。
[0033]图1B是从移动设备100发送屏幕图像到固定设备310的系统的框图。
[0034]由诸如无线LAN(局域网)等的网络相互连接移动设备100和固定设备310。移动设备100的屏幕图像传送功能模块200压缩编码由显示控制器生成的屏幕图像，并且经由诸如无线LAN等的网络传送压缩编码后的屏幕图像到固定设备310。固定设备310例如是固定游戏机、电视接收器、记录器、CATV(有线电视)的机顶盒等。
[0035]固定设备310具有AVC解码器400。固定设备310解码从移动设备100接收到的压缩后的屏幕数据，并且在与通过HDMI (高清多媒体接口)(注册商标)、MHL (移动高清链接)连接到固定设备310的TV/监视器300上显示解码后的屏幕数据。由此可以在TV/监视器300的大屏幕上显示在移动设备100的小屏幕上观看到的图像。此外，当固定设备310具有记录功能时，可以记录从移动设备300传送的视频。
[0036]图1C是从移动设备100向另一移动设备110发送屏幕图像的系统的框图。
[0037]通过诸如无线LAN等的网络相互连接第一移动设备100和第二移动设备110。第一移动设备100具有屏幕图像传送功能模块200。第二移动设备110具有AVC解码器400。屏幕图像传送功能模块200压缩编码在第一移动设备100的显示器上显示的屏幕图像，并且经由诸如无线LAN等传送压缩编码后的屏幕图像到第二移动设备110。第二移动设备110解码从第一移动设备100接收到的压缩后的屏幕数据，并且在显示面板上显示解码后的屏眷数据。
[0038]另外，第二移动设备110接收来自用户的输入，并且发送该输入的内容到第一移动设备100。第一移动设备100生成反映来自用户的输入的内容(该内容从第二移动设备110接收)的屏幕图像，并且传送该屏幕图像到第二移动设备110。由此，在战斗游戏的情形下，在第一移动设备100和第二移动设备110之间共享游戏屏幕图像，以使得多个用户可以参与该游戏。此外，在第一移动设备100和第二移动设备110之间共享屏幕图像使得多个用户能够进行网络会议。
[0039]图1D是分发平台502经由云服务器500传送屏幕图像到云服务客户端510的系统的框图。
[0040]分发平台502具有屏幕图像传送功能模块200。分发平台502经由诸如PCI (外围部件互连)Express (PCIe)、USB (通用串行总线)等的接口连接到云服务器500。屏幕图像传送功能模块200压缩编码期望被传送到云服务客户端510的屏幕图像，并且供应压缩编码后的屏幕图像到云服务器500。云服务器500经由因特网发送压缩后的屏幕数据到云服务客户端510。
[0041]云服务客户端510具有AVC解码器400。云服务客户端510解码压缩后的屏幕数据，并且在显示器上显示解码后的屏幕数据。另外，云服务客户端510接收来自用户的输入，并且发送该输入的内容到云服务器500。分发平台502生成反映来自用户的输入的内容(从云服务器500接收到该内容)的屏幕图像，压缩编码该屏幕图像，并且供应该压缩编码后的屏幕图像到云服务器500。云服务客户端510从云服务器500接收反映了来自用户的输入的内容的屏幕图像。
[0042]图1E是从移动设备100向运动图像共享服务600上载屏幕数据的系统的框图。
[0043]移动设备100具有屏幕图像传送功能模块200。移动设备100压缩编码在显示器上显示的屏幕图像，并且经由因特网发送压缩编码后的屏幕图像到运动图像共享服务600。由此将在移动设备100的显示器上显示的屏幕图像作为运动图像上载到运动图像共享服务 600。
[0044]将图1A到IE的配置示例中已经描述的具有屏幕图像传送功能模块200的发送侧上的移动设备100、分发平台502等共同称为“屏幕图像发送系统”。此外，将具有AVC解码器400的接收侧上的TV/监视器300、固定设备310、移动设备110、云服务客户端510等共同称为“屏幕图像接收系统”。下面，通过采用移动设备100作为“屏幕图像发送系统”的示例并且采用TV/监视器300作为“屏幕图像接收系统”的示例，将描述配置和处理例程。然而，“屏幕图像发送系统”和“屏幕图像接收系统”的示例不限于移动设备100和TV/监视器300。
[0045]图2是移动设备100的框图。移动设备100包括系统LSI (大规模集成)270。系统LSI270包括CPU(中央处理器)10、图形处理单元(GPU) 20、外围30、主存储器50、显示控制器(DISPC) 60、专用存储器70、AVC编码器80和I/O (输入/输出)90。通过系统互连40相互连接这些组成元件。
[0046]CPUlO执行应用，并且控制系统LSI270的每个组成元件。GPU20执行图形处理，由此生成运动图像，并且在主存储器50的帧缓冲器52中存储运动图像。外围30控制各种外围装置。
[0047]系统互连40是相互连接系统部件的连接。系统互连40具有诸如共享总线、跨接开关、环形总线、树形网络等的任意物理形式。系统互连40可以采用诸如握手系统、基于分组的网络等任意数据传输系统。这些物理形式和数据传送系统是例示性的，并且系统互连40的物理形式和数据传送系统不限于上面提及的示例。
[0048]移动设备100具有触摸面板280，包括IXD (液晶显示器)/OLED (有机发光二极管)面板230和触摸垫240。
[0049]主存储器50包括存储运动图像的帧的多个帧缓冲器52ODISPC60以线为单位读取多个帧缓冲器52中存储的图像，使图像经受转换处理，以特定刷新率生成最终屏幕图像，并且输出最终屏幕图像到IXD/0LED面板230。此外，作为一种选择，DISPC60可以输出最终屏幕图像到HDMI/MHL (高清多媒体接口 /移动高清链接)连接器260，以在通过HDMI/HML连接到HDMI/MHL连接器260的外部显示器等上显示屏幕图像。
[0050]根据本实施例的DISPC60配备有专用路经，用于提取生成的屏幕图像作为用于传送的屏幕图像(该路径将被称为“用于传送的写回路径”)。作为启动器(总线主控)的DISPC60可以经由用于传送的写回路径输出用于传送的屏幕图像到专用路径或者系统互连40，并且将用于传送的屏幕图像写回到与主存储器50分离地提供的专用存储器70。
[0051]AVC编码器80读取其屏幕图像被存储在专用存储器70中的用于传送的屏幕图像，通过诸如MPEG-4AVC等的运动图像压缩编码系统压缩编码该用于传送的屏幕图像，并且将压缩编码后的屏幕数据写入到专用存储器70。
[0052]在MPEG-4AVC中，通常执行使用I帧的帧间预测(内编码帧)、P帧(预测帧)和B帧(双向预测帧)。然而，根据本实施例的AVC编码器80可以在不执行帧间预测的情况下仅使用I帧来编码压缩图像，以确保屏幕图像传送的实时特性。
[0053]当执行帧间预测时，减少压缩之后的数据量，以使得可以减小传送带宽。然而，预测花费处理时间，并且增加屏幕图像传送的时延。相应地，鉴于已经通过WLAN(无线局域网)、蓝牙(商标)等在速度上增加设备之间的连接的事实，根据本实施例的AVC编码器80采用这样的系统:利用牺牲的压缩效率和赋予减小时延优先级，在不执行帧间预测的情况下，仅仅使用I帧来压缩编码图像。当设备之间的连接的带宽受限时，虽然劣化了图像质量，但是可以通过增加压缩率以提供等于帧间预测的数据量的数据量来减小必要带宽。
[0054]顺便提及，在时延不是问题的使用中，如在上载运动图像到图1E中所示的运动图像共享服务600的情形下，可以利用赋予压缩率优先级，通过普通帧间预测来执行压缩编码。
[0055]MPEG-4AVC标准允许在不执行帧间预测的情况下仅仅使用I帧的运动图像的压缩编码。由此，与标准兼容的解码器可以仅仅使用I帧来解码压缩编码后的运动图像。因此，屏幕图像接收系统不需要专用硬件或者软件，并且可以通过仅并入通用AVC解码器400来解码用于传送的屏幕图像。因此能够应对多种设备。
[0056]1/090读取来自专用存储器70的压缩后的屏幕数据，并且输出压缩后的屏幕数据到诸如WLAN天线220a、以太网(注册商标)、连接器220b、USB端口 220c、PCIe插槽220d等之类的外部连接接口，以发送压缩后的屏幕数据到外部。也使用这些外部连接接口以发送音频数据和通用处理结果到外部。
[0057]此外，1/090接收来自按钮、键盘、传感器250和触摸垫240的用户输入，并且供应用户输入到CPU10。按照要求，CPUlO经由1/090输出从用户输入的数据到诸如WLAN天线220a、以太网连接器220b、USB端口 220c、PCIe插槽220d等之类的外部连接接口，以发送数据到外部。
[0058]上代装置兼容硬件210是用于保持与诸如上代游戏机等之类的上代装置的兼容性的上代装置硬件配置。上代装置兼容硬件210例如包括CPU、如执行矢量运算的FPU(浮点单元)的VFPU (矢量浮点单元)、GPU、DMA (直接存储器存取)控制器等的电路。上代装置兼容硬件210被连接到系统互连40，并且使用专用存储器70作为用于读取和写入数据的缓冲器。
[0059]将参考图3A到3C描述系统LSI270内实现的屏幕图像传送功能模块200的配置。
[0060]图3A是帮助解释系统LSI270中的屏幕图像传送功能模块200的实现的示例的示图。在本实现示例中，系统LSI270内由虚线120包围的DISPC60、专用存储器70、AVC编码器80和1/090用作参考图1A到IE描述的屏幕发送系统的屏幕图像传送功能模块200的主块。
[0061]DISPC60以线为单位读取来自主存储器50的多个帧缓冲器52的帧数据，使帧数据根据LCD/0LED面板230的尺寸经受诸如放大、缩小、综合等的转换处理，以LCD/0LED面板230的刷新率生成最终屏幕数据，并且在IXD/OLED面板230上显示最终屏幕数据。
[0062]另一方面，DISPC60配备有专用路径62，用于提取已经经受诸如放大、缩小、综合等的转换处理的屏幕数据，并且将该屏幕数据写回到专用存储器70。转换处理之后的屏幕图像被写回到专用存储器70。AVC编码器80经由专用路径82从专用存储器70读取转换处理之后的屏幕图像(该屏幕图像被存储在专用存储器70中)，压缩编码该屏幕图像，并且经由转换路径82将压缩编码后的屏幕图像写回到专用存储器70。1/090经由专用路径92从专用存储器70读取压缩编码后的屏幕图像，并且传送作为用于传送的屏幕图像的该屏幕图像到作为传送目的地的设备。
[0063]在图3A的实现示例中，使用专用路径62、82、92，并且当由DISPC60生成的屏幕图像作为传送屏幕图像被提取、被压缩编码并且被输出到外部时，系统互连40不干预从专用存储器70读取数据和向专用存储器70写入数据。也就是，专用存储器70和专用路径62、82和92被用于压缩后的传送屏幕图像的数据流，并且数据路径与使用系统互连40的普通数据处理分离。这使得能够在不使系统互连40的数据传送带宽变窄的情况下执行屏幕图像传送处理。此外，可以以低时延执行屏幕图像传送处理，这是因为通过专用路径62、82和92直接存取专用存储器70，并且没有必要经由系统互连40存取主存储器50。
[0064]图3B是帮助解释在系统LSI270中的屏幕图像传送功能的实现的另一示例的示图。在本实现示例中，系统LSI270内由虚线120包围的DISPC60、专用存储器70、AVC编码器、1/090和系统互连40用作参考图1A到IE描述的屏幕发送系统的屏幕图像传送功能模块200的主块。
[0065]图3B的实现示例与图3A的实现示例的不同在于当由DSIPC60生成的屏幕图像作为传送屏幕图像被提取，被压缩编码并且被输出到外部时，在从专用存储器70读取数据和向专用存储器70写入数据中使用系统互连40。
[0066]系统互连40由QoS (服务的质量)功能保留传送屏幕图像的数据流的带宽，并且将数据路径与普通处理分离。即使当在屏幕图像传送处理和普通处理之间共享系统互连40时，该QoS控制可以防止如下情况:作为正在由普通处理影响屏幕图像传送处理的结果，由于屏幕图像的传送引起的延迟引起损失实时特性，并且反过来防止如下情况:作为正在由屏幕图像传送处理变窄系统互连40的数据传输带宽的结果，响应由于普通处理的数据处理引起的延迟而恶化。
[0067]图3C是帮助解释在屏幕图像传送处理和向下兼容处理之间共享图2中的专用存储器70的配置的示图。
[0068]上代装置兼容硬件210是诸如上代游戏机等的上代装置的硬件块。上代装置兼容硬件210使用专用存储器70而不是主存储器50来读取和写入数据。为了保持与上代装置的兼容性，设计专用存储器70以具有与上代装置中包括的视频存储器的延时和带相等的延时和带宽。经由系统互连40被存取的主存储器50具有比上代装置中包括的视频存储器更高的延时，并且由此不适用于保持兼容性。
[0069]当上代装置兼容硬件210操作时，专用存储器70被用作视频存储器，并且上代装置兼容硬件210的GPU写入呈现数据到专用存储器70。另一方面，如参考图3A和图3B描述的，屏幕图像传送处理需要在不受普通处理影响的情况下被实时操作。为了这个目的，与主存储器50分离地包括专用存储器70，并且用于传送的屏幕图像被写入到专用存储器70。在上代装置兼容处理和屏幕图像传送处理之间共享一个专用存储器70。同时实现保持与上代装置的兼容性的目的和确保屏幕图像传送处理的实时特性的目的二者。因此能够减小电路大小并且有效地执行上代装置兼容处理和屏幕图像传送处理。
[0070]图4是DISPC60的框图。DISPC60以线为单位经由系统互连40从主存储器50的多个帧缓冲器52读取帧数据，执行格式转换、位扩展处理、缩放处理和颜色空间转换，通过由阿尔法混合(alpha blending)综合图像来生成最终屏幕数据，并且输出最终屏幕数据到面板。DISPC60的管线(pipeline)以显示屏幕图像的刷新率执行屏幕图像更新。例如，当刷新率是60Hz时，每秒生成最终屏幕图像60次。
[0071]路径a(附图标记160a)包括格式转换/位扩展部分150a、缩放处理部分152a和颜色空间转换部分154a，并且使从第一帧缓冲器52读取的帧数据经受格式转换、位扩展处理、缩放处理和颜色空间转换。
[0072]路径b (附图标记160b)包括格式转换/位扩展部分150b、缩放处理部分152b和颜色空间转换部分154b，并且使从第二帧缓冲器52读取的帧数据经受格式转换、位扩展处理、缩放处理和颜色空间转换。
[0073]格式转换/位扩展部分150a和150b读取帧缓冲器的各种格式信息，并且转换数据格式以扩展数据格式为在后级的处理中使用的位长度。
[0074]缩放处理部分152a和152b根据显示器的尺寸放大和缩小帧图像，并且使用双线性滤波器等改进图像质量。
[0075]颜色空间转换部分154a和154b根据显示器的规范转换帧的颜色空间。颜色空间转换部分154a和154b例如转换帧数据为诸如RGB、YCbCr等的像素格式。
[0076]阿尔法混合部分156通过使路径a中的转换之后的帧数据和路径b中的转换后的帧数据的输入经受阿尔法混合来生成合成图像，并且输出合成图像到MIPI (移动工业处理接口)接口部分158。MIPI接口部分158向面板输出从阿尔法混合部分156接收到的图像作为最终屏幕数据。
[0077]图4示出假设帧数据的输入来自两个帧缓冲器的配置示例。当要支持三个或者更多帧缓冲器时，提供三个或者更多配置是足够的，每个配置包括由相互平行的虚线160a包围的格式转换/位扩展部分150a、缩放处理部分152a和颜色空间转换部分154a，并且形成作为接收并且综合来自三个或者更多路径的输入的多输入单输出配置的阿尔法混合部分156。
[0078]DISPC60配备有用于传送的写回路径64，用于提取生成的屏幕图像作为用于传送的屏幕图像。路径a和路径b的输出(也就是，来自帧缓冲器的帧数据经受格式转换、位扩展、缩放处理和颜色转换之后的屏幕图像)被提取为路径a输出(路径a输出)和路径b输出(路径b输出)。此外，路径c的输出(也就是，路径a的输出和路径b的输出经受阿尔法混合之后的屏幕图像)被提取为路径c输出(路径c输出)。作为路径a输出、路径b输出和路径c输出的屏幕图像经由图3A的实现示例中的专用路径62或者经由图3B的实现示例中的系统互连40作为用于传送的屏幕图像被写回到专用存储器70中。
[0079]因为作为路径a输出和路径b输出的屏幕图像经由专用路径62或者系统互连40被写回到专用存储器70，所以可以分别提取两个屏幕图像的综合之前的屏幕图像。因为路径c输出经由专用路径62或者系统互连40被写回到专用存储器70，所以可以提取两个屏幕图像的综合之后的屏幕图像。
[0080]图5A到图5C是帮助解释使用用于传送的写回路径从DISPC60提取的屏幕图像的示图。
[0081]图5A示出作为路径a输出的、在该情形下是运动图像流的屏幕图像。图5B示出作为路径b输出的、在该情形下是菜单屏幕或者图像屏幕的屏幕图像。图5c示出作为路径c输出的、在该情形下是通过综合作为路径b输出的菜单屏幕和作为路径a输出的运动图像而获取的图像的屏幕图像。可以通过使用DISPC60的用于传送的写回路径64提取这三种屏幕图像。
[0082]将作出使用提取为用于传送的屏幕图像的三种屏幕图像的几个示例的描述。作为第一使用示例，在具有屏幕图像传送功能模块200的屏幕图像发送系统的显示面板上显示作为路径c输出的合成图像，并且将相同的屏幕图像传送到具有AVC解码器400的屏幕图像接收系统。例如当期望在发送侧和接收侧之间共享该屏幕图像时，或者当期望在接收侧上的大屏幕显示器上观看发送侧上的屏幕图像时，使用该方法。
[0083]作为第二使用示例，在屏幕图像发送系统的显示面板上显示作为路径c输出的合成图像，并且传送作为路径a输出的运动图像流到图像接收系统。该方法例如适用于当在大屏幕显示器上观看电影的同时期望菜单屏幕在发送侧上的移动设备100上显示并且在手上操作。菜单屏幕可以被分开地生成并且显示在屏幕图像接收系统上，而不显示在发送侧上的移动设备100上。
[0084]作为第三使用示例，作为路径c输出的合成屏幕图像被显示在屏幕图像发送系统的显示面板上，作为路径a的屏幕图像被传送到两个屏幕图像接收系统之一，并且作为路径b输出的屏幕图像被传送到其他屏幕图像接收系统。例如，运动图像可以被显示在一个屏幕图像接收系统的显示器上，并且游戏屏幕图像可以被显示在另一屏幕图像接收系统的显示器上。
[0085]作为第四使用示例，在屏幕图像发送系统的显示面板上不显示路径输出图像，并且作为路径c输出的合成图像传送到屏幕图像接收系统。例如当在发送侧上的移动设备100上观看到的屏幕图像被期望切换到接收侧上的TV/监视器300的大屏幕上，并且在接收侧上的TV/监视器300的大屏幕上被观看时，使用该方法。
[0086]虽然图4示出具有一个信道的图像输出的DISPC60的配置，但是可以提供两个信道的图像输出。图6是帮助解释配备有两个信道的图像输出的DISPC60的配置的示图。第一信道CHl (附图标记161)的配置和第二信道CH2(附图标记164)的配置与图4中的相同。此外，与图2中所示，在正常使用中，向LCD/0LED面板230供应第一信道CHl的最终屏幕数据，同时向HDMI/MHL连接器260供应第二信道CH2的最终屏幕数据，以显示在由HMDI/MHL连接到HDMI/MHL连接器260的监视器等上。
[0087]此外，在图6的DISPC60中，对于第一信道CHl提供用于提取在第一信道CHl的路径a和路径b中阿尔法混合之前的图像的路径路径a输出和路径b输出以及用于提取在第一信道CHl的路径c中阿尔法混合之后的合成图像的路径路径c输出。此外，对于第二信道CH2提供用于提取在第二信道CH2的路径a和路径b中阿尔法混合之前的图像的路径路径a输出和路径b输出以及用于提取在第二信道CH2的路径c中阿尔法混合之后的合成图像的路径路径c输出。如图4中，作为路径输出的这些屏幕图像作为用于传送的屏幕图像经由图3A的实现示例中的专用路径62或者经由图3B的实现示例中的系统互连40被写回到专用存储器70。
[0088]当使用图6中具有两个输出信道的DISPC60时，两种屏幕图像可以被生成，然后作为用于传送的屏幕图像从用于传送的写回路径65 (路径a输出、路径b输出和路径c输出)被提取，并且被传送到作为传送目的地的设备。
[0089]图7A到7C是帮助解释使用具有两个输出信道的DISPC60的示例的示图。在第一信道CHl上，生成如图7A所示的1280像素宽X 720像素高的低分辨率的屏幕A作为用于发送侧上的移动设备100的屏幕。同时，在第二信道CH2，生成如图7B所示的1980像素宽X 1080像素高的高分辨率的屏幕B作为用于接收侧上的TV/监视器300的屏幕。根据移动设备100的面板的刷新率更新第一信道CHl上的屏幕。根据TV/监视器300的刷新率更新第二信道CH2上的屏幕。
[0090]如图7C中所示，向发送侧上的移动设备100的显示面板输出DISPC60的第一信道CHl上的屏幕A，同时第二信道CH2上的屏幕B从用于传送的写回路径被提取为用于传送的屏幕图像，被压缩编码并且此后被传送到作为传送目的地的TV/监视器300。TV/监视器300接收压缩编码后的屏幕图像，由AVC解码器400解码压缩编码后的屏幕图像，并且在显示器上显示屏幕图像。由此，在发送侧上的移动设备100上显示低分辨率的屏幕A，并且在接收侧上的TV/监视器300上显示高分辨率的屏幕B。然而，当屏幕A不需要显示在发送侧上的移动设备100上时可以取消显示屏幕A。
[0091]当由此使用具有两个输出信道的DISPC60时，可以生成示出相同图像但是分辨率和刷新率相互不同的屏幕图像。因此能够直接向移动设备100输出低分辨率屏幕图像，同时向TV/监视器300传送高分辨率屏幕图像，并且在TV/监视器300上显示高分辨率屏幕图像。与提供用于不同分辨率的两个帧缓冲器的现有技术方法相比，本实施例可以在不增加占用存储器或者CPU负荷的情况下，生成分辨率和刷新率相互不同的两个屏幕图像。
[0092]图8A到8C是帮助解释使用具有两个输出信道的DISPC60的另一示例的示图。在第一信道CHl上，生成图8A中所示的触摸操作菜单的屏幕A作为发送侧上的移动设备100的屏幕。同时，在第二信道CH2上，生成图8B中所示的游戏视频的屏幕B作为接收侧上的TV/监视器300的屏幕。根据移动设备100的面板的刷新率更新第一信道CHl上的屏幕。根据TV/监视器300的刷新率更新第二信道CH2上的屏幕图像。
[0093]如图8C中所示，向发送侧上的移动设备100的显示面板输出DISPC60的第一信道CHl上的屏幕A，同时第二信道CH2的屏幕B从用于传送的写回路径被提取为用于传送的屏幕图像，被压缩编码并且此后被传送到作为传送目的地的TV/监视器300。TV/监视器300接收压缩编码后的屏幕图像，由AVC解码器400解码压缩编码后的屏幕图像，并且在显示器上显示屏幕图像。由此，在发送侧上的移动设备100上显示触摸操作菜单的屏幕A，并且在接收侧上的TV/监视器300上显示游戏视频的屏幕B。
[0094]当由此使用具有两个输出信道的DISPC60时，可以生成不同的屏幕图像。因此，可以直接向移动设备100输出触摸操作菜单的屏幕图像以在手上操作，同时可以向TV/监视器300传送游戏视频的屏幕图像以被显示在大屏幕上。
[0095]图9A到9C是帮助解释使用具有两个输出信道的DISPC60的另一示例的示图。在第一信道CHl上，生成图9A中所示1280像素宽X 720像素高的低分辨率的屏幕A作为用于发送侧上的移动设备100的屏幕。同时，在第二信道CH2上，生成图9B中所示1980像素宽X 1080像素高的高分辨率的屏幕B作为用于接收侧上的TV/监视器300和个人计算机的屏幕。
[0096]如图9C中所不，向发送侧上的移动设备100的显不面板输出DISPC60的第一信道CHl上的屏幕A，同时第二信道CH2上的屏幕B从用于传送的写回路径被提取为用于传送的屏幕图像，被压缩编码并且此后被传送到作为传送目的地的TV/监视器300和个人计算机320。TV/监视器300和个人计算机320接收压缩编码后的屏幕图像，由AVC解码器400解码压缩编码后的屏幕图像，并且在显示器上显示屏幕图像。由此，在发送侧上的移动设备100上显示低分辨率的屏幕图像，并且在接收侧上的TV/监视器300和个人计算机320上显示高分辨率的屏幕B。然而，当屏幕A不需要显示在发送侧上的移动设备100上时可以取消显不屏眷A0
[0097]当由此使用具有两个输出信道的DISPC60时，可以生成示出相同图像但是分辨率和刷新率相互不同的屏幕图像。因此能够直接向移动设备100输出低分辨率屏幕图像，同时向TV/监视器300和个人计算机320传送高分辨率屏幕图像，并且在TV/监视器300和个人计算320上显示高分辨率屏幕图像。向多个接收系统传送高分率屏幕图像使得多个用户能够共享相同的屏幕图像。
[0098]图10是帮助解释屏幕图像传送系统和屏幕图像接收系统之间的软件握手的例程的流程图。
[0099]屏幕图像发送系统发送屏幕连接请求到屏幕图像接收系统(SlO)。屏幕连接请求包括指示诸如游戏、电影等的视频的屏幕内容、分辨率、刷新率、AVC压缩格式、音频的存在或者不存在、音频格式、关于在屏幕图像接收系统中用户输入的存在或者不存在的询问等作为附加信息。
[0100]屏幕图像发送系统通过初始化DISPC60、AVC编码器80和1/090来准备视频传送，准备音频传送并且准备TCP/IP和UDP (用户数据报协议)(S12)。
[0101]接收到屏幕连接请求时，屏幕图像接收系统初始化AVC解码器400和1/090，准备音频处理，准备用户输入的传送，并且准备TCP/IP和UDP(SH)。屏幕图像接收系统返回屏幕连接应答到屏幕图像发送系统(S16)。屏幕连接应答包括作为附加信息的用户输入的存在或者不存在。下面将作出存在用户输入的情形的描述。屏幕图像发送系统准备接收来自屏幕图像接收系统的用户输入(S18)。
[0102]屏幕图像接收系统对于完成初始化并且屏幕图像接收系统准备好接收被传送的屏幕图像的结果，发送连接OK的通知到屏幕图像传送系统(320)。屏幕图像发送系统确认屏幕图像传送的准备的完成(S22)，并且对于完成了初始化并且屏幕图像传送要开始的结果，发送连接开始通知到屏幕图像接收系统(S24)。
[0103]屏幕图像发送系统和屏幕图像接收系统通过TCP/IP的UDP无连接通信发送并且接收数据(S26到S29)。屏幕图像发送系统发送屏幕图像和音频到屏幕图像接收系统，并且接收来自屏幕图像接收系统的用户输入(S30)。屏幕图像接收系统接收来自屏幕图像发送系统的屏幕图像和音频，并且发送用户输入到屏幕图像发送系统(S32)。
[0104]根据本实施例的屏幕图像传送系统，可以实时地从特定设备向另一设备传送屏幕图像。此外，因为作为传送目的地的设备中的用户输入被传送到作为传送源的设备，所以作为传送源的设备可以生成反映用户输入的屏幕图像，并且传送更新后的屏幕图像到作为传送目的地的设备。由此，实时在被传送的屏幕图像上反映用户输入，并且即使当用户使用作为传送目的地的设备时，也不劣化响应。
[0105]通过提供用于从显示控制器提取用于传送的屏幕图像的路径并且将用于传送的屏幕图像写回到专用存储器，可以以低时来延传送屏幕图像到作为传送目的地的设备。此夕卜，通过与系统互连分离地提供用于屏幕图像传送处理的专用数据路径，可以避免屏幕图像传送处理和普通处理相互竞争系统资源并且因此延迟了应用改变或者屏幕图像传送的行为的情况。
[0106]具体地，当增加屏幕图像传送时的系统负荷时，不可预测的改变出现在软件的行为中，并且增加稳定软件的行为的开发成本。此外，用户不期望屏幕图像传送使得应用的操作变慢或者减少屏幕更新频率。在本实施例中，通过由专用路径或者QoS控制来相互分离屏幕图像传送处理和普通处理以避免这种情况。
[0107]此外，因为用于传送的屏幕图像通过使用标准压缩编码被编码并且然后被传送，所以可以仅通过将普通解码器并入到屏幕图像接收系统中来解码并且显示屏幕图像。不执行帧间预测的压缩编码的使用尤其使得编码花费的处理时间能够被减少，并且使得屏幕图像能够不延迟地被传送。
[0108]上面已经基于本技术的实施例描述本技术。这些实施例是示例性的，并且本领域的技术人员要理解，本实施例的组成元件和处理过程的组合容许各种修改并且这种修改也落入本技术的范围内。
[0109]本公开包含与2013年6月7日向日本专利局提交的日本优先权专利申请JP2013-121131中公开的主题有关的主题，其全部内容以引用的方式并入本文。
【权利要求】
1.一种显示控制器，用于从帧缓冲器读取帧数据，并且生成要显示在显示器上的屏幕输出图像， 其中，所述显示控制器配备有用于提取所述屏幕输出图像作为要传送到另一设备的用于传送的屏幕图像的路径，并且将该用于传送的屏幕图像写入与所述帧缓冲器分离地提供的专用存储器。
2.一种屏幕图像传送装置，包括: 主存储器，包括帧缓冲器； 显示控制器，配置为从所述帧缓冲器读取帧数据，并且生成要显示在显示器上的屏幕输出图像； 专用存储器，与所述主存储器分离地布置；以及 系统互连，配置为相互互连所述主存储器、所述显示控制器和所述专用存储器； 路径，提供用于从所述显示控制器提取所述屏幕输出图像作为要传送到另一设备的用于传送的屏幕图像，并且在用于传送的屏幕图像不通过所述系统互连的情况下将该用于传送的屏幕图像写回到所述专用存储器。
3.如权利要求2所述的屏幕图像传送装置，还包括: 编码器，配置为压缩编码该用于传送的屏幕图像； 向所述编码器提供的路径，用以在用于传送的屏幕图像不通过系统互连的情况下从所述专用存储器读取该用于传送的屏幕图像，并且在压缩编码后的用于传送的屏幕图像不通过系统互连的情况下写回该压缩编码后的用于传送的屏幕图像到专用存储器。
4.如权利要求3所述的屏幕图像传送装置，还包括: 输入输出部分，配置为输出该压缩编码后的用于传送的屏幕图像到外部； 向所述输入输出部分提供的路径，以在该压缩编码后的用于传送的屏幕图像不通过系统互连的情况下从所述专用存储器读取该压缩编码后的用于传送的屏幕图像。
5.如权利要求2至4中任一项所述的屏幕图像传送装置， 其中，所述显示控制器从多个帧缓冲器读取帧数据，在多个路径中生成屏幕图像，并且将所述屏幕图像综合为最终屏幕输出图像，以及 提供路径，用于从所述显示控制器提取各个路径中生成的每个屏幕图像和作为用于传送的屏幕图像的综合后的最终屏幕输出图像，并且在用于传送的屏幕图像不通过系统互连的情况下将用于传送的屏幕图像写回到专用存储器。
6.如权利要求2至5中的任一项所述的屏幕图像传送装置， 其中，所述显示控制器具有两个信道的屏幕输出，并且生成两种屏幕输出图像，一种屏幕输出图像被输出到与所述显示控制器连接的显示面板，并且另一种屏幕输出图像被提取为用于传送的屏幕图像。
7.如权利要求6所述的屏幕图像传送装置， 其中，两种屏幕输出图像是分辨率或者刷新率相互不同的屏幕输出图像。
8.如权利要求6所述的屏幕图像传送装置， 其中，两种屏幕输出图像之一是操作屏幕。
9.如权利要求2至8中任一项所述的屏幕图像传送装置， 其中，在屏幕图像传送处理和向下兼容处理之间共享专用存储器。
10.一种屏幕图像传送装置，包括: 主存储器，包括帧缓冲器； 显示控制器，配置为从所述帧缓冲器读取帧数据，并且生成要显示在显示器上的屏幕输出图像； 专用存储器，配置为存储由所述显示控制器生成的屏幕输出图像作为要传送到另一设备的用于传送的屏幕图像；以及 编码器，配置为压缩编码用于传送的屏幕图像； 所述编码器在不执行帧间预测的情况下压缩编码该用于传送的屏幕图像。
11.如权利要求10所述的屏幕图像传送装置， 其中，在屏幕图像传送处理和向下兼容处理之间共享所述专用存储器。
12.—种屏幕图像传送方法，用于传送装置中的屏幕图像，该装置包括由系统互连相互互连的主存储器、显示控制器和专用存储器，该方法包括: 从所述主存储器中包括的帧缓冲器读取帧数据，并且由所述显示控制器生成要显示在显示器上的屏幕输出图像； 从显示控制器提取所述屏幕输出图像作为要传送到另一设备的用于传送的屏幕图像，并且在用于传送的屏幕图像不通过系统互连的情况下，将该用于传送的屏幕图像写回到所述专用存储器；以及 压缩编码该用于传送的屏幕图像，该用于传送的屏幕图像被写回到所述专用存储器，并且传送该用于传送的屏幕图像到其他设备。
【文档编号】H04N21/4402GK104244088SQ201410236489
【公开日】2014年12月24日 申请日期:2014年5月30日 优先权日:2013年6月7日
【发明者】大塚活志 申请人:索尼电脑娱乐公司