用于屏幕共享的方法和设备的制造方法

用于屏幕共享的方法和设备的制造方法
【专利摘要】提供一种包括处理器的电子装置，所述处理器被配置为：识别一个或更多个宿端装置；对于每个宿端装置，产生各自的显示数据结构；对于每个宿端装置，产生各自的数据流，其中，所述各自的数据流通过基于宿端装置的各自的显示数据结构对由一个或更多个应用产生的内容进行编码来产生；并把宿端装置的各个编码的数据流发送到每个宿端装置。
【专利说明】
用于屏幕共享的方法和设备
技术领域
[0001]本公开涉及一种电子装置，更具体地说，涉及一种用于屏幕共享的方法和设备。
【背景技术】
[0002]随着信息通信(IT)技术和半导体技术的发展，各种电子装置正演变成提供各种多媒体服务的多媒体装置。例如，电子装置可提供诸如语音电话服务、视频电话服务、信使服务、广播服务、无线互联网服务、照相机服务和音乐播放服务的多媒体服务。

【发明内容】

[0003]解决方案
[0004]近年来，移动装置(例如，智能电话)正在从一个多媒体装置向多个多媒体装置提供视频传输、因特网屏幕传输、游戏屏幕传输等，由此实现多屏服务(N-屏幕)。随着移动装置通过几个多媒体装置共享了屏幕，需要适用于发送到各个多媒体装置的屏幕的横向模式或纵向模式屏幕显示。
[0005]根据本公开的各方面，提供一种包括处理器的电子装置，所述处理器被配置为:识别一个或更多个宿端装置;对于每个宿端装置，产生各自的显示数据结构;对于每个宿端装置，产生各自的数据流，其中，所述各自的数据流通过基于宿端装置的各个显示数据结构对由一个或更多个应用产生的内容进行编码来产生;并把宿端装置的各自的编码的数据流发送到每个宿端装置。
[0006]根据本公开的各方面，提供一种方法，所述方法包括:通过源端装置识别第一宿端装置;产生第一显示数据结构;对与在源端装置上运行的一个或更多个应用相应的内容的至少一部分进行编码以产生第一数据流，其中，第一数据流基于第一显示数据结构而产生；并且，把第一数据流发送到第一宿端装置。
[0007]根据公开的各方面，一种包括处理器的电子装置，所述处理器被配置为:识别第一宿端装置;产生第一显示数据结构;对与一个或更多个应用相应的内容的至少一部分进行编码以产生第一数据流，其中，第一数据流基于第一显示数据结构而产生;并且，把第一数据流发送到第一宿端装置。
【附图说明】
[0008]从以下结合附图的详细描述中，本公开的以上和其它目标、特征和优点将会更清楚，其中:
[0009]图1是根据本公开的各方面的系统的示例的示图；
[0010]图2是根据本公开的各方面的电子装置架构的示例的示图；
[0011 ]图3是示出根据本公开的各方面的编程模块的构造的框图；
[0012]图4A-图4D是不出根据本公开的各方面的系统的不例的不图；
[0013]图5A-图5B是不出根据本公开的各方面的系统的不例的不图；
[0014]图6是根据本公开的各方面的处理的示例的流程图；
[0015]图7是根据本公开的各方面的处理的示例的流程图；
[0016]图8是根据本公开的各方面的处理的示例的序列图；
[0017]图9是根据本公开的各方面的处理的示例的流程图；
[0018]图10是根据本公开的各方面的处理的示例的流程图；
[0019]图1lA是根据本公开的各方面的电子装置的示例的框图；
[0020]图1IB是根据本公开的各方面的电子装置的示例的框图；
[0021]图12是根据本公开的各方面的电子装置的示图；
[0022]图13是根据本公开的各方面的处理的示例的流程图。
【具体实施方式】
[0023]根据本公开的电子装置可以是包括通信功能的装置。例如，电子装置可以是一个或两个或更多个以下各种电子装置的组合:诸如，智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书(e-book)阅读器、台式PC、笔记本计算机、上网本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MPEG音频播放器3 (MP3)播放器、移动医疗仪器、电子手环、电子项链、应用配件、相机、可佩带装置、电子钟、手表、智能家电(例如，冰箱、空调、清洁器、人工智能机器人、电视机(TV)、数字视频盘(DVD)播放器、音频系统、烤箱、微波炉、洗衣机、空气净化器、电子相框等)、各种医疗仪器(例如，磁共振血管成像(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、移动摄像机、超声波机等)、导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、机顶盒、电视盒(例如，三星HomeSync?，苹果TV?，或谷歌TV?)、电子词典、车载信息娱乐装置、用于船舶的电子设备(例如，用于船舶的导航装置，陀螺罗盘等)、航空电子设备、安全仪器、电子衣服、电子锁系统、摄录机、游戏控制台、头戴式显示器(HMD)、平板显示装置、电子相册、包括电信功能的家具或建筑物/结构的一部分、电子板、电子签名接收装置、投影仪等。对本领域技术人员清楚的是根据本公开的电子装置不限于前述仪器。
[0024]图1是根据公开的各方面的电子装置的示例的示图。
[0025]参照图1，电子装置100可包括:总线110、处理器120、存储器130、用户输入模块140、显示模块150或通信模块160。
[0026]总线110可以是使前述组成元件相互耦合并在前述组成元件之间转发通信(例如，控制消息)的电路。
[0027]处理器120可(例如)通过总线110从前述其它组成元件(例如，存储器130、用户输入模块140、显示模块150、通信模块160等)接收指令，破译接收的指令，并根据破译的指令来执行操作或数据处理。
[0028]存储器130可储存从处理器120或其它组成元件(例如，用户输入模块140、显示模块150、通信模块160等)接收的或由处理器120或其它组成元件产生的指令或数据。存储器130可包括(例如)诸如内核131、中间件132、应用程序编程接口(API)133、应用程序134等的编程模块。每个前述编程模块可包括软件、固件、硬件或至少两个或更多个它们的组合。
[0029]内核131可控制或管理用于执行在剩下的其它程序模块(例如中间件132、API133或应用程序134)中实施的操作或功能的系统资源(例如，总线110、处理器120、存储器130等)。此外，内核131可提供使得中间件132、API 133或应用134能够连接并控制或管理电子装置100的各个组成元件的接口。
[0030]中间件132可起到中继作用，使得API 133或应用134能够与内核131通信并交换数据。此外，与从(多个)应用134接收的工作请求相关，中间件132可(例如)使用向(多个)应用134之中的至少一个应用能够使用电子装置100等的系统资源(例如，总线110、处理器120、存储器130等)的优先级顺序的方法来执行用于工作请求的负载平衡。
[0031 ] API 133是使得应用134能够控制由内核131或中间件132提供的功能的接口。API133可包括(例如)用于文件控制、窗口控制、图像处理、字符控制的至少一个接口或功能。
[0032]用户输入模块140可(例如)接收从用户输入的指令或数据，并通过总线110把指令或数据转发到处理器120或存储器130。显示模块150可向用户显示图像、视频、数据等。
[0033]通信模块160可在电子装置100和其它电子装置102之间建立通信。通信模块160可支持特定短距离通信协议(例如，无线保真(WiFi)、蓝牙(BT)或近场通信(NFC))或特定网络通信162(例如，因特网、局域网(LAN)、广域网(WAN)、电信网络、蜂窝网络、卫星网络、普通老式电话系统(POTS)等)。电子装置102和104中的每个可以是与电子装置100相同的(例如，相同类型的)装置或不同的(例如，不同类型的)装置。
[0034]图2是根据公开的各方面的电子装置架构200的示例的示图。架构200可以是(例如)图1中所示的电子装置100的。
[0035]参照图2，硬件200包括一个或更多个处理器210、用户识别模块(SIM)卡214、存储器220、通信模块230、传感器模块240、用户输入模块250、显示模块260、接口 270、音频编解码器280、相机模块291、电源管理模块295、电池296、指示器297、电机298。
[0036]处理器210可包括任意合适的类型的处理电路，诸如，通用处理器(例如，基于ARM的处理器)，现场可编程门阵列(FPGA)、专用集成电路(ASIC)等。在某些实施方式中，处理器210(例如，处理器120)可包括一个或更多个应用处理器(AP)211或一个或更多个通信处理器(CP)213。在某些实施方式中，处理器210可以是(例如)图1中所示的电子处理器120。图2示出AP 211和CP 213被包括在处理器210内，但是AP 211和CP 213可分别被包括在不同的IC封装内。一方面，AP 211和CP 213可被包括在一个IC封装内。在本公开中，处理器210可从协商分辨率信息、音频编解码器信息和视频编解码器信息中设置显示会话，并创建将被输出到第二电子装置的显示信息，并把将在第二电子装置显示的屏幕模式固定为横向或纵向之中的任意一个方向。
[0037]AP 211可驱动操作系统或应用程序，并控制耦合到AP 211的多个硬件或软件组成元件，并执行包括多媒体数据的各种数据的处理和操作。AP 211可(例如)被实施为片上系统(SoC)。根据本公开的各方面，处理器210还可包括图形处理单元(GPU)(未示出)。
[0038]CP 213可执行如下的功能:管理数据链接并转换包括硬件200的电子装置(例如，电子装置100)和通过网络162耦合的其它电子装置104之间的通信中的通信协议。CP 213可被实施为(例如)SoC。根据本公开的各方面，CP 213可执行多媒体控制功能的至少一部分。CP 213可使用用户识别模块(例如，S頂卡214)在通信网络内执行终端区分和验证。此外，CP213可向用户提供诸如语音电话、视频电话、文本消息、分组数据等服务。
[0039]此外，CP213可控制通信模块230的数据发送/接收。图2将诸如CP 213、功率管理模块295、存储器220等组成元件示出为与AP 211分开的组成元件，但是，根据本公开的各方面，AP 211可被实施为包括至少某些前述组成元件(例如，CP 213)。
[0040]根据本公开的各方面，AP 211或CP 213可把从与AP 211和CP 213中的每个或至少一个其它组成元件相耦合的非易失性存储器接收的指令或数据加载到易失性存储器，并处理加载的指令或数据。此外，AP 211或CP 213可把从至少一个其它组成元件接收的或由至少一个其它组成元件产生的数据储存在非易失性存储器中。
[0041]SIM卡214可以是实施用于身份模块的卡，并可被插入设置在电子装置100的特定位置的插口。SIM卡214可包括唯一识别信息(例如，集成电路卡ID(ICCID))或用户信息(例如，国际移动用户身份(IMSI))。
[0042]存储器220可包括内部存储器222或外部存储器224。存储器220可以是(例如)图1中所示的存储器130。内部存储器222可包括(例如)以下项中的至少一个:易失性存储器(例如，动态随机访问存储器(DRAM)、静态随机访问存储器(SRAM)、同步动态随机访问存储器(SDRAM)等)或非易失性存储器(例如，一次性PROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模只读存储器(ROM)、闪速ROM、与非(NAND)闪存、或非(NOR)闪存等)。根据本公开的各方面，内部存储器222可具有固态驱动器(SSD)的形式。外部存储器224还可包括(例如):紧凑型闪存(CF)、安全数字(SD)、微安全数字(微型SD)、迷你安全数字(迷你SD)、极端数码(xD)、记忆棒等。
[0043]通信模块230可包括无线通信模块231或射频(RF)模块234。通信模块230可以是(例如)图1中所示的通信模块160。无线通信模块231可包括(例如)WiFi 233,BT 235,GPS237或NFC 239。例如，无线通信模块231可使用射频提供无线通信功能。额外地或可选地，无线通信模块231可包括用于把硬件200与网络(例如，因特网、LAN、WAN、电信网络、蜂窝网络、卫星网络、POTS等)耦合的网络接口(例如，LAN卡)、调制解调器等。在本公开中，通信模块231可把正在第一电子装置中显示的至少一个屏幕的第一屏幕模式信息发送到第二电子装置，并从第二电子装置接收改变发送的第一屏幕模式信息的请求，并把改变第一屏幕模式的第二屏幕模式发送到第二电子装置。此外，通信模块231可通过会话协商与第二电子装置交换将向第二电子装置显示的分辨率信息、音频编解码器信息和视频编解码器信息之中的至少一个信息。此外，通信模块231可实时发送取决于第二屏幕模式的视频数据和音频数据，并可捕获并编码组成的屏幕数据，并把编码结果发送到选择的第二电子装置。此外，通信模块231可从第一电子装置接收正在第一电子装置中显示的至少一个屏幕的第一屏幕模式信息，并向第一电子装置发送改变接收的第一屏幕模式信息的请求。此外，通信模块231可通过会话协商与第一电子装置交换将向第一电子装置显示的分辨率信息、音频编解码器信息和视频编解码器信息之中的至少一个信息。此外，通信模块231可从第一电子装置接收关于正在第一电子装置中显示的至少一个屏幕的数据，并实时接收取决于第二屏幕模式的视频数据和音频数据。
[0044]RF模块234可负责数据的发送/接收，例如，RF信号或调用的电信号的发送/接收。RF模块234可包括(尽管未示出，例如)收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)等。此外，RF模块234还可包括用于在无线通信中在自由空间上发送/接收电磁波的部件，例如，导体、导线等。
[0045]传感器模块240可包括(例如)以下项中的至少一个:手势传感器240A、陀螺仪传感器240B、空气压力传感器240、磁传感器240D、加速度传感器240E、手握传感器240F、接近传感器240G、红绿蓝(RGB)传感器240H、生物计量传感器2401、温度/湿度传感器240J、照度传感器240K或紫外线(UV)传感器240M。传感器模块240可测量物理数量或感测电子装置100的激活状态，并把测量的或感测的信息转换为电信号。额外地或可选地，传感器模块240可包括(例如):电子鼻(E-鼻)传感器(未示出)、肌电图(EMG)传感器(未示出)、脑电图(EEG)传感器(未示出)、心电图(ECG)传感器(未示出)、指纹传感器(未示出)等。传感器模块240还可包括用于控制设置在其中的至少一个或多个传感器的控制电路。
[0046]用户输入模块250可包括触摸面板252、(数字)笔传感器254、键256或超声输入装置258 ο用户输入模块250可以是(例如)图1中所示的用户输入模块140。触摸面板252可(例如)通过电容方法、压敏方法、红外线方法或超声波方法之中的至少一个方法识别输入的触摸。此外，触摸面板252还可包括控制器(未示出)。在电容方法中，接近度识别和直接接触是可能的。触摸面板252还可包括触觉层。这种情况下，触摸面板252可为用户提供触觉反应。
[0047]例如，可使用与接收用户的触摸输入相同或相似的方法或独立的识别片来实施(数字)笔传感器254。键256可以是(例如)键盘或触摸键。超声输入装置258是能够通过产生超声信号的笔使用电子装置的麦克风(例如，麦克风288)感测声波来识别数据并可执行无线识别的装置。根据公开的各方面，硬件200还可使用通信模块230从耦合到硬件200的外部装置(例如，网络、计算机或服务器)接收用户输入。
[0048]显示模块260可包括面板262或全息264。显示模块260可以是(例如)图1中所示的显示模块150。面板262可以是(例如)液晶显示器(IXD)、有源矩阵有机发光二极管(AMOLED)等。面板262可被实施为(例如)柔性的、透明的或可穿戴的。面板262还可与触摸面板252—起被构建为一个模块。全息264可通过使用光的干涉在空气中显示三维图像。根据公开的各方面，显示模块260还可包括用于控制面板262或全息264的控制电路。在本公开中，显示模块260可基于接收的数据实时显示至少一个屏幕。
[0049]接口 270可包括(例如)高清晰度多媒体接口(HDMI)272、通用串行总线(USB)274、投影仪276或D-超小型(D-sub) 278。额外地或可选地，接口 270可包括(例如)安全数字/多媒体卡(SD/MMC)(未示出)或红外数据协会(IrDA)(未示出)。
[0050]音频编解码器280可以交互式地转换语音和电信号。音频编解码器280可转换(例如)通过扬声器282、接收器284、耳机286、麦克风288等输入或输出的语音信息。
[0051]相机模块291是能够拍摄图片和视频的装置。根据公开的各方面，相机模块291可包括一个或更多个图像传感器(例如，前镜头或后镜头)、图像信号处理器(ISP)(未示出)或闪光LED (未不出)。
[0052]电源管理模块295可管理硬件200的电功率。尽管未示出，电源管理模块295可包括(例如)电源管理集成电路(PMIC)、充电器集成电路(IC)或电池电量计。
[0053]PMIC可被安装(例如)在集成电路或SoC半导体中。充电方法可被分为有线充电方法和无线充电方法。充电器IC可对电池充电，并可防止从电充电器流入过压或过流。根据本公开的各方面，充电器IC可包括用于有线充电方法或无线充电方法中的至少一个的充电器IC。作为有线充电方法，有(例如)磁共振方法、磁感应方法、电磁波方法等。可添加用于无线充电的补充电路(例如，诸如线圈、共振电路、整流器等的电路)。
[0054]电池电量计可测量(例如)电池296的电平、充电电压、充电电流或充电温度。电池296可产生电，并提供电源。电池296可以是(例如)可充电电池。
[0055]指示器297可指示硬件200或其部分(例如，AP 211)的特定状态，例如，启动状态、消息状态、充电状态等。电机298可把电信号转换为机械振动。微控制器单元(MCU)可控制传感模块240。
[0056]尽管未示出，硬件200可包括用于移动电视支持的处理装置(例如，GPU)。用于移动电视支持的处理装置可处理(例如)数字多媒体广播(DMB)的标准媒体数据、数字视频广播(DVB)、媒体流等。
[0057]根据本公开的硬件200的前述组成元件的名称可根据电子装置的种类而不同。根据本公开的硬件200可包括前述组成元件中的至少一个，并可省略某些组成元件或进一步包括额外的其它组成元件。此外，根据本公开的硬件200的某些组成元件被结合并构建为一个整体，因此可同样地执行结合前的相应组成元件的功能。
[0058]图3是示出根据本公开的各方面的编程模块的构造的示例的框图。
[0059]编程模块300可被包括(例如，储存)在图1中示出的电子装置100(例如，存储器130)中。编程模块300的至少一部分可包括软件、固件、硬件或它们中的至少两个或更多个的结合。编程模块300可包括被实施在硬件(例如，硬件200)中的操作系统(OS)，并控制涉及电子装置(例如，电子装置100)的资源或在操作系统中运行的各种应用(例如，应用370)。例如，操作系统可以是安卓、1S、Windows、塞班、Tizen、Bada等。参照图3，编程模块300可包括内核310、中间件330、API 360或应用370。
[0060]内核310(例如，内核131)可包括系统资源管理器311或装置驱动器312。系统资源管理器311包括(例如)进程管理单元、存储器管理单元、文件系统管理单元等。系统资源管理器311可执行系统资源的控制、系统资源的分配、系统资源的恢复等。装置驱动器312可包括(例如)显示驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、WiFi驱动器或音频驱动器。此外，根据本公开的各方面，装置驱动器312可包括进程间通信(IPC)驱动器(未示出)。
[0061]中间件330可包括先前实施以提供应用370通常需要的功能的多个模块。此外，中间件330可通过API 360为应用370提供功能，使得应用370可充分利用电子装置内受限的系统资源。例如，如图3所示，中间件330 (例如，中间件132)可包括运行时间库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接性管理器348、通知管理器349、位置管理器350、图形管理器351或安全管理器352中的至少一个。
[0062]运行时间库335可包括(例如)由编译器使用的库模块，以在应用370运行时通过编程语言来添加新功能。根据本公开的方面，运行时间库335可执行输入/输出功能、存储器管理、算术功能等。
[0063]应用管理器341可管理(例如)应用370之中至少一个应用的生命周期。窗口管理器342可管理在屏幕中使用的GUI资源。多媒体管理器343可掌握各种媒体文件的回放所需的格式，并使用适用于相应格式的编解码器来执行媒体文件的编码或解码。资源管理器344可管理诸如应用370之中的至少任意一个应用的源代码、其存储器、其储存空间等的资源。
[0064]电源管理器345可与基本输入/输出系统(B1S)等一起操作，并管理电池或电源，并提供操作所需的电能信息等。数据库管理器346可管理以创建、搜索或改变将在应用370之中的至少一个应用中使用的数据库。包管理器347可管理以包文件的形式分布的应用的安装或更新。
[0065]连接性管理器348可管理(例如)诸如WiF1、蓝牙等的无线连接性。通知管理器349可以以不打扰用户的方式显示或通知诸如到达消息、约定或接近通知等事件。位置管理器350可管理电子装置的位置信息。图形管理器351可管理将为用户提供的图形效果或与此相关的用户界面。安全管理器352可为系统安全、用户认证等提供通用安全功能。根据本公开的各方面，如果电子装置(例如，电子装置100)具有电话功能，则中间件330还可包括用于管理电子装置的语音或视频通话功能的电话管理器(未示出)。
[0066]中间件330可通过前述内部组成元件模块的各种功能的组合来创建并使用新的中间件模块。中间件330可提供根据操作系统的种类的专门化的模块，以提供差异化的功能。此外，中间件330可动态地删除某些现有组成元件或添加新的组成元件。相应地，中间件330可省略本公开示例性实施例中所述的某些组成元件，或还包括其他组成元件，或用不同名称的执行类似功能的组成元件来替换其它组成元件。
[0067]可提供API360(例如，API 133)，一组API编程功能，以具有根据操作系统的不同构造。例如，在安卓或1S的情况下，可(例如)由平台提供一个API组，在Tizen的情况下，可(例如)由平台提供两个或更多个API组。
[0068]应用370(例如，应用134)可包括(例如)预加载的应用或第三方应用。
[0069]编程模块300的至少一部分可通过使用储存在计算机可读存储介质中的一个或更多个处理器可执行的指令来实施。当指令由一个或更多个处理器(例如，处理器210)执行时，所述一个或更多个处理器可执行与指令相应的功能。计算机可读存储介质可以是(例如)存储器260。编程模块300的至少一部分可以(例如)通过处理器210被实施(例如，被执行)。编程模块的至少一部分可包括(例如)用于执行一个或更多个功能的模块、程序、例程、指令集、进程等。
[0070]根据本公开的编程模块(例如，编程模块300)的组成元件的名称可根据操作系统的种类而不同。此外，根据本公开的编程模块可包括前述组成元件中的至少一个或更多个，省略某些前述组成元件，或进一步包括额外的其它组成元件。
[0071 ]图4A-图4D是不出根据本公开的各方面的系统的不例的不图。如所不，系统包括第一电子装置401和第二电子装置402。第一电子装置和第二电子装置可通过任意合适类型的连接来彼此连接。例如，第一电子装置和第二电子装置可通过基于网络连接的因特网协议(IP)、通用串行总线(USB)、局域网(LAN)连接、WiFi连接等来彼此连接。
[0072]在操作中，第一电子装置可从第二电子装置接收与第二电子装置可兼容的分辨率信息。例如，如果与第二电子装置可兼容的分辨率是“A”、“B”、“C”和“D”像素每英寸(PPI)，第一电子装置可从第二电子装置接收作为与第二电子装置可兼容的分辨率的“A”、“B”、“C”和“D” PPI的分辨率信息。
[0073]接着，第一电子装置可选择从第二电子装置接收的分辨率信息之中的任意一个分辨率。在前述示例中，第一电子装置可(由用户)从第二电子装置接收的“A”、“B”、“C”和“D”PPI的分辨率信息之中选择分辨率“A” PPI。
[0074]此后，第一电子装置可把选择的分辨率信息发送到第二电子装置，使得第二电子装置可被设置为选择的分辨率。在前述示例中，第一电子装置可把由用户选择的“A”PPI的分辨率信息发送到第二电子装置。
[0075]接着，第一电子装置可把正在第一电子装置的显示模块中显示的至少一个屏幕的第一旋转信息发送到第二电子装置。例如，第一旋转信息可以是屏幕数据信息和显示角度?目息O
[0076]此后，第一电子装置可接收用于执行多个应用之中的至少一个应用的指令的输入，并显示与所述至少一个应用相应的屏幕。与此同时，第二电子装置可在第二电子装置的显示模块中分别显示正在第一电子装置的显示模块中显示的所述至少一个屏幕。
[0077]例如，针对如图4(a)所示的情况进行描述，第一电子装置401接收用于执行第一应用的指令的输入，并在第一电子装置401的显示模块中显示第一应用的第一屏幕。在上述示例中，第二电子装置402可在第二电子装置402的显示模块的设定区域中显示第一应用的第一屏幕。第一应用的第一屏幕可被同时显示在电子装置401和第二电子装置402上。
[0078]此后，基于从第一电子装置接收的第一旋转信息，第二电子装置可向第一电子装置发送旋转正在第二电子装置的显示模块中显示的至少一个屏幕之中的任意一个屏幕的请求。
[0079]例如，如图4Β所示，第二电子装置402可呈现改变当前正在第二电子装置402的显示模块中显示的第一屏幕的显示角度的菜单。在前述示例中，第二电子装置402可接收用于使当前正在第二电子装置402的显示模块中显示的第一屏幕向右旋转90度(S卩，向左旋转270度)的指令。
[0080]此后，第一电子装置可响应于屏幕改变请求来改变屏幕的分辨率。更具体而言，为了向第一电子装置的显示模块输出改变的屏幕，第一电子装置可把屏幕的分辨率改变为适用于改变的屏幕的分辨率。
[0081]接着，第一电子装置可响应于接收的屏幕改变请求向第二电子装置发送第二旋转信息。例如，第二旋转信息可以是关于请求的屏幕的基于这样的分辨率的屏幕数据信息以及包括在第一旋转信息中的相同的显示角度信息:所述分辨率将按照已经从第二电子装置接收了屏幕改变请求的屏幕的显示角度变化而改变。
[0082]此后，第一电子装置可改变请求的屏幕。例如，针对如图4C所示的情况进行的描述，第一电子装置401从第二电子装置402接收使第一屏幕向右旋转90度(S卩，向左旋转270度)的请求。在前述示例中，第一电子装置401可使正在第一电子装置401的显示模块中显示的第一屏幕向右旋转90度(S卩，向左旋转270度)。
[0083]接着，第二电子装置可基于从第一电子装置接收的第二旋转信息来改变屏幕。更具体而言，基于从第一电子装置接收的第二旋转信息，第二电子装置可使正在第二电子装置的显示模块中显示的屏幕的显示角度改变为第一电子装置的被请求的屏幕的显示角度。例如，如图4D所示，第二电子装置402可基于从第一电子装置401接收的第二旋转信息使屏幕向右旋转90度(即，向左旋转270度)。
[0084]图5Α-图5Β是示出根据本公开的各方面的系统的示例的示图。如图所示，系统包括第一电子装置501和多个第二电子装置502-504。每个第二电子装置可通过任意合适类型的连接被连接到第一电子装置。例如，第一电子装置和任意第二电子装置可通过基于网络连接的因特网协议(IP)、通用串行总线(USB)连接、局域网(LAN)连接、WiFi连接等来彼此连接。
[0085]在操作中，第一电子装置501可从第二电子装置502、503和504接收与第二电子装置502、503和504可兼容的分辨率信息。例如，如果与第二电子装置502可兼容的分辨率是“A”和“B” PPI，与第二电子装置503可兼容的分辨率是“B”和“C” PPI，与第二电子装置504可兼容的分辨率是“C"和“D” PPI，则第一电子装置501可从各个第二电子装置502、503和504接收作为与第二电子装置502、503和504可兼容的分辨率的“A”、“B”、“C"和“D”PPI的分辨率信息。
[0086]接着，第一电子装置501可选择从各个第二电子装置502、503和504接收的分辨率信息之中的任意一个分辨率。在前述示例中，第一电子装置501可(由用户)从第二电子装置502接收的“A”和“B”PPI的分辨率信息之中选择分辨率“A”PPI。
[0087]此后，第一电子装置501可把选择的分辨率信息发送到第二电子装置502、503和504，使得任意第二电子装置502、503和504可转换为选择的分辨率。在前述示例中，第一电子装置501可把由用户选择的“A”PPI的分辨率信息发送到第二电子装置502。
[0088]接着，第一电子装置501可渲染正在第一电子装置501上执行的应用的屏幕，并在应用程序中选择连接的第二电子装置502、503和504中的一个，并向选择的第二电子装置输出相应的应用的屏幕。此外，第一电子装置501可选择另一正在执行的应用程序，选择另一连接的第二电子装置502、503和504，并向所述另一选择的第二电子装置输出所述另一选择的应用的屏幕。
[0089]然后，第一电子装置501可向第二电子装置502、503和504发送正在第一电子装置501的显示模块中显示的至少一个屏幕505、506、507和508的第一旋转信息。此处，第一旋转信息可以是关于至少一个屏幕505、506、507和508的基于为各个第二电子装置502、503和504设置的分辨率的屏幕数据信息。
[0090]此后，第一电子装置501可接收用于执行为第一电子装置501设置的多个应用之中的至少一个应用的指令，并显示屏幕505、506、507和508中的至少一个作为执行应用的结果。与第一电子装置同时地，第二电子装置502、503和504中的每个可显不屏幕505、506、507和508中不同的屏幕。
[0091]例如，如图5A所示，第一电子装置501可在第一电子装置501的显示模块中显示第一屏幕505、第二屏幕506、第三屏幕507和第四屏幕508。此外，显不在第一电子装置501的显示模块中的第二屏幕506可被同时(例如，实时)显示在第二电子装置502中。进一步地，显示在第一电子装置501的显不模块中的第三屏幕507也可被实时显不在第二电子装置503中。又进一步地，显示在第一电子装置501的显示模块中的第四屏幕508也可被实时显示在第二电子装置504中。
[0092]此后，基于从第一电子装置501接收的第一旋转信息，第二电子装置502、503和504中的任意一个可向第一电子装置501发送改变显示在所述装置上的屏幕的当前模式的请求。
[0093]例如，第二电子装置504可进入改变当前正在被显示在第二电子装置504的显示模块中的第四屏幕508的显示角度的菜单，并接收用于使当前正在被显示在第二电子装置504的显示模块中的第四屏幕508向左旋转90度(S卩，向右旋转270度)的指令的输入。
[0094]此后，第一电子装置501可响应于屏幕改变请求来改变屏幕的分辨率。更具体地，为了以请求的方向输出屏幕508，第一电子装置501可能还需要改变屏幕508被输出(例如，输出到第二电子装置或第一电子装置的显示单元上)的分辨率。
[0095]然后，第一电子装置501可响应于接收的屏幕改变请求向第二电子装置502、503和504发送第二旋转信息。第二旋转信息可以是关于请求的屏幕的屏幕数据信息，并且，可包括当屏幕508的朝向根据用于旋转屏幕508的指令变化时的屏幕508的新分辨率的指示。此后，如图5B所示，第二电子装置504可基于从第一电子装置501接收的第二旋转信息以新的朝向显示第四屏幕508。
[0096]图6是根据本公开的各方面的处理的示例的流程图。如图6所示，第一电子装置可识别其与至少一个第二电子装置一起被分别连接到网络(步骤601)。在下文中，对第一电子装置和第二电子装置相互连接到网络的两个示例进行详细描述。为了方便描述，第一电子装置被命名为源端装置，第二电子装置被命名为宿端装置。以下将描述第一示例。
[0097]首先，源端装置和宿端装置可被连接到网络。在某些实施中，网络可包括基于IP的网络，诸如，LAN、WiFi等。此后，源端装置可执行装置发现处理。例如，装置发现处理可包括识别对源端装置发送的“发现包”进行响应的终端。
[0098]此后，源端装置和宿端装置可执行会话协商处理。此处，会话协商处理可以是源端装置和宿端装置相互交换并协商支持的显示分辨率、编解码器和控制装置信息中的至少一个的处理。接着，源端装置和宿端装置可指定分辨率和编解码器中的至少一个以用于源端装置和宿端装置之间的通信会话(例如，屏幕镜像会话)。
[0099]此后，源端装置可通过设置的编解码器来执行编码屏幕/声音数据的屏幕数据传输处理，并把编码编码结果发送到宿端装置。接着，源端装置和宿端装置可执行释放会话连接的会话断开处理和释放网络连接的网络断开处理。
[0100]在下文中，对源端装置和宿端装置使用WiFi直连相互连接的第二示例进行描述。首先，源端装置可执行装置发现处理。更具体地，源端装置可在WiFi直连装置的扫描响应消息的信息中搜索包括“显示信息会话连接信息”的装置，然后检测“装置类型”、“装置状态”和会话连接信息(即，传输控制协议(TCP)端口信息)。源端装置和宿端装置可执行通过WiFi直连网络连接的网络连接处理。
[0101]此后，源端装置和宿端装置可执行相互交换并协商支持的显示分辨率、编解码器和控制装置信息的会话协商处理。接着，源端装置和宿端装置可执行指定将用于会话的分辨率和编解码器并执行会话连接的会话连接处理。此后，源端装置可通过设置的编解码器来执行对屏幕/声音数据进行编码的屏幕数据传输处理，并把编码结果发送到宿端装置。此后，源端装置和宿端装置可执行释放会话连接的会话断开处理和释放网络连接的网络断开处理。
[0102]接着，第一电子装置可把选择的分辨率信息发送到每个第二电子装置(步骤602)。更具体地，第一电子装置可从第二电子装置接收与第二电子装置可兼容的分辨率信息，并选择接收的分辨率信息之中任意一个分辨率，并把选择的分辨率信息发送到第二电子装置，使得选择的分辨率可被设置用于第二电子装置。
[0103]此后，第一电子装置可创建用于宿端输出的显示数据结构。显示数据结构可包括将被输出到第二电子装置的屏幕的一个或更多个特征的指示。例如，显示数据结构可包括分辨率、颜色深度、朝向(例如，横向或纵向)中的一个或多个。逻辑数据结构可包括任意合适类型的数据结构和/或当与特定应用(和/或在第一装置的屏幕上显示的信息)相应的信息被编码时以某种方式使用的变量。此后，第一电子装置可固定逻辑显示器的捕获屏幕的朝向。更具体地，第一电子装置可将逻辑显示器的捕获屏幕固定为横向或纵向。
[0104]接着，第一电子装置可向第二电子装置发送正在第一电子装置中显示的至少一个屏幕的第一屏幕模式信息(步骤603)。此处，第一屏幕模式信息可以是关于所述至少一个屏幕的基于为第二电子装置设置的分辨率的屏幕数据信息和显示角度信息。
[0105]此后，第一电子装置可从第二电子装置接收改变第一屏幕模式信息的请求(步骤604)。例如，第一电子装置可从第二电子装置接收使正在第二电子装置的显示模块中显示的第一屏幕旋转180度的请求。接着，第一电子装置可改变逻辑显示数据结构以包括请求的屏幕朝向的指示。此外，在某些实施中，第一电子装置还可修改显示数据结构，以包括与新的屏幕朝向相应的新的分辨率和颜色深度值的指示。
[0106]接着，第一电子装置可把第二屏幕模式信息发送到第二电子装置(步骤605)。此处，第二屏幕模式信息可以是关于请求的屏幕的基于这样的分辨率的屏幕数据信息以及包括在第一屏幕模式信息中的相同的显示角度信息:所述分辨率将根据已经从第二电子装置接收了屏幕改变请求的屏幕的显示角度变化而改变。更具体地，如果包括在第一屏幕模式信息中的显示角度信息沿第一电子装置的屏幕的横向设置，则第一电子装置可把横向屏幕的显示角度信息发送到第二电子装置。同样地，如果包括在第一屏幕模式信息中的显示角度信息沿第一电子装置的屏幕的纵向设置，则第一电子装置可把纵向屏幕的显示角度信息发送到第二电子装置。此外，屏幕模式信息可包括以下项中的至少一个:(I)第一电子装置基于请求的屏幕朝向选择的任意新屏幕分辨率值的指示；(2)第一电子装置基于请求的屏幕朝向选择的任意新颜色深度值的指示；(3)以及由于改变屏幕朝向的请求而被改变的逻辑屏幕数据结构中的任意其它值。
[0107]此后，第一电子装置可调节屏幕的布局(步骤606)。例如，如果第一电子装置从第二电子装置接收使正在第二电子装置的显示模块中显示的第一屏幕旋转180度的请求，则第一电子装置可使正在第一电子装置的显示模块中显示的第一屏幕旋转180度。
[0108]图7是根据本公开的各方面的处理的示例的流程图。如图7所示，第二电子装置可检测其被连接到第一电子装置(步骤701)。例如，第一电子装置和第二电子装置可被通过基于IP的网络(诸如，LAN、WiFi等)彼此连接。
[0109]接着，第二电子装置可从第一电子装置接收正在第一电子装置中显示的至少一个屏幕的第一屏幕模式信息(步骤702)。更具体地，第二电子装置可把与第二电子装置可兼容的一组不同的分辨率值一组不同的分辨率值发送到第一电子装置，接收回已由第一电子装置选择的一组分辨率值中的特定的分辨率值的标识，并把其显示单元(例如，触屏)的分辨率设置为从第一电子装置接收的值。尽管在该示例中屏幕模式信息包括由第一电子装置选择的可兼容分辨率的指示，但是屏幕模式信息可包括任意适合类型的屏幕数据信息和显示角度信息。
[0110]此后，第二电子装置可实时显示至少一个屏幕。在某些实施中，至少一个屏幕可被同时显示在第一电子装置和第二电子装置上(步骤703)。例如，如果第一屏幕和第二屏幕被显示在第一电子装置中，第二电子装置可在第二电子装置的显示模块中实时显示第一屏幕和第二屏幕中的至少一个。
[0111]接着，第二电子装置可向第一电子装置发送改变第一屏幕模式信息的请求(步骤704)。例如，第二电子装置可向第一电子装置发送用于使正在第二电子装置的显示模块中显示的第二屏幕向左旋转90度(S卩，向右旋转270度)的屏幕改变请求。
[0112]此后，第二电子装置可基于从第一电子装置接收的第二屏幕模式信息来改变至少一个屏幕。在前述示例中，第二电子装置可使第二屏幕向左旋转90度(S卩，向右旋转270度)并改变第二屏幕的显示角度。
[0113]图8是根据本公开的各方面的处理的示例的序列图。如图8所示，根据本公开的第一电子装置和第二电子装置可彼此连接(步骤801)。例如，第一电子装置和第二电子装置可通过基于IP的网络(诸如，USB、LAN、WiFi等)彼此连接。
[0114]此后，第一电子装置和第二电子装置可设置显示会话(步骤802)。更具体地，第二电子装置可把与第二电子装置可兼容的一组分辨率值发送到第一电子装置，并从第一电子装置接收由第一电子装置从所述组选择的分辨率值的标识。
[0115]接着，第一电子装置可创建用于宿端输出的显示数据结构。此后，第一电子装置可初始化用于宿端输出的逻辑显示器配置(步骤804)。例如，第一电子装置可设置取决于第一电子装置的屏幕的当前朝向的分辨率信息，颜色深度信息等。
[0116]接着，第一电子装置可固定逻辑显示器的捕获屏幕的朝向(步骤805)。更具体地，第一电子装置可将逻辑显示器的捕获屏幕固定为横向或纵向。
[0117]此后，第一电子装置可向第二电子装置发送正在第一电子装置中显示的至少一个屏幕的第一屏幕模式信息(步骤806)。例如，第一屏幕模式信息可以是关于所述至少一个屏幕的基于为第二电子装置设置的分辨率的屏幕数据信息和显示角度(例如，朝向)信息。
[0118]接着，第一电子装置可显示至少一个屏幕(步骤807)。例如，第一电子装置可接收对安装在第一电子装置中的多个应用中的任意一个的选择，并显示包括选择的应用的屏
[0119]此后，第二电子装置可显示至少一个屏幕(步骤808)。更具体地，当前正在第一电子装置的显示模块中显示的至少一个屏幕可被同时显示在第一电子装置的显示模块中。
[0120]接着，第二电子装置可向第一电子装置发送改变第一屏幕模式信息的请求(步骤809)。例如，第二电子装置可向第一电子装置发送用于使正在第二电子装置的显示模块中显示的第二屏幕向左旋转90度(S卩，向右旋转270度)的屏幕改变请求。
[0121]接着，第一电子装置可基于屏幕改变请求来改变逻辑显示数据结构(步骤810)。即，第一电子装置可基于请求的朝向来改变分辨率信息、颜色深度信息等。
[0122]此后，第一电子装置可向第二电子装置发送取决于将响应于接收的屏幕改变请求而被改变的屏幕的第二旋转信息(步骤811)。此处，第二旋转信息可以是关于请求的屏幕的基于这样的分辨率的屏幕数据信息和显示角度信息:所述分辨率将根据已经从第二电子装置接收了屏幕改变请求的屏幕的显示角度变化而改变。
[0123]接着，第一电子装置可改变请求的屏幕(步骤812)。例如，如果第一电子装置从第二电子装置接收使正在第二电子装置的显示模块显示的第一屏幕旋转180度的请求，则第一电子装置可使正在第一电子装置的显示模块中显示的第一屏幕旋转180度。
[0124]接着，第二电子装置可基于第二屏幕模式信息来改变屏幕(步骤813)。例如，如果第二电子装置向第一电子装置发送使正在第二电子装置的显示模块中显示的第一屏幕改变180度的请求，则第二电子装置可使第一屏幕旋转180度，并改变第一屏幕的朝向。
[0125]图9是根据本公开的各方面的处理的流程图。如图9所示，第一电子装置能把正在第一电子装置中显示的至少一个屏幕的第一屏幕模式信息发送到第二电子装置(步骤901)。此处，第一屏幕模式信息可以是与所述至少一个屏幕相应的屏幕数据信息和朝向信息。
[0126]此后，第一电子装置可从第二电子装置接收用于改变第一屏幕模式信息的请求(步骤902)。例如，第一电子装置可从第二电子装置接收使正在第二电子装置的显示模块中显示的第一屏幕旋转180度的请求。
[0127]接着，第一电子装置可把改变第一屏幕模式的第二屏幕模式发送到第二电子装置(步骤903)。例如，第二屏幕模式信息可以是屏幕数据信息和朝向信息。
[0128]图10是根据公开的各方面的处理的示例的流程图。如图10所示，第二电子装置可从第一电子装置接收正在第一电子装置中显示的至少一个屏幕的第一屏幕模式信息(步骤1001)。例如，第一屏幕模式信息可以是关于所述至少一个屏幕的基于为第二电子装置设置的分辨率的屏幕数据信息和显示角度信息(例如，朝向)。
[0129]接着，第二电子装置可向第一电子装置发送用于改变接收的第一屏幕模式信息的请求(步骤1002)。例如，第二电子装置可向第一电子装置发送用于使正在第二电子装置的显示模块中显示的第二屏幕向左旋转90度(S卩，向右旋转270度)的屏幕改变请求。
[0130]此后，第二电子装置可基于从第一电子装置接收的第二屏幕模式信息来改变任意一个屏幕(步骤1003) ο例如，第二电子装置可使第二屏幕向左旋转90度(S卩，向右旋转27O度)并改变第二屏幕的显示角度。
[0131]图1lA是根据本公开的各方面的第一电子装置的示例的框图。如所示，在此示例中，第一电子装置被布置为执行多个应用1101。对于每个应用，第一电子装置在存储器中储存不同的显示数据结构1102。如上所述，每个显示数据结构可包括规定与数据结构的各个应用相应的内容(例如，由应用产生的内容)如何被编码的一个或更多个参数。例如，显示数据结构中的给定的一个显示数据结构可指定任意合适的屏幕特征，诸如，屏幕角度(例如，屏幕朝向)、颜色深度、分辨率(例如，像素密度)、音频编解码器、视频编解码器等。在某些实施中，显示数据结构中的每个显示数据结构可与不同的第二装置(例如，宿端装置)相关联。
[0132]在操作中，第一电子装置可捕获与应用1101中的给定的一个应用相应的数据。接着，第一电子装置可基于包括在应用的相应的逻辑屏幕数据结构中的信息来编码捕获的数据以产生编码的数据流。最后，第一电子装置可把编码的数据流发送到与用于编码数据流的显示数据结构相关联的第二装置(例如，宿端装置)。如在整个公开中所使用，术语“数据流”可指被馈送到给定的第二装置的包的任意集合。在某些实施中，发送的数据流可包括能用于屏幕共享的任意合适类型的数据。例如，在某些实施中，数据流可对给定的应用的图形用户界面的图像和/或在用户界面内显示的信息进行编码。
[0133]尽管在本示例中，每个显示数据结构1102仅被用于对与应用1101中的给定的一个应用相应的数据(例如，由给定的应用产生的数据)进行编码，在其他实施中，任何显示数据结构可被用于对当前在第一装置的显示屏上显示的整个内容进行编码。本内容可被容易地理解，可包括与多个应用和/或可能被显示在第一电子装置上的任意其他类型的数据相应的数据。
[0134]图1lB是根据本公开的各方面的第一电子装置的示图。如所示，第一电子装置可包括模块1103-1108。根据本公开的各方面，模块1103-1108可使用一个或更多个处理器被实施。
[0135]首先，逻辑显示器管理器1103管理宿端装置的逻辑显示器的信息，S卩，宽度、高度、刷新速度(例如，每秒帧(FPS))和颜色深度(dpi)。
[0136]逻辑显示会话管理器1104执行与宿端装置的显示会话的管理(例如，连接、断开等)O
[0137]屏幕组成器1105组成将在宿端装置的逻辑显示器上显示的屏幕。
[0138]屏幕/音频数据捕获模块1106捕获或读取将在宿端装置的逻辑显示器上显示的屏蒂。
[0139]屏幕/音频数据编码模块1107对将在宿端装置的逻辑显示器上显示的屏幕进行编码。
[0140]屏幕/音频数据传输模块1108把编码的数据发送到宿端装置。
[0141]图12是根据本公开的各方面的第二电子装置的示图。
[0142]用户体验(UX)界面1201包括用于图像绘制和从源端装置接收的屏幕旋转的用户界面。
[0143]逻辑显示管理器1202管理与源端装置连接的宿端装置的逻辑显示器的信息，SP，宽度、高度、刷新速度(例如，FPS)和颜色深度(dpi)。
[0144]逻辑显示会话管理器1203执行与源端装置连接的宿端装置的逻辑显示会话的管理(即，连接、断开等)。
[0145]屏幕/音频数据呈现模块1204把屏幕数据渲染为宿端装置的屏幕显示区域。
[0146]屏幕/音频数据解码模块1205对接收的数据进行解码。
[0147]屏幕/音频数据接收模块1206接收数据。
[0148]图13是根据本公开的各方面的用于处理并组成第一电子装置与多个第二电子装置连接的状态下的应用程序的屏幕的处理的示例的流程图。
[0149]首先，第一电子装置可选择包括正在执行的应用程序的任意一个应用程序(步骤1301)。更具体地，第一电子装置可从用户接收对安装的应用程序中的任意一个应用程序的选择，或可接收对已经在执行的应用程序中的任意一个应用程序的选择。
[0150]此后，第一电子装置可识别连接到选择的应用程序的外部显示装置(步骤1302)。更具体地，第一电子装置可识别多个第二电子装置之中的连接到选择的应用程序的第二电子装置。
[0151]接着，第一电子装置可选择识别的外部显示装置中的一个或更多个(步骤1303)。即，第一电子装置可选择识别的多个第二电子装置之中的一个或更多个第二电子装置。
[0152]此后，第一电子装置的屏幕组成器可从应用程序中额外地组成将被显示的屏幕(步骤1305)。即，第一电子装置的屏幕组成器可从应用程序中额外地组成除目前正被显示的屏幕之外的将被显示的屏幕。
[0153]接着，第一电子装置可捕获并编码组成的屏幕数据，并把编码结果发送到选择的外部显示装置(步骤1304)。即，第一电子装置可捕获并编码关于额外组成的屏幕的屏幕数据，并把编码结果发送到由第一电子装置选择的一个或更多个第二电子装置。
[0154]根据本公开的各方面，在至少一个第一电子装置和第二电子装置的连接过程中，通过有线/无线网络从第一电子装置或第二电子装置搜索显示装置，第一和第二电子装置通过显示会话协商处理来交换将显示到第二电子装置的分辨率和音频/视频编解码器信息，通过协商的分辨率和编解码器来设置显示会话，并且，创建将被输出到第二电子装置的包括屏幕缓冲器的外部显示信息(即，分辨率、DPI和角度)，发送与第二电子装置相应的屏幕的屏幕模式信息(即，横向/纵向或角度)，基于协商的分辨率捕获将显示到第二电子装置的适应于传输屏幕模式(例如，横向固定)的屏幕并进行实时发送。
[0155]在本公开的旋转处理中的与至少一个第二电子装置连接的第一电子装置的操作方法中，所述操作方法包括以下处理:向第二电子装置发送显示有至少一个屏幕的第一电子装置的屏幕模式(横向/纵向或角度)信息，从第二电子装置接收所述至少一个屏幕之中的任意一个屏幕的模式改变的请求，改变与第二电子装置相应的外部显示器的屏幕模式，并向应用程序通知屏幕模式改变，识别在与第二电子装置相应的逻辑外部显示器中绘制图像的应用程序中的屏幕模式改变的通知，并改变图像绘制方案(即，横向模式或纵向模式方案)，向第二电子装置发送依赖于将响应于接收的屏幕改变请求而被改变的屏幕的第二旋转信息，并捕获将适应于基于协商的分辨率的传输屏幕模式(例如，横向固定)显示到第二电子装置的屏幕，并发送捕获的屏幕。
[0156]根据公开的各方面，本公开包括以下处理:在第一电子装置额一个或更多个(多个)第二电子装置已经连接的情况下，由用户选择第一电子装置中的应用程序并执行应用程序，在应用程序中识别连接的外部显示装置，在应用程序中选择用于输出的外部显示装置，额外地包括并由用于外部显示的屏幕组成器组成相应的应用的屏幕，适应于基于协商的分辨率的传输屏幕模式(例如，横向固定)捕获组成的屏幕数据，对屏幕数据进行编码，并发送编码结果。
[0157]根据公开的各方面，本公开包括以下处理:在第一电子装置和一个或更多个(多个)第二电子装置已经连接并且多个应用程序被执行的状态下，由用户选择正在第一电子装置中执行的应用程序，识别连接的外部显示装置，选择应用程序在其中执行的外部显示器，额外地包括并由用于外部显示的屏幕组成器组成相应的应用的屏幕，适应于基于协商的分辨率的传输屏幕模式(例如，横向固定)捕获组成的屏幕数据，对屏幕数据进行编码，并发送编码结果。
[0158]根据本公开的各个方面，与至少一个第二电子装置连接的第一电子装置的操作方法，所述方法包括以下处理:向第二电子装置发送被显示在第一电子装置中的至少一个屏幕的第一屏幕模式信息，从第二电子装置接收改变发送的第一屏幕模式信息的请求，并向第二电子装置发送改变第一屏幕模式的第二屏幕模式。还包括以下处理:通过会话协商与第二电子装置交换将显示到第二电子装置的分辨率信息、音频编解码器信息和视频编解码器信息之中的至少一种信息，从协商的分辨率信息、音频编解码器信息和视频编解码器信息设置显示会话，创建将输出到第二电子装置的显示信息，并把将显示到第二电子装置的屏幕模式固定为横向和纵向之中的任意一个朝向。其中，显示信息是分辨率信息、每英寸点数(DPI)信息和角度信息之中的至少一种信息。其中，第一屏幕模式信息是关于所述至少一个屏幕的基于为第二电子装置设置的分辨率的屏幕数据信息和显示角度信息。其中，第二屏幕模式信息是基于将根据第一屏幕模式信息的改变而被改变的分辨率的屏幕数据信息和显示角度信息。还包括实时发送依赖于第二屏幕模式的视频数据和音频数据的处理。还包括以下处理:连接到至少一个第二电子装置之中的选择的任意一个应用程序的第二电子装置，选择识别的第二电子装置之中的一个或更多个第二电子装置，额外组成将由应用程序显示的屏幕，并捕获和编码组成的屏幕数据并向选择的第二电子装置发送编码结果。
[0159]根据公开的各个方面，与第一电子装置连接的至少一个第二电子装置的操作方法，所述方法包括以下处理:从第一电子装置接收正在第一电子装置中显示的至少一个屏幕的第一屏幕模式信息，向第一电子装置发送改变接收的第一屏幕模式信息的请求，并基于从第一电子装置接收的第二屏幕模式信息来改变正在第二电子装置中显示的任意一个屏幕。还包括以下处理:通过会话协商与第一电子装置交换将被显示到第一电子装置的分辨率信息、音频编解码器信息和视频编解码器信息之中的至少一种信息，并从协商的分辨率信息、音频编解码器信息和视频编解码器信息设置显示会话。其中，第一屏幕模式信息是关于所述至少一个屏幕的基于为第二电子装置设置的分辨率的屏幕数据信息和显示角度信息。其中，第二屏幕模式信息是基于将根据第一屏幕模式信息的改变而被改变的分辨率的屏幕数据信息和显示角度信息。还包括以下处理:从第一电子装置接收关于正在第一电子装置中显示的至少一个屏幕的数据，并基于接收的数据实时显示至少一个屏幕。还包括实时接收依赖于第二屏幕模式的视频数据和音频数据的处理。
[0160]根据公开的各个方面，与至少一个第二电子装置连接的第一电子装置，所述装置包括:处理器，被配置为控制一般操作;通信模块，被配置为与第二电子装置发送/接收处理器中控制的数据，其中，通信模块向第二电子装置发送正在第一电子装置中显示的至少一个屏幕的第一屏幕模式信息，从第二电子装置接收改变发送的第一屏幕模式信息的请求，并向第二电子装置发送改变第一屏幕模式的第二屏幕模式。其中，通信模块通过会话协商与第二电子装置交换将显示到第二电子装置的分辨率信息、音频编解码器信息和视频编解码器信息之中的至少一种信息，以及，其中，处理器从协商的分辨率信息、音频编解码器信息和视频编解码器信息设置显示会话，创建将输出到第二电子装置的显示信息，并把将显示到第二电子装置的屏幕模式固定为横向和纵向之中的任意一个朝向。其中，显示信息是分辨率信息、每英寸点数(DPI)信息和角度信息之中的至少一种信息。其中，第一屏幕模式信息是关于所述至少一个屏幕的基于为第二电子装置设置的分辨率的屏幕数据信息和显示角度信息。其中，第二屏幕模式信息是基于将根据第一屏幕模式信息的改变而被改变的分辨率的屏幕数据信息和显示角度信息。其中，通信模块实时发送依赖于第二屏幕模式的视频数据和音频数据。其中，处理器识别至少一个第二电子装置之中的连接到选择的任意一个应用程序的第二电子装置，并且，从识别出的第二电子装置之中选择一个或更多个第二电子装置，其中，通信模块捕获并编码组成的屏幕数据，并把编码结果发送到选择的第二电子装置，还包括:屏幕组成器，被配置为额外地组成将由应用程序显示的屏幕。
[0161]根据公开的各个方面，与第一电子装置连接的至少一个第二电子装置，所述装置包括:通信模块，被配置为从第一电子装置接收正在第一电子装置中显示的至少一个屏幕的第一屏幕模式信息，向第一电子装置发送改变接收的第一屏幕模式信息的请求;处理器，被配置为基于从第一电子装置接收的第二屏幕模式信息来改变正在第二电子装置中显示的任意一个屏幕。其中，通信模块通过会话协商与第一电子装置交换将被显示到第一电子装置的分辨率信息、音频编解码器信息和视频编解码器信息之中的至少一种信息，并且，其中，处理器从协商的分辨率信息、音频编解码器信息和视频编解码器信息设置显示会话。其中，第一屏幕模式信息是关于所述至少一个屏幕的基于为第二电子装置设置的分辨率的屏幕数据信息和显示角度信息。其中，第二屏幕模式信息是基于将根据第一屏幕模式信息的改变而被改变的分辨率的屏幕数据信息和显示角度信息。其中，通信模块从第一电子装置接收关于正在第一电子装置中显示的至少一个屏幕的数据，还包括:显示模块，被配置为基于接收的数据实时显示至少一个屏幕。其中，通信模块实时接收依赖于第二屏幕模式的视频数据和音频数据。
[0162]根据公开的各方面，一种包括处理器的电子装置，所述处理器被配置为:识别一个或多个宿端装置;对于每个宿端装置，产生各自的逻辑显示数据结构;对于每个宿端装置，产生各自的数据流，所述相应的数据流通过对由一个或更多个应用基于宿端装置的各个逻辑显示数据结构而产生的内容进行编码来产生;并把所述宿端装置的各个编码的数据流发送到每个宿端装置。还包括以下处理:检测使每个宿端装置与多个应用中的不同的一个应用相关联的输入，其中，基于与宿端装置相关联的应用产生每个宿端装置的各个数据流。还包括以下处理:从宿端装置中的第一宿端装置接收屏幕旋转请求，并修改宿端装置中的第一宿端装置的各个逻辑显示数据结构，以包括屏幕旋转请求指示的屏幕朝向。其中，基于从宿端装置接收的屏幕属性产生每个宿端装置的各个逻辑显示数据结构。
[0163]根据公开的各方面，一种方法包括:通过源端装置识别第一宿端装置;对与在源端装置上运行的一个或更多个应用相应的内容的至少一部分进行编码以产生第一数据流，第一数据流基于第一逻辑显示数据结构而产生;并且，把第一数据流发送到第一宿端装置。其中，基于从第一宿端装置接收的屏幕特征的指示产生第一逻辑显示数据结构。其中，屏幕特征包括第一装置支持的屏幕分辨率、屏幕朝上、每英寸点数(DPI)、视频编解码器中的至少一个。还包括:从第一宿端装置接收把数据流的第一屏幕特征改变为期望的第一值的请求，修改逻辑显示数据以包括第二屏幕特征的第二值的指示，并把第二值发送到第一宿端装置，其中，修改逻辑显示数据结构导致数据流根据第二屏幕特征的第二值被编码。还包括:检测使第一宿端装置与由源端装置执行的第一应用相关联的输入，其中，通过仅编码与第一应用相应的内容来产生第一数据流。其中，根据第一屏幕分辨率值编码第一数据流，所述方法还包括:从第一宿端装置接收第一屏幕旋转请求，第一屏幕旋转请求识别期望的屏幕朝向，基于所需的屏幕朝向识别第二屏幕分辨率，把第二分辨率的指示发送到第一宿端装置，并修改第一逻辑显示数据结构以识别所需的屏幕朝向和第二屏幕分辨率中的至少一个。还包括:识别第二宿端装置，产生第二逻辑显示数据结构，编码至少一些内容以产生第二数据流，其中，第二数据流基于第二逻辑显示数据结构而产生，并把第二数据流发送到第二宿端装置。还包括:(I)从第一宿端装置接收第一显示特征的第一指示，并(2)从第二宿端装置接收第二显示特征的第二指示；(I)检测使第一宿端装置与由源端装置执行的第一应用相关联的第一输入，以及(2)检测使第二宿端装置与由源端装置执行的第二应用相关联的第二输入，其中，第一逻辑显示数据结构基于第一指示来产生，第二逻辑显示数据结构基于第二逻辑显示数据结构来产生，其中，第一数据流仅通过对与第一应用相应的内容进行编码来产生，第二数据流仅通过对与第二应用相应的内容进行编码来产生。
[0164]根据本公开的各方面，一种包括处理器的电子装置被配置为:识别第一宿端装置，对与一个或更多个应用相应的内容的至少一部分进行编码以产生第一数据流，第一数据流基于第一逻辑显示数据结构而产生，并且，把第一数据流发送到第一宿端装置。其中，处理器进一步被配置为基于从第一宿端装置接收的屏幕特征的指示来产生第一逻辑显示数据结构。其中，屏幕特征包括第一装置支持的屏幕分辨率、屏幕朝向、每英寸点数(DPI)和视频编解码器中的至少一个。其中，处理器还被配置为:从第一宿端装置接收把数据流的第一屏幕特征改变为期望的第一值的请求，修改逻辑显示数据结构以包括第二屏幕特征的第二值的指示，并把第二值发送到第一宿端装置，其中，修改逻辑显示数据结构导致数据流根据第二屏幕特征的第二值被编码。其中，处理器进一步被配置为:检测使第一宿端装置与第一应用相关联的输入，其中，仅通过对与第一应用相应的内容进行编码来产生第一数据流。其中，第一数据流根据第一屏幕分辨率值被编码，处理器进一步被配置为:从第一宿端装置接收第一屏幕旋转请求，第一屏幕旋转请求识别期望的屏幕朝向，基于期望的屏幕朝向识别第二屏幕分辨率，把第二分辨率的指示发送到第一宿端装置，并修改第一逻辑显示数据结构以识别期望的屏幕朝向和第二屏幕分辨率中的至少一个。其中，处理器进一步被配置为:识别第二宿端装置，产生第二逻辑显示数据结构，对至少一些内容进行编码以产生第二数据流，第二数据流基于第二逻辑显示数据结构而产生，并把第二数据流发送到第二宿端装置。还包括:(I)从第一宿端装置接收第一显示特征的第一指示，并(2)从第二宿端装置接收第二显示特征的第二指示；(I)检测使第一宿端装置与由处理器执行的第一应用相关联的第一输入，以及(2)检测使第二宿端装置与由处理器执行的第二应用相关联的第二输入，其中，第一逻辑显示数据结构基于第一指示来产生，第二逻辑显示数据结构基于第二逻辑显示数据结构来产生，其中，第一数据流仅通过对与第一应用相应的内容进行编码来产生，第二数据流仅通过对与第二应用相应的内容进行编码来产生。
[0165]图1-13仅作为示例提供。针对这些附图讨论的步骤中的至少一些可被同时执行，以不同顺序执行，和/或一起被省略。将理解:此处描述的示例的提供以及表述为“诸如”、“例如”、“包括”、“在某些方面”、“在某些实施中”等语句不应被解释为把保护的主体限制为特定示例。
[0166]本公开的上述方面可被实施为硬件、固件或通过执行软件或可储存在诸如CD-ROM，数字多功能盘(DVD)，磁带，RAM，软盘，硬盘，或磁光盘的记录介质中的计算机代码或从网络下载的最初存储在远程记录介质或非短暂性计算机可读介质上并且将被储存在本地记录介质上的计算机代码来实现，使得此处描述的方法可使用通用计算机通过储存在记录介质上的所述软件、或专用处理器或在可编程或专用硬件(诸如，ASIC或FPGA)中被实现。在本领域中应理解:计算机、处理器、微处理器控制器或可编程硬件包括可储存或接收软件或计算机代码(其中，当所述计算机代码被计算机访问并执行时，处理器或硬件实施此处描述的处理方法)的存储器部件(例如，RAM、R0M、闪存等)。此外，将识别:当通用计算机访问用于实施此处示出的处理的代码时，代码的执行把通用计算机转变成用于执行此处所示的处理的专用计算机。附图中提供的任意功能和步骤可被实施为硬件、软件或二者的结合，并可整体地或部分地在计算机的编程指令内被执行。此处没有权利要求要素是在35U.S.C.112的第六段的规定下解释的，除非所述元件使用短语“装置，用于”明确陈述。
[0167]尽管以参照本此处提供的示例具体显示并描述了本公开，本领域技术人员将理解:在不脱离由所附权利要求限定的本公开的精神和范围的情况下，可做出在形式和细节方面的各种改变。
[0168]尽管以参照本公开的某些优选实施例显示并描述了本公开，本领域技术人员将理解:在不脱离由所附权利要求限定的本发明的精神和范围的情况下，可做出在形式和细节方面的各种改变。
【主权项】
1.一种电子装置的方法，包括: 由电子装置识别第一宿端装置； 从第一宿端装置接收用于改变第一显示数据结构的请求； 基于接收的用于改变第一显示数据结构的请求来修改第一显示数据结构；以及 把修改的第一显示数据结构发送到第一宿端装置。2.如权利要求1所述的方法，还包括: 对与在电子装置上运行的一个或更多个应用相应的内容的至少一部分进行编码以产生第一数据流，其中，第一数据流基于第一显示数据结构来产生；以及把第一数据流发送到第一宿端装置。3.如权利要求1所述的方法，其中，修改的第一显示数据结构包括屏幕特征的指示。4.如权利要求3所述的方法，其中，屏幕特征包括由第一宿端装置支持的屏幕分辨率、屏幕朝向、每英寸点数(DPI)、视频编解码器中的至少一个。5.如权利要求2所述的方法，还包括:检测使第一宿端装置与由电子装置执行的第一应用相关联的输入，其中，第一数据流通过仅对与第一应用相应的内容进行编码来产生。6.如权利要求2所述的方法，其中，第一数据流根据包括第一屏幕分辨率值的修改的第一显示数据结构被编码，所述方法还包括: 从第一宿端装置接收第一屏幕旋转请求，其中，第一屏幕旋转请求识别期望的屏幕朝向； 基于期望的屏幕朝向来识别第二屏幕分辨率； 把第二分辨率的指示发送到第一宿端装置；以及 修改第一显示数据结构以识别期望的屏幕朝向和第二屏幕分辨率中的至少一个。7.如权利要求2所述的方法，还包括: 识别第二宿端装置； 从第二宿端装置接收用于改变第二显示数据结构的请求； 基于接收的用于改变第二显示数据结构的请求来修改第二显示数据结构； 把修改的第二显示数据结构发送到第二宿端装置； 对所述内容中的至少一些内容进行编码以产生第二数据流，其中，第二数据流基于第二显示数据结构来产生；以及 把第二数据流发送到第二宿端装置。8.如权利要求7所述的方法，还包括: (I)从用于改变第一显示数据结构的请求获取第一显示特征的第一指示，并(2)从用于改变第二显示数据结构的请求获取第二显示特征的第二指示； (I)检测使第一宿端装置与由电子装置执行的第一应用相关联的第一输入，并(2)检测使第二宿端装置与由电子装置执行的第二应用相关联的第二输入； 其中，修改的第一显示数据结构基于第一指示来产生，修改的第二显示数据结构基于第二指示来产生；以及 其中，第一数据流通过仅对与第一应用相应的内容进行编码来产生，第二数据流通过仅对与第二应用相应的内容进行编码来产生。9.一种包括处理器的电子装置，所述处理器被配置为: 识别第一宿端装置； 从第一宿端装置接收用于改变第一显示数据结构的请求； 基于接收的用于改变第一显示数据结构的请求来修改第一显示数据结构；以及 把修改的第一显示数据结构发送到第一宿端装置。10.如权利要求9所述的电子装置，其中，所述处理器被进一步配置为: 对与一个或更多个应用相应的内容的至少一部分进行编码以产生第一数据流，其中，第一数据流基于第一显示数据结构来产生；以及把第一数据流发送到第一宿端装置。11.如权利要求10所述的电子装置，其中，屏幕特征包括由第一宿端装置支持的屏幕分辨率、屏幕朝向、每英寸点数(DPI)、视频编解码器中的至少一个。12.如权利要求10所述的电子装置，其中，所述处理器被进一步配置为: 检测使第一宿端装置与由电子装置执行的第一应用相关联的输入，其中，第一数据流通过仅对与第一应用相应的内容进行编码来产生。13.如权利要求10所述的电子装置，其中，所述处理器被进一步配置为: 根据包括第一屏幕分辨率值的修改的第一显示数据结构来对第一数据流进行编码； 从第一宿端装置接收第一屏幕旋转请求，其中，第一屏幕旋转请求识别期望的屏幕朝向； 基于期望的屏幕朝向来识别第二屏幕分辨率； 把第二分辨率的指示发送到第一宿端装置；以及 修改第一显示数据结构以识别期望的屏幕朝向和第二屏幕分辨率中的至少一个。14.如权利要求13中所述的电子装置，其中，处理器被进一步配置为基于在第一宿端装置上检测改变屏幕模式的输入来接收用于改变第一显示数据结构的请求。15.如权利要求10所述的电子装置，其中，所述处理器被进一步配置为: 识别第二宿端装置； 从第二宿端装置接收用于改变第二显示数据结构的请求； 基于接收的用于改变第二显示数据结构的请求来修改第二显示数据结构； 把修改的第二显示数据结构发送到第二宿端装置； 对所述内容中的至少一些内容进行编码以产生第二数据流，其中，第二数据流基于第二显示数据结构来产生；以及 把第二数据流发送到第二宿端装置。
【文档编号】G06F13/38GK105900074SQ201580004051
【公开日】2016年8月24日
【申请日】2015年1月8日
【发明人】金成宽, 金秀贤, 赵东显, 黄大植, 鞠承龙, 金钟圭
【申请人】三星电子株式会社