云计算环境中云节点调度方法和装置与流程

文档序号:11620438阅读:275来源:国知局
云计算环境中云节点调度方法和装置与流程

本发明涉及云计算技术,尤其涉及一种云计算环境中云节点调度方法和装置。



背景技术:

云计算环境能够提供强大的计算能力,但现有的云计算环境不仅成本高昂并且常常能耗较高。现有技术中,对于云节点的调度并未考虑节能需求。因此,如何更好地调度云节点从而提高节能效率是一个值得研究的问题。



技术实现要素:

有鉴于此,本发明的一个实施例解决的问题之一是提高云计算环境中的节能效率。

根据本发明的一个实施例,提供了一种在云计算环境中云节点调度方法,包括:确定应用的资源需求;基于所述资源需求以及节能规则,确定将为所述应用分配的云节点的类型;基于所述云节点的类型,为所述应用分配一个或多个云节点。

可选地,该确定应用的资源需求的步骤包括基于应用属性,确定应用的资源需求。

可选地,应用属性包括:应用的类型;应用的用途。

可选地,云节点的类型包括:基于arm的嵌入式设备;非嵌入式计算机。

可选地,可能规则包括:能耗最低规则;能耗因素及非能耗因素综合规则。

可选地,该确定应用的资源需求的步骤包括确定应用的一个或多个组件;确定所述一个或多个组件中的各个组件的资源需求;该基于所述资源需求以及节能规则,确定将为所述应用分配的云节点的类型的步骤包括:基于 所述一个或多个组件中的各个组件的资源需求以及节能规则,为所述一个或多个组件中的各个组件分别确定将分配的云节点的类型;该基于所述云节点的类型,为所述应用分配一个或多个云节点的步骤包括:基于为所述一个或多个组件中的各个组件分别确定的将分配的云节点的类型,为所述一个或多个组件中的各个组件分别分配一个或多个云节点。

可选地,该云节点调度方法还包括:监测为所述应用所分配的一个或多个云节点的资源使用情况;基于所述资源使用情况以及所述节能规则,为所述应用重新分配一个或多个云节点。

根据本发明的一个实施例,提供了一种在云计算环境中云节点调度装置,包括:需求确定单元,被配置为确定应用的资源需求;类型确定单元,被配置为基于所述资源需求以及节能规则,确定将为所述应用分配的云节点的类型;分配单元,被配置为基于所述云节点的类型,为所述应用分配一个或多个云节点。

可选地,该需求确定单元被配置为:基于应用属性,确定应用的资源需求。

可选地,该需求确定单元被配置为:确定应用的一个或多个组件;确定所述一个或多个组件中的各个组件的资源需求;该类型确定单元被配置为:基于所述一个或多个组件中的各个组件的资源需求以及节能规则,为所述一个或多个组件中的各个组件分别确定将分配的云节点的类型;该分配单元被配置为:基于为所述一个或多个组件中的各个组件分别确定的将分配的云节点的类型,为所述一个或多个组件中的各个组件分别分配一个或多个云节点。

可选地,该云节点调度装置还包括:监测单元,被配置为监测为所述应用所分配的一个或多个云节点的资源使用情况;重分配单元,被配置为基于所述资源使用情况以及所述节能规则,为所述应用重新分配一个或多个云节点。

由于本发明实施例能够确定应用的资源需求,并基于资源需求和节能规则来确定将为该应用分配的云节点的类型,然后将为该应用分配相应的云节点,因此本发明实施例使得云节点的调度符合节能规则,从而提高了云计算环境中的节能效率。

附图说明

本发明的其它特点、特征、优点和益处通过以下结合附图的详细描述将变得更加显而易见。

图1表示本发明一个实施例中涉及的云节点。

图2表示根据本发明一个实施例的云计算环境。

图3表示根据本发明的一个实施例的抽象模型层。

图4是根据本发明的一个实施例的在云计算环境中云节点调度方法的流程图。

图5是根据本发明的另一个实施例的在云计算环境中云节点调度方法的流程图。

图6是根据本发明的一个实施例的在云计算环境中云节点调度装置的框图。

图7是根据本发明的另一个实施例的在云计算环境中云节点调度装置的框图。

图8是根据本发明的一个实施例的云节点调度设备的结构图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整的传达给本领域的技术人员。

首先应当理解,尽管本公开包括关于云计算的详细描述,但其中记载的技术方案的实现却不限于云计算环境,而是能够结合现在已知或以后开发的任何其它类型的计算环境而实现。

云计算是一种服务交付模式,用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源,例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。

特征包括:

按需自助式服务:云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。

广泛的网络接入:计算能力可以通过标准机制在网络上获取,这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理pda)对云的使用。

资源池:提供者的计算资源被归入资源池并通过多租户(multi-tenant)模式服务于多重消费者,其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下,消费者不能控制或甚至并不知晓所提供的资源的确切位置,但可以在较高抽象程度上指定位置(例如国家、州或数据中心),因此具有位置无关性。

迅速弹性:能够迅速、有弹性地(有时是自动地)部署计算能力,以实现快速扩展,并且能迅速释放来快速缩小。在消费者看来,用于部署的可用计算能力往往显得是无限的,并能在任意时候都能获取任意数量的计算能力。

可测量的服务:云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力,自动地控制和优化资源效用。可以监测、控制和报告资源使用情况,为服务提供者和消费者双方提供透明度。

服务模型如下:

软件即服务(saas):向消费者提供的能力是使用提供者在云基础架构上运行的应用。可以通过诸如网络浏览器的瘦客户机接口(例如基于网络的电子邮件)从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外,消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至单个应用能力等的底层云基础架构。

平台即服务(paas):向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用,这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构,但对其部署的应用具有控制权,对应用托管环境配置可能也具有控制权。

基础架构即服务(iaas):向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构,但是对操作系统、存储和其部署的应用具有控制权,对选择的网络组件(例如主机防火墙)可能具 有有限的控制权。

部署模型如下:

私有云:云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。

共同体云:云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。

公共云:云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。

混合云:云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成,这些云依然是独特的实体,但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。

云计算环境是面向服务的,特点集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础架构。

现在参考图1,其中显示了云计算节点的一个例子。图1显示的云节点10仅仅是适合的云节点的一个示例,不应对本发明实施例的功能和使用范围带来任何限制。总之,云节点10能够被用来实现和/或执行以上所述的任何功能。

云节点10具有计算机系统/服务器12,其可与众多其它通用或专用计算系统环境或配置一起操作。众所周知,适于与计算机系统/服务器12一起操作的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任意系统的分布式云计算技术环境,等等。

计算机系统/服务器12可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括执行特定的任务或者实现特定的抽象数据类型的例程、程序、目标程序、组件、逻辑、数据结构等。计算机系统/服务器12可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

如图1所示,云节点10中的计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(isa)总线,微通道体系结构(mac)总线,增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。

计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是能够被计算机系统/服务器12访问的任意可获得的介质,包括易失性和非易失性介质,可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(ram)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图1未显示,通常称为“硬盘驱动器”)。尽管图1中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信,和/或与使得该计算机系统/服务器12能与 一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且,计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白,尽管图中未示出,其它硬件和/或软件模块可以与计算机系统/服务器12一起操作,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

现在参考图2,其中显示了示例性的云计算环境50。如图所示,云计算环境50包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云节点10,本地计算设备例如可以是个人数字助理(pda)或移动电话54a,台式电脑54b、笔记本电脑54c和/或汽车计算机系统54n。云节点10之间可以相互通信。可以在包括但不限于如上所述的私有云、共同体云、公共云或混合云或者它们的组合的一个或者多个网络中将云节点10进行物理或虚拟分组(图中未显示)。这样,云的消费者无需在本地计算设备上维护资源就能请求云计算环境50提供的基础架构即服务(iaas)、平台即服务(paas)和/或软件即服务(saas)。应当理解,图2显示的各类计算设备54a-n仅仅是示意性的,云节点10以及云计算环境50可以与任意类型网络上和/或网络可寻址连接的任意类型的计算设备(例如使用网络浏览器)通信。

现在参考图3,其中显示了云计算环境50(图2)提供的一组功能抽象层。首先应当理解,图3所示的组件、层以及功能都仅仅是示意性的,本发明的实施例不限于此。如图3所示,提供下列层和对应功能:

硬件和软件层60包括硬件和软件组件。硬件组件的例子包括:主机601;基于risc(精简指令集计算机)体系结构的服务器602;存储设备603;网络和网络组件604。软件组件的例子包括:网络应用服务器软件605;数据库软件606。

虚拟层62提供一个抽象层,该层可以提供下列虚拟实体的例子:虚拟服务器621、虚拟存储622、虚拟网络623(包括虚拟私有网络)、虚拟应用624,以及虚拟客户端625。

在一个示例中,管理层64可以提供下述功能:资源供应功能641:提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取;计量和定 价功能642:在云计算环境内对资源的使用进行成本跟踪,并为此提供帐单和发票。在一个例子中,该资源可以包括应用软件许可。安全功能:为云的消费者和任务提供身份认证,为数据和其它资源提供保护。用户门户功能643:为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能644:提供云计算资源的分配和管理,以满足必需的服务水平。服务水平协议(sla)计划和履行功能645:为根据sla预测的对云计算资源未来需求提供预先安排和供应。

工作负载层66提供云计算环境可能实现的功能的示例。在该层中,可提供的工作负载或功能的示例包括:地图绘制与导航661;软件开发及生命周期管理662;虚拟教室的教学提供663;数据分析处理664;交易处理665;以及日志数据处理666。

下面所述的本发明实施例提供的云节点分配方法可以在管理层64的这一部分实现的。

图4是根据本发明的一个实施例的在云计算环境中云节点调度方法的流程图。

在步骤410中,确定应用的资源需求。

应用的资源需求指该应用运行时对于cpu、内存等的需求。此处,资源需求可以为具体指标,例如内存大小;或者资源需求也可以为相对指标,例如高、中、低。

在一个实施例中,应用需求可以由应用开发者或者运营者等来指定。例如,当应用开发者期望利用云计算环境来调试应用时,由于该应用仅限于调试使用,应用开发者可指定其资源需求为低。

在另一个实施例中,可以基于应用属性,来确定应用的资源需求。此处,应用属性包括以下至少任一项:

-应用的类型;

-应用的用途。

具体地,应用的类型可以为例如图像处理、大规模计算、数据库等各种不同类型。应用的用途可以为例如大型电子商务网站、私有云、个人主页等各种不同用途。基于应用的属性,可以将该类型的应用或该用途的应用通常的资源需求做为该应用的资源需求。例如,对于大规模计算类型的应用,可根据通常情况认为其资源需求较高;而对于个人主页用途的应用,可认为其 资源需求较低。

接着,在步骤420中,基于资源需求以及节能规则,确定将为应用分配的云节点的类型。

在一个实施例中,云节点的类型包括:

-基于arm的嵌入式设备;

-非嵌入式计算机。

此处,基于arm的嵌入式设备可运行例如linux等操作系统。非嵌入式计算机包括但不限于服务器、工作站、个人电脑等各种类型的计算机设备。基于arm的嵌入式设备与非嵌入式计算机相比,通常具有较低的cpu处理能力以及较小的内存;在另一方面,基于arm的嵌入式设备的能耗通常远低于非嵌入式计算机,并且其成本也较为低廉。嵌入式设备的一个例子是rasberrypi。

此处,节能规则包括以下任一种:

-能耗最低规则;

-能耗因素及非能耗因素综合规则。

此处,能耗最低规则指在能够正常运行应用的前提下,为应用分配的云节点的类型应符合能耗最低规则。能耗因素及非能耗因素综合规则指在能够正常运行应用的前提下,为应用分配的云节点的类型应综合考虑能耗因素及非能耗因素。非能耗因素可以为如应用优先级、应用重要性、应用实时性要求等各种类型的因素。

在一个实例中,可将能耗因素和非能耗因素进行加权,来进行综合衡量。例如,假设能耗因素权值设为0.3,应用优先级权值设为0.3,应用实时性要求权值设为0.4。对于应用a,首先在步骤s410中确定其资源需求为低,因此,基于arm的嵌入式设备以及非嵌入式计算机均能够正常运行该应用。接着根据能耗因素得出应分配的云节点类型为基于arm的嵌入式设备;根据应用优先级(假定该应用a优先级为低)得出应分配的云节点类型为基于arm的嵌入式设备;而根据实时性要求(假定该应用a的实时性要求较高)得出应分配的云节点类型为非嵌入式设备。然后,将上述结果进行综合加权,从而可得出基于arm的嵌入式设备的总权值为0.3+0.3=0.6,而嵌入式计算机的总权值为0.4,因此,可确定对于该应用a分配的云节点类型为基于arm的嵌入式设备。

在另一个实例中,可按照能耗因素与非能耗因素来对不同类型的云节点进行打分,并选择总分值最高的云节点类型。例如,对于应用b,首先在步骤s410中确定其资源需求为低,因此,基于arm的嵌入式设备以及非嵌入式计算机均能够正常运行该应用。接着根据能耗因素对各个云节点类型进行打分,得出基于arm的嵌入式设备的得分为0.8而非嵌入式计算机的得分为0.2;根据应用优先级进行打分(假定该应用b优先级为高),得出基于arm的嵌入式设备的得分为0.1而非嵌入式计算机的得分为0.9;而根据实时性要求因素进行打分(假定该应用b实时性要求较高),得出基于arm的嵌入式设备的得分为0.3而非嵌入式计算机的得分为0.7。然后,计算总得分,从而可得出基于arm的嵌入式设备的总得分为0.8+0.1+0.3=1.2;而嵌入式计算机的总得分为0.2+0.9+0.7=1.8,因此,可确定对于该应用b分配的云节点类型为非嵌入式计算机。

此外,在一个实施例中,当按照上文所述的方法计算得出各个类型的云节点的权值或得分之后,还可以确定将为应用分配的各种云节点占总分配资源的百分比。例如,当按照上文所述的方法确定出,对于应用a,基于arm的嵌入式设备的总权值为0.6,而嵌入式计算机的总权值为0.4,则可确定将为应用分配的云节点的类型为基于arm的嵌入式设备以及嵌入式计算机,其中,基于arm的嵌入式设备占总分配资源的百分比为60%,而嵌入式计算机占总分配资源的百分比为40%。

在步骤s430中,将基于云节点的类型,为应用分配一个或多个云节点。具体地,可基于云节点的类型,来为应用分配该类型的一个或多个云节点以运行该应用。此外,当在步骤s420中,还确定了将为应用分配的各种云节点占总分配资源的百分比时,则在步骤s430中,还将按照该百分比来分配相应类型的云节点。

在一个实施例中,在步骤s410中,可以确定应用的一个或多个组件,然后确定该一个或多个组件中的各个组件的资源需求。例如,对于电子商务应用,其可包括前台用户界面组件、后台数据处理组件以及数据库组件,从而,可以分别为该三个组件确定其资源需求。然后,在步骤s420中,可以基于该一个或多个组件中的各个组件的资源需求以及节能规则,来按照上文所述的方法,为各个组件分别确定将分配的云节点的类型。例如,接上例,可按上文所述的方法,分别确定为前台用户界面组件将分配的云节点类型为 基于arm的嵌入式设备;而为后台数据处理组件以及数据库组件均将分配非嵌入式计算机。接着,在步骤s430中,可以基于为各个组件所分别确定的云节点的类型,按照上文所述的方法来为各个组件分别分配一个或多个云节点。

图5是根据本发明的另一个实施例的在云计算环境中云节点调度方法的流程图。与图4相比,图5还包括步骤s440,即监测为所述应用所分配的一个或多个云节点的资源使用情况;步骤s450,即基于所述资源使用情况以及所述节能规则,重新确定为所述应用将分配的云节点的类型;以及步骤s460,即基于所述重新确定的云节点的类型,为所述应用重新分配一个或多个云节点。

在步骤s440中,将检测为应用分配的一个或多个云节点的资源使用情况。此处,云节点的资源使用情况为例如cpu使用百分比、内存使用百分比等。具体地,可定时检测云节点的资源使用情况,或可应事件触发,例如在应用处理速度低于预定阈值或应用处理失败率超出预定阈值等情况下,来检测云节点的资源使用情况。此外,在一个实例中,当监测到云节点的资源使用率较低,尤其是基于arm的嵌入式设备的资源使用率较低时,还可将该云节点上所运行的应用迁移至其他相同类型的云节点上,并将此云节点关机以实现节能目的。在另一个实例中,对于未运行任何应用的云节点,尤其是基于arm的嵌入式设备,还可将其关机以实现节能目的,并还可以按照云计算环境的实际需要或定时地将其重新启动。

在步骤s450中,将基于所述资源使用情况以及所述节能规则,重新确定为所述应用将分配的云节点的类型。具体地,当检测到为应用所分配的云节点的资源使用率高于一定阈值时,可认为该云节点类型的处理能力对于该应用并不足够。因此,可重新确定为该应用将分配的云节点的类型应为处理能力更强的云节点类型。例如,原分配的云节点为基于arm的嵌入式设备,则当检测到其cpu使用百分比高于90%时,将为该应用重新确定将分配的云节点类型为非嵌入式计算机。

在步骤s460中,将基于重新确定的云节点的类型,按照上文所述的方法为该应用重新分配一个或多个云节点。此外,还可使用现有技术所支持的各种方法,将该应用从原分配的云节点迁移至重新分配的一个或多个云节点上。

如图6所示,根据本发明的一个实施例的一种在云计算环境中云节点调度装置6,包括:需求确定单元610,被配置为确定应用的资源需求;类型确定单元620,被配置为基于所述资源需求以及节能规则,确定将为所述应用分配的云节点的类型;分配单元630,被配置为基于所述云节点的类型,为所述应用分配一个或多个云节点。

可选地,所述需求确定单元610被配置为:

-确定应用的一个或多个组件;

-确定所述一个或多个组件中的各个组件的资源需求;

其中,所述类型确定单元620被配置为:

-基于所述一个或多个组件中的各个组件的资源需求以及节能规则,为所述一个或多个组件中的各个组件分别确定将分配的云节点的类型;

其中,所述分配单元630被配置为:

-基于为所述一个或多个组件中的各个组件分别确定的将分配的云节点的类型,为所述一个或多个组件中的各个组件分别分配一个或多个云节点。

可选地,如图7所示,该云计算环境中云节点调度装置还包括:监测单元640,被配置为监测为所述应用所分配的一个或多个云节点的资源使用情况;重确定单元650,被配置为基于所述资源使用情况以及所述节能规则,重新确定为所述应用将分配的云节点的类型;以及重分配单元660,被配置为基于所述重新确定的云节点的类型,为所述应用重新分配一个或多个云节点。

图6-7中的各单元可以采用软件、硬件(例如集成电路、fpga等)、或软硬件结合的方式实现。

现在参考图8,其示出了按照本发明一个实施例的一种在云计算环境中云节点调度设备8的结构图。如图8所示,云节点调度设备8可以包括存储器801和处理器802。存储器801可以存储可执行指令。处理器802可以根据存储器801所存储的可执行指令,实现图6-7中的各个单元所执行的操作。

此外,本发明实施例还提供一种机器可读介质,其上存储有可执行指令,当所述可执行指令被执行时,使得机器执行处理器802所实现的操作。

本领域技术人员应当理解,上面所公开的各个实施例,可以在不偏离发明实质的情况下做出各种变形和改变。因此,本发明的保护范围应当由所附的权利要求书来限定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1