图像处理系统、图像处理方法

图像处理系统、图像处理方法
【专利摘要】本发明涉及图像处理系统以及图像处理方法，其目的在于提供能够用负荷较小的处理来生成阅览者没有不协调感觉的图像的图像系统。本发明的图像处理系统(200)可用来输出在显示部上显示的动画数据，其中包括：用于输出被输入的图像数据中的一部分图像数据的第一输出部；用于输出通过转换被输入的图像数据的坐标而得到的图像数据的第二输出部；以及，用于将经过所述第一输出部和所述第二输出部处理的图像数据作为在所述显示部上显示的动画数据输出的第三输出部。
【专利说明】
图像处理系统、图像处理方法
技术领域
[0001] 本发明设及图像处理系统W及图像处理方法。
【背景技术】
[0002] 全天球摄像系统如专利文献1(肝特开2013-187860号公报)公开的，利用多个鱼眼 镜头、超广角镜头等广角镜头，进行一次性全方位拍摄。在运种全天球摄像系统中，各个拍 摄的像被投影到传感器面上，通过图像处理将得到的各张图像拼接起来，生成全天球图像。 例如用具有超过180度视角的两个广角镜头能够生成全天球图像。
[0003] 但是，用上述专利文献1公开的全天球摄像系统生成的典型的全天球图像采用球 面坐标系统表示，为此，在不施加任何加工的情况下，图像发生变形，会使阅览者感到不协 调。对此，在显示全天球图像时，通常需要使用专用浏览器，用来将全天球图像转换为适用 于平面器件的图像。
[0004] 另一方面，存在不使用专用浏览器，而是用通用浏览器或显示器来显示全天球图 像的要求。同时还有所谓实况显示的要求，即用照相机主机具备的显示器、与照相机主机连 接的显示器、或者能够与照相机主机通信的终端装置的显示器一边确认被摄体一边拍摄。 虽然在全天球摄像系统的照相机主机内安设与上述专用浏览器等同的处理可W满足上述 要求，但会造成计装成本、电力消费、W及发热量的上升。

【发明内容】

[0005] 本发明是鉴于上述问题提出的技术方案，的目的在于，提供一种能够用负荷较小 的处理来生成能够避免阅览者产生不协调感觉的图像的图像系统。
[0006] 为了达到上述目的，本发明提供一种图像处理系统，可用来输出在显示部上显示 的动画数据，其中包括:第一输出部，用于输出被输入的图像数据中的一部分图像数据;第 二输出部，用于输出通过转换被输入的图像数据的坐标而得到的图像数据；W及，第=输出 部，用于将经过所述第一输出部和所述第二输出部的处理的图像数据作为在所述显示部上 显示的动画数据输出。
[0007] 本发明的效果在于，W负荷较小的处理生成能够避免阅览者产生不协调感觉的图 像。
【附图说明】
[000引图1是本实施方式设及的全天球相机的剖面图。
[0009] 图2是本实施方式的全天球相机的硬件结构模块图。
[0010] 图3是关于在本实施方式设及的全天球相机上实现的显示图像输出功能的主要功 能模块图。
[0011] 图4是本实施方式设及的全天球相机生成的经过转换的全天球图像(A)和生成的 显示图像(B)的示意图。
[0012] 图5是本实施方式设及的全天球相机实行的第一处理的流程中的记录处理的流程 图。
[0013] 图6是本实施方式设及的全天球相机实行的第一处理的流程中的显示图像输出处 理的流程图。
[0014] 图7是本实施方式设及的全天球相机实行的第二处理的流程中的显示图像输出处 理的流程图。
[0015] 图8是用来说明本实施方式设及的全天球相机的映射关系的示意图。
[0016] 图9是本实施方式设及的全天球图像的图像数据结构示意图。
[0017] 图10是用来描述本实施方式设及的全天球相机使用的转换参数的示意图。
[0018] 图11是本实施方式设及的全天球相机根据两幅部分图像生成的全天球图像的示 意图
[0019] 图12是本实施方式设及的全天球相机实行的坐标转换处理的示意图。
[0020] 图13是本实施方式设及的全天球相机将通过基于各个注目点的图像转动所生成 的转换后全天球图像的示意图。
【具体实施方式】
[0021] W下参考附图描述本发明的实施方式。在此需要说明的是本发明不受下述实施方 式的限制。W下用兼备使用两个鱼眼镜头的摄像功能和图像处理功能的全天球相机100作 为一例图像处理系统和摄像系统，来描述本实施方式。
[0022] 首先参考图1和图2,描述本实施方式的全天球相机100的整体构成。图1是本实施 方式设及的全天球相机100的剖面图。图1所示的全天球相机100具有摄像体12、用来保持该 摄像体12W及控制电路板和电池等元件的售体14、设于该售体14上的摄像键18。
[0023] 图1所示的摄像体12包括两个成像光学系统20A和20BW及两个摄像元件22A和 22B。摄像元件22A和22B是CCD(畑arge Coupled DeViCe)传感器或CMOS(CompIementaiT Metal Oxide Semiconductor)传感器等。成像光学系统20例如是六组屯片的鱼眼镜头。在 图1所示的实施方式中，该鱼眼镜头具有大于180° ( = 36〇Vn，光学系数n = 2)的全视角，优 选具有190° W上的视角。用一个如此大视角的成像光学系统20和一个摄像元件22组成光学 系统作为广角摄像光学系统。
[0024] 两个成像光学系统20A和20B的光学元件(透镜、菱镜、滤光片W及光圈）相对于摄 像元件22A和22B的位置关系固定。成像光学系统20A和20B的光学元件的光轴被定位为，垂 直于对应的摄像元件22的受光区域的中屯、部分，而且受光区域为对应的鱼眼镜头的成像 面。
[0025] 两个成像光学系统20A和20BW相同规格组合，互相相反但两条光轴保持一致。摄 像元件22A和22B将受光的光分布转换为图像信号，依次把图像帖输出到控制电路板上的图 像处理模块中。摄像元件22A和2?各自拍摄的图像经过合成处理后，生成立体角度如球面 度图像（W下称为全天球图像）。对此将在W下详述。全天球图像是从摄影地点所能够瞭望 的所有方向拍摄的图像。在本实施方式中生成全天球图像，但也可W只是水平面360°拍摄 的图像，即所谓的全景立体图，或者全天球或水平面360°全景拍摄中的一部分图像，还可W 作为动画保存。
[0026] 图2是本实施方式的全天球相机100的硬件结构模块图。全天球相机100包含CPU (Cental Processing Unit)112、R0M(Read Only Memo;ry)114、图像处理模块 116、动画压 缩模块118、经由DRAM(Dynamic Random Memory)接口 120连接的DRAM132、W及经由外部传 感器接口 124连接的姿势传感器136。
[0027] CPU112控制全天球相机110的各个部分的动作和整体动作。R0M114用于存放用编 码描述且CPU112能够解读的控制程序或各种参数。图像处理模块116与两个摄像元件130A 和130B(图1中的摄像元件22A和22B)连接，分别用来输入该两个摄像元件130A和130B各自 拍摄的图像的图像信号。图像处理模块116包含ISP(Image Signal Processor)等，对从摄 像元件130输入的图像信号进行阴影补偿、拜耳(Bayer)插值补偿、白平衡补偿、伽玛补偿等 处理。进而，图像处理模块116还对从多个摄像元件130A和130B，经过上述处理取得的多幅 图像进行合成处理，由此生成上述全天球图像。
[0028] 动画压缩模块118是MPEG-4AVC/H. 264等动画缩放的编解码模块，用于保存生成的 全天球图像的动画数据，或者重放输出保存的动画数据。DRAM132用于在实施各种信号处理 和图像处理时提供暂时保存的存储区域。姿势传感器136W加速度传感器、巧螺传感器、地 磁传感器或运些传感器的组合构成，用于确定全天球相机100的姿势。例如，立轴加速度传 感器能够检测=个轴向的加速度成分。=轴巧螺传感器能够检测=个轴向的角速度。地磁 传感器能够测定磁场方向。单独利用运些传感器输出或者结合运些传感器输出，能够求出 全天球相机100的=个姿势角度。姿势传感器136提供的信息用于实施全天球图像的天顶补 偿，或者实施按照下述注目点的图像转动处理。
[00巧]全天球相机110进一步具有外部寄存器接口 122、USB化niversal Serial Bus)接 口 126、串行模块128、影像输出接口 129。外部寄存器接口 122连接被插入到存储卡插槽中的 存储卡等外部寄存器134。外部寄存器接口 122控制外部寄存器134的读写。
[0030] USB接口 126连接USB连接器138dUSB接口 126控制与经由USB连接器138连接的个人 计算机等外部设备之间的USB通信。串接模块128与控制个人计算机等外部设备之间的串行 通信，连接无线NIC(化twork Intedace Card)140。影像输出接口 129用于与皿11化1邑11- Definition Multimedia Inte计ace,HDMI为注册商标)等外部显示器的连接，能够向外部 显示器等影像输出将录制之前的图像、正在录制的图像、或录制了的图像。
[0031] 本实施方式中WUSB连接器138、无线NIC140、HDMI(注册商标)作为影像输出接口 129的例子，但是本发明并不局限于特殊规格，在其他实施方式中也可W通过有线LAN 化ocal Area化twork)等有线通信、Blue Tooth(注册商标)或无线USB等其他无线通信、 DiSPIayPort (注册商标)或VGA(Video GraphiC Array)等其他影像输出接口来连接外设。
[0032] 通过电源开关操作，使电源成为接通状态后，将上述控制程序上载到主存储器中。 CPU112按照被读入主存储器的程序，控制装置各部动作，同时将控制所需要的数据暂时保 存到存储器中。运样，便实现全天球相机110的后述各项功能和处理。
[0033] 上述本实施方式的全天球相机100具有拍摄全天球图像的静画或动画的功能。在 某些情况下提供将全天球图像转换为适用于平面器件的图像的专用浏览器，用来阅览录制 的全天球图像。与此同时，还存在不用上述专用浏览器阅览，而采用直接显示输入图像的通 用浏览器或显示器来显示全天球相机100拍摄的图像的要求。除此之外，还有所谓实况显示 的要求，即在能够与相机主机通信的显示器上，一边确认被摄体一边拍摄。
[0034] 但是，在全天球相机100主机中设置与上述专用浏览器等同的处理，会提高全天球 相机100的计装成本，进而引起图像处理耗电W及增加发热量。
[0035] 对此，本实施方式采用W下构成。即根据基于传感器信息决定的注目点，对全天球 图像实行坐标转换处理，并从经过坐标转换处理生成的转换后的全天球图像中切出的一部 分，生成用于输出的显示图像。在优选实施方式中，通过实行切出转换后的全天球图像的中 央部分的处理，能够生成与W全天球图像中注目点为中屯、的部分相对应的图像，作为显示 图像。
[0036] 上述构成能够W负荷较小的处理，生成显示全天球图像中的一部分、且不会让阅 览者感到不协调的显示画面。在优选实施方式中，实施坐标转换处理，将W注目点为中屯、的 图像设置在全天球图像中变形较少的中央部分，切出与该中央部分对应的图像，作为显示 图像输出。为此，阅览者不用专用浏览器也能够看到自然的图形。而且，坐标转换处理是组 装在全天球相机100中的处理，用于天顶补偿，为此不会对全天球相机100造成额外的计装 成本，而且从能减少图像处理的电力消费量和发热量。
[0037] W下将要描述的实施方式构成为向通过上述影像接口 129连接的外部显示器输出 影像显示画面。但是，本发明并不受到该实施方式的限制。在其他实施方式中，也可W使用 通过USB连接器138、无线NIC140之类的有线或无线的通信连接的智能手机或平板计算机等 用户终端装置，来显示全天球图像的显示画面。在运种情况下，用户启动在用户终端装置上 运行的通用浏览器的应用软件，可W用通用浏览器显示全天球相机100输出的图像。再进一 步其他的实施方式中，全天球相机100本身具备显示器，此时也可W构成为在全天球相机 100所具备的显示器上显示显示图像。
[0038] W下参考图3和图4,概述本实施方式设及的全天球相机100具备的显示图像输出 功能。图3显示关于在本实施方式设及的全天球相机100上实现的显示图像输出功能的主要 功能模块200。
[0039] 全天球相机100的功能模块200如图3所示，构成为包含摄像图像取得部202、拼接 处理部204、天顶补偿部206、全天球图像生成部208、图像压缩部210、图像展开部212、注目 点决定部214、图像转动部216、转换后全天球图像生成部218、切出处理部220、放大/信箱处 理部222、W及输出部224。
[0040] 图3显示两个图像处理流程。第一流程为一旦保存全天球相机100拍摄的全天球图 像，而后响应用户操作，输出保存的全天球图像的显示图像。被保存的全天球图像的图像数 据既可W是静画也可W是动画。第一流程对应录制后阅览。第二流程是一边用全天球相机 100拍摄全天球图像一边输出生成的全天球图像的显示图像。第二流程对应录制之前或正 在录制时现时阅览摄影状态。
[0041] W下首先描述相对录制后阅览的第一处理的流程。摄像图像取得部202控制上述 两个摄像元件130A和130B，取得摄像元件130A和130B各自的摄像图像。在静止画的情况下， 取得按动快口时刻取得的组成一帖的两幅图像。而在动画的情况下，依次拍摄连续的帖，取 得每一帖的两幅摄像图像。摄像元件130各自拍摄的图像是视角大致覆盖全天球中半球的 鱼眼图像，为全天球图像的一部分图像。W下将摄像元件130各自拍摄的图像称为部分图 像。
[0042] 拼接处理部204检测取得的两幅部分图像之间的拼接位置，实行两幅图像的拼接 处理。在拼接位置检测处理中，对每帖图像中位于多个部分图像之间的重复区域实行检测 处理，检测重复区域中多个对应点各自的位置偏离量。
[0043] 天顶补偿部206控制图2所示的姿势传感器136,检测全天球相机100的姿势角度， 实行补偿处理，使得生成的全天球图像的天顶方向与规定基准方向保持一致。在此，典型的 规定基准方向为铅直方向，即重力加速度方向。通过补偿，全天球图像的天顶方向与铅直方 向保持一致，从而，尤其在动画中，即便阅览时发生视角变化，用户也不会感到不调和，如产 生二维晕眩等。
[0044] 全天球图像生成部208在拼接处理部204和天顶补偿部206的处理结果得到反映的 状态下，根据拍摄的两幅部分图像，实行生成全天球图像的处理。本实施方式中，存在用于 根据两幅部分图像生成全天球图像的转换参数，拼接处理部204将拼接位置检测的结果反 映到该转换参数中。天顶补偿部206也把补偿结果反映到转换参数中。而后，全天球图像生 成部208用运些反映了处理结果的转换参数，生成基于两幅部分图像的全天球图像。通过上 述处理，能够减轻用来获得最终全天球图像的处理负荷。
[0045] 但是，本发明不受上述实施方式限制，也可W构成为拼接两幅部分图像生成全天 球图像，而后对生成的全天球图像实行天顶补偿处理，生成经过天顶补偿处理的全天球图 像。关于转换参数将在W下叙述。
[0046] 图像压缩部210包含静止画压缩模块，在拍摄静止画的场合下，将拍摄的图像压缩 为肝EGQoint Photographic E邱erts Group)等规定的静止画格式。图像压缩部210还包 含图2所示的动画压缩模块118,在拍摄动画的场合下，将拍摄的连续图像帖压缩为规定动 画格式的图像数据。对于动画压缩格式并没有特殊限定，例如有H.264/MPEG-4AVC (Advanced Video Coding)、H.265/肥VCXHigh Efficien巧 Video Coding)'Motion 肝EG、 Motion肝EG2000等各种动画压缩格式。生成的图像数据被保存到安装在全天球相机100上 的外部寄存器134或其他全天球相机100所具备的闪存等寄存器中。
[0047] 第一处理流程中，例如全天球相机100的用户发出指定重放对象的影像输出指示 后，功能部212至224开始动作。图像展开部212读取保存在上述寄存器中的图像数据，取得 全天球图像。取得的全天球图像被展开到内存上。
[0048] 注目点决定部214根据姿势传感器136输出的传感器信息，决定注目点。在第一处 理中全天球相机在W后的影像输出处理中几乎不实行摄像动作，因此能够作为用来操作注 目点的操作控制器来使用。根据姿势传感器136输出的传感器信息，决定与全天球相机100 面对的方向相对应的注目点（照相机的姿势角度a，e，丫）。注目点决定部214构成本实施方 式中的决定部。
[0049] 在第一处理的流程中，为显示对象的全天球图像中已经实施了天顶补偿。为此，虽 然并不是特别限定，在此可W将作为操作控制器的全天球相机100面向正上方的状态（即把 图1所示的全天球相机100的摄像体12-端向上的垂直设置状态)为基准，用W定义全天球 相机100的姿势角度。在本实施方式的描述中将全天球相机100作为操作控制器。但是，也可 W另设能够与具备姿势传感器的全天球相机100通信的外设作为操作控制器，如操作专用 控制器、智能手机、平板计算机、头顶显示器等。
[0050] 注目点决定部214决定注目点后，图像转动部216对前天求图象实行坐标转换处 理。坐标转换处理具体是指用与注目点对应的角度来=维转动转换全天球图像各个坐标的 处理。关于坐标转换处理将在W下详述。图像转动部216构成本实施方式的坐标转换处理 部。
[0051] 转换后全天球图像生成部218根据坐标转换处理结果实行全天球图像生成处理， 从原来的全天球图像生成对应与于注目点的转换后的全天球图像。转换后全天球图像生成 部218构成本实施方式的图像生成部。图4的(A)是本实施方式的全天球相机100生成的一例 转换后全天球图像。转换后全天球图像经过坐标转换后，注目点被置于图像中屯、，为此，（A) 所示的全天球图像的中屯、与决定的注目点相对应。
[0052] 切出处理部220用于从通过坐标转换处理生成的转换后全天球图像中切出一部 分，生成切出图像。在优选实施方式中，切出处理部220切出转换后全天球图像的中央部分， 因而能够从全天球图像中切出与W注目点为中屯、且具有一定大小的部分相对应的图像。图 4的(A)中用虚线矩形表示从全天球图像中切出的中央部分的区域。切出处理部220构成本 实施方式的切出部。
[0053] 在本实施方式的描述中，设切出部具有从图像中切出一部分W生成切出图像的功 能。但是本发明并不受此限制，在其他实施方式中，切出部不仅具备从图像中切出一部分W 生成切出图像的功能，而且还可W具有减少分辨率的功能。另外在本实施方式的描述中，图 像转动部216实行处理之后切出处理部220实行处理，但是在实行的前后顺序上，本发明并 不受此限制。
[0054] 放大/信箱处理部222按照输出一方的显示器或投影仪等影像输出装置的分辨率 W及纵横比，对切出处理部220切出的图像实行放大处理，并在切出的图像部分的上下加上 黑条，生成显示图像。输出部224通过影像输出接口 129,输出经过放大/信箱处理部222处理 后生成的显示图像。在切出图形与影像输出装置的分辨率W及纵横比对应的情况下，可W 省略放大/信箱处理部222的处理。
[0055] 图4的(B)是本实施方式设及的全天球相机100根据同图的(A)所示的全天球图像 通过输出部224输出的显示图像的示意图。如图4所示，（A)的全天球图像的四周部分变形较 大，中央部分变形较小。为此，切出中央部分生成的显示图像如图4的(B)所示，是对阅览者 来说比较自然的图像。
[0056] 在静止画的情况下，至少每次注目点发生变化时，典型的为每隔规定间隔，对同一 幅全天球图像反复实行上述功能部214至224的影像输出处理，按照该时刻的注目点更新显 示图像。在动画的情况下，典型的是对每一帖反复实行上述功能部214至224的影像输出处 理，更行显示图像。
[0057] 用户将作为操作控制器的全天球相机100面对正上方状态为基准，能够在全天求 相机100发生前后左右的倾斜或转动时，改变注目点，阅览与按照改变后的注目点相对应的 全天球图像的显示图像。
[0058] W下，继续参考图3描述用于录制前和录制期间实况阅览的第二处理的流程。在第 二处理的流程中在用户指示开始实况显示后，功能部202、204、214至224动作。
[0059] 摄像图像取得部202与第一流程相同，控制上述两个摄像元件130A和130B，取得每 一帖的两幅部分图像，展开到内存上。拼合处理部204检测取得的两幅部分图像之间的连接 位置，并将连接位置检测结果反映到转换参数中。
[0060] 注目点决定部214根据操作控制器的姿势传感器的传感器信息，决定注目点。在第 二处理流程中，全天球相机100在影像输出处理期间也实行摄影动作，因而设定另外准备用 来操作注目点的操作控制器。在此可W用操作专用控制器、智能手机、平板计算机、头盎式 显示器等具备姿势传感器，且能够与全天球相机100通信的外设作为操作控制器。根据操作 控制器发送的姿势传感器的传感器信息，取得与操作控制器面对的方向对应的注目点（操 作控制器的姿势角度a，e，T )。
[0061 ]注目点决定部214决定了注目点之后，图像转动部216实行坐标转换处理，用与注 目点对应的角度=维转动转换全天球图像的各个坐标。该图像转动部216的坐标转换处理 结果被反映到用于从两幅部分图像生成全天球图像的转换参数中。
[0062] 转换后全天球图像生成部218实行生成处理，用反映了拼接处理部204W及图像转 动部216的处理实行结果的转换参数，合成拍摄的两幅部分图像，直接生成转换后的全天球 图像。
[0063] 在第二处理的流程中，除了控制注目点的操作控制器W外，拍摄全天球图像的全 天球相机100的姿势也可能发生变化。为此，优选在图像转动部216的=维转动转换中加入 对应全天球相机100的姿势的天顶补偿。例如，将基准定义为，在全天球相机100面向正上方 状态，且操作控制器面向正上方状态下，全天球图像的天顶与重力方向（天方向）一致，实行 =维转动转换。
[0064] 与第一处理的流程相同，切出处理部220切出转换后全天球图像中的一部分，生成 切出图像。放大/信箱处理部222对切出处理部220切出的图像，实行放大处理和黑边增加处 理。输出部224通过影像输出接口 129,输出经过放大/信箱处理部222处理生成的显示图像。 对每一帖图像反复实行上述功能部202、204、214至224的处理。
[0065] 在第二处理的流程中，用户例如固定设置全天球相机100实行摄影，W外部操作控 制器面向正上方为基准，能够通过前后左右倾斜或转动来改变注目点，阅览与注目点对应 的全天球图像的实况显示。在W上的描述中，将全天球相机100的天顶补偿反映到转动转换 中。运样，无论全天球相机100是否相对于铅直方向倾斜，均能够通过改变操作控制器的姿 势，便于W用户感觉到的重力方向为基准客观地设定注目点。但是，本发明并不受此限制。 在其他实施方式中也可W构成为，不实行根据全天球相机100的姿势的天顶补偿，而是仅根 据操作控制器的姿势来控制注目点。
[0066] W下参考图5至图13描述第一处理的流程中实行的处理。图5和图6是本实施方式 设及的全天球相机100实行的第一处理的流程中的记录处理W及显示图像输出处理的流程 图。图7是本实施方式设及的全天球相机100实行的第二处理的流程中的显示图像输出处理 的流程图。
[0067] W下参考图5和图6描述第一处理的流程中实行的处理。图5所示的记录处理从用 户按动摄影键等记录指示后的步骤SlOO开始。在图5和图6所示的处理中适用于拍摄并阅览 静止画。在步骤SlOl中，全天球相机100通过摄像图像取得部202取得摄像元件130A和130B 拍摄的摄像图像。
[0068] 图8是用来说明本实施方式设及的全天球相机100的映射关系的示意图。在本实施 方式中，一个鱼眼镜头拍摄的图像大约覆盖W摄影地点为起始的半个球的方位。鱼眼镜头 如图8的(A)所示，W与相对于光轴的入射角度*相对应的像高h生成图像。像高h与入射角度 ,(P:之间的关系取决于与规定投影模型相对应的映射函数。
[0069] 映射函数随鱼眼镜头性质而不同。作为上述投影模型，可^例举出等距离映射方式 C h二午':f )、中屯、投影方式（h写f，1 a n擎）、立体映射方式（h= 2 f ? t a M Cp / 2 ))、 等立体角映射方式（h = 2 f . S i n ( tp / 2 ) )W及映射设方式(h = f * S i n <p)。无 论是哪一种方式都能够对应相对于光轴的入射角度巧和焦距f，决定从成像的像高h。本实施 方式采用成像圈直径小于图像对角线的所谓圆周鱼眼镜头的构成，获得的部分图像如图8 的(B)所示，摄影范围的大约半个球包含被投影的整个成像圈的平面图象。
[0070] 图9是本实施方式设及的全天球图像的图像数据结构示意图。如图9所示，全天球 图像的格式用^?>和9为坐标的像素值的排列来表示，^>是与相对于规定轴形成的角度相对 应的垂直角度，0是与围绕上述轴的转动角对应的水平角度。各个坐标值（0，qO与表示W拍 摄地点为中屯、的全方位球面上的各点相对应，将全方位映射到全天球图像上。
[0071 ]图10是用来描述本实施方式设及的全天球相机使用的转换参数的示意图。转换参 数用来限定从W平面坐标表示的部分图像映射到W球面坐标表示的图像。转换参数如图10 的(A)所示，记录了每个鱼眼镜头的所有坐标值Ce, <p)的信息，该信息中补偿后图像的坐 标值（&，CP.)与该坐标值(.0，<p)被映射之前的补偿前的部分图像的坐标值(x，y)相关联。 在图10所示的示例中，一个像素覆盖的角度在0方向和*方向均为1/10度，转换参数具有各 个鱼眼镜头的表示3600X1800的对应关系的信息。原始的转换参数可W预先通过制造商等 在相对于理想透镜模型实施变形补偿的基础上计算并列为图表。
[0072] 返回图5,在步骤S102中，全天球相机100通过拼接处理部204检测取得的两幅部分 图像之间的重叠区域中的连接位置，并将连接位置的检测结果反映到转换参数中。通过反 映连接位置检测结果，图10的(A)所示的转换参数被修改为，补偿后图像的坐标值（@，中） 与反映了连接位置补偿的部分图像的坐标值(x，y)相对应。
[0073] 在步骤S103,全天球相机100通过天顶补偿部206检测全天球相机100相对于重力 方向的姿势角度，并修改转换参数，使得生成的全天球图像的天顶方向与铅直方向保持一 致。关于天顶补偿，具体可W实施与下述的=维转动转换相同的处理，在此省略详述。在步 骤S104,全天球相机100通过全天球图像生成部208,用转换参数实行全天球图像生成处理， 从拍摄的两幅部分图像生成全天球图像。步骤S104首先利用转换参数将部分图像从平面坐 标系转换到球面坐标系，而后合成两幅球面坐标系的部分图像，生成全天球图像。
[0074] 图11是本实施方式设及的全天球相机100根据两幅部分图像生成的全天球图像的 示意图。图11显示了在未将全天球相机100正上方方向与铅直线保持一致的状态下拍摄的 两幅部分图像(A)和(C)、W及根据运两幅部分图像经过天顶补偿后生成的全天球图像(B)。 在图11的示例中，全天球相机100处于倾斜状态下拍摄了第一部分图像(A)和第二部分图像 (C)，此时，一方的鱼眼镜头面向地面，另一方鱼眼镜头面向天空。参考图11可知，通过上述 天顶补偿，全天球图像被补偿为风景中的水平线位于中央。
[0075] 返回图5,在步骤S105中，全天球相机100通过图像压缩部210对生成的全天球图像 的图像数据进行压缩，在步骤S106中，将生成的图像数据保存到寄存器中，而后一旦结束处 理。
[0076] 图6所示的显示图像输出处理W用户发出指定图像数据的影像输出指示为开始。 在步骤S201中，全天球相机100通过图像展开部212从寄存器中读取指定的全天球图像的图 像数据，在步骤S202中，将全天球图像展开到内存上。
[0077] 在步骤S203,全天球相机100通过注目点决定部214,根据全天球相机100的姿势传 感器136输出的传感器信息，来决定注目点（相机主机的姿势角度a、e、丫）。在W下的描述 中，通过结合加速度传感器、巧螺传感器W及地磁传感器，来获得W相机主机面向正上方的 状态为基准的相机主机姿势角度a，e，丫。在步骤S204,全天球相机100通过图像转动部216， 按照步骤S203决定的注目点实行全天球图像的坐标转换处理。在步骤S204所示的坐标转换 处理中，将全天球图像的各个坐标值(自1，CPl )作为输入值进行坐标转换，从而求出转换后 的各个坐标值（沿，q>2).
[0078] 在此说明坐标转换处理。图12是本实施方式设及的全天球相机100实行的坐标转 换处理的示意图。在此，设坐标转换之前的=维正交坐标为Ul，yl，Zl),球面坐标为 (ei，<pl)，坐标转换之前的S维正交坐标为(x2，y2，z2)，球面坐标为（e2，cp2)。
[0079] 坐标转换处理中利用下式（1)至（6)，将球面坐标（61，則）转换为球面坐标 (始，(62)。坐标转换处理包括根据下式（1)至(3)的坐标转换、根据下式(4)的坐标转换、 W及根据下式(5)和式(6)的坐标转换。
[0080] xl = sin( 4 l)cos(目 1)...(1)
[0081] yl = sin( 4 l)sin(目 1)。-(2)
[0082] zl = cos( 4 1)...(3)
[0083] I
[0084]
[0085]
[0086] 首先，因需要用=维正交坐标转动转换，因此用上式（I)至（3)实行从球面坐标 (.扫1,利）转换到S位正交坐标(xl，yl，zl)的处理。
[0087] 其次，用作为注目点给出的照相机主机的姿势角度a，e，丫，按照上式(4)将S维正 交坐标系(xl，yl，zl)转换为S维正交坐标系(x2，y2，z2)。换言之，上式(4)给出姿势角度a， e，丫的定义。即上式(4)表示，Wx轴为转动轴将原有坐标系转动a, Wy轴为转动轴将原有坐 标系转动e，Wz轴为转动轴将原有坐标系转动T，成为转换后的坐标系。
[0088] 最后，用上式(5)和上式(6)将转换后的S维正交坐标系(x2，y2，z2)回到球面坐标 (92, cp2) C
[0089] 返回图6,在步骤S205中，全天球相机100通过转换后全天球图像生成部218,根据 坐标转换处理的实行结果，实行生成处理，从原有的全天球图像生成对应注目点的转变后 全天球图像。通过上述S204的处理，求出全天球图像各个坐标值（91，cpl)的转换后的坐标 值(的，僻〉。为此，转换后全天球图像生成处理设定了对应转换后的全天球图像的输入 坐标值(刖，叫）求出的转换后坐标值（貼，恥)的像素值。据此，生成转换后的全天球图 像。
[0090] 在步骤S206,全天球相机100通过切出处理部220,切出转换后的全天球图像的中 央部分，生成切出图像。例如，W纵横均为全天球图像1/2大小从中央切出。在步骤S207,全 天球相机100通过放大/信箱处理部222,根据输出方影像输出装置的分辨率和纵横比，放大 切出图像，并增加黑带，生成显示图像。在步骤S208,全天球相机100通过输出部224,经由影 像输出接口 129输出生成的显示图像，结束本处理。
[0091] 图6所示的步骤S203至S208的处理，在静止画的情况下，在每当注目点随着全天球 相机100的姿势变化而发生改变反复实行，或者W规定间隔反复实行，而在动画的情况下， 则在每一帖图像中反复实行。
[0092] W下参考图7,描述在第二处理的流程中实行的处理。用户发出的实况显示开始指 示后图7所示的显示图像输出处理开始。在步骤S301中，全天球相机100通过摄像图像取得 部202取得摄像元件130A和130B拍摄的摄像图像。
[0093] 在步骤S302中，全天球相机100通过拼接处理部204检测取得的两幅部分图像之间 的重叠区域中的连接位置，并将连接位置的检测结果反映到转换参数中。通过反映连接位 置检测结果，图10的(A)所示的转换参数得到修改，补偿后图像的坐标值（e，(6)与反映了 连接位置补偿的部分图像的坐标值(x，y)相对应。在步骤S303,全天球相机100通过注目点 决定部214,根据外部操作控制器的姿势传感器输出的传感器信息，来决定注目点（操作控 制器的姿势角度a，e，丫）。在W下的描述中，通过结合加速度传感器、巧螺传感器W及地磁 传感器，来获得W操作控制器面向正上方的状态为基准的相机主机姿势角度a，e，丫。在步 骤S303中还检测到全天球相机100的姿势角度，对已定的姿势角度进行补偿，在操作控制器 面向正上方的状态(姿势角度(a，e，丫）= (〇,〇,〇))下使得全天球图像的天顶方向与铅直方 向保持一致。在W下的描述中，出于方便，设全天球相机IOOW固定设置为面向正上方的状 态进行摄影。
[0094] 在步骤S304,全天球相机100通过图像转动部216,按照步骤S303决定的注目点实 行全天球图像的来修改转换参数。在步骤S304所示的坐标转换处理中，将全天球图像的坐 标值所对应的图10所示的转换参数的的各个转换后坐标值（9，坪)作为输入值(01，恥） 进行坐标转换，，用上述式（1)至(6)求出转换后的各个坐标值(02,恥）。关于坐标转换处 理，参考图12的描述。在步骤S305中，全天球相机100通过转换后全天球图像生成部218,用 反映了坐标转换处理实行结果的转换参数实行生成处理，从拍摄的两幅部分图像直接生成 转变后全天球图像。对转换参数的各个坐标值（&，（P)，将运些值作为输入值（目1，則）， 求出转换后的坐标值（02，恥）。为此，转换后全天球图像生成处理是，设定与对应转换后 全天球图像的输入坐标值（0U fO求出的转换后坐标值(破，恥）相关联的部分图像的 坐标值(x，y)的像素值，用W作为该坐标值（目1，(61)的像素值。据此，获得展开到球面坐标 系上的两幅部分图像，合成该两个球面坐标系的部分图像，生成转换后的全天球图像。 [00M] 在步骤S306,全天球相机100通过切出处理部220,切出转换后的全天球图像的中 央部分，生成切出图像。在步骤S307，全天球相机100通过放大/信箱处理部222，根据输出方 影像输出装置的分辨率和纵横比，放大切出图像，并增加黑带，生成显示图像。在步骤S308， 全天球相机100通过输出部224，经由影像输出接口 129输出生成的显示图像，结束本处理。 图7所示的步骤S301至S308的处理W每一帖为间隔反复实行。
[0096] 图13是本实施方式设及的全天球相机100将通过基于各个注目点的图像转动所生 成的转换后全天球图像与切出的中央部分一起显示的图。其中的（B)是基准注目点的转换 后全天球图像和切出的中央部分。图13的(B)对应用户保持操作控制器(全天球相机100/外 部操作控制器)垂直的状态。
[0097] 对此，图13的(A)显示，操作控制器相对于(B)对应的姿势倾斜，使图13(B)中的注 目点向下移动时的转换后全天球图像W及切出的中央部分。图13的（C)显示，从(B)对应的 姿势出发，围绕主机轴转动操作控制器，使图13(B)中的注目点向右移动时的转换后全天球 图像W及切出的中央部分。
[0098] 如图13所示，上述实施方式根据姿势传感器等输出的传感器信息所决定的注目 点，对全天球图像实行坐标转换处理，通过从实行坐标转换处理生成的转换后全天球图像 中切出一部分图像，生成用于输出的显示图像。优选实施方式为，切出转换后全天球图像的 中央部分，将W全天球图像中的注目点为中屯、的部分所对应的图像作为显示图像。
[0099] 利用上述实施方式，能够W负荷较小的处理来生成显示出全天球图像中的一部分 且不会让阅览者感到不调谐的显示图像。而优选实施方式实施的坐标转换处理，将W注目 点为中屯、的图像配置在全天球图像中变形较少的中央部分，为此阅览者在不使用专用浏览 器的情况下也能够看到自然的图像。而坐标转换处理是安装在全天球相机100中的处理，用 来实行天顶补偿，因此，还能够降低计装成本，减少发热。
[0100] 如上所述，本实施方式提供的图像处理系统、图像处理方法W及摄像系统能够W 小负荷处理生成阅览者没有不协调感的对象图像的显示图像。
[0101] 上述实施方式用全天球相机100作为一例，用来描述图像处理系统和摄像系统，但 是图像处理系统和摄像系统的构成并不受到上述实施方式的限制。
[0102] 在其他的实施方式中，可W将功能部202至224中一部分处理分散安装到能够作为 外部个人计算机或服务器、操作控制器动作的计算机等一台W上图像处理装置上。在某些 特定的实施方式中，具备摄像元件130的摄像装置及全天球相机或与全天球相机分开的图 像处理装置上可W具备上述注目点决定部214、图像转动部216、转换后全天球图像生成部 218、切出处理部220、放大/信箱处理部222W及输出部224。操作控制器可W是与全天球相 机、上述图像处理装置、或全天球相机及图像处理装置分开的装置。
[0103] 进而，拼接处理部204的拼接处理、图像转动部216的图像转动、W及切出处理部 220的切出处理的顺序并不受到图3所示的【具体实施方式】的限制。也可W按照W下顺序实行 处理。
[0104] (1)拼接处理后实行图像转动，而后实行切出处理后输出。除此之外，还可W如下 处理。
[0105] (2)图像转动之后实行拼接处理，而后实行切出处理输出。
[0106] (3)图像转动之后实行切出处理，而后实行拼接处理输出。
[0107] (4)拼接处理之后实行切出处理，而后实行图像像转动输出。
[0108] (5)切出处理之后实行拼接处理，而后图像转动输出。
[0109] (6)切出处理之后实行图像转动，而后实行拼接处理后输出。
[0110] 进而还可W在动画状态下实行图像转动和切出处理。
[0111] 上述各项功能模块通过执行用汇编语言、C、c++、c# Java(注册商标)等传统编程 语言或面向对象编程语言等叙述的计算机可执行程序来实现。该程序可W保存在ROM、 EEPROM、EPROM、闪存、软磁盘、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、蓝光盘、SD 卡、MO 等 装置可读取的存储媒体中，还可W通过电子通信线颁发。上述功能部中的一部分或全部可 安装在例如现场可编程口阵列（FieId-Programmable Gate Array，略写为FPGA)等可编程 设备（ProgrammabIe Device,略写为PD)中，还可W作为专用集成电路（Application Specific Integrated Circuit，ASIC)安装，进而，可W用记录媒体颁发用于下载到PD上的 比特流数据（BitStrearn Data)、生成电路构成数据的HDL(Hardware Description Language)、VHDL(Very High Speed Integrated Circuits Hardware Description Language)、Verilog-HDL等描述的数据，用来在PD实现上述功能。
[0112] 至此描述了本发明的实施方式，但是本发明并不受到上述实施方式的限制。本发 明至少在W下的方面具有特征。
[0113] (1) 一种图像处理系统，可用来输出在显示部上显示的动画数据，其中包括：
[0114] 第一输出部，用于输出被输入的图像数据中的一部分图像数据；
[0115] 第二输出部，用于输出通过转换被输入的图像数据的坐标而得到的图像数据；W 及，
[0116] 第=输出部，用于将经过所述第一输出部和所述第二输出部的处理的图像数据作 为在所述显示部上显示的动画数据输出。
[0117] (2)-种图像处理系统，可用来合成多幅图像W生成一幅图像，其中包括：
[0118] 第一输出部，用于输出被输入的图像数据中的一部分图像数据；
[0119] 第二输出部，用于输出通过转换被输入的图像数据的坐标而得到的图像数据；
[0120] 第四输出部，用来将被输入的多幅图像的图像数据合成后作为一个图像数据输 出，W及，
[0121] 第=输出部，用于将经过所述第一输出部和所述第二输出部W及所述第四输出部 的处理的图像数据作为在所述显示部上显示的动画数据输出。
[0122] (3)根据上述(1)或(2)所述的图像处理系统，其中，
[0123] 所述第一输出部是切出部，用来从所述被输入的图像数据中切出一部分，
[0124] 所述第二输出部是坐标转换处理部，用来根据基于传感器信息决定的注目点，对 所述被输入的图像数据实行坐标转换处理。
[0125] (4)根据上述(3)所述的图像处理系统，其中，
[0126] 被输入到所述第二输出部中的图像数据是球面坐标系的图像，
[0127] 所述坐标转换处理包含：
[0128] 第一坐标转换处理，将被输入到所述第二输出部中的图像数据的坐标转换为=维 坐标；
[0129] 第二坐标转换处理，对经过所述第一坐标转换处理得到的=维坐标进行=维转动 转换；W及，
[0130] 第=坐标转换处理，将经过所述=维转动转换得到的=维坐标转换到球面坐标 系。
[0131] (5)根据上述(3)或(4)所述的图像处理系统，其中，所述切出部用来实行切出所述 被输入的图像数据中的中央部分的切出处理，通过该切出处理，W所述被输入的图像数据 中的所述注目点为中屯、的部分所对应的图像被作为所述一部分图像数据输出。
[0132] (6)根据上述(3)至(5)中任意一个方面的图像处理系统，其中，所述传感器信息包 含从加速度传感器、巧螺传感器、W及地磁传感器中至少一种传感器得到的信息。
[0133] (7)根据上述(1)至(6)中任意一个方面的图像处理系统，其中，
[0134] 进一步包含图像取得部，该图像取得部用来取得多个摄像部拍摄的多幅图像的图 像数据，
[0135] 所述多个摄像部各自包含透镜光学系统和摄像元件，用来向互不相同的方向拍 摄。
[0136] (8)根据上述(7)所述的图像处理系统，其中，
[0137] 所述多个摄像部各自具有规定的视角，通过组合所述多个摄像部的视角W达到仙 球面度的立体角，
[0138] 所述第=输出部输出的图像数据为全天球图像。
[0139] (9) 一种用于图像输出装置输出在显示部上显示的动画数据的图像处理方法，其 中包括W下步骤：
[0140] 第一输出步骤，输出被输入的图像数据中的一部分图像数据；
[0141] 第二输出步骤，输出通过转换被输入的图像数据的坐标而得到的图像数据；W及，
[0142] 第=输出步骤，将经过所述第一输出步骤和所述第二输出部步骤的处理的图像数 据作为在所述显示部上显示的动画数据输出。
[0143] (10)-种用于图像处理装置合成多幅图像W生成一幅图像的图像处理方法，其中 包括W下步骤：
[0144] 第一输出步骤，输出被输入的图像数据中的一部分图像数据；
[0145] 第二输出步骤，输出通过转换被输入的图像数据的坐标而得到的图像数据；
[0146] 第四输出步骤，将被输入的多幅图像的图像数据合成后作为一个图像数据输出， W及，
[0147] 第=输出步骤，用于将经过所述第一输出步骤和所述第二输出步骤W及所述第四 输出步骤的处理的图像数据作为在所述显示部上显示的动画数据输出。
[014引（11)根据上述(9)或（10)所述的图像处理方法，其中，
[0149 ]所述第一输出步骤是切出步骤，从所述被输入的图像数据中切出一部分，
[0150] 所述第二输出步骤是坐标转换处理步骤，根据基于传感器信息决定的注目点，对 所述被输入的图像数据实行坐标转换处理。
[0151] (12)根据上述(11)所述的图像处理方法，其中，
[0152] 被输入到所述第二输出部中的图像数据是球面坐标系的图像，
[0153] 所述坐标转换处理包含：
[0154] 第一坐标转换处理，将在所述第二输出步骤中被输入的图像数据的坐标转换为= 维坐标；
[0K5]第二坐标转换处理，对经过所述第一坐标转换处理得到的=维坐标进行=维转动 转换；W及，
[0156]第=坐标转换处理，将经过所述=维转动转换得到的=维坐标转换到球面坐标 系。
[0157] (13)-种用来输出在显示部上显示的动画数据的摄像系统，其中包括：
[0158] 摄像部，用于拍摄图像数据，其中包含多个透镜光学系统和摄像元件；
[0159] 控制部，用于改变注目点；
[0160] 第一输出部，用于输出被输入的图像数据中的一部分图像数据；
[0161] 第二输出部，用于输出通过转换被输入的图像数据的坐标而得到的图像数据；W 及，
[0162] 第=输出部，用于将经过所述第一输出部和所述第二输出部处理的图像数据作为 在所述显示部上显示的动画数据输出。
[0163] (14) 一种用来合成多幅图像W生成一幅图像的摄像系统，其中包括：
[0164] 摄像部，用于拍摄图像数据，其中包含多个透镜光学系统和摄像元件；
[0165] 控制部，用于改变注目点；
[0166] 第一输出部，用于输出被输入的图像数据中的一部分图像数据；
[0167] 第二输出部，用于输出通过转换被输入的图像数据的坐标而得到的图像数据；
[0168] 第四输出部，用来将被输入的多幅图像的图像数据合成后作为一个图像数据输 出，W及，
[0169] 第=输出部，用于将经过所述第一输出部和所述第二输出部处理W及所述第四输 出部的图像数据作为在所述显示部上显示的动画数据输出。
[0170] 此外，对于上述实施方式，只要在本技术领域的专业人员能够想到的范围内，可W 进行删减或改变，还可W采用其他实施方式，但是无论哪一种实施方式，只要具有本发明作 用和效果，均属于本发明范畴。
【主权项】
1. 一种图像处理系统，可用来输出在显示部上显示的动画数据，其中包括： 第一输出部，用于输出被输入的图像数据中的一部分图像数据； 第二输出部，用于输出通过转换被输入的图像数据的坐标而得到的图像数据；以及， 第三输出部，用于将经过所述第一输出部和所述第二输出部的处理的图像数据作为在 所述显示部上显示的动画数据输出。2. -种图像处理系统，可用来合成多幅图像以生成一幅图像，其中包括： 第一输出部，用于输出被输入的图像数据中的一部分图像数据； 第二输出部，用于输出通过转换被输入的图像数据的坐标而得到的图像数据； 第四输出部，用来将被输入的多幅图像的图像数据合成后作为一个图像数据输出，以 及， 第三输出部，用于将经过所述第一输出部和所述第二输出部以及所述第四输出部的处 理的图像数据作为在所述显示部上显示的动画数据输出。3. 根据权利要求1或2所述的图像处理系统，其中， 所述第一输出部是切出部，用来从所述被输入的图像数据中切出一部分， 所述第二输出部是坐标转换处理部，用来根据基于传感器信息决定的注目点，对所述 被输入的图像数据实行坐标转换处理。4. 根据权利要求3所述的图像处理系统，其中， 被输入到所述第二输出部中的图像数据是球面坐标系的图像， 所述坐标转换处理包含： 第一坐标转换处理，将被输入到所述第二输出部中的图像数据的坐标转换为三维坐 标； 第二坐标转换处理，对经过所述第一坐标转换处理得到的三维坐标进行三维转动转 换；以及， 第三坐标转换处理，将经过所述三维转动转换得到的三维坐标转换到球面坐标系。5. 根据权利要求3或4所述的图像处理系统，其中，所述切出部用来实行切出所述被输 入的图像数据中的中央部分的切出处理，通过该切出处理，以所述被输入的图像数据中的 所述注目点为中心的部分所对应的图像被作为所述一部分图像数据输出。6. 根据权利要求3至5中任意一项所述的图像处理系统，其中，所述传感器信息包含从 加速度传感器、陀螺传感器、以及地磁传感器中至少一种传感器得到的信息。7. 根据权利要求1至6中任意一项所述的图像处理系统，其中， 进一步包含图像取得部，该图像取得部用来取得多个摄像部拍摄的多幅图像的图像数 据， 所述多个摄像部各自包含透镜光学系统和摄像元件，用来向互不相同的方向拍摄。8. 根据权利要求7所述的图像处理系统，其中， 所述多个摄像部各自具有规定的视角，通过组合所述多个摄像部的视角以达到牡球面 度的立体角， 所述第三输出部输出的图像数据为全天球图像。9. 一种用于图像输出装置输出在显示部上显示的动画数据的图像处理方法，其中包括 以下步骤： 第一输出步骤，输出被输入的图像数据中的一部分图像数据； 第二输出步骤，输出通过转换被输入的图像数据的坐标而得到的图像数据；以及， 第三输出步骤，将经过所述第一输出步骤和所述第二输出部步骤的处理的图像数据作 为在所述显示部上显示的动画数据输出。10. 根据权利要求9所述的图像处理方法，其中， 所述第一输出步骤是切出步骤，从所述被输入的图像数据中切出一部分， 所述第二输出步骤是坐标转换处理步骤，根据基于传感器信息决定的注目点，对所述 被输入的图像数据实行坐标转换处理。11. 根据权利要求10所述的图像处理方法，其中， 被输入到所述第二输出部中的图像数据是球面坐标系的图像， 所述坐标转换处理包含： 第一坐标转换处理，将在所述第二输出步骤中被输入的图像数据的坐标转换为三维坐 标； 第二坐标转换处理，对经过所述第一坐标转换处理得到的三维坐标进行三维转动转 换；以及， 第三坐标转换处理，将经过所述三维转动转换得到的三维坐标转换到球面坐标系。
【文档编号】H04N5/232GK105979123SQ201610111895
【公开日】2016年9月28日
【申请日】2016年2月29日
【发明人】森冈真人
【申请人】株式会社理光