图像处理设备、图像处理方法以及程序的利记博彩app

专利名称：图像处理设备、图像处理方法以及程序的利记博彩app
技术领域：
本发明涉及图像处理设备、图像处理方法以及程序。
背景技术：
曾提出了这样一种全方位图像拍摄设备，其能够使用具有旋转对称形状的反射表 面的全方位图像拍摄光学系统来拍摄全方位(360° )对象(见日本未审查专利申请公报 No. 59-192220以及日本未审查专利申请公报No. 2000-131738)。全方位图像拍摄设备对于 入射到全方位图像拍摄光学系统上的反射表面上的全方位对象图像进行汇聚并且允许图 像拍摄元件拍摄对象图像。全范围图像拍摄设备产生通过由图像拍摄设备拍摄全方位对象而获得的环状图 像(件日本未审查专利申请公报No. 2003-304532)。通过拍摄对象而获得环状图像，使得通 过全方位图像拍摄光学系统的光学特性而将对象的形状扭曲为环形形状。因此，为了在对 象的扭曲得到校正的状态下观察图像，如日本未审查专利申请公报No. 2003-304532中公 开的，必须通过在某个位置处沿着径向方向切断并展开环状图像，来将环形形状转换 为长 方形的全景图。

发明内容
然而，当在将环状图像转换为全景图像时在不合适的位置处切断环状图像时，在 环状图像中显示出的对象的连续性受到破坏。例如，当拍摄环状图像时，处于面对摄影师的 方向上的图像拍摄目标对象倾向于被拍摄在环状图像的上部分，而摄影师的脸等倾向于被 拍摄到环状图像的下部分。当在将环状图像转换为全景图像时对环状图像的上部分或下部 分进行切断时，图像拍摄目标对象或摄影师在全景图上可能是被分割的，由此破坏了对象 的连续性。期望提供一种能够在将由全方位图像拍摄设备产生的环状图像展开为全景图时， 不破坏对象的连续性的技术。根据本发明的实施例，提供了一种图像处理设备，包括切断位置决定单元，其决 定沿着径向方向切断环状图像以保持环状图像中的对象的连续性的切断位置，环状图像由 全方位图像拍摄设备产生；以及图像转换单元，其通过在由切断位置决定单元决定的切断 位置处对环状图像进行切断并且将经切断的环状图像展开，而将环状图像转换为长矩形全 景图像。切断位置决定单元可以决定切断位置在环状图像的左侧还是右侧上。切断位置决定单元可以基于在全方位图像拍摄设备产生环状图像时表明全景图 像拍摄设备的状态的图像拍摄状态信息来决定切断位置。图像拍摄状态信息可以包括表明在全方位图像拍摄设备产生环状图像时的全方 位图像拍摄设备的图像拍摄方向与全方位图像拍摄设备的显示单元之间的相对位置关系。根据本发明的另一个实施例，存在一种图像处理方法，包括以下步骤决定沿着径向方 向切断环状图像以保持环状图像中的对象的连续性的切断位置，环状图像由全方位图 像拍摄设备产生；以及通过在所决定的切断位置处对环状图像进行切断并将经切断的环状 图像展开，而将环状图像转换为长矩形全景图像。根据本发明的另一个实施例，存在一种程序，其使得计算机执行以下步骤决定沿 着径向方向切断环状图像以保持环状图像中的对象的连续性的切断位置，环状图像由全方 位图像拍摄设备产生；以及通过在所决定的切断位置处对环状图像进行切断并将经切断的 环状图像展开，而将环状图像转换为长矩形全景图像。通过这种构造，决定沿着径向方向切断环状图像以保持在由全方位图像拍摄设备 产生的环状图像中的对象的连续性的切断位置。此外，通过在所决定切断位置处对环状图 像进行切断并且将经切断的环状图像展开，而将环状图像转换为长矩形全景图像。因此，在 将环状图像转换为全景图像时，可以保持环状图像中的对象的连续性。根据本发明的实施例，在将由全方位图像拍摄设备产生的环状图像展开为全景图 像时不破坏对象的连续性。


图1是是示出了根据本发明的第一实施例的图像拍摄设备的外部构造的立体图。图2是示出了根据第一实施例的图像拍摄设备的外部构造的立体图。图3是示出了根据第一实施例的图像拍摄设备的外部构造的立体图。图4是示出了根据第一实施例的转接器和图像拍摄设备的外部构造的立体图。图5是示出了安装有根据第一实施例的转接器的图像拍摄设备的后视图。图6是示出了根据第一实施例的两次反射型全方位图像拍摄光学系统的截面图。图7是示出了根据第一实施例的图像拍摄设备的构造的示意图。图8是示出了根据第一实施例的比较示例的环状图像和全景图像的说明图。图9是示出了根据第一实施例的环状图像和全景图像的说明图。图10是示出了根据第一实施例的图像处理方法的流程图。图IlA和图IlB是示出了根据第一实施例的通常图像拍摄时的反转显示功能的说 明图。图12A和图12B是示出了在执行根据第一实施例的全景图像拍摄操作时的反转显 示功能的说明图。图13A和图13B是示出了根据第一实施例的图像拍摄设备的图像拍摄单元的旋转 状态的立体图。图14A到图14C是示出了根据本发明的另一个实施例的图像拍摄设备的立体图。图15是示出了根据本发明的另一个实施例的图像拍摄设备的立体图。
具体实施例方式下文中，将要参照附图详细描述本发明的优选实施例。在说明书和附图中，将相同 的附图标记给予具有基本相同功能构造的组成元件，并且将会省略重复的描述。将要按照以下顺序进行描述。1.第一实施例
1. 1图像拍摄设备的外部构造。1. 2全景图像拍摄光学系统的构造1. 3图像拍摄设备的构造1. 4旋转移动检测单元和安装检测单元的构造1. 5图像转换处理1. 6图像处理方法2.第二实施例2. 1图像转换处理的概述2. 2根据图像拍摄方向与显示单元的位置关系来决定切断位置的示例12. 3根据图像拍摄方向与显示单元的位置关系来决定切断位置的示例22. 4根据图像拍摄方向与手柄的位置关系来决定切断位置的示例3 总结1.第一实施例下文中，将要描述根据本发明的第一实施例的图像处理设备和图像处理方法。将 要在下文中描述诸如数字摄像机的图像拍摄设备，作为图像处理设备的实现示例。根据本 发明的实施例的图像处理设备不限于此，并且可以应用到诸如个人计算机的任何电子设备。1. 1图像拍摄设备的外部构造。首先，将要参照图1到图5描述根据本发明的第一实施例的图像拍摄设备10。图 1到图5是示出了根据该实施例的图像拍摄设备10的外部构造的立体图和后视图。如图1到图3所示，根据本实施例的图像拍摄设备10被例如构造为能够拍摄静止 图像和/或视频的数字摄像机(例如，数字静止图像摄像机或数字视频摄像机)。图像拍摄 设备10拍摄对象并将通过图像拍摄而获得的静止图像或视频作为数字图像数据记录在记 录介质中。图像拍摄设备10被构造为具有竖直方向较长形状的紧凑型设备，以使其便于使 用者携带图像拍摄设备并拍摄图像。根据本实施例的图像拍摄设备10包括占据图像拍摄设备的主要部分的主体100， 以及可旋转地安装到主体100的上端的图像拍摄单元110。主体100在其中具有图像拍摄 设备10的控制单元、记录单元、以及电源单元。显示所拍摄的图像的显示单元130以及使 用者用来操作图像拍摄设备10的操作单元160设置在主体100的后表面102上。例如，操 作单元160包括用于上、下、左和右指示或决定操作的操作键161、预览按钮162、菜单按钮 163、用于拍摄和记录静止图像(照片)的释放按钮164、用于视频拍摄和记录的开始以及结 束的记录按钮165、以及用于在长焦端和广角端之间调整变焦位置的变焦开关166。 图像拍摄单元110具有拍摄对象的功能，并且在图像拍摄单元110的壳体中具有 图像拍摄光学系统111以及图像拍摄元件112(见图7)，其中，图像拍摄光学系统111具有 诸如透镜和光圈的光学组件。图像拍摄单元110被设置为可以通过旋转机构(未示出)而 相对于主体100旋转。图像拍摄单元110的旋转轴线116平行于显示单元130的显示屏并 且垂直于主体100的竖直方向。通过将图像拍摄单元110围绕旋转轴线116旋转，图像拍 摄单元Iio的方向可以确定为图像拍摄设备10的前表面101的方向以及后表面102的方 向。图像拍摄单元110的旋转状态由旋转角θ表示。旋转角θ指的是图像拍摄单元110的图像拍摄光学系统111的光轴103与垂直于显示单元130的显示屏的方向(主体100的 厚度方向)之间所形成的角度。根据本实施例的图像拍摄设备10的前表面101是与安装 有显示单元130的表面相反的表面。图像拍摄设备10的后表面102是安装有显示单元130 的表面。图像拍摄单元110的旋转方向不局限于所示出的示例，而可以任意地修改。旋转 轴线的数目不限于所示出的一个轴线，而可以使用诸如两个轴线或三个轴线的多个旋转轴 线。
图1示出了图像拍摄单元110的旋转角θ等于0°的状态。在通过旋转图像拍摄 单元110而将图像拍摄单元110的图像拍摄光学系统111的光轴103的方向确定为图像拍 摄设备10的前表面101的方向(下文中，称作前表面方向)时，如图1所示，可以沿着作为 图像拍摄方向的前表面方向，拍摄在图像拍摄设备10的前表面方向中的对象。此时，使用 者可以在观察显示在主体100的后表面102上的显示单元130上的所拍摄的图像(直通图 像(through-image))的同时，调整观察角以拍摄图像。图2示出了 0° < θ <180°的状态。如图2所示，通过相对于主体100旋转图 像拍摄单元110，图像拍摄单元110的图像拍摄方向可以改变到任何方向(前表面方向、上 方向、后表面方向等)，而不需要改变主体100的方向。图3示出了 θ =180°的状态。如图3所示，通过将图像拍摄单元110的图像拍 摄光学系统111的光轴103的方向确定为图像拍摄设备10的后表面102的方向(其为朝 向使用者的方向并在下文中被称作后表面方向)、将图像拍摄方向定位到后表面方向，使用 者可以拍摄他自己的照片(自拍功能)。在自拍时，使用者可以在观察显示在主体100的后 表面102上的显示单元130上的自己的脸部的同时，通过调整观察角度而在期望的时机拍 摄照片。在根据本实施例的图像拍摄设备10中，图像拍摄单元110可相对于主体100旋 转，并且因此可以自由地改变图像拍摄方向。虽然未示出，但是当图像拍摄单元110朝向主 体100的中心旋转以使得θ等于-90°时，图像拍摄设备10的电源自动地关闭。另一方 面，当θ大于-90°时，图像拍摄设备10的电源自动地打开。之后，将要参照图4和图5描述可拆卸地安装到根据本实施例的图像拍摄设备10 上的转接器20。在根据本实施例的图像拍摄设备10中，如图4和图5所示，可以将可移除的转接 器20作为全方位图像拍摄附件而安装到图像拍摄单元110上。转接器20包括拍摄全方位 对象的全方位图像拍摄光学系统21 (见图6和图7)、覆盖全方位图像拍摄光学系统21的圆 柱形盖22、以及将转接器20安装到图像拍摄设备10上的装配部分23。装配部分23具有 的形状使其能够装配到设置在图像拍摄单元110的壳体的前表面上的固定部分117中。通 过将从装配部分23的两端向内凸出的两个锁止爪24 (见图7)装配到形成在图像拍摄单元 110的固定部分117的两个侧表面中的凹陷部分115中，可以将转接器20安装并固定到图 像拍摄单元110。如图4和图5所示，通过将包括全方位图像拍摄光学系统21的转接器20安装到 图像拍摄单元110上，可以使用不包括全方位图像拍摄光学系统的普通图像拍摄装置10来 实现全方位图像拍摄操作。全方位图像拍摄操作是对在图像拍摄设备10的全方向(0°到 360° )上的对象进行拍摄的操作。在将转接器20安装到图像拍摄单元110上时，由转接器20的全方位图像拍摄光学系统21收集的全方位对象图像入射到图像拍摄单元110的图 像拍摄光学系统111上并且形成在图像拍摄元件112上。在安装了转 接器20时，转接器20的全方位图像拍摄光学系统21和图像拍摄单元 110的图像拍摄光学系统111被用于图像拍摄装置10，来拍摄全方位(全方向)对象的图 像。如图5所示，通过使用全方位图像拍摄光学系统21来拍摄全方位对象图像，可以由图 像拍摄设备10通过拍摄全方位对象而获得环状图像30，并因此将环状图像30在显示单元 130上显示为直通图像。在图4和图5的示例中，在图像拍摄单元110面向正上方(θ = 90° )的状态下 安装转接器20。在这种情况下，通过握着图像拍摄设备10以使得主体100的显示单元130 几乎与竖直方向平行，使用者可以拍摄使用者周围水平面内360°存在的全方位对象。在安 装了转接器20的状态下，图像拍摄单元110可以相对于主体100旋转到任何旋转角θ (见 图1到图3)。例如，安装有转接器20的图像拍摄单元110可以旋转到图3中示出的旋转 角(Θ =180° )，并且可以在显示单元130面向上方的状态下将图像拍摄设备10放在桌 子上。例如，通过图像拍摄设备10，可以以全方位的方式适当地拍摄多个人围着坐下并且举 行会议的情景。另一方面，在转接器20没有安装到图像拍摄单元110上时(见图1到图3)，图像 拍摄设备10仅使用作为光学系统而内置的通常的图像拍摄光学系统111来执行一般的图 像拍摄操作。一般的图像拍摄操作是仅使用通常的图像拍摄光学系统111来拍摄处于从图 像拍摄设备10所能看到的一个特定方向(方向确定为朝向图像拍摄光学系统111的光轴 103的图像拍摄方向)上的对象的操作。在通常图像拍摄操作中，单一方向对象的图像穿过 一般包括在图像拍摄设备10中的通常的图像拍摄光学系统111而入射并形成在图像拍摄 元件112上。根据本实施例的转接器20被构造为可拆卸地安装到图像拍摄设备10的图像拍摄 单元110上。因此，仅通过将转接器20安装到图像拍摄单元110上，使用者就可以简单地 使用一般的图像拍摄设备10来实现全方位图像拍摄操作。1. 2全景图像拍摄光学系统的构造之后，将要参照图6描述根据本实施例的转接器20的全方位图像拍摄光学系统21 的示例性构造。图6是示出了根据本实施例的两次反射型全方位图像拍摄光学系统21的 截面图。如图6所示，全方位图像拍摄光学系统21 (全方位图像拍摄镜头)包括具有形状 对于中轴线211旋转对称的凸面反射镜以及凹面反射镜。中轴线211与图像拍摄单元110 的图像拍摄光学系统111的光轴103共线地形成。全方位图像拍摄光学系统21包括具有环 形形状并形成在其下部中的第一反射表面212、具有圆锥形形状并朝向第一反射表面212 的第二反射表面213、形成在第一反射表面213的外圆周中的环形光进入部分214，以及形 成在第一反射表面212的内圆周中的光离开部分215。第一反射表面212由镜面抛光的环 形凹面反射镜形成，而第二反射表面213由镜面抛光的凸面反射镜形成。光进入部分214 和光离开部分215由透明玻璃板制成并允许光通过。在两次反射型全方位图像拍摄光学系 统21中，全方位图像拍摄光学系统21的光学特性被设计为使得与全方位图像拍摄光学系 统21处于任意距离处的对象的全部焦点218位于第一反射表面212与第二反射表面213之间。

在具有以上构造的全方位图像拍摄光学系统21中，入射光216从光进入部分214 入射、由第一反射表面212反射、由第二反射表面213反射并且之后从光离开部分215离 开。从光离开部分215离开的光入射到图像拍摄单元110的图像拍摄光学系统111上，并 且投射到图像拍摄元件112上。具有以上构造的全方位图像拍摄光学系统21可以在围绕 中轴线211360°的范围内显示对象图像。因此，全方位图像拍摄光学系统21可以收集全方 位图像拍摄光学系统周围全方位(360° )的对象图像，并将对象图像引导到图像拍摄光学 系统111。在图6中，举例说明了两次反射型全方位图像拍摄光学系统21，但是可以使用一 次反射型全方位图像拍摄光学系统。一次反射型全方位图像拍摄光学系统(未示出)仅包 括一个反射表面，以对来自全方位对象的光进行反射。因此，反射表面构造为具有形状相对 于中轴线旋转对称凸面反射镜，并且被设置为使得从反射表面反射的光朝向图像拍摄设备 10的图像拍摄光学系统102前进。1. 3图像拍摄设备的构造之后，将要参照图7详细描述根据本实施例的图像拍摄设备10的构造。图7是示 出了根据本实施例的图像拍摄设备10的硬件构造的示意图。如图7所示，根据本实施例的图像拍摄设备10主要包括图像拍摄单元110、 DSP (数字信号处理器)120、显示单元130以及操作单元160。DSP 120具有信号处理单元 122、记录再现单元140、控制单元150、切断位置决定单元190以及图像转换单元192的功能。图像拍摄单元110具有对对象进行拍摄并且输出所拍摄的图像的功能。图像拍摄 单元Iio包括图像拍摄光学系统111、图像拍摄元件112、时序发生器113以及光学组件驱 动单元114。图像拍摄光学系统111是设计为拍摄单一方向对象的通常的光学系统。图像拍 摄光学系统111包括诸如聚焦透镜和变焦透镜的各种透镜、移除不需要的波长的光学滤波 器、以及诸如光圈的光学组件。从对象入射的光学图像(对象图像)经由图像拍摄光学系 统111的各种光学组件形成在图像拍摄元件112的曝光表面上。图像拍摄元件112 (图像传 感器)由诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的固态成像元件所 形成。图像拍摄元件112对于从图像拍摄光学系统111引导来的光学图像进行光电转换， 并输出表明所拍摄的图像的电信号(模拟图像信号)。对图像拍摄光学系统111的光学组件进行驱动的光学组件驱动单元114机械地连 接到图像拍摄光学系统111。例如，包括变焦电机114a和聚焦电机114b的光学组件驱动单 元114移动变焦透镜和聚焦透镜并调整光圈。光学组件驱动单元114根据如下所述的控制 单元150的指令来驱动图像拍摄光学系统111的光学组件。TG (时序发生器)113根据控制 单元150的指令来产生图像拍摄元件112所必需的操作脉冲。例如，TG 113产生各种脉冲， 诸如用于垂直传输的二次相位(quadratic-phase)脉冲和场移位脉冲，以及用于水平传输 的双相位(bi-phase)脉冲以及快门脉冲，并将各种脉冲提供给图像拍摄元件112。通过允 许TG 113驱动图像拍摄元件112，拍摄了对象图像。通过允许TG 113来调整图像拍摄元件 112的快门速度，控制了所拍摄图像的曝光量或曝光时间(电子快门功能)。
DSP (数字信号处理器)120是处理所拍摄的图像或者控制图像拍摄设备10的操作的运算处理单元。DSP 120包括信号处理单元122。从图像拍摄元件112输出的图像信号 被输入到DSP 120的信号处理单元122。信号处理单元122对从图像拍摄元件112输出的、 所拍摄的图像的图像信号执行预定的信号处理，并且将受到预定信号处理的图像信号输出 到显示单元130或记录再现单元140。例如，信号处理单元122包括模拟信号处理单元、A/ D转换单元以及数字信号处理单元(以上单元都没有示出)。模拟信号处理单元是对图像信号执行预处理的所谓的模拟前端。例如，模拟信号 处理单元对从图像拍摄元件112输出的图像信号执行⑶S (相关双取样)处理、通过可编程 增益放大器(PGA)执行增益处理等。A/D转换单元将从模拟信号处理单元输入的模拟图像 信号转换为数字图像信号，并且将数字图像信号输出到数字信号处理单元。数字信号处理 单元对输出数字图像信号执行例如噪声移除、白平衡调整、颜色校正、边缘增强或伽马校正 的数字信号处理，并且将经处理的数字图像信号输出到显示单元130和记录再现单元140。 这里，已经描述了由信号处理单元122执行的模拟信号处理和数字信号处理，但是本发明 不限于此。例如，图像拍摄元件112也可以输出数字图像信号并且信号处理单元122可以 仅执行数字信号处理。例如，显示单元130包括液晶显示器(IXD)或有机EL显示器。显示单元130在控 制单元150的控制之下显示各种类型的输入图像数据。例如，显示单元130显示在图像拍 摄期间拍摄并从信号处理单元122实时输出的所拍摄的图像(直通图像)。之后，当在显示 单元130上观察正在拍摄的图像的同时，使用者可以对图像拍摄设备10进行操作。在通过 记录再现单元140再现记录在存储卡167中的所拍摄的图像时，显示单元130显示从记录 再现单元140输入的再现图像。因此，使用者可以确认记录在存储卡167中的所拍摄的图 像的细节。记录再现单元140将作为所拍摄的图像的数据或者所拍摄的图像的元数据的各 种类型的数据记录在记录介质(诸如存储卡167)中，并且对记录在记录介质中的数据进行 再现。在图7的示例中，可拆卸地安装到图像拍摄设备10上的存储卡167被示出为记录介 质。然而，诸如半导体存储器、光盘或硬盘的盘状记录介质可以被用作记录介质。例如，光 盘可以是蓝光光盘、DVD(数字多用途盘)或CD (紧凑型盘)。记录介质可以被包括在图像 拍摄设备10中，或者可以是可拆卸地安装到图像拍摄设备10的可移除介质。控制单元150被构造为算术处理单元(诸如安装到DSP 120中的半导体控制器)， 并且整体控制图像拍摄设备10的操作。控制单元150例如使用DRAM (动态随机存储器)152 或闪存R0M(只读存储器)154来执行控制功能。闪存ROM 154存储执行控制单元150的各种控制处理的程序。控制单元150根据 程序进行操作并且在使用DRAM 152的同时执行每种控制必要的运算控制处理。程序可以 预先存储在包括在图像拍摄设备10内的存储器单元(例如，闪存ROM 154)中。程序可以 存储在被提供给图像拍摄设备10的可移除记录介质(诸如盘状记录介质或存储卡)中，或 者可以被经由网络(诸如LAN或互联网)下载到图像拍摄设备10。下文中，将要描述控制单元150的具体控制示例。控制单元150控制图像拍摄单 元110的TG 113或光学组件驱动单元114，来控制图像拍摄单元110的图像拍摄操作。例 如，控制单元150通过调整图像拍摄光学系统111的光圈、通过设置图像拍摄元件112的电子快门速度、或者通过设置信号处理单元122的AGC的增益等，来执行自动曝光控制(AE功 能)。控制单元150通过移动图像拍摄光学系统111的聚焦透镜，来执行自动聚焦控制，以 自动地调整图像拍摄光学系统111对于具体对象的焦点。控制单元150通过移动图像拍摄 光学系统111的变焦透镜来调整所拍摄的图像的视角(AF功能)。控制单元150通过记录 再现单元140来控制在所拍摄的图像的数据上执行的记录和再现处理。控制单元150控制 在显示单元130上的各种类型的显示数据的显示。操作单元160具有对图像拍摄设备10进行操作的用户界面的功能。例如，操作单 元160包括安装到图像拍摄设备10的外部部分上的各种类型的操作按钮、触摸板和遥控 器。操作单元160响应于用户的操作而将指令信号输出到控制单元150。例如，操作单元 160包括图1到图5中示出的操作键161、预览按钮162、菜单按钮163、释放按钮164、记录 按钮165以及变焦开关166。之后，将要描述具有上述构造的图像拍摄设备10的操作。控制单元150通过执行 记录在闪存ROM 154中的程序来控制图像拍摄设备10的单元。之后如下所述地执行图像 拍摄设备10的各种类型的操作。(1)自动聚焦(AF)控制在对象图像经由拍摄光学系统111入射到图像拍摄元件112上时，图像拍摄元件 112拍摄在图像拍摄范围内的对象图像。即，图像拍摄元件112对于通过图像拍摄光学系 统111而形成在图像拍摄表面上的光学图像进行光电转换，并且输出表明所拍摄的图像的 模拟图像信号。在拍摄图像时，控制单元150通过对在AF检测范围内的图像信号进行处理 来计算焦点位置，并且向光学组件驱动单元114给出指令，其中图像拍摄光学系统111的焦 点在该焦点位置处聚焦到所拍摄的图像的预定AF检测范围内的特定对象上。基于控制单 元150的指令，光学组件驱动单元114通过驱动聚焦电机114b并移动聚焦透镜自动地将图 像拍摄光学系统111的焦点聚焦到特定对象上。(2)自动曝光(AE)控制在拍摄图像时，控制单元150在图像拍摄过程中基于在所拍摄的图像的预定AE检 测范围内的图像信号的信号水平来计算适合于所拍摄的图像的曝光量，并且向光学组件驱 动单元114或TG 113给出指令。基于控制单元150的指令，光学组件驱动单元114通过调 整拍摄光学系统111的光圈打开的程度来调整入射到图像拍摄元件112上的对象图像的曝 光量。基于控制单元150的指令，TG 113将时序信号提供给图像拍摄元件112，并且因此通 过时序信号来控制图像拍摄元件112的快门速度。因此，自动地控制了所拍摄的图像的曝 光，以获得所拍摄的图像的适当的亮度。(3)图像信号处理在控制单元150的控制下，信号处理单元122对从图像拍摄元件112输出的模拟 图像信号执行模拟信号处理(放大等)，并且之后执行A/D转换，以将模拟图像信号转换为 数字图像信号。在控制单元150的控制下，信号处理单元122对数字图像信号执行数字信 号处理，诸如，噪声移除、白平衡调整、颜色校正、边缘增强或者伽马校正。 (4)所拍摄的图像的显示处理在信号处理单元122将经处理的图像信号输出到显示单元130之后，显示单元130 在控制单元150的控制下显示由图像信号所表示的图像拍摄过程中所拍摄的图像(直通图像)。在显示直通图像(动态图像)时，使用者可以观察图像拍摄方向、观察角、对象的拍摄 状态等，并且可以以期望的快门时机来记录期望对象的所拍摄的图像。显示单 元130也在 控制单元150的控制下显示通过对记录在记录介质中的图像数据进行再现而获得的图像。(5)记录处理在控制单元150的控制下，记录再现单元140对在所拍摄的图像执行压缩记录处 理。例如，当在动态图像拍摄模式中按下记录按钮165时，记录再现单元140根据预定压缩 编码方法(诸如JPEG(联合图像专家组))对表明所拍摄的图像(动态图像)的图像信号 进行压缩。记录再现单元140将经压缩的图像信号以动态图像数据的形式记录在记录介质 中。当在静态图像拍摄模式中按压释放按钮164时，记录再现单元140响应于来自释放按 钮164的释放信号，根据预定压缩编码方法对表明所拍摄的图像(静态图像)的图像信号 进行压缩，并且将经压缩的图像信号作为静态图像数据记录在记录介质中。(6)再现处理在控制单元150的控制下，记录再现单元140对记录在记录介质(诸如存储卡 167)中的图像进行再现。当在再现模式中从操作单元160输出再现指令时，记录再现单元 140对记录在记录介质中的经压缩的图像进行解压缩，并且输出所获得的再现图像信号，以 将再现图像信号显示在显示单元130上。(7)各种设置处理图像拍摄设备10基于由各种传感器检测到的外界环境或者使用者对操作单元 160的操作，来设置图像拍摄设备10的各种功能或者图像拍摄设备10的操作。图像拍摄设 备10的示例性功能包括变焦功能、AF功能、AE功能、闪光灯功能、自拍定时功能、连拍图像 拍摄功能、调整所拍摄图像的图像质量或图像尺寸、快门速度、白平衡等的功能、图像拍摄 辅助功能、以及显示功能。1. 4旋转移动检测单元和安装检测单元的构造之后，将要参照图7描述根据本实施例的图像拍摄单元110的旋转状态的旋转检 测单元170。如图7所示，图像拍摄设备10的大部分单元(诸如DSP 120、显示单元130、操作单 元160以及电源单元(未示出))都安装在图像拍摄设备10的主体100的壳体中。另一方 面，图像拍摄单元110被设置在主体100中，以可以围绕旋转轴116旋转(见图1到图3)。根据本实施例的图像拍摄设备10包括检测旋转状态(诸如图像拍摄单元110相 对于主体100的旋转角Θ )的旋转检测单元170。例如，旋转检测单元170包括设置在主体 100中的旋转状态检测霍尔传感器172以及设置在图像拍摄单元110中的磁体174。旋转状态检测霍尔传感器172存在于主体100的上端部中，并且被设置在与图像 拍摄单元Iio相邻的位置处。霍尔传感器172检测由设置在图像拍摄单元110中的磁体 174产生的磁场的磁通量密度。另一方面，磁体174被设置在从图像拍摄单元110的旋转轴 116偏离的位置处。通过这种构造，当图像拍摄单元110绕旋转轴线116旋转时，霍尔传感器172与磁 体174之间的相对位置改变，并且因此由霍尔传感器172检测的磁体174的磁场的大小或 方向也改变。因此，通过由霍尔传感器172检测磁体174的磁场的大小或方向，可以检测图 像拍摄单元110相对于主体100的旋转状态(例如，图像拍摄单元110的旋转角θ、相对位置等)。霍尔传感器172将表明所检测到的磁场的大小或强度的信号输出到控制单元150， 并且控制单元150基于磁场的大小或方向来判断图像拍摄单元110的旋转状态。响应于所 检测的图像拍摄单元110的旋转状态，控制单元150控制对显示单元130上的所拍摄的图 像的上、下、右和左进行判断和显示的反转显示功能。将要在下文中对其进行详细描述。之后，将要参照图7描述安装检测单元180，该单元检测转接20是否安装到根据本 实施例的图像拍摄单元110上(下文中，也被称作“转接器20安装或没有安装到图像拍摄 单元110上”)。在本实施例中，如上所述，执行全方位图像拍摄操作的转接器20可拆卸地安装到 图像拍摄设备10的图像拍摄单元110上(见图4)。如图7所示，通过将转接器20的装配 部分23沿着图像拍摄方向安装到设置图像拍摄单元110的前表面上的固定部分117中，将 转接器20可拆卸地安装到图像拍摄单元110上。此时，通过将从转接器20的装配部分23 的两端向内突出的两个锁止爪24安装到形成在图像拍摄单元110的壳体的两个侧表面上 的凹陷部分115中，可以将转接器20简单地固定到图像拍摄单元110的前表面上。根据本实施例的图像拍摄设备10包括检测转接器20是否安装到图像拍摄单元 110上的安装检测单元180。例如，如图7所示，安装检测单元180包括设置在图像拍摄设 备10的图像检测单元110中的安装检测霍尔传感器182，以及设置在转接器20中的磁体 184。磁体184被埋在转接器20的装配部分23的一侧。安装检测霍尔传感器182存在于 图像拍摄单元110的前表面(沿着图像拍摄方向的前侧)上，并且设置在与转接器20的磁 体184相邻的位置处。霍尔传感器182检测由设置在转接器20中的磁体184产生的磁场 的磁通量密度。

当转接器20以上述构造安装到图像拍摄单元110上时(见图4)，磁体184设置在 霍尔传感器182附近。因此，霍尔传感器182检测到密度比由磁体184产生的预定磁通量 密度相等或更大的磁场。另一方面，在没有安装转接器20时(见图4)，霍尔传感器182没 有检测到密度比由转接器20的磁体184产生的预定磁通量密度相等或更大的磁场。因此， 通过使用由霍尔传感器182检测的磁场的强度，可以检测转接器20是否安装到图像拍摄单 元110上。霍尔传感器172将表明所检测的磁场的大小的信号输出到控制单元150，并且控 制单元150基于磁场的大小来判断转接器20是否安装到图像拍摄单元110上(安装或没 有安装转接器20)。控制单元150根据安装或者没有安装转接器20来改变图像拍摄设备 10的各种类型的操作设置。在根据本实施例的图像拍摄设备10中，旋转检测单元170检测图像拍摄单元110 相对于图像拍摄设备10的主体100相对旋转位置的状态，并且安装检测单元180检测转接 器20安装或没有安装在图像拍摄单元110上。以此方式，控制单元150可以基于图像拍摄 单元110的旋转状态或安装或没有安装转接器20来控制图像拍摄设备10的旋转设置。图 像拍摄设备10的操作设置的示例包括图像拍摄单元110的图像拍摄操作的设置(例如，与 图像拍摄操作相关的图像拍摄参数的设置)、显示单元130的显示操作的设置、以及操作单 元160的用户操作的控制设置。基于安装或没有安装转接器20，控制单元150基于全方位图像拍摄光学系统21的 光学特性来改变图像拍摄设备10的各种类型的操作设置。以此方式，当转接器20安装到 图像拍摄设备10的图像拍摄单元110上以执行全方位图像拍摄操作时，可以将图像拍摄操作10的操作设置自动地改变为适合于全方位图像拍摄光学系统21的光学特性的设置。因 此，在不需要用户在图像拍摄设备10上执行特定设置操作的状态下，通过简单地将转接器 20安装到图像拍摄设备10上，自动地将图像拍摄设备10控制到适合于全方位图像拍摄设 置的最优操作设置。1.5图像转换处理之后，将要参照图7到图9 描述通过根据本实施例的图像拍摄设备10将环状图像 30转换为全景图像40的图像转换操作。图8是示出了根据本实施例的比较示例的环状图 像30和全景图像40的说明图。图9是示出了根据本实施例的环状图像30和全景图像40 的说明图。如图7所示，当DSP 120按照存储在闪存ROM 151中的程序操作时，图像拍摄设备 10的DSP 120具有切断位置判断单元190和图像转换单元192的功能。在本实施例中，切 断位置决定单元190和图像转换单元192由软件实现，但是可以通过专用硬件实现。首先，将要描述图像转换处理的概述。通过将转接器20安装到图像拍摄设备10 以执行全方位图像拍摄操作，如图5所示，产生了通过拍摄图像拍摄设备10的全方位图像 而获得的环状图像30。在环状图像30中，全方位图像示出为同心的内圆和外圆之间的环状 形状。对象的形状由于全方位图像拍摄光学系统21的光学特性而被扭曲为环状形状。艮口， 对象被扭曲，以使得环状图像30的外边缘在周向上比环状图像30的内圆更多地延伸。为 了矫正对象的扭曲并观察所拍摄的图像，有必要执行将环状图像30转换为长矩形的全景 图像40的图像转换处理。在图像转换处理中，如图8和图9所示，通过在预定切断位置将环状图像30沿其 径向切断并将经切断的环状图像展开，而将环状图像30转换为长矩形全景图像40。这里， 切断位置指的是切断线的位置，环状图像30在径向方向上沿着该切断线被切断。例如，通 过基于穿过环状图像30的中心点31的竖直线32的切断线旋转角φ来表示切断位置。艮口， 为了将环状图像30展开为全景图像40，沿着穿过环状图像30的中心点的切断线33或34 在径向方向上切断环状图像30。由穿过环状图像30的中心点31的切断线33或34与竖直 线32形成的角φ指出切断位置。在图8的示例中，沿着切断线33竖直地切断环状图像30 的下部分，并且因此切断位置由φ=180°表示。另一方面，在图9的示例中，沿着切断线34 水平地切断环状图像30的左部分，并且因此切断位置由φ=270°表示。然而，在环状图像30被切断并且被展开为全景图像40时，可能在不适当的位置切 断环状图像30。在这种情况下，在所转换的全景图像40中可能破坏在环状图像30中示出 的对象的连续性。例如，如图8和图9所示，在利用图像拍摄设备10执行图像拍摄时，因为 对象35存在于操作图像拍摄设备10的摄影师36面向前方的方向(下文中，被称作面对方 向)中，所以被拍摄的对象35被拍摄到环状图像30的上部分中。另一方面，因为摄影师36 存在于与从图像拍摄设备10观察的面对方向相反的方向上，所以摄影师36自己倾向于被 拍摄到环状图像30的下部分中。当在将环状图像30转换为全景图像40时沿着切断线33切断环状图像30的下部 分时(当切断位置φ=180°时)，如图8所示，其中示出了摄影师36自己的部分被切断。因 此，摄影师的右半部分36a和摄影师的左半部分36b被分割到全景图像40左侧和右侧。在 沿着切断线切断环状图像30的上部分时(切断位置φ=0°的状态)，虽然未示出，但是所拍摄的对象35被切断。因此，关于全景图像40将被拍摄的对象35分割到左侧和右侧。以此方式，当在φ=0°或φ=180°的切断位置处切断环状图像30的上部分或下部分时，全景图像40中对主要对象(例如，被拍摄的对象35或摄影师36自己)进行分割，并因 此破坏了对象的连续性。然而，根据本实施例的切断位置决定单元190决定环状图像30的切断位置，以保 持环状图像30中的对象的连续性。通过在由切断位置决定单元190所决定的切断位置处 切断环状图像并且将所切断的环状图像30展开为长矩形图像，图像转换单元192将环状图 像30转换为全景图像40。因此，即使在通过展开环状图像30而获得的全景图像40中，也 可以保持主对象的连续性。例如，在将图8和图9中示出的环状图像30转换为全景图像40时，保持环状图像 30中的对象的连续性的切断位置是在环状图像30的左侧(φ=270°)或右侧(φ=90°)，如 图9所示。在切断位置处，切断线34位于穿过环状图像30的中心点31的水平线上。没有 沿着切断线34切断在环状图像30的上部分和下部分中的主要对象(例如，被拍摄的对象 35和摄影师36自己)。例如，在将切断位置确定为在环状图像30的左部分(φ=270°)上 时，如图9所示，在全景图像40中没有对拍摄的对象35和摄影师36自己进行分割，并且因 此可以保持对象的连续性。迄今为止已经描述了其中环状图像30被沿着在环状图像30的切断位置φ=270° 或φ=90°的位置的切断线34水平地切断的示例，但是本发明不限于此。例如，表明切断位 置的角度φ可以是从90°或270°偏离角α (其中，0° < α < 90° )的角度。S卩，环状图 像30的切断位置也可以是满足90°-α<φ<90°+α或270°-α<φ<270°+α。之后，可以在不 破坏对象的连续性的状态下切断环状图像30，并且可以将其展开为全景图像40。这里，角 度α是满足0° < α <90°的预定角。例如，角度α是10°、30°、45°或60°等。可选择地，在由图像拍摄设备10产生环状图像30时，可以根据图像拍摄设备10 的图像拍摄状态或图像拍摄环境来改变角度α。因此，因为可以根据图像拍摄设备10的图 像拍摄状态或图像拍摄环境来适当地调整切断位置，所以可以适当地保持通过对环状图像 30进行转换而获得的全景图像40上的对象的连续性。1.6图像处理方法之后，将要参照图10描述由根据本实施例的图像拍摄设备10执行的图像处理方 法。图10是示出了根据本实施例的图像处理方法的流程图。如图10所示，图像拍摄设备10首先在转接器20安装到图像拍摄单元110上的状 态下执行全方位图像拍摄操作(SlOO)。在全方位图像拍摄操作中，图像拍摄设备10的全方 位对象被拍摄并且产生环状图像30。随后，图像拍摄设备10的记录再现单元140根据预定 压缩编码方法来对于环状图像30进行压缩和编码，并且将环状图像30记录在诸如存储卡 167的记录介质中(S102)。随后，在使用者对操作单元160进行操作并且输入指令来对图像拍摄设备10中的 环状图像30进行转换时，图像拍摄设备10执行如以下S104到SllO中描述的将环状图像 30转换为全景图像40的图像转换处理。图像拍摄设备10可以响应于预定事件来自动地执 行图像转换处理。图像拍摄设备10的记录再现单元140首先对存储在诸如存储卡167的记录介质中的环状图像30的数据进行再现(S104)。例如，图像拍摄设备10从诸如存储卡167的记 录介质读取环状图像30的数据，并且之后根据预定压缩编码方法来解压缩和解码数据。
随后，图像拍摄设备10的切断位置决定单元190决定在S104中再现的环状图像 30的切断位置(S106)。此时，切断位置决定单元190决定环状图像30的切断位置，以即使 在将环状图像30转换为全景图像40时，仍保持环状图像30中的主要对象的连续性。例 如，如图9所示，将环状图像30的切断位置确定为在环状图像30的左侧或右侧(φ=270° 或φ=90°)。因此，在环状图像30的上部分中的被拍摄的对象35的图像或者在环状图像 30的下部分中的摄影师36自己的图像不被分割。通过在步骤S106中确定的切断位置处对环状图像30进行切断并且将经切断的环 状图像30展开为长矩形图像，图像拍摄设备10的图像转换单元192将环状图像30转换为 全景图像40 (S108)。图9中示出的全景图像40是通过转换处理产生的。随后，图像拍摄设备10的记录再现单元140按照预定压缩解码方法对步骤SllO 中产生的全景图像40进行压缩和编码，并且将全景图像记录在诸如存储卡167的记录介质 中(SllO)。按照根据第一实施例的图像处理方法，在适当的位置对通过全方位图像拍摄操作 而获得的环状图像30进行切断。因此，即使在通过对环状图像30进行转换而获得的全景 图像40上，也不分割诸如被拍摄的对象35或摄影师36自己的主对象，并且因此可以保持 主对象的连续性。2.第二实施例之后，将要描述根据本发明的第二实施例的图像拍摄设备和图像处理方法。在第 二实施例中，确定环状图像30的切断位置的方法与根据第一实施例的方法不同。其他功能 构造与根据第一实施例的功能构造基本相同，并且将要省略其详细描述。2. 1图像转换处理的概述为了将环状图像30转换为全景图像40，如上所述，有必要在切断位置对环状图像 30进行切断并将经切断的环状图像展开为全景图像。然而，根据图像拍摄设备10的图像拍 摄状态，在对对象进行拍摄并产生环状图像30时，在环状图像30中存在对象定位的倾向。 图像拍摄设备10的图像拍摄状态的示例包括图像拍摄设备10的图像拍摄方向(图像拍摄 光学系统111的光轴103的方向)与显示单元130或手柄之间的相对位置关系，以及图像 拍摄设备10的位置。手柄是用于在执行全方位图像拍摄操作时用户用来握持图像拍摄设 备10的手带等。在第二实施例中，当图像拍摄设备10产生环状图像30时，切断位置决定单元190 根据图像拍摄设备10的图像拍摄状态来决定环状图像30的切断位置。此外，图像转换单 元192在根据图像拍摄状态的切断位置处对环状图像30进行切断，并且展开经切断的环状 图像30。以此方式，因为可以考虑到根据图像拍摄状态的对象布置的倾向而在用户期望的 切断位置(在该位置处不存在主要对象)处切断环状图像30，而不会由于转换为全景图像 40而破坏对象的连续性。下文中，将要详细描述在图像拍摄设备10产生环状图像30时，根据图像拍摄设备 10的图像拍摄状态决定环状图像30的切断位置的处理。当图像拍摄设备10将由全方位图像拍摄操作所产生的环状图像30记录在记录介质中(存储卡167等)时，图像拍摄设备10 将图像拍摄状态信息记录为环状图像30的、与 环状图像30相关的附加信息。图像拍摄状态信息指的是当图像拍摄设备10产生环状图像30时表明图像拍摄设 备10的状态的信息。图像拍摄状态信息的示例包括表明在图像拍摄时在图像拍摄设备10 的图像拍摄方向与显示单元130或手柄之间的位置关系的信息，以及表明图像拍摄设备10 的位置的关系。例如，图像拍摄单元110相对于主体100的旋转角θ可以被用作表明图像 拍摄方向与显示单元130或手柄之间的位置关系的信息。位置传感器(加速度传感器、陀 螺仪传感器等)可以被安装到图像拍摄设备10中，以通过由位置传感器来检测图像拍摄设 备10的位置(例如，滚转角α、俯仰角β或偏航角Y)来获得表明在拍摄时图像拍摄设备 10的位置的信息。随后，在将环状图像30转换为全景图像40时，图像拍摄设备10从记录介质读取 环状图像30和增加到环状图像30中的图像拍摄状态，并对环状图像30和图像拍摄状态信 息进行再现。随后，基于图像拍摄状态信息，图像拍摄设备10的切断位置决定单元190将 可能保持对象的连续性的位置决定为环状图像30的切断位置。之后，图像转换单元192通 过在预定切断位置处对环状图像30进行切断并将经切断的环状图像30展开，而将环状图 像30转换为全景图像40。下文中，将要详细描述当图像拍摄设备10产生环状图像30时， 根据图像拍摄设备10的图像拍摄状态而确定环状图像30的切断位置的具体示例。2. 2根据图像拍摄方向与显示单元130的位置关系来决定切断位置的示例1将要参照图IlA到图13Β首先描述根据在通过图1到图5中示出的图像拍摄设备 10来执行全方位图像拍摄操作时的图像拍摄方向与显示单元130的位置关系来决定切断 位置(例如，图像拍摄单元110的旋转状态)的示例。在图1到图5中示出的图像拍摄设备10中，如上所述，图像拍摄单元110可以相 对于主体100旋转，并且图像拍摄单元110的方向(图像拍摄方向)和显示单元130的显 示屏的方向可以变化。在具有这种可旋转机构的图像拍摄设备10中，通过将图像拍摄单元 110和显示单元130的方向确定为处于相同方向，如图3所示，使用者(摄影师)可以在观 察显示在显示单元130上的使用者的直通图像的同时拍摄他自己的照片(自拍)。具有自 拍功能的图像拍摄设备10具有在使用者拍摄他自己的照片时使得在显示单元130上的所 拍摄的图像的上、下、左、右部分反转并显示的反转显示功能。反转显示功能使得在使用者 拍摄他自己的照片时所拍摄的图像能够反转地显示，并且因此可以在对于使用者的自然方 向上显示图像。将要参照图IlA和图IlB描述在普通图像拍摄时的反转显示功能。当图像拍摄单 元110的方向确定为在图像拍摄设备10的前方向上时(旋转角θ = 0° )，如图IlA所 示，对在图像拍摄设备10的前表面上的对象富士山进行拍摄，并且将所拍摄的富士山的图 像132显示在显示单元130上。在这种情况下，因为图像拍摄单元110的旋转角θ小于基 准角θο(例如)，所以控制单元150取消了反转显示功能。因此，所拍摄的图 像132在上下方向或左右方向上都没有反转地显示。另一方面，当图像拍摄单元110被旋转并且方向确定为在图像拍摄设备的后方向 上时(旋转角θ =180° )，如图IlB所示，对在图像拍摄设备10的后方向上的使用者的 面部进行拍摄，并且因此将所拍摄的使用者的图像134显示在显示单元130上。在这种情况下，因为图像拍摄单元110的旋转角Θ等于或大于基准角QtlHi^n, θ0=120° )，所 以控制单元150激活反转显示功能。因此，反转显示功能使得所拍摄的图像134能够在上 下方向上和左右方向上都反转地显示。在图IlB中，也显示了没有反转地显示的所拍摄的 图像136来作为参考。因此，通过在显示单元130上在上下方向上和左右方向上反转地显 示所拍摄的图像134，在使用者以180°附近的旋转角θ来拍摄他自己的照片时，使用者的 面部像是示出在镜子上那样显示在显示单元130上，并且因此使用者可以容易地调整观察 角度。反转显示功能是沿着上下方向和左右方向使得所拍摄的图像反转的功能，但是本 发明不限于这个示例。例如，反转显示功能可以是仅在上下方向上使得所拍摄的图像反转 的功能。可选择地，当图像拍摄单元110的旋转方向是主体100的水平方向时，反转显示功 能可以是仅在左右方向上使得图像反转的功能。之后，如图12Α、图12Β、图13Α和图13Β所示，将要描述将转接器20安装到图像拍 摄单元110上，以在具有图像拍摄单元110的旋转机构和反转显示功能的图像拍摄设备10 中执行全方位图像拍摄操作的情况。即使在执行全方位图像拍摄操作时，反转显示功能也 使得能够根据图像拍摄单元110的图像拍摄方向与显示单元130之间的相对位置关系(例 如，图像拍摄单元110的旋转角度θ )来反转地显示环状图像30。例如，如图12Α和图13Α所示，假设以下状态摄影师保持图像拍摄设备10以使得 主体1 00的显示单元130几乎平行于竖直方向(即，摄影师竖直地保持图像拍摄设备)时、 在安装有转接器20的图像拍摄单元110的旋转角θ为90°时来执行全方位图像拍摄的 状态(第一图像拍摄状态)。此时，图像拍摄设备10的图像拍摄方向(图像拍摄光学系统 111的光轴103的方向)被确定为竖直地向上，并且垂直于显示单元130的方向。因为要被 拍摄的对象35在第一图像拍摄状态下存在于摄影师的面对方向上，所以被拍摄的对象35 被显示在通过全方位图像拍摄操作而获得的环状图像30的上部分中，并且摄影师36自己 被显示在环状图像30的下部分中。假设摄影师将图像拍摄状态从第一图像拍摄状态改变到图12Β和图13Β中示出的 第二图像拍摄状态，以在相同的情景上执行全方位图像拍摄操作。在第二图像拍摄状态下， 如图12Β和图13Β所示，使用者使得图像拍摄设备10水平地向下倾斜并保持，以使得显示 单元130基本与水平方向平行，并且图像拍摄单元110朝向摄影师旋转，以使得旋转角θ 改变为180°。此时，显示单元130的方向被确定为竖直地向上，并且平行于图像拍摄设备 10的图像拍摄方向。在第二图像拍摄状态下，将通过由反转显示功能使得环状图像30在 上、下、左、右方向上反转而获得的环状图像39显示在显示单元130上。摄影师36被显示 在环状图像39的上部分中，并且被拍摄的对象35被显示在环状图像的下部分中。当在反转地显示环状图像30时环状图像30的切断位置通常固定在恒定的位置 (例如，环状图像30的左侧被沿着φ=270°的切断线37切断)时，通过对图12Α中示出的 环状图像30进行转换而获得的全景图像40和通过对图12Β中示出的环状图像39进行转 换而获得的全景图像40可能变得彼此不同。因此，因为即使以相同方向拍摄相同的情景也 会产生不同的全景图像40，所以摄影师可能觉得不舒服。然而，在本实施例中，在图12Β中示出的反转显示的环状图像39的切断位置被改 变到与图12Α中示出的环状图像30的切断位置(φ=270°)相对称的位置(φ=90°)，并且之后沿着切断线38对环状图像39的右侧进行切断。因此，通过在使用者期望的相同切断 位置处对通过拍摄相同的情景而产生的两个环状图像(图12A中示出的环状图像30和图 12B中示出的反转显示的环状图像39)进行切断，可以获得相同的全景图像40。为了确定切断位置，图像拍摄设备10将在产生两个环状图像30和39时的图像拍 摄单元110的各自的旋转角θ存储为图像拍摄状态信息。切断位置决定单元190根据图 像拍摄单元110 的旋转角θ来决定切断位置(角φ)。例如，当图像拍摄单元110的旋转角 θ小于120°并且环状图像没有被反转显示时，如图12Α和图13Α所示，切断位置决定单元 190将环状图像30的切断位置决定为在环状图像30的左侧上的切断线37(φ=270°)。另 一方面，当图像拍摄单元110的旋转角θ等于或大于120°并且反转显示环状图像时，如图 12Β和图13Β所示，切断位置决定单190将环状图像39的切断位置决定为在环状图像39的 右侧上的切断线38(φ=90°)。图像转换单元192在预定切断位置(φ=270°或90° )处 切断环状图像30或39，并且将经切断的环状图像展开为全景图像40。在本实施例中，根据在产生环状图像30时的图像拍摄方向与显示单元130的方向 之间的相对位置关系(例如，图像拍摄单元110的旋转角Θ )来决定环状图像30和39的 切断位置(φ)。因此，因为都在适合于相对位置关系的切断位置处将环状图像30和39切 断和展开，所以可以产生不会使得使用者觉得不愉快的全景图像40，而不破坏对象的连续 性。2. 3根据图像拍摄方向与显示单元130的位置关系来决定切断位置的示例2之后，将要参照图14Α到图14C描述基于在通过根据本发明的另一个实施例的图 像拍摄设备11执行全方位图像拍摄操作时的图像拍摄方向与显示单元130之间的位置关 系(例如，显示单元130的旋转状态)来确定切断位置的示例。图14Α到图14C是示出了 根据本发明的另一个实施例的图像拍摄设备11的立体图。图14Α到图14C中示出的图像拍摄设备11与根据第一实施例的图像拍摄设备10 的区别在于代替图像拍摄单元Iio设置了使得显示单元130旋转的旋转机构。其他功能构 造与第一实施例基本相同，并且将要省略其详细描述。如图14Α到图14C所示，图像拍摄设备11包括使得显示单元130相对于主体100 旋转的旋转机构。通过由旋转机构使得显示单元130旋转，可以将显示单元130的显示屏 的方向确定为任何期望的方向，诸如，图像拍摄设备11的前表面101 (在图像拍摄方向上)、 后表面102 (在摄影师那一侧)、上表面104或下表面105。在正常图像拍摄操作中，通过使 得显示单元130的显示屏朝向图像拍摄设备11的后表面102 (在摄影师那一侧)，摄影师 可以在观察显示在显示单元130上的所拍摄的图像的同时，对于位置朝向图像拍摄设备11 的前表面101(在摄影师的面向方向上)的对象拍摄照片。在自拍操作中，通过使得显示单 元130的显示屏的方向确定为朝向图像拍摄设备11的前表面101，使用者可以在观察显示 在显示单元130上的所拍摄的他自己的图像的同时，给他自己拍照。图像拍摄设备11也具有参照图IlA和图IlB描述的反转显示功能。因此，在自拍 操作中，反转显示功能使得显示在显示单元130上的所拍摄的图像被以上、下、左和右方向 反转的方式显示。根据第一实施例的旋转检测单元170 (见图7)检测图像拍摄单元110相 对于主体100的旋转状态。然而，图14Α到图14C中示出的图像拍摄设备11的旋转检测单 元170检测显示单元130相对于主体100的旋转状态(旋转角Ψ)。以此方式，控制单元150基于显示单元130的旋转状态来反转地显示所拍摄的图像(环状图像30)。 之后，将要描述在图14A到14C中示出的图像拍摄设备11的全方位图像拍摄操 作。图像拍摄设备11的图像拍摄单元110不旋转并且是固定的(见图14A)，但是可移除的 转接器20可以像第一实施例那样安装到图像拍摄单元110上(见图14B和图14C)。在转 接器20安装到图像拍摄单元110上时，图像拍摄设备11可以使用转接器20的全方位图像 拍摄光学系统21来执行全方位图像拍摄操作。在执行全方位图像拍摄操作时，如果14A到 14C所示，通过设置图像拍摄设备10以使得图像拍摄光学系统111的光轴103的方向(图 像拍摄方向)的方向确定为向上，可以拍摄包括转接器20的水平面内的全方位(360° )对 象。即使在通过图像拍摄设备11执行全方位图像拍摄操作时，仍通过反转显示功能 响应于显示单元130的旋转角而将环状图像30反转地显示在显示单元130上。例如，当显 示单元130的显示屏的方向确定为与图像拍摄方向相反(附图中的向下方向)时(Ψ = 0° )，如图14B所示，控制单元150不在显示单元130上反转地显示环状图像30。另一方 面，当显示单元130的显示屏的方向确定为图像拍摄方向(附图中的向上方向)时(Ψ = 180° )，如图14C所示，控制单元150在显示单元130上反转地显示环状图像30。与图13A和图13B中示出的图像拍摄设备10相似，图14A到图14C中示出的图像 拍摄设备11将在全方位图像拍摄操作中获得的显示单元130的旋转角Ψ作为图像拍摄状 态信息而进行存储。切断位置决定单元190响应于显示单元130的旋转角Ψ而决定环状 图像30的切断位置(角度φ )。例如，当显示单元130的旋转角Ψ为0°并且环状图像没 有反转显示时，如图14Β所示，切断位置决定单元190将环状图像30的切断位置决定为在 环状图像的左侧上的切断线(φ=270°)(未示出)。另一方面，当显示单元130的旋转角ν 为180°并且环状图像反转显示时，如图14C所示，切断位置决定单元190将环状图像30的 切断位置决定为在环状图像的右侧上的切断线38 (φ=90°)(未示出)。之后，图像转换单 元192在所决定的切断位置(φ= 270°或90° )处对环状图像30进行切断，并且将经切断 的环状图像30展开为全景图像40。在图14Α到图14C的示例中示出的图像拍摄设备11中，根据在产生环状图像30 时的图像拍摄方向与显示单元130的方向之间的相对位置关系(例如，显示单元130的旋 转角Ψ)来决定环状图像30的切断位置(φ)。因此，因为可以在适合于相对位置关系的切 断位置出切断并展开环状图像30，所以可以产生使用者不觉得不舒服的全景图像40，而不 需要破坏对象的连续性。2. 4根据图像拍摄方向与手柄的位置关系来决定切断位置的示例之后，将要参照图15描述一种示例，其中，根据在由根据本发明的另一个实施例 的图像拍摄设备12执行全方位图像拍摄操作时的图像拍摄方向与图像拍摄设备12的手柄 之间的位置关系，来决定切断位置。图15是示出了根据本发明的另一个实施例的图像拍摄 设备12的立体图。如图15所示，图像拍摄设备12被构造为例如包括大致圆柱形壳体106的视频摄 像机。在使用图像拍摄设备12来执行一般图像拍摄操作时，摄影师通过将右手从下侧穿过 安装在壳体106的一侧上的手带107而握持图像拍摄设备12。手带107对应于图像拍摄设 备12的手柄。之后，摄影师在图像拍摄设备12的图像拍摄方向(图像拍摄光学系统111的光轴103的方向)上 拍摄期望的对象的一般照片。在转接器20被安装到图像拍摄设备12上以执行全方位图像拍摄操作时，摄影师 通过将右手从上侧穿过手带107来握持图像拍摄设备12，以使图像拍摄方向确定为向上， 并且使得显示单元130旋转，以将显示单元130的方向确定为朝向他自己。之后，摄影师可 以使用手带107来稳定地握持图像拍摄设备12，并且也可以在观察显示单元130上的环状 图像39的同时执行全方位图像拍摄操作。在该图像拍摄状态下，因为摄影师位于面向图像拍摄设备12的上表面108的位置 处，所以摄影师的面对方向变为图像拍摄设备12的底表面方向(显示单元130的后表面的 方向)。因此，在显示在显示单元130的环状图像39中，摄影师36自己位于环状图像39的 上部分中并且在摄影师的面向方向上拍摄的对象35位于环状图像39的下部分中。以此方式，根据图像拍摄设备12的图像拍摄方向与手柄(手带107)之间的相对 位置关系，可以确定在环状图像39中的对象的配置。因此，在根据相对位置关系来决定环 状图像39的切断位置时，可以将环状图像39展开为全景图像40，而不需要切断环状图像 39中的主要对象。基于表明图像拍摄方向与手柄之间的相对位置关系的信息，图像拍摄设备12的 切断位置决定单元190将环状图像39中的主要对象不被切断的位置决定为环状图像的切 断位置。例如，切断位置决定单元190决定环状图像39的切断位置，以使得环状图像39 的左侧被沿着切断线37切断或者环状图像39的右侧被沿着切断线38切断(φ=270°或 90° )。图像转换单元192在预定切断位置处(φ=270°或90° )切断环状图像39，并且 使得经切断的环状图像39展开为全景图像40。因此，因为可以在适合于相对位置关系的切 断位置处将环状图像39切断并展开，可以产生全景图像40，而不破坏对象的连续性。3 总结迄今为止已经描述了根据本发明的优选实施例的图像拍摄设备10、11和12及其 图像处理方法。根据本实施例，在将全方位图像拍摄操作中产生的环状图像30或39转换 为全景图像40时，将环状图像30或39的切断位置决定为在环状图像30的左侧或右侧上， 以保持对象的连续性。因此，可以将环状图像30或39展开为全景图像40，而不需要破坏环 状图像30或39中的主图像的连续性。根据第二实施例，在产生环状图像30或39时，基于增加到环状图像30或39中的 图像拍摄状态信息，将环状图像30或39的切断位置决定为适合于图像拍摄状态的位置。例 如，基于在执行全方位图像拍摄操作时的图像拍摄设备10、11或12的图像拍摄方向与显示 器130或手柄之间的相对位置关系来决定环状图像30或39的切断位置。因此，考虑到对 象的定位根据图像拍摄状态的倾向，可以将环状图像30或39的切断位置确定为适当的位 置。因此，在将环状图像30或39展开为全景图像40时，可以更可靠地保持对象的连续性。迄今为止已经参考附图描述了本发明的优选实施例，但是本发明不限于此。对于 本领域技术人员很明显地，可以在权利要求的范围中描述的技术精神内进行各种修改和替 换，并且应该理解这些修改和替换当然属于本发明的技术范围。在上述实施例中，例如，已经举例说明了两次反射型全方位图像拍摄光学系统21 和一次反射型全方位图像拍摄光学系统25，但是根据本发明的实施例的全方位图像拍摄光 学系统不限于此。例如，可以使用将来自对象的光反射三次或更多次的全方位图像拍摄光学系统21。全方位图像拍摄光学系统的反射表面、透过表面等的形状不限于所示出的示例， 并且可以在设计中任意地调整。在根据上述实施例的图像拍摄设备10、11和12中，包括全方位图像拍摄光学系统 21的转接器20被可拆卸地安装，但是本发明不限于此。全方位图像拍摄设备可以是其中具 有全方位图像拍摄光学系统的图像拍摄设备，只要全方位图像拍摄光学系统能够执行全方 位图像拍摄操作以产生环状图像。即，根据本发明的实施例的产 生环状图像的图像拍摄设 备可以是专用于全方位图像拍摄操作的图像拍摄设备。图像拍摄设备不限于零售的数字照 相机，但是可以是监视摄像机或用于商业目的的内窥镜的图像拍摄设备。在上述实施例中，迄今为止已经描述了其中根据本发明实施例的图像处理设备应 用到图像拍摄设备10、11或12并且在全方位图像拍摄操作中产生环状图像30的图像拍摄 设备自身将环状图像30转换为全景图像40的示例。然而，根据本发明的实施例的图像处 理设备不限于此。例如，图像处理设备可以应用到具有图像处理功能的任何电子设备，诸如 个人计算机、移动电话、便携式视频/语音播放器、电视接收器、视频记录/再现设备、游戏 主机、数字照片相框设备或者车载导航设备。当图像处理设备不是全方位图像拍摄设备时，可以经由诸如存储卡167的记录介 质或诸如互联网或局域网的通信网络将由全方位图像拍摄设备产生的环状图像的数据提 供给图像处理设备。全方位图像拍摄设备可以将图像拍摄状态信息增加到所产生的环状图 像的数据中，并且图像处理设备可以基于被增加到环状图像的数据中的图像拍摄状态信息 来决定环状图像的切断位置。本申请含有涉及2009年12月28日递交给日本专利局的日本优先专利申请JP 2009-298946中公开的主题，并且通过引用将其结合在这里。本领域的技术人员可以理解，可以根据设计需要和其他因素来进行各种修改、结 合、子结合和替换，只要它们在权利要求的精神或其等价范围内。
权利要求
1.一种图像处理设备，包括切断位置决定单元，其决定沿着径向方向切断环状图像以保持所述环状图像中的对象 的连续性的切断位置，所述环状图像由全方位图像拍摄设备产生；以及图像转换单元，其通过在由所述切断位置决定单元决定的所述切断位置处对所述环状 图像进行切断并且将经切断的环状图像展开，而将所述环状图像转换为长矩形全景图像。
2.根据权利要求1所述的图像处理设备，其中，所述切断位置决定单元决定所述切断 位置在所述环状图像的左侧还是右侧上。
3.根据权利要求1所述的图像处理设备，其中，所述切断位置决定单元基于在所述全 方位图像拍摄设备产生所述环状图像时表明所述全景图像拍摄设备的状态的图像拍摄状 态信息来决定所述切断位置。
4.根据权利要求3所述的图像处理设备，其中，所述图像拍摄状态信息包括表明在所 述全方位图像拍摄设备产生所述环状图像时的所述全方位图像拍摄设备的图像拍摄方向 与所述全方位图像拍摄设备的显示单元之间的相对位置关系的信息。
5.一种图像处理方法，包括以下步骤决定沿着径向方向切断环状图像以保持所述环状图像中的对象的连续性的切断位置， 所述环状图像由全方位图像拍摄设备产生；以及通过在所决定的切断位置处对所述环状图像进行切断并将经切断的环状图像展开，而 将所述环状图像转换为长矩形全景图像。
6.一种程序，其使得计算机执行以下步骤决定沿着径向方向切断环状图像以保持所述环状图像中的对象的连续性的切断位置， 所述环状图像由全方位图像拍摄设备产生；以及通过在所决定的切断位置处对所述环状图像进行切断并将经切断的环状图像展开，而 将所述环状图像转换为长矩形全景图像。
全文摘要
本发明提供了图像处理设备、图像处理方法以及程序。一种图像处理设备，包括切断位置决定单元，其决定沿着径向方向切断环状图像以保持环状图像中的对象的连续性的切断位置，环状图像由全方位图像拍摄设备产生；以及图像转换单元，其通过在由切断位置决定单元决定的切断位置处对环状图像进行切断并且将经切断的环状图像展开，而将环状图像转换为长矩形全景图像。
文档编号H04N5/232GK102111545SQ20101060906
公开日2011年6月29日 申请日期2010年12月21日 优先权日2009年12月28日
发明者斋藤优司, 桶川秀治 申请人:索尼公司