图像处理装置、图像捕获装置、图像处理方法和程序的利记博彩app

专利名称：图像处理装置、图像捕获装置、图像处理方法和程序的利记博彩app
技术领域：
本发明涉及图像处理装置、图像捕获装置、图像处理方法和程序，并且更具体地涉 及能够使用在移动相机的同时捕获的多个图像生成用于显示三维图像(3D图像)的图像的 图像处理装置、图像捕获装置、图像处理方法和程序。
背景技术：
为了生成三维图像(也称为3D图像或立体图像)，必须在不同的观察点拍摄图像， 也就是说，必须拍摄左眼图像和右眼图像。在不同的观察点拍摄图像的方法大致地分为两 种。第一种方法是使用所谓的多镜头相机的方法，该多镜头相机使用多个相机单元在 不同观察点同时捕获被摄体。第二种方法是使用所谓的单镜头相机的方法，该单镜头相机在移动图像捕获装置 的同时使用单个相机单元在不同的观察点连续捕获图像。例如，在第一种方法中使用的多镜头相机系统具有这样的配置，其中镜头布置在 间隔的位置，以便在不同的观察点同时拍摄被摄体。然而，多镜头相机系统具有的问题在于 由于需要多个相机单元，所以相机系统是昂贵的。相反，在第二种方法中使用的单镜头相机系统包括一个相机单元，如在根据现有 技术的相机中一样。在移动包括一个相机单元的相机的同时在不同的观察点连续拍摄多个 图像，并且多个拍摄的图像用于生成三维图像。因此，当使用单镜头相机系统时，可以以相对低的成本实现具有一个相机单元的 系统，如在根据现有技术的相机中一样。在"Acquisition of Distance Information Using Omnidirectional Vision”(电子协会Gnstitute of Electronics)的期刊，信息和通信工程师(Information and Communication Engineers)，D-II，Vol. J74-D-II，No. 4，1991 年)中，根据现有技 术的技术描述了一种从在移动单镜头相机的同时捕获的图像获取关于被摄体的距离信息 的方法。^ "Omni-Directional Stereo”(关于图像分析和机器智能的IEEE学报(IEEE Transaction On Pattern Analysis And Machine Intelligence)VOL. 14, No. 2,1992 年 2 月)中，也描述了与"Acquisition of Distance Information Using Omnidirectional Vision”(电子协会(Institute of Electronics)的期刊，信息和通信工程师information and Communication Engineers)，D-II, Vol. J74-D-II，No. 4，1991 年)的那些内容相同的 内容。"Acquisition of Distance Information Using Omnidirectional Vision，，(电 子协会(Institute of Electronics)的期刊，信息和通信工程师information and Communication Engineers), D-II, Vol. J74-D-II, No. 4，1991 年)禾口 ‘‘Omni—Directional Mereo”(关于图像分析和机器智能的 IEEE学报(IEEE Transaction On Pattern Analysis And Machine Intelligence) VOL. 14，No. 2，1992 年 2 月)描述了这样的方法，该方法通过
4将相机固定在位于离距旋转台的旋转中心给定距离的圆周上，并且在旋转该旋转台的同时 连续拍摄图像，使用通过两个垂直狭缝获得的两个图像获取被摄体的距离信息。如 在"Acquisition of Distance Information Using Omnidirectional Vision”(电子协会(Institute of Electronics)的期刊，信息和通信工程师 (Information and Communication Engineers), D-II, Vol. J74-D-II, No. 4,1991 年)禾口 "Omni-Directional Mereo，，(关于图像分析和机器智能的 IEEE 学报(IEEE Transaction On Pattern Analysis And Machine Intelligence) VOL. 14，No. 2，1992 年 2 月)中一样， 日本未审专利申请公开No. 11-164326公开了一种配置，其中通过将相机安装在离距旋转 台的旋转中心给定距离，并且在旋转相机的同时拍摄图像，使用通过两个狭缝获得的两个 图像，获取应用于显示三维图像的左眼全景图像和右眼全景图像。在根据现有技术的多个技术中，公开了当旋转相机时使用通过狭缝获得的图像获 取应用于显示三维图像的左眼图像和右眼图像的方法。另一方面，存在通过在移动相机的同时拍摄图像并且连接多个拍摄的图像生成全 景图像(也就是说，具有水平长形状的二维图像)的已知方法。例如，日本专利No. 3928222 和日本专利No. 4293053公开了生成全景图像的方法。当生成二维全景图像时，使用在移动相机的同时拍摄的多个图像。"Acquisition of Distance Information Using Omnidirectional Vision，，(电 子协会(Institute of Electronics)的期刊，信息和通信工程师information and Communication Engineers), D-II, Vol.J74-D-II, No. 4,1991 年)、‘‘0mni_Directional Mereo，，(关于图像分析和机器智能的 IEEE学报(IEEE Transaction On Pattern Analysis And Machine Intelligence) VOL. 14，No. 2，1992年2月)、以及日本未审专利申请公开 No. 11-1643 描述了通过应用在拍摄处理(像生成全景图像的处理)中拍摄的多个图像并 且在预定区域剪切和连接图像、从而获取作为三维图像的左眼图像和右眼图像的原理。然而，这些文献至多描述了原理。例如，没有描述当用户用手握住相机并且在摆动 相机的同时拍摄全景图像时，可靠地获取可应用于三维图像的左眼图像和右眼图像的条件 等。当用户用手握住相机并且在移动相机的同时拍摄多个图像时，取决于情况变化相机的 移动速度等。例如，在根据现有技术的上述文献中，没有清楚地描述在各种拍摄条件下获取 可应用于三维图像的左眼图像和右眼图像的必要条件等。

发明内容
希望提供一种图像处理装置、图像捕获装置、图像处理方法和程序，其能够使用在 拍摄条件下移动相机的同时拍摄的多个图像或在能够执行各种设置的图像捕获装置中，可 靠地控制应用于显示三维图像的左眼图像和右眼图像的生成。根据本发明的实施例，提供一种图像处理装置，包括图像合成单元，其通过输入 在不同的位置拍摄的多个图像并且连接从图像剪切的条区域生成合成图像。所述图像合成 单元通过连接和合成在图像中设置的左眼图像条的处理生成应用于显示三维图像的左眼 合成图像，并且通过连接和合成在图像中设置的右眼图像条的处理生成应用于显示三维图 像的右眼合成图像。所述图像合成单元通过从存储器获取可允许的范围或计算可允许的范 围，执行在左眼图像条和右眼图像条的设置位置的可允许的范围中设置左眼图像条和右眼图像条的处理，所述左眼图像条和右眼图像条用于生成可应用于显示三维图像的在不同观 察点的左眼合成图像和右眼合成图像。在根据本发明实施例的图像处理装置中，所述图像合成单元可以执行从存储器获 取条偏移的可允许的最小值和可允许的最大值作为可允许的范围或计算可允许的最小值 和可允许的最大值作为可允许的范围的处理，所述条偏移是作为应用于生成二维合成图像 的图像剪切区域的二维合成图像条和左眼图像条或右眼图像条之间的间隔距离。在根据本发明实施例的图像处理装置中，所述图像合成单元可以执行从存储器获 取条设置位置作为可允许的范围或计算条设置位置作为可允许的范围的处理，在所述条设 置位置左眼图像条和右眼图像条的设置区域之间不出现重叠区域。在根据本发明实施例的图像处理装置中，所述图像合成单元可以执行从存储器获 取条设置位置作为可允许的范围或计算条设置位置作为可允许的范围的处理，在所述条设 置位置左眼图像条和右眼图像条的设置区域在图像存储器的存储范围内。在根据本发明实施例的图像处理装置中，条偏移的可允许的最小值可以是通过应 用参数(a)到(c)计算的值(a)捕获多个图像的图像捕获装置的图像捕获元件的每个像 素的视角μ ； (b)当捕获多个图像的图像捕获装置捕获图像时的移动角速度d;以及(c)捕 获多个图像的图像捕获装置的连续拍摄速度。所述图像合成单元可以执行通过应用参数 (a)到(c)计算条偏移的可允许的最小值或从存储器获取计算的值的处理。在根据本发明实施例的图像处理装置中，图像捕获元件的每个像素的视角μ可 以是基于多个图像的每个的视角α计算的值。视角α可以是通过应用参数(d)到(f)的 每个计算的值(d)捕获多个图像的图像捕获装置的镜头的焦距f;(e)捕获多个图像的图 像捕获装置的图像捕获元件的像素间距P ；以及(f)捕获多个图像的图像捕获装置的图像 捕获元件的水平像素的数目h。所述图像合成单元可以执行通过应用参数(a)到(f)计算 条偏移的可允许的最小值或从存储器获取计算的值的处理。在根据本发明实施例的图像处理装置中，条偏移的可允许的最大值可以是基于对 应于图像存储器的存储范围的一个图像的水平有效尺寸t和条偏移的可允许的最小值计 算的值。所述图像合成单元可以执行通过应用水平有效尺寸t和条偏移的可允许的最小值 计算条偏移的可允许的最大值或从存储器获取计算的值的处理。根据本发明的另一实施例，提供一种图像捕获装置，包括应用于捕获图像的镜头 单元；执行拍摄的图像的光电转换的图像捕获元件；以及上述图像处理装置的图像合成单元。根据本发明的另一实施例，提供一种在图像处理装置中执行图像合成处理的图像 处理方法。所述图像处理方法包括通过图像合成单元通过输入在不同的位置拍摄的多个图 像并且连接从图像剪切的条区域生成合成图像的步骤。生成合成图像的步骤包括以下步 骤通过从存储器获取可允许的范围或计算可允许的范围，在左眼图像条和右眼图像条的 设置位置的可允许的范围中设置左眼图像条和右眼图像条，所述左眼图像条和右眼图像条 用于生成可应用于显示三维图像的在不同观察点的左眼合成图像和右眼合成图像；通过连 接和合成在图像中设置的左眼图像条的处理生成应用于显示三维图像的左眼合成图像；以 及通过连接和合成在图像中设置的右眼图像条的处理生成应用于显示三维图像的右眼合 成图像。
根据本发明的另一实施例，提供一种使得图像处理装置执行图像合成处理的程 序。所述程序使得图像合成单元通过输入在不同的位置拍摄的多个图像并且连接从图像剪 切的条区域执行生成合成图像的步骤。在生成合成图像的步骤中，所述程序执行以下步骤 通过从存储器获取可允许的范围或计算可允许的范围，在左眼图像条和右眼图像条的设置 位置的可允许的范围中设置左眼图像条和右眼图像条，所述左眼图像条和右眼图像条用于 生成可应用于显示三维图像的在不同观察点的左眼合成图像和右眼合成图像；通过连接和 合成在图像中设置的左眼图像条的处理生成应用于显示三维图像的左眼合成图像；以及通 过连接和合成在图像中设置的右眼图像条的处理生成应用于显示三维图像的右眼合成图 像。根据本发明实施例的程序是例如可以提供到信息处理装置或计算机系统的程序， 所述信息处理装置或计算机系统能够执行以计算机可读格式从记录介质或通信介质提供 的各种程序代码。通过以计算机可读格式提供程序，根据在信息处理装置或计算机系统上 的程序执行处理。本发明实施例的其它目的、特征和优点在基于下述本发明的实施例和附图的详细 描述中阐明。说明书中的系统具有多个装置的逻辑集合配置，并且不限于具有每个配置的 装置包括在同一底盘中的情况。根据本发明的实施例，提供一种图像合成单元，其通过连接从在不同位置拍摄的 多个图像剪切的条区域，生成应用于显示三维图像的左眼合成图像和右眼合成图像。所述 图像合成单元通过从存储器获取可允许的范围或计算可允许的范围，执行在左眼图像条和 右眼图像条的设置位置的可允许的范围中设置左眼图像条和右眼图像条的处理，所述左眼 图像条和右眼图像条用于生成可应用于显示三维图像的在不同观察点的左眼合成图像和 右眼合成图像。具体地，所述图像合成单元在图像存储器的存储范围内确定条设置位置，使 得在左眼图像条和右眼图像条的设置区域之间不出现重叠区域。因此，在条设置处理中，可 能可靠地生成可应用于显示三维图像的左眼合成图像和右眼合成图像。


图1是图示生成全景图像的处理的说明图。图2A、2B1和2B2是图示生成应用于显示三维(3D)图像的左眼图像(L图像)和 右眼图像(R图像)的处理的说明图。图3是图示生成应用于显示三维(3D)图像的左眼图像(L图像)和右眼图像(R 图像)的原理的说明图。图4A到4C是图示使用虚拟图像捕获面的反转模型(inversion model)的说明图。图5是图示用于拍摄全景图像(3D全景图像)的处理的模型的说明图。图6是图示在拍摄全景图像(3D全景图像)的处理中拍摄的图像和为左眼图像和 右眼图像设置条(strip)的示例性处理的说明图。图7是图示连接条区域的处理和生成3D左眼合成图像(3D全景L图像)和3D右 眼合成图像(3D全景R图像)的处理的说明图。图8A到8C是图示相机的移动速度和条宽度之间的对应的说明图。图9A和9B是图示当在两个条区域之间设置重叠区域时的问题的说明图。
7
图10是图示当在两个条区域之间设置重叠区域时的问题的说明图。图11是图示作为根据本发明实施例的图像处理装置的示例的图像捕获装置的示 例性配置的说明图。图12是图示由根据本发明实施例的图像处理装置执行的图像拍摄处理和图像合 成处理的顺序的流程图。图13A和1 是图示当相机的移动速度快时在左眼图像条和右眼图像条之间重叠 区域的出现的说明图。图14A和14B是图示当在左眼图像条和右眼图像条之间的偏移小时在左眼图像条 和右眼图像条之间出现重叠区域的说明图。图15A和15B是图示其中由于在左眼图像条和右眼图像条之间的过度偏移而没有 生成合成图像的示例的说明图。图16是图示其中由于在左眼图像条和右眼图像条之间的过度偏移而没有生成合 成图像的示例的说明图。图17是图示拍摄图像的图像捕获装置(相机)的特定示例性配置的说明图。图18是图示作为用于根据连续拍摄的图像和数据存储之间的移动量(相机的摆 动角速度)避免重叠的出现的参数的目标范围的可允许偏移量的图。图19是图示作为用于根据连续拍摄的图像和数据存储之间的移动量(相机的摆 动角速度)避免重叠的出现的参数的目标范围的可允许偏移量的图。图20是图示图像合成单元的配置和处理的说明图。图21是图示图像合成单元的配置和处理的说明图。
具体实施例方式下文中，将参照附图描述根据本发明实施例的图像处理装置、图像捕获装置、图像 处理方法和程序。将以以下顺序进行描述。1.生成全景图像和生成三维(3D)图像的处理的基础2.使用当移动相机时拍摄的多个图像的条区域生成3D图像中的问题3.根据本发明实施例的成像处理装置的示例性配置4.图像拍摄处理和图像处理处理的顺序5.用于避免各条的重叠区域出现的控制6.条偏移的上限7.控制条偏移的处理8.图像合成单元的配置和处理的具体示例1.生成全景图像和生成三维(3D)图像的处理的基础本发明涉及这样的处理，其使用在移动图像捕获装置(相机)的同时连续拍摄的 多个图像，通过连接以条形从各图像剪切的区域(条区域)，生成应用于显示三维(3D)图像 的左眼图像(L图像)和右眼图像(R图像)。已经实现和使用能够使用在移动相机的同时连续拍摄的多个图像生成二维全景 图像(2D全景图像)的相机。首先，将参照图1描述生成作为二维合成图像的全景图像(2D 全景图像)的处理。图1是图示⑴拍摄处理、⑵拍摄的图像、以及(3) 二维合成图像(2D全景图像)的说明图。用户设置相机10为全景拍摄模式并且握住相机，然后按下快门并且从左(点A) 向右(点B)移动相机10，如图1的部分(1)所示。当在全景拍摄模式中检测到用户按下快 门时，相机10执行连续图像拍摄处理。例如，相机连续拍摄大约几十个图像到大概一百个 图像。这些图像是图1的部分⑵中所示的图像20。多个图像20是在移动相机10的同 时连续拍摄的图像，并且是来自不同观看点的图像。例如，通过从不同观看点拍摄100个图 像获得的图像20顺序记录在存储器上。相机10的数据处理单元从存储器读取来自图1的 部分( 所示的存储器的多个图像20，剪切条区域以从每个图像生成全景图像，执行连接 剪切的条区域以生成图1的部分C3)所示的2D全景图像30的处理。图1的部分(；3)所示的2D全景图像30是二维QD)图像，并且是通过剪切和连接 各拍摄的图像的各部分所获得的水平长图像。图1的部分⑶中图示的点线指示图像连接 部分。每个图像20的剪切区域称为条区域。根据本发明实施例的图像处理装置或图像捕获装置执行图1的部分(1)所示的图 像拍摄处理，也就是说，使用在移动相机的同时连续拍摄的多个图像生成应用于显示三维 (3D)图像的左眼图像(L图像)和右眼图像(R图像)的处理，如图1的部分(1)所示。将参照图2A、2B1和2B2描述生成左眼图像(L图像)和右眼图像(R图像)的处
理的基础。在图2A中，示出在图1的部分O)中的全景拍摄处理中拍摄的一个图像20。像参照图1描述的生成2D全景图像的处理，通过从图像20剪切和连接预定条区 域，生成应用于显示三维(3D)图像的左眼图像(L图像)和右眼图像(R图像)。在此情况下，左眼图像(L图像)和右眼图像(R图像)在作为剪切区域的条区域 上是不同的。如图2A所示，左眼图像条51 (L图像条)和右眼图像条52 (R图像条)在剪切位置 上是不同的。在图2A、2B1和2B2中，仅显示一个图像20，但是左眼图像条(L图像条)和右 眼图像条(R图像条)设置在图1的部分(2)所示的、在移动相机的同时拍摄的多个图像的 每个中的不同剪切位置。以下，可以通过仅收集和连接左眼图像条(L图像条)生成图2B1中的3D左眼全 景图像(3D全景L图像)。此外，可以通过仅收集和连接右眼图像条(R图像条)生成图2B2中的3D右眼全 景图像(3D全景R图像)。通过连接在移动相机的同时拍摄的多个图像中的设置在不同剪切位置的条，可以 生成应用于显示三维(3D)图像的左眼图像(L图像)和右眼图像(R图像)。将参照图3描 述该原理。图3是图示相机10移动到两个拍摄位置(a)和(b)来拍摄被摄体80的状态的图。 作为在位置(a)的被摄体80的图像，从左侧观察的图像记录在相机10的图像捕获元件70 的左眼图像条(L图像条)51中。接下来，作为在相机10移动到的位置(b)的被摄体80的 图像，从右侧观察的图像记录在相机10的图像捕获元件70的右眼图像条(R图像条)52中。以此方式，通过在不同观察点观察同一被摄体所获得的图像记录在图像捕获元件70的预定区域(条区域)中。通过单独地提取图像，也就是说，通过仅收集和连接左眼图像条(L图像条)，生成 图2B1中的3D左眼全景图像(3D全景L图像)。此外，通过仅收集和连接右眼图像条(R图 像条)，生成图2B2中的3D右眼全景图像(3D全景R图像)。在图3中，以横穿方式相对于被摄体80从左侧到右侧移动相机10以便利理解。然 而，不必以横穿方式相对于被摄体80移动相机10。只要从不同的观察点将图像记录在相机 10的图像捕获元件70的预定区域中，就可以生成应用于显示3D图像的左眼图像和右眼图像。接下来，下面将参照图4A到4C描述使用要应用的虚拟图像捕获面的反转模型。图 4A到4C分别是图示图像捕获配置、普通模式和反转模式的图。图4A中图示的图像捕获配置的图示出当拍摄与参照图3描述的全景图像相同的 全景图像时的处理配置。在图4B中，示出了在图4A所示的拍摄处理中通过相机10的图像捕获元件70拍 摄的示例性图像。在图像捕获元件70中，垂直反转和记录左眼图像72和右眼图像73，如图4B所示。 因为难以使用反转的图像进行描述，所以下面将描述图4C所示的反转模型。反转模型是常用于描述图像捕获装置的图像的模型。在图4C所示的反转模型中，假设在对应于相机的焦点的光学中心102的前方设置 虚拟图像捕获元件101，并且在虚拟图像捕获元件101上拍摄被摄体图像。如图4C所示，在 虚拟图像捕获元件101的左边拍摄相机的左前侧的被摄体A91，并且在虚拟图像捕获元件 101的右边拍摄相机的右前侧的被摄体B92，并且被摄体不设为垂直反转，从而反映实际被 摄体的位置关系而没有反转。也就是说，在虚拟图像捕获元件101上的图像是与实际拍摄 的图像数据相同的图像数据。以下将使用利用虚拟图像捕获元件101的反转模型进行描述。然而，如图4C所示， 在虚拟图像捕获元件101上，在虚拟图像捕获元件101的右边拍摄左眼图像(L图像)111， 并且在虚拟图像捕获元件101的左边拍摄右眼图像(R图像)112。2.使用当移动相机时拍摄的多个图像的条区域生成3D图像中的问题接下来，将描述使用当移动相机时拍摄的多个图像的条区域生成3D图像中的问 题。假设图5所示的拍摄模型作为用于拍摄全景图像(3D全景图像)的处理的模型。 如图5所示，放置相机100，使得设置相机100的光学中心102距离作为旋转中心的旋转轴 P为距离R (旋转的半径)。设置虚拟图像捕获元件101距离光学中心102为焦距f，并且放置在旋转轴P外 部。在这样的配置的情况下，围绕旋转轴P顺时针(从A到B的方向)旋转相机100， 以连续拍摄多个图像。在每个拍摄点，左眼图像条11的图像和右眼图像条112的图像记录在虚拟图像捕 获元件101上。例如，记录的图像具有图6所示的结构。
图6是图示由相机100拍摄的图像110的图。图像110与在虚拟图像捕获元件 101上的图像相同。在图110中，如图6所示，从图像的中心向左偏移并且以条形剪切的区域(条区 域)称为右眼图像条112，并且从图像的中心向右偏移并且以条形剪切的区域(条区域)称 为左眼图像条111。在图6中，显示用于生成二维QD)全景图像的2D全景图像条115作为参考。如图6所示，作为二维合成图像条的2D全景图像条115和左眼图像条111之间的 距离和2D全景图像条115和右眼图像条112之间的距离定义为“偏移”或“条偏移”。左眼图像条111和右眼图像条112之间的距离定义为“条间偏移”。满足条间偏移=(条偏移)X 2的表达式。条宽度w是对于2D全景图像条115、左眼图像条111和右眼图像条112共同的宽 度《。条宽度依赖于相机的移动速度变化。当相机的移动速度快时，条宽度w扩大。当相机 的移动速度慢时，条宽度w变窄。下面将更详细地描述这点。条偏移或者条间偏移可以设为具有各种值。例如，当条偏移大时，左眼图像和右眼 图像之间的视差变得更大。当条偏移小时，左眼图像和右眼图像之间的视差变得更小。在条偏移=ο的情况下，满足左眼图像条111 =右眼图像条112 = 2D全景图像条 115的关系。在此情况下，通过合成左眼图像条111获得的左眼合成图像(左眼全景图像)和 通过合成右眼图像条112获得的右眼合成图像(右眼全景图像)是完全相同的图像，也就 是说，变为与通过合成2D全景图像条115获得的二维全景图像相同。因此，这些图像不能 用于显示三维图像。条宽度w的长度、条偏移、或者条间偏移将描述为由像素的数目定义的值。相机100的数据处理单元通过计算在移动相机100的同时连续拍摄的图像之间的 运动矢量并且顺序确定从各个图像剪切的条区域，连接从各个图像剪切的条区域，同时对 齐条区域的位置以连接上述条区域的图案。也就是说，通过从各个图像仅选择、连接和合成左眼图像条111生成左眼合成图 像(左眼全景图像)，并且通过从各个图像仅选择、连接和合成右眼图像条112生成右眼合 成图像(右眼全景图像)。图7的部分(1)是图示连接条区域的处理的图。假设每个图像的拍摄时间间隔是 Δ t，并且在T = 0到η Δ t期间拍摄n+1个图像。连接从n+1个图像提取的条区域。当生成3D左眼合成图像(3D全景L图像)时，仅提取和连接左眼图像条(L图像 条)111。当生成3D右眼合成图像(3D全景R图像)时，仅提取和连接右眼图像条(R图像 条)112。通过仅收集和连接左眼图像条(L图像条)111生成图7的部分Qa)中的3D左眼 合成图像(3D全景L图像)。此外，通过仅收集和连接右眼图像条(R图像条)112生成图7的部分Qb)中的3D 右眼合成图像(3D全景R图像)。通过加入从图像100的中心向右偏移的条区域生成图7的部分Qa)中的3D左眼 合成图像(3D全景L图像)，如参照图6和7所述。
11
通过加入从图像100的中心向左偏移的条区域生成图7的部分Qb)中的3D右眼 合成图像(3D全景R图像)。基本上，在两个图像上捕获相同被摄体，如上参照图3所述。然而，因为在不同位 置拍摄同一被摄体，所以出现视差。当在能够显示3D(立体)图像的显示装置上显示具有 视差的两个图像时，可以三维地显示拍摄的被摄体。此外，存在各种3D显示方法。例如，该方法包括对应于被动眼镜方法的3D图像显示方法或对应于主动眼镜方 法的3D图像显示方法，在被动眼镜方法的3D中，通过偏振滤光器或滤色器分离由右眼和左 眼观察的图像，在主动眼镜方法的3D中，对于右眼和左眼以交替方式暂时分离通过左右交 替打开和关闭液晶快门所观察的图像。在连接条的上述处理中生成的左眼图像和右眼图像可应用于上面的方法。然而，当通过从在移动相机100的同时连续拍摄的多个图像剪切条区域生成左眼 图像和右眼图像时，在一些情况下可能生成不能应用于三维(3D)图像的图像。下文中，将 描述该问题。当通过剪切条区域并且连接剪切的条区域生成如全景图像的一个合成图像时，从 每个图像剪切的条宽度依赖于图像之间的运动矢量变化。也就是说，从每个图像剪切的条 宽度依赖于相机的运动速度变化。将参照图8A到8C描述相机的运动速度和条宽度之间的 对应。当相机的运动速度快时，如图8A所示，连续拍摄的图像(帧f01到f04)之间的重 叠区域小。在此情况下，要从每个图像提取的条宽度[w]大。另一方面，当相机的运动速度慢时，如图8B所示，连续拍摄的图像(帧f01到f04) 之间的重叠区域大。在此情况下，要从每个图像提取的条宽度[w]窄。例如，当相机的运动速度太快时，如图8C所示，不能生成通过连接图像的剪切部 分获得的全景图像。条宽度[w]的设置应用到2D全景图像条，如在用于合成3D图像的右眼图像和左 眼图像的各个条中一样。然而，当在每个拍摄的图像中设置应用于显示3D图像的左眼图像和右眼图像的 条时，可能出现以下问题。因为当在一个图像中设置的左眼图像条区域和右眼图像条区域之间不存在足够 间隔时不能建立3D图像，所以出现第一个问题。因为没有从不同观察点获取被摄体的图像，所以导致该问题。也就是说，在一些情 况下，不能从两个不同观察点获取视差图像。当在一个图像中设置的左眼图像条区域和右眼图像条区域之间不存在足够间隔 时，出现该情况，并且因此在两个条区域之间设置重叠区域。当重叠区域出现时，在一个拍 摄的图像中可能出现同一图像用于左眼和右眼的公共使用区域。结果，公共使用区域变为 没有从两个不同观察点设置图像的区域。将参照图9A、9B和10描述该问题。在图9A和9B中，示出了在一个拍摄的图像中设置条区域的两个示例。在图9A中，示出了在条区域之间不存在重叠区域的示例。
在图9B中，示出了在条区域之间存在重叠区域的示例。在图9A所示的示例中，在一个图像100中设置的左眼图像条区域111和右眼图像 条区域112相互间隔，并且因此在左眼图像条区域111和右眼图像条区域112之间不存在
重叠区域。另一方面，在图9B所示的示例中，在一个图像100中设置的左眼图像条区域111 和右眼图像条区域112相互重叠，并且因此在左眼图像条区域111和右眼图像条区域112 之间存在重叠区域113。当在左眼图像条区域111和右眼图像条区域112之间存在重叠区域113时，如图 9B所示，不能获取要应用于3D图像的视差图像。将参照图10描述具体示例。在图10的部分(1)中，示出了通过拍摄被摄体a到d获得的图像f01和f02。图 像f01和f02是通过在移动相机的同时连续拍摄被摄体所获得的图像。被摄体a到d记录在图10的部分(1)中示出的帧f01中，并且被摄体a到d还在 偏离相机的移动量的位置记录在帧f02中。被摄体a和b记录在之前拍摄的帧f01的右眼图像条fOIR中，并且被摄体b和c 记录在其左眼图像条f01L中。在右眼图像条fOIR和左眼图像条f01L中存在重叠区域，并 且被摄体b记录在该重叠区域中。被摄体c和d记录在随后拍摄的帧f02的右眼图像条f02R中，并且被摄体d记录 在其左眼图像条f02L中。在右眼图像条f02R和左眼图像条f02L中存在重叠区域，并且被摄体d的一部分 记录在该重叠区域中。当从图像f01、f02等生成应用于显示3D图像的左眼全景图像和右眼全景图像时， 通过仅提取和连接左眼图像条的图像合成处理生成左眼全景图像。通过仅提取和连接右眼图像条的图像合成处理生成右眼全景图像。作为图像合成处理的结果获得的合成图像是在图10的部分O)中示出的两个全 景图像。在图10的部分⑵所示的两个合成图像(全景图像)中，右眼全景图像中包括的 被摄体b是记录在图10的部分(1)中示出的图像帧f01L的右眼图像条fOIR中的图像。左眼全景图像中包括的被摄体b还是记录在图10的部分(1)中示出的图像帧 f01L的左眼图像条f01L中的图像。也就是说，两个全景图像中包括的被摄体b的图像是各条的重叠区域中的图像， 并且可以是通过在一个观察点拍摄帧foi所获得的图像。被摄体b的图像是在同一观察点拍摄的图像，并且在左眼全景图像和右眼全景图 像中共同地使用，并且因此没有具有视差的可用于3D图像的两个图像的配置。结果，尽管 这些全景图像用于显示3D图像，但是仅显示与被摄体b的部分相同的图像，并且因此不显 示为3D图像而是显示为平面二维OD)图像。当在条区域中出现重叠区域时，生成其中在部分区域中显示2D图像并且在部分 区域中显示3D图像的合成图像(全景图像)。因此，在合成图像的部分中出现不连续的立 体区域。当在3D (立体)显示装置上显示合成图像时，当观看合成图像时，合成图像可能仅 仅被观看为不自然地图像下沉(image sink)或漂浮(fly)。
为了避免左眼图像条区域和右眼图像条区域之间出现重叠区域，需要小心执行拍 摄处理，如以预定移动速度移动相机。另一方面，当执行扩大条区域之间的空间以避免用于 左眼和右眼的条区域之间的重叠的拍摄处理时，需要的条区域可能存在超过图像末端外部 的图像区域。当该情况出现时，可能出现难以执行连接图像的处理的问题。根据本发明的实施例，在两个不同观察点观察的合成图像通过连接在多个图像中 设置的条区域的图像合成处理可靠地生成为3D图像，该多个图像通过在移动相机的同时 拍摄应用于3D图像的左眼图像和右眼图像所获得。下文中，将更详细描述该处理。3.根据本发明实施例的图像处理装置的示例性配置首先，参照图11，将描述作为根据本发明实施例的图像处理装置的示例的图像捕 获装置的示例性配置。图11所示的图像捕获装置200对应于参照图1描述的相机10。例如，用户用手握 住图像捕获装置200来以全景拍摄模式连续拍摄多个图像。来自被摄体的光通过镜头系统201入射在图像捕获元件202上。图像捕获元件 202例如通过CCD (电荷耦合器件)传感器或CMOS (互补金属氧化物半导体)传感器形成。入射在图像捕获元件202上的被摄体图像通过图像捕获元件202转换为电信号。 尽管没有图示，但是图像捕获元件202包括将转换的电信号转换为数字图像数据并且将转 换的数字图像数据提供到图像信号处理单元203的预定信号处理电路。图像信号处理单元203执行如伽玛校正或轮廓增强校正的图像信号处理，并且将 作为信号处理结果的图像信号显示在显示单元204上。通过图像信号处理单元203处理的图像信号提供到以下单元，如用作用于图像合 成处理的图像存储器的图像存储器(用于图像合成处理)205、用作用于检测连续拍摄的图 像之间的移动量的图像存储器的图像存储器(用于移动量检测)206、以及计算图像之间的 移动量的移动量计算单元207。移动量计算单元207获取从图像信号处理单元203提供的图像信号和图像存储器 (用于移动量检测)206中存储的一帧的在前图像，并且检测一帧的当前图像和在前图像的 移动量。例如，移动量计算单元207执行匹配连续拍摄的两个图像的像素的匹配处理，也就 是说，确定同一被摄体的拍摄的区域以计算图像之间移动的像素数目的匹配处理。基本上 基于被摄体停止的假设执行匹配处理。当存在运动的被摄体时，检测到不同于整个图像的 运动矢量的运动矢量，但是对应于运动的被摄体的运动矢量处理为检测目标的例外。也就 是说，检测到对应于随着相机的移动出现的整个图像的移动的运动矢量(GMV 全局运动矢 量)O例如，计算移动量作为移动像素的数目。比较图像η和在前图像n-1计算检测到 的移动量(像素的数目)所获得的图像η的移动量作为对应于图像η的移动量存储在移动 量存储器208中。图像存储器(用于图像合成处理)205是存储图像以执行连续拍摄的图像的图像 合成处理(即，生成全景图像)的存储器。图像存储器(用于图像合成处理)205可以存储 在全景拍摄模式中拍摄的所有图像(如n+1个图像)。例如，图像存储器205可以仅选择和 存储其中通过剪切图像的末端确保生成全景图像所需的条区域的图像的中间区域。在这样 配置的情况下，可以减少所需的存储器容量。
在拍摄处理结束之后，图像合成单元210执行从图像存储器(用于图像合成处 理)205提取图像、剪切条区域、并且连接剪切的条区域以生成左眼合成图像(左眼全景图 像)和右眼合成图像(右眼全景图像)的图像合成处理。在拍摄处理结束之后，图像合成单元210将在拍摄处理期间存储的多个图像(或 部分图像)输入图像存储器(用于图像合成处理)205。此外，图像合成单元210还输入对 应于移动量存储器208中存储的图像的移动量、以及用于确定左眼图像条和右眼图像条的 设置位置的可允许的偏移信息、或者用于计算来自存储器209的可允许的偏移量的各种参 数。图像合成单元210使用输入的信息在连续拍摄的图像中设置左眼图像条和右眼 图像条，并且通过执行剪切和连接图像条的处理生成左眼合成图像(左眼全景图像)和右 眼合成图像(右眼全景图像)。图像合成单元210对于图像执行如JPEG的压缩处理，然后 将压缩的图像记录在记录单元(记录介质)211中。下面将更详细地描述图像合成单元210的特定示例性配置和处理。记录单元(记录介质)211存储通过图像合成单元210合成的合成图像，也就是 说，左眼合成图像(左眼全景图像)和右眼合成图像(右眼全景图像)。记录单元(记录介质)211可以由任何记录介质形成，只要记录介质能够记录数字 信号。记录单元的示例包括硬盘、磁光盘、DVD (数字多功能盘)、MD(迷你盘)、半导体存储 器和磁带。尽管在图11中未图示，但是除了图11中示出的配置之外，图像捕获装置200包括 由用户操作的快门、执行如模式设置处理的各种输入的输入操作单元、控制在图像捕获装 置200中执行的处理的控制单元、处理不同于控制单元的每个构成单元的程序、以及存储 参数的存储单元(存储器)。在图像捕获装置200的控制单元的控制下执行图11中示出的图像捕获装置200 的构成单元的处理和输入和输出数据的处理。控制单元读取图像捕获装置200的存储器中 预先存储的程序，并且执行根据该程序在图像捕获装置200中执行的所有的控制，如获取 拍摄的图像的处理、处理数据的处理、生成合成图像的处理、记录生成的合成图像的处理、 以及显示处理。4.图像拍摄处理和图像处理处理的顺序接下来，将参照图12所示的流程图描述在根据本发明实施例的图像处理装置中 执行的图像拍摄处理和图像合成处理的示例性顺序。例如，在图11所示的图像捕获装置200的控制单元的控制下执行图12所示的流 程图的处理。将描述图12所示的流程图中各步骤的处理。首先，通过接通图像处理装置(例如，图像捕获装置200)执行硬件诊断或初始化， 然后处理进行到步骤SlOl。在步骤SlOl中，计算各种拍摄参数。在步骤SlOl中，例如，获取通过曝光表识别 的关于亮度的信息，并且计算如光圈值或快门速度的拍摄参数。随后，处理进行到步骤S102，并且控制单元确定用户是否操作快门。这里，假设预 先设置3D全景拍摄模式。
在3D全景拍摄模式中，用户操作快门来连续拍摄多个图像，并且执行处理使得从 拍摄的图像剪切出左眼图像条和右眼图像条，并且生成和记录可应用于显示3D图像的左 眼合成图像(全景图像)和右眼合成图像(全景图像)。在步骤S102中，当控制单元没有检测到用户操作快门时，处理返回到步骤S101。在步骤S102中，另一方面，当控制单元检测到用户操作快门时，处理进行到步骤 S103。在步骤S103中，基于在步骤SlOl中计算的参数，控制单元执行控制以开始拍摄处 理。具体地，例如，控制单元调整图11所示的镜头系统201的光圈驱动单元以开始拍摄图像。执行图像拍摄处理以连续拍摄多个图像。从图11所示的图像捕获元件202顺序 地读取对应于连续拍摄的图像的电信号，以便在图像信号处理单元203中执行如伽玛校正 或轮廓增强校正的处理。然后，在显示单元204上显示处理结果，并且顺序地提供到存储器 205和206以及移动量检测单元207。接下来，处理进行到步骤S104以计算图像之间的移动量。通过图11所示的移动 量检测单元207执行该处理。移动量检测单元207获取从图像信号处理单元203提供的图像信号和图像存储器 (用于移动量检测)206中存储的一帧的在前图像，并且检测当前图像和一帧之前的图像的
移动量。如上所述，计算的移动量对应于通过执行匹配连续拍摄的两个图像的像素的匹配 处理(也就是说，确定同一被摄体的拍摄区域的匹配处理)计算的像素的数目。基本上，基 于被摄体停止的假设执行处理。当存在运动被摄体时，检测到不同于整个图像的运动矢量 的运动矢量，但是对应于运动的被摄体的运动矢量处理为检测目标的例外。也就是说，检测 到对应于随着相机的移动出现的整个图像的移动的运动矢量(GMV 全局运动矢量)。例如，计算移动量作为移动像素的数目。通过比较图像η和在前图像n-1并计算 检测到的移动量(像素的数目)所获得的图像η的移动量作为对应于图像η的移动量存储 在移动量存储器208中。移动量存储处理对应于步骤S105的存储处理。在步骤S105中，在步骤S104中检 测到的图像之间的移动量与每个连续拍摄图像的ID相关联地存储在图11所示的移动量存 储器208中。随后，处理进行到步骤S106以将在步骤S103中拍摄并且通过图像信号处理单元 203处理的图像存储在图11所示的图像存储器(用于图像合成处理)205中。如上所述，图 像存储器(用于图像合成处理)205存储在全景拍摄模式(或3D全景拍摄模式)中拍摄的 所有图像(如n+1个图像)，但是可以例如仅选择和存储其中通过剪切图像的末端确保生成 全景图像(3D全景图像)所需的条区域的图像的中间区域。在这样配置的情况下，可以减 少所需的存储器容量。此外，图像存储器(用于图像合成处理)205可以在执行如JPEG的 压缩处理之后存储图像。随后，处理进行到步骤S107，并且控制单元确定用户是否继续按下快门。也就是 说，控制单元确定拍摄结束时间。当确定用户继续按下快门时，处理返回到步骤S103以继续拍摄处理，并且重复捕
16获被摄体的图像。另一方面，当用户在步骤S107中停止按下快门时，处理进行到步骤S108以执行拍 摄结束处理。当在全景拍摄模式中结束连续图像拍摄处理时，处理进行到步骤S108。在步骤S108中，图像合成单元210从存储器209获取满足形成为3D图像的左眼 图像和右眼图像的生成条件的条区域的偏移条件(也就是说，可允许的偏移量)。可替代 地，图像合成单元210从存储器209获取计算可允许的偏移量所需的参数，并且计算可允许 的偏移量。下面将详细描述该处理。随后，处理进行到步骤S109，以使用拍摄的图像执行第一图像合成处理。处理进行 到步骤S110，以使用拍摄的图像执行第二图像合成处理。步骤S109和SllO的图像合成处理是生成应用于显示3D图像的左眼合成图像和 右眼合成图像的处理。例如，生成合成图像作为全景图像。如上所述，通过仅提取和连接左眼图像条的图像合成处理生成左眼合成图像。同 样地，通过仅提取和连接右眼图像条的图像合成处理生成右眼合成图像。作为图像合成处 理的结果，生成在图7的部分Qa)和Qb)中示出的两个全景图像。在步骤S102中确定用户按下快门、然后在步骤S107中确认用户停止按下快门时， 在连续图像拍摄处理中使用图像存储器(用于图像合成处理)205中存储的多个图像(或 部分图像)执行步骤S109和SllO的图像合成处理。当执行图像合成处理时，图像合成单元210从移动量存储器208获取与多个图像 相关联的移动量，并且从存储器209获取可允许的偏移量。可替代地，图像合成单元210从 存储器209获取计算可允许的偏移量所需的参数，并且计算可允许的偏移量。图像合成单元210基于移动量和获取的或计算的可允许的偏移量，确定作为图像 的剪切区域的条区域。也就是说，确定用于形成左眼合成图像的左眼图像条的条区域和用于形成右眼合 成图像的右眼图像条的条区域。在从图像的中间在右侧偏移预定量的位置确定用于形成左眼合成图像的左眼图 像条。在从图像的中间在左侧偏移预定量的位置确定用于形成右眼合成图像的右眼图 像条。在条区域的设置处理中，图像合成单元210确定条区域，以便满足偏移条件，该偏 移条件满足形成为3D图像的左眼图像和右眼图像的生成条件。也就是说，图像合成单元 210设置条的偏移，以便满足在步骤S108中从存储器获取的或基于从存储器获取的参数计 算的可允许偏移量，并且执行图像剪切。下面将详细描述该处理。图像合成单元210通过在图像中剪切和连接左眼图像条和右眼图像条来执行图 像合成处理，以生成左眼合成图像和右眼合成图像。当在图像存储器(用于图像合成处理)205中存储的图像(或部分图像)是通过 JPEG等压缩的数据时，基于在步骤S104中计算的图像之间的移动量，可以仅在用作合成图 像的条区域中执行设置图像区域的适应性解压处理，在该图像区域中解压通过JPEG等压 缩的图像。
在步骤S109和SllO的处理中，生成应用于显示3D图像的左眼合成图像和右眼合 成图像。最后，处理进行到步骤S111。根据适当的记录格式(例如，CIPADC-007多画面格 式)生成在步骤S109和SllO中合成的图像，并且存储在记录单元(记录介质)211中。当执行上述步骤时，可以合成应用于显示3D图像的两个图像(也就是说，左眼图 像和右眼图像)。然而，当生成合成图像时，依赖于设置的偏移量可能生成不能适当地显示为3D图 像的合成图像。当生成参照图10描述的条区域之间的重叠区域时，导致该合成图像。下文中，将描述避免不可应用于显示3D图像的合成图像的生成的偏移设置处理。5.用于避免各条的重叠区域出现的控制如参照图10所述，当条区域之间出现重叠区域时，可能生成不可用作3D图像的左 眼图像和右眼图像。主要由以下两个原因生成各条的重叠区域(1)当相机的移动速度快时；以及(2)当作为左眼图像条和右眼图像条之间的距离的条间偏移小时。由于两个原因生成条的重叠区域。首先，将参照图13A和1 描述当相机的移动速度快时左眼图像条和右眼图像条 的重叠区域的出现。在图13A和13B中，示出以两个相机的以下移动速度拍摄图像的示例(A)当相机的摆动速度(移动速度)慢时；以及(B)当相机的摆动速度(移动速度)快时。当㈧相机的摆动速度(移动速度)慢时，如图13A所示，在图像110中设置的左 眼图像条111和右眼图像条112相互远离，从而不导致重叠区域。然而，当⑶相机的摆动速度(移动速度)快时，如图13B所示，在图像110中设 置的左眼图像条111和右眼图像条112不相互远离，从而导致重叠区域113。接下来，将参照图14A和14B描述当左眼图像条和右眼图像条之间的偏移小时重 叠区域的出现。当连续拍摄的图像之间的移动量恒定(相机的摆动速度恒定)而用于左眼图像的 条区域和用于右眼图像的条区域之间的距离(条间偏移)大时，各条没有相互重叠。然而， 当条间偏移小时，各条相互重叠。在图14A和14B中，示出以下两种条之间的偏移设置的拍摄图像的示例(A)当条间偏移大时；以及(B)当条间偏移小时。当(A)条间偏移大时，如图14A所示，在图像110中设置的左眼图像条111和右眼 图像条112相互远离，从而不导致重叠区域。然而，当⑶条间偏移小时，如图14B所示，在图像110中设置的左眼图像条111 和右眼图像条112不相互远离，从而导致重叠区域113。主要由以下两个原因生成各条的重叠区域
(1)当相机的移动速度快时；以及(2)当作为左眼图像条和右眼图像条之间的距离的条间偏移小时。因此，通过消除这两个原因，可能避免各条的重叠区域的出现。也就是说，为了避免各条的重叠区域的出现，考虑相机的移动速度，需要允许作为 在每个图像中设置的左眼图像条和右眼图像条之间的距离的条间偏移不小。6.条偏移的上限如上参照图13A、i;3B、14A和14B所述，为了避免各条的重叠区域的出现，考虑相机 的移动速度，需要允许作为在每个图像中设置的左眼图像条和右眼图像条之间的距离的条 间偏移不小。然而，当考虑该事实时，左眼图像条和右眼图像条之间的距离(即，条间偏移) 可能变得过大，从而在条间偏移过度的情况下导致新的问题。即使在连续拍摄的图像的移动量是相同的(即，条宽度w是相同的)情况下，当条 间偏移小时在拍摄的图像110中设置希望使用的条区域(图15A)。另一方面，当条间偏移 大时，希望使用的条区域超过拍摄的图像110或存储器(用于图像合成处理)205的存储图 像区域。因此，因为数据不足够(见图15B)，所以不能生成合成图像。即使在条间偏移相同的情况下，当连续拍摄的图像之间的移动量变大时条宽度变 大。因此，在一些情况下条可能超过图像捕获面或存储器存储区域。如上面参照图6所述，2D全景图像条115和左眼图像条111之间的距离和2D全景 图像条115和右眼图像条112之间的距离定义为“偏移”或“条偏移”。左眼图像条111和右眼图像条112之间的距离定位为“条间偏移”。此外，满足条间偏移=(条偏移)X 2的表达式。将参照图15A和15B描述由于左眼图像条和右眼图像条之间的过度偏移而不能生 成合成图像的情况。在图15A和15B中，示出以下两个左眼和右眼条之间的偏移(A)当左眼和右眼条存在于拍摄的图像110中时；以及(B)当左眼和右眼条超过拍摄的图像110时。当左眼和右眼条存在于拍摄的图像110中时，如图15A所示，左眼图像条111和右 眼图像条112存在于拍摄的图像110中，并且图像数据存储在图11所示的图像捕获装置 200的存储器(用于图像合成处理)205中。图像合成单元210可以从存储器(用于图像合 成处理)205获取条，并且生成合成图像。也就是说，图像合成单元210可以从存储器205提取左眼图像条111，合成左眼图 像条111，并且生成左眼合成图像(全景图像)。此外，图像合成单元210可以从存储器205 提取右眼图像条112，合成右眼图像条112，并且生成右眼合成图像(全景图像)。然而，(B)当左眼和右眼条超过拍摄的图像110时，如图15B所示，不能生成合成图像。在图15B所示的示例中，因为右眼图像条112存在于图像110中，所以图像合成单 元210可以从存储器(用于图像合成处理)205获取右眼图像条112。然而，左眼图像条111的一部分不存在于图像110中，而是存在于图像110外。关 于图像110外的左眼图像条111的一部分的数据不是存储器(用于图像合成处理)205中 存储的数据。也就是说，关于大于图像110的图像区域的图像数据没有存储在存储器(用于图像合成处理)205中，尽管存储了最大大小的数据。因此，图像合成单元210仅可以从 存储器(用于图像合成处理)205获取关于左眼图像条111的一部分数据，但是不能获取整 个数据。结果，不能生成左眼合成图像。如上所述，需要在存储器(用于图像合成处理)205中存储在全景拍摄模式中拍摄 的多个图像数据。因此，在一些情况下设置要预先存储通过剪切图像的末端获得的图像的 中间部分。例如，如图16所示，存储器(用于图像合成处理)205中记录的图像区域设为与存 储器存储数据区域115相同。仅仅剪切右端和左端的图像设为存储在存储器(用于图像合 成处理)205中。在该设置情况下，即使当左眼图像条111和右眼图像条112设为存在于图像110 中时，左眼图像条111和右眼图像条112也可能超过存储器存储数据区域115。在此情况下， 图像合成单元210不能从存储器(用于图像合成处理)205获取关于条图像的整个数据，并 且不能生成合成图像。因此，当作为左眼图像条和右眼图像条之间的距离的条间偏移过度、并且因此条 超过存储器(用于图像合成处理)205中存储的图像区域的外部时，不能生成合成图像。7.控制条偏移的处理将描述考虑上述问题通过控制条偏移生成应用于显示3D图像的左眼合成图像和 右眼合成图像的配置。如上所述，用于右眼图像的条区域和用于左眼图像的条区域之间的区域的重叠或 数据的缺乏大大依赖于连续拍摄的图像之间的移动量。下面将描述计算用于确定条偏移的 目标值以避免原因的示例。如上所述，条偏移和条间偏移之间的关系满足上面条偏移=(条间偏移)/2的关系。通过图像的数目(像素数目)或图像捕获元件的像素定义条偏移和条间偏移。图17所示的捕获图像的图像捕获装置(相机)的配置如下焦距是f [mm];图像捕获元件的像素间距是ρ [ μ m]；以及图像捕获元件的水平像素的数目是h [像素]。通过具有上面设置的相机拍摄图像。通过相机拍摄的一个图像的视角α [度]通过以下表达式(表达式1)计算。[表达式1]
权利要求
1.一种图像处理装置，包括图像合成单元，其通过输入在不同的位置拍摄的多个图像并且连接从图像剪切的条区 域生成合成图像，其中所述图像合成单元通过连接和合成在图像中设置的左眼图像条的处理生成应用 于显示三维图像的左眼合成图像，并且通过连接和合成在图像中设置的右眼图像条的处理 生成应用于显示三维图像的右眼合成图像，并且其中所述图像合成单元通过从存储器获取可允许的范围或计算可允许的范围，执行在 左眼图像条和右眼图像条的设置位置的可允许的范围中设置左眼图像条和右眼图像条的 处理，所述左眼图像条和右眼图像条用于生成可应用于显示三维图像的、在不同观察点的 左眼合成图像和右眼合成图像。
2.根据权利要求1所述的图像处理装置，其中所述图像合成单元执行从存储器获取条 偏移的可允许的最小值和可允许的最大值作为可允许的范围或计算可允许的最小值和可 允许的最大值作为可允许的范围的处理，所述条偏移是作为应用于生成二维合成图像的图 像剪切区域的二维合成图像条和左眼图像条或右眼图像条之间的间隔距离。
3.根据权利要求1所述的图像处理装置，其中所述图像合成单元执行从存储器获取条 设置位置作为可允许的范围或计算条设置位置作为可允许的范围的处理，在所述条设置位 置左眼图像条和右眼图像条的设置区域之间不出现重叠区域。
4.根据权利要求1所述的图像处理装置，其中所述图像合成单元执行从存储器获取条 设置位置作为可允许的范围或计算条设置位置作为可允许的范围的处理，在所述条设置位 置左眼图像条和右眼图像条的设置区域在图像存储器的存储范围内。
5.根据权利要求2所述的图像处理装置，其中条偏移的可允许的最小值是通过应用参数(a)到(c)的每一个计算的值(a)捕获多个图像的图像捕获装置的图像捕获元件的每个像素的视角μ；(b)当捕获多个图像的图像捕获装置捕获图像时的移动角速度d;以及(c)捕获多个图像的图像捕获装置的连续拍摄速度S，并且其中所述图像合成单元执行通过应用参数(a)到(C)计算条偏移的可允许的最小值或 从存储器获取计算的值的处理。
6.根据权利要求5所述的图像处理装置，其中图像捕获元件的每个像素的视角μ是基于多个图像的每个的视角α计算的值，其中视角α是通过应用参数(d)到(f)的每个计算的值(d)捕获多个图像的图像捕获装置的镜头的焦距f；(e)捕获多个图像的图像捕获装置的图像捕获元件的像素间距P；以及(f)捕获多个图像的图像捕获装置的图像捕获元件的水平像素的数目h，并且其中所述图像合成单元执行通过应用参数(a)到(f)计算条偏移的可允许的最小值或从存储器获取计算的值的处理。
7.根据权利要求2所述的图像处理装置，其中条偏移的可允许的最大值是基于对应于图像存储器的存储范围的一个图像的水 平有效尺寸t和条偏移的可允许的最小值计算的值，并且其中所述图像合成单元执行通过应用水平有效尺寸t和条偏移的可允许的最小值计算条偏移的可允许的最大值或从存储器获取计算的值的处理。
8.一种图像捕获装置，包括应用于捕获图像的镜头单元；执行拍摄的图像的光电转换的图像捕获元件；以及根据权利要求1的图像合成单元。
9.一种在图像处理装置中执行图像合成处理的图像处理方法，包括以下步骤通过图像合成单元，通过输入在不同的位置拍摄的多个图像并且连接从图像剪切的条 区域生成合成图像，其中生成合成图像的步骤包括以下步骤通过从存储器获取可允许的范围或计算可允许的范围，在左眼图像条和右眼图像条的 设置位置的可允许的范围中设置左眼图像条和右眼图像条，所述左眼图像条和右眼图像条 用于生成可应用于显示三维图像的、在不同观察点的左眼合成图像和右眼合成图像；通过连接和合成在图像中设置的左眼图像条的处理生成应用于显示三维图像的左眼 合成图像；以及通过连接和合成在图像中设置的右眼图像条的处理生成应用于显示三维图像的右眼 合成图像。
10.一种使得图像处理装置执行图像合成处理的程序，其中所述程序使得图像合成单元通过输入在不同的位置拍摄的多个图像并且连接从 图像剪切的条区域执行生成合成图像的步骤，并且其中在生成合成图像的步骤中，所述程序执行以下步骤通过从存储器获取可允许的范围或计算可允许的范围，在左眼图像条和右眼图像条的 设置位置的可允许的范围中设置左眼图像条和右眼图像条，所述左眼图像条和右眼图像条 用于生成可应用于显示三维图像的、在不同观察点的左眼合成图像和右眼合成图像；通过连接和合成在图像中设置的左眼图像条的处理生成应用于显示三维图像的左眼 合成图像；以及通过连接和合成在图像中设置的右眼图像条的处理生成应用于显示三维图像的右眼 合成图像。
全文摘要
一种图像处理装置，包括图像合成单元，其通过输入在不同的位置拍摄的多个图像并且连接从图像剪切的条区域生成合成图像。所述图像合成单元通过连接和合成在图像中设置的左眼图像条生成应用于显示三维图像的左眼合成图像，并且通过连接和合成在图像中设置的右眼图像条生成应用于显示三维图像的右眼合成图像。所述图像合成单元通过从储存器获取可允许的范围或计算可允许的范围，执行在左眼图像条和右眼图像条的设置位置的可允许的范围中设置左眼图像条和右眼图像条的处理，所述左眼图像条和右眼图像条用于生成可应用于显示三维图像的在不同观察点的左眼合成图像和右眼合成图像。
文档编号H04N13/04GK102111629SQ20101059426
公开日2011年6月29日 申请日期2010年12月17日 优先权日2009年12月24日
发明者小坂井良太, 稻叶靖二郎 申请人:索尼公司