图像处理装置、图像处理方法和程序的利记博彩app
【专利摘要】本公开涉及图像处理装置和图像处理方法。根据本公开的图像处理装置包括校正单元，其基于右眼和左眼视差图之间的一个视差图来搜索近似另一视差图中的遮挡像素的近似像素，并且基于近似像素的视差向量来计算遮挡像素的校正视差向量。
【专利说明】图像处理装置、图像处理方法和程序
[0001]相关申请的交叉引用
[0002]本申请要求在2012年10月10日提交的日本在先专利申请JP2012-224871的优先权，其整体内容通过引用合并于此。
【技术领域】
[0003]本公开涉及图像处理装置、图像处理方法和程序。
【背景技术】
[0004]日本未审专利申请公布第2009-123219号和第2006-12166号公开了用于通过颜色分割以及设定每个片段的视差(深度)来将右眼和左眼图像分成多个片段的技术。根据这些技术，即使在片段内存在遮挡像素时，可以使用片段内的另一像素的视差来对遮挡区域的视差进行内插。
【发明内容】
[0005]然而，这些技术的性能极大地取决于颜色分割的性能。此外，颜色分割是极为费力的过程。出于该原因，存在对能够更简单地使遮挡区域的视差(视差向量)稳定的技术的需求。
[0006]根据本公开的一个实施例，提供了一种图像处理装置，其包括:校正单元，其基于右眼和左眼视差图之间的一个视差图来搜索近似另一视差图中的遮挡像素的近似像素，并且基于近似像素的视差向量来计算遮挡像素的校正视差向量。
[0007]根据本公开的一个实施例，提供了一种图像处理方法，包括:基于右眼和左眼视差图之间的一个视差图来搜索近似另一视差图中的遮挡像素的近似像素，并且基于近似像素的视差向量来计算遮挡像素的校正视差向量。
[0008]根据本公开的一个实施例，提供了一种用于使计算机实现如下处理的程序:校正功能，基于右眼和左眼视差图之间的一个视差图来搜索近似另一视差图中的遮挡像素的近似像素，并且基于近似像素的视差向量来计算遮挡像素的校正视差向量。
[0009]根据本公开的实施例，可以基于右眼和左眼视差图之间的一个视差图来搜索近似另一视差图中的遮挡像素的近似像素，并且基于近似像素的视差向量来计算遮挡像素的校正视差向量O
[0010]根据本公开的一个或更多个实施例，可以更简单地使遮挡区域的视差向量稳定。
【专利附图】
【附图说明】
[0011]图1是图示由裸眼立体显示装置执行的处理概况的流程图；
[0012]图2 Ca)和2 (b)是图示输入图像之间的颜色偏差的示图；
[0013]图3 Ca)和3 (b)是图示输入图像之间的几何偏差的示图；
[0014]图4是图示生成视差图(disparity map)和多视点图像的状态的示图；[0015]图5是图示根据本公开的一个实施例的图像处理装置的配置的框图；
[0016]图6是图示第一视差检测单元的配置的框图；[0017]图7是图不竖直视差候选存储表格的不例的不图；
[0018]图8是图示路径构造单元的配置的示图；
[0019]图9是用于执行视差匹配的DP图的示图；
[0020]图10是图示评估单元的配置的框图；
[0021]图11是图示神经网络处理单元的配置的框图；
[0022]图12是图示边际化处理单元执行的处理的示图；
[0023]图13是图示比较置信度图的示例的示图；
[0024]图14是图示类别划分表格的示例的示图；
[0025]图15是图示被分类成类别O的图像示例的示图；
[0026]图16是图示被分类成类别4的图像示例的示图；
[0027]图17是图示校正值对应表格的示例的示图；
[0028]图18是图示视差检测顺序的流程图；
[0029]图19 Ca)至19 (C)是图示每个视差图的精度随时间改进的状态的示图；
[0030]图20是图示校正单元的配置的框图；
[0031]图21是图示校正单元执行的处理顺序的流程图；
[0032]图22 Ca)和22 (b)是图示遮挡区域、牵引向量等的具体示例的示图；
[0033]图23是图示校正遮挡区域之前的置信度图的示例的示图；以及
[0034]图24是图示校正遮挡区域之后的置信度图的示例的示图。
【具体实施方式】
[0035]在下文中，将参照附图详细描述本公开的优选实施例。注意，在本说明书和附图中，基本上具有相同的功能和结构的结构元素由相同的附图标记表示，并且省略了这些结构元素的重复说明。
[0036]将按如下顺序进行描述。
[0037]1.裸眼立体显示装置执行的处理概况
[0038]2.图像处理装置的配置
[0039]3.图像处理装置执行的处理
[0040]4.图像处理装置的优点
[0041]5.各种修改示例
[0042]〈1.裸眼立体显示装置执行的处理概况〉
[0043]本公开的发明人已重复地进行了能够在不使用专用的立体眼镜立体地显示图像的裸眼立体显示装置的全面研究并且通过这些研究构思了根据实施例的图像处理装置。这里，术语“立体显示”意味着通过引起观察者的双眼视差来立体地显示图像。
[0044]因此，首先，将通过参照图1的流程图来描述包括图像处理装置的裸眼立体显示装置执行的处理的概况。
[0045]在步骤SI中，裸眼立体显示装置获取输入图像八和乂!^图2 (a)和2 (b)以及图3 (a)和3 (b)中图示了输入图像'和示例。在该实施例中，输入图像'和左上端处的像素被设为原点。水平方向被设为X轴并且竖直方向被设为y轴。右向是X轴的正向并且下向是y轴的正向。每个像素包括坐标信息(x，y)和颜色信息(辉度(亮度)、饱和度和色调)。在下文中，输入图像\上的像素被称为“左侧像素”并且输入图像Vk上的像素被称为“右侧像素”。在以下描述中，将主要描述输入图像'被设为标准图像并且输入图像Vk被视为参考图像的示例。然而，当然，输入图像\可以被设为参考图像并且输入图像Vk可以被设为标准图像。
[0046]如图2 (a)和2 (b)以及图3 (a)和3 (b)中所示，在互不相同的水平位置(x坐标)处在输入图像' 和Vk中示出了相同的物体(例如，海洋、鱼和企鹅)。
[0047]这里，在一些情况下，如图2 (a)和2 (b)所示，在输入图像Vl和Vk之间相互出现了颜色偏差。就是说，在输入图像八和Vk之间以不同的颜色示出了相同的物体。例如，物体图像'I和VkI两者均指示相同的海洋，但是颜色彼此不同。
[0048]另一方面，在一些情况下，如图3 (a)和3 (b)所示，在输入图像Vl和Vk之间相互出现了几何偏差。就是说，在不同高度位置(y轴)处示出了相同的物体。例如，物体图像'2和VK2两者均指示相同的企鹅，但是物体图像\2的y坐标与物体图像Vr2的y坐标互不相同。在图3 (a)和3 (b)中，示出了直线LI以便于几何偏差的理解。因此，裸眼立体显示装置执行与这些偏差对应的视差检测。就是说，即使当裸眼立体显示装置没有对颜色偏差或几何偏差执行校准，裸眼立体显示装置仍能够执行准确的视差检测。
[0049]在步骤S2中，裸眼立体显示装置基于输入图像\和Vr执行视差检测。图4中图示了视差检测的状态。
[0050]如图4中所示，裸眼立体显示装置从外极线EPkI中存在的或者在竖直方向(y方向)上偏离外极线EPkI的位置处的右侧像素中提取作为与左侧像素PJ对应的对应像素的候选的多个候选像素。外极线EPkI指的是输入图像Vk上示出的如下直线，其具有与左侧像素1\1相同的y坐标，并且在水平方向上延伸。此外，裸眼立体显示装置根据输入图像\和Vk之间的颜色偏差设定校正值并且基于该校正值提取候选像素。对应像素指的是指示与左侧像素PJ相同的物体的像素。
[0051]裸眼立体显示装置从候选像素中提取作为对应像素的右侧像素Ρκ1。裸眼立体显示装置将通过从右侧像素PkI的X坐标减去左侧像素PJ的X坐标而获得的值设定为水平视差dl并且将通过从右侧像素PkI的I坐标减去左侧像素PJ的I坐标而获得的值设定为竖直视差d2。
[0052]因此，在输入图像Vr中包括的右侧像素中，裸眼立体显示装置不仅搜索具有与左侧像素相同的I坐标(竖直位置)的像素，而且还搜索I坐标不同于左侧像素的像素。因此，裸眼立体显示装置可以执行与颜色偏差和几何偏差对应的视差检测。
[0053]裸眼立体显示装置通过针对输入图像Vl上的所有像素检测水平视差dl和竖直视差d2来生成全局视差图(global disparity map)。此外,如下文将描述的,裸眼立体显示装置根据与以上方法(即，全局匹配)不同的方法(即，局部匹配)计算输入图像\中包括的水平视差dl和竖直视差d2。裸眼立体显示装置基于通过局部匹配计算的水平视差dl和竖直视差d2来生成局部视差图。随后，裸眼立体显示装置通过整合这些视差图来生成整合视差图。图4图示了作为整合视差图的示例的整合视差图DM。在图4中，水平视差dl的程度由阴影的浓淡表示。每个视差图包括多个像素并且每个像素包括视差向量(其是指示水平视差dl和竖直视差d2的向量)。
[0054]在视差图中，由于在输入图像\和Vr两者中显示(观察)与遮挡像素(其是形成遮挡区域的像素)不同的像素，因此视差向量匹配。另一方面，由于遮挡像素是在一个输入图像中显示而在另一输入图像中没有显示的像素，因此视差向量不匹配。
[0055]这里，将参照图22 (a)和22 (b)描述视差向量的匹配性质。输入图像'中的左侧像素PlIO对应于输入图像Vr中的右侧像素Ρκ10。就是说，左侧像素PlIO和右侧像素PkIO两者指示物体图像'2的喙部。换言之，左侧像素匕10也显示在输入图像Vk中。
[0056]因此，左侧像素PlIO的视差向量VlIO指示输入图像Vk中的右侧像素Ρκ10。就是说，通过将视差向量'10的分量值加到左侧像素PlIO的坐标值而获得的坐标值与右侧像素PeIO的坐标值相同。同样地，右侧像素PkIO的视差向量VkIO指示输入图像\中的左侧像素PlIO。因此，左侧像素PlIO的视差向量VlIO与右侧像素PkIO的视差向量VkIO匹配。因此，术语“视差向量匹配”意味着两个像素的视差向量指示共有像素。
[0057]另一方面，由于左侧像素PJO隐藏在物体图像VK3后面并且因此在输入图像Vk中看不到，所以左侧像素Pl20是遮挡像素。就是说，在准确的意义上左侧像素匕20的对应像素不存在。然而，裸眼立体显示装置通过将近似左侧像素的右侧像素设为对应像素来设定视差向量，而不考虑左侧像素是遮挡像素。
[0058]因此，左侧像素Pl20的视差向量Vl20指示近似左侧像素Pl20的右侧像素Ρκ30。然而，由于左侧像素Pl20和右侧像素Ρκ30指示不同的物体，因此右侧像素Ρκ30的视差向量Ve30指示不同于左侧像素Pl20的左侧像素Pl30。因此，左侧像素Pl20和右侧像素Ρκ30的视差向量不匹配。
[0059]因此，由于视差向量在遮挡像素中不匹配，因此遮挡像素的视差向量在时间上和空间上极为不稳定。结果，在步骤S3之后生成的多视点图像Vv中，例如，可能出现图像在遮挡区域中被扰乱的现象。因此，在日本未审专利申请公布第2009-123219号和第2006-12166号中公开的技术中，通过颜色分割对遮挡像素的视差向量进行内插。然而，在该方法中，内插的性能取决于颜色分割的性能。此外，颜色分割自身是极为费力的处理。
[0060]因此，裸眼立体显示装置如下校正(计算)遮挡像素的视差向量。就是说，裸眼立体显示装置基于左眼和右眼视差图来搜索近似遮挡像素的近似像素。具体地，裸眼立体显示装置通过将遮挡像素的左侧像素设定为起点并且依次追踪(跟随)视差向量来搜索视差向量匹配的左侧像素。裸眼立体显示装置将视差向量匹配的左侧像素设定为近似像素并且基于近似像素的视差向量来计算遮挡像素的校正视差向量。裸眼立体显示装置将遮挡像素的校正视差向量替换为校正视差向量。例如，裸眼立体显示装置将近似像素的视差向量设定为校正视差向量并且将遮挡像素的视差向量替换为近似像素的视差向量(将近似像素的视差向量牵引到遮挡像素)。近似像素的视差向量还被称为“牵引向量”。
[0061]在图22 (a)和22 (b)中所示的示例中，由于左侧像素1\30的视差向量'30指示右侧像素Ρκ30，因此左侧像素Pl30和右侧像素Ρκ30的视差向量彼此匹配。因此，裸眼立体显示装置基于视差向量'30来计算左侧像素PJO的校正视差向量。裸眼立体显示装置将左侧像素1\20的视差向量替换为校正视差向量。
[0062]在步骤S3中，裸眼立体显示装置基于整合视差图以及输入图像\和Vk来生成多个多视点图像Vv。例如，图4中所示的多视点图像Vv是用于输入图像\和Vk之间的内插的图像。因此，对应于左侧像素PJ的像素PvI存在于左侧像素PJ和右侧像素PkI之间。
[0063]这里，多视点图像Vv是裸眼立体显示装置立体显示的图像并且对应于不同的视点(观察者眼睛的位置)。就是说，观察者眼睛观察的多视点图像Vv根据观察者眼睛的位置而不同。例如，由于观察者的右眼和左眼存在于不同的位置，因此观察者观察到互不相同的多视点图像Vv。因此，观察者可以立体地观察多视点图像Vv。当对应于观察者的视点的多视点图像Vv存在时，尽管这些视点因观察者的移动而改变，观察者仍可以立体地观察多视点图像Vv。因此，在多视点图像Vv的数目较大时，观察者可以在较多的位置立体地观察多视点图像Vv。此外，在多视点图像Vv的数目较大时，也极少出现逆向观察，即观察者用左眼观察原本应用右眼观察的多视点图像Vv的现象。通过生成多个多视点图像Vv可以表述运动视差。
[0064]在步骤S4中，裸眼立体显示装置执行回退(细化)。在通常意义上，该处理指的是根据多视点图像的内容再次校正每个多视点图像Vv。在步骤S5中，裸眼立体显示装置立体显示每个多视点图像Vv。
[0065]<2.图像处理装置的配置〉
[0066]接下来，将参照附图描述根据该实施例的图像处理装置I的配置。如图5中所示，图像处理装置I包括图像获取单元10、第一视差检测单元20、第二视差检测单元30、评估单元40、图生成单元(校正值计算单元)50和校正单元60。就是说，图像处理装置I具有CPU、ROM、RAM、硬盘等的硬件构造并且上述组成元件由硬件构造实现。就是说，在图像处理装置I中，所执行的用于实现图像获取单元10、第一视差检测单元20、第二视差检测单元30、评估单元40、图生成单元50和校正单元60的程序被存储在ROM中。图像处理装置I是执行上述步骤SI和步骤S2的处理的装置。
[0067]图像处理装置I通常执行以下处理。就是说，图像获取单元10获取输入图像'和Vk并且将输入图像'和Vk输出到图像处理装置I的每个组成元件。第一视差检测单元20通过对输入图像\和Vk执行全局匹配来检测输入图像\中包括的每个左侧像素的水平视差dl和竖直视差d2。另一方面，第二视差检测单元30通过对输入图像Vl和Vk执行局部匹配来检测输入图像Vl中包括的每个左侧像素的水平视差dl和竖直视差d2。
[0068]就是说，图像处理装置I同时执行全局匹配和局部匹配。这里，局部匹配具有如下优点，精度好坏不取决于输入图像\和Vr的质量(颜色偏差、几何偏差等的程度)，但是具有如下缺点，遮挡弱并且稳定性差(精度容易改变)。另一方面，全局匹配具有如下优点，遮挡强并且稳定，但是具有如下缺点，精度好坏严重取决于输入图像\和Vk的质量。因此，图像处理装置I被配置成同时执行全局匹配和局部匹配两者，比较作为关于每个像素的结果而获得的视差图，并且整合视差图。
[0069](图像获取单元的配置)
[0070]图像获取单元10获取输入图像\和Vk并且将输入图像\和Vk输出到图像处理装置I中的每个组成元件。图像获取单元10可以从裸眼立体显示装置中的存储器获取输入图像\和Vk或者可以通过与另一装置通信来获取输入图像\和VK。在该实施例中，“当前帧”意味着由图像处理装置I当前处理的帧。“前一帧”意味着紧接当前帧之前的帧。“下一帧”意味着紧接当前帧之后的帧。当没有特定的帧被指令由图像处理装置I处理时，假设图像处理装置I对当前帧执行处理。[0071](第一视差检测单元的配置)
[0072]如图6中所示，第一视差检测单元20包括竖直视差候选存储单元21、动态绝对差和(DSAD)计算单元22、最小值选择单元23、锚向量构造单元24、成本计算单元25、路径构造单元26和后追踪单元27。
[0073](竖直视差候选存储单元的构造)
[0074]竖直视差候选存储单元21存储图7中所示的竖直视差候选存储表格。在竖直视差候选存储表格中，水平视差候选Ax和竖直视差候选Ay被相关联地记录。水平视差候选ΛX指示通过从候选像素的X坐标减去左侧像素的X坐标而获得的值。另一方面，竖直视差候选Λ7指示通过从候选像素的y坐标减去左侧像素的y坐标而获得的值。下文将描述细节。为每个左侧像素准备竖直视差候选存储表格。
[0075](DSAD计算单元的配置)
[0076]DSAD计算单元22从图生成单元50获取关于校正值α I的校正值信息。这里，在一般意义上，根据前一帧的输入图像'和％之间的颜色偏差的程度来设定校正值α?。颜色偏差越大，则校正值α?越小。当未获取校正值信息(例如，对初始帧(第O帧)执行处理)时，DSAD计算单元22将校正值α I设定为O。
[0077]DSAD计算单元22将一个左侧像素设定为标准像素并且从后追踪单元27获取前一帧的全局视差图。随后，DSAD计算单元22从前一帧的全局视差图中搜索标准像素的前一帧的水平视差dl和竖直视差d2。随后，DSAD计算单元22将如下像素设定为第一参考像素，具有标准像素的前一帧的竖直视差d2的一个右侧像素，即具有通过将前一帧的竖直视差d2加到标准像素的I坐标而获得的I坐标的一个右侧像素。因此，DSAD计算单元22基于前一帧的全局视差图来确定第一参考像素。就是说，DSAD计算单元22执行递归处理。当可以不获取前一帧的全局视差图时，DSAD计算单元22将具有与标准像素相同的I坐标的右侧像素设定为第一参考像素。`
[0078]DSAD计算单元22将y方向上的第一参考像素的预定范围内存在的右侧像素设定为第二参考像素。该预定范围是例如以第一参考像素的y坐标为中心±1的范围。然而，该范围可以根据鲁棒性和精度的平衡而任意改变。由第一和第二参考像素形成的像素组被配置为参考像素组。
[0079]因此，第一参考像素的y坐标随着帧进展而被依次更新。因此，较接近正确像素(接近标准像素)的像素被选择为第一参考像素。由于使用更新的第一参考像素作为标准来设定参考像素组，因此y方向上的搜索范围实质上扩张。例如，当第O帧中的第一参考像素的I坐标是5时，第二参考像素的I坐标变为4和6。随后，当第一帧中的第一参考像素的y坐标更新到6时，第二参考像素的I坐标变为5和7。在该情况下，尽管第O帧中的第一参考像素的I坐标是5，但是由于帧从第O帧进展到第一帧，因此第二参考像素的I坐标增加到7。就是说，y方向上的搜索范围在正向上实质上扩张I。因此，图像处理装置I可以在几何偏差方面执行强视差检测。当确定第一参考像素时，DSAD计算单元22使用前一帧的全局视差图。然而，可以使用前一帧的整合视差图。在该情况下，DSAD计算单元22可以更准确地确定第一参考像素。
[0080]DSAD计算单元22基于标准像素、包括第一和第二参考像素的参考像素组以及校正值α I来计算下式(I)中表述的DSAD ( Λ x，j)(第一和第二评估值)。
【权利要求】
1.一种图像处理装置，包括: 校正单元，其基于右眼和左眼视差图之间的一个视差图来搜索近似另一视差图中的遮挡像素的近似像素，并且基于所述近似像素的视差向量来计算所述遮挡像素的校正视差向量。
2.根据权利要求1所述的图像处理装置，其中所述校正单元基于所述遮挡像素的视差向量和所述一个视差图来搜索所述近似像素。
3.根据权利要求2所述的图像处理装置，其中所述校正单元从所述一个视差图中提取由所述遮挡像素的视差向量指示的对应像素并且基于所述遮挡像素的视差向量和所述对应像素的视差向量来搜索所述近似像素。
4.根据权利要求3所述的图像处理装置，其中所述校正单元将所述遮挡像素设定为标准像素，从所述一个视差图中提取由所述标准像素的视差向量指示的对应像素，执行确定所述遮挡像素的视差向量和所述对应像素的视差向量的匹配性质的向量追踪处理，当确定所述遮挡像素的视差向量与所述对应像素的视差向量不匹配时从所述另一视差图中提取所述对应像素的视差向量指示的像素作为新的标准像素，并且重复所述向量追踪处理。
5.根据权利要求1所述的图像处理装置，其中所述校正单元基于在所述遮挡像素的视差向量的计算中使用的匹配方法的类别来确定是否搜索所述近似像素。
6.根据权利要求5所述的图像处理装置，其中当通过本地匹配计算所述遮挡像素的视差向量时所述校正单元 搜索所述近似像素。
7.根据权利要求1所述的图像处理装置，其中所述校正单元检测包括所述遮挡像素的预定区域中的视差向量中的、在预定时间内值最小的时间最小向量，并且基于所述时间最小向量、所述近似像素的视差向量和所述遮挡像素的视差向量来计算所述遮挡像素的校正视差向量。
8.根据权利要求7所述的图像处理装置，其中所述校正单元根据所述时间最小向量、所述近似像素的视差向量和所述遮挡像素的视差向量的置信度来执行加权，并且基于加权的向量来计算所述遮挡像素的校正视差向量。
9.根据权利要求8所述的图像处理装置，其中所述校正单元计算加权向量的中值作为所述遮挡像素的校正视差向量。
10.根据权利要求7所述的图像处理装置，其中所述校正单元计算所述遮挡像素的计算特征量，对所述计算特征量、所述时间最小向量、所述近似像素的视差向量和所述遮挡像素的视差向量的相关关系进行学习，并且基于学习结果计算所述遮挡像素的校正视差向量。
11.根据权利要求7所述的图像处理装置，其中所述校正单元计算用于确定所述时间最小向量、所述近似像素的视差向量和所述遮挡像素的视差向量的分值，并且基于该分值和相邻像素的向量值之间的差来计算所述遮挡像素的校正视差向量。
12.—种图像处理方法，包括: 基于右眼和左眼视差图之间的一个视差图来搜索近似另一视差图中的遮挡像素的近似像素，并且基于所述近似像素的视差向量来计算所述遮挡像素的校正视差向量。
13.一种用于使计算机实现如下处理的程序: 校正功能，基于右眼和左眼视差图之间的一个视差图来搜索近似另一视差图中的遮挡像素的近似像素，并且基于所述近似像素的视差向量来计算所述遮挡像素的校正视差向量。`
【文档编号】H04N13/00GK103731651SQ201310462908
【公开日】2014年4月16日 申请日期:2013年9月30日 优先权日:2012年10月10日
【发明者】周藤泰广 申请人:索尼公司