专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及图像处理装置和图像处理方法。
背景技术：
日本专利第3426189号公开了一种图像处理方法，该方法包括以下步骤将输入图像划分为像素组，各像素组具有预定尺寸；计算各个划分的像素组的像素组密度；根据输入图像的关注像素的绝对密度和相对密度来计算输入的图像的关注像素的输出值，相对密度是基于关注像素所属的像素组的像素组密度和与关注像素所属的像素组相邻的像素组的像素组密度计算的。根据此图像处理方法，在多值图像中，高速地提取出利用颜色比背景深的笔书写的字符以用于例如字符识别的预处理，并且增强了对象(例如图形字符)，由此使得能够减小图像尺寸而不会增加图像识别的难度。
日本专利第4111697号公开了一种图像亮度校正装置，该装置用于校正通过利用图像阅读部读取放置在接触玻璃上的书籍原稿而获得的扫描图像的亮度。该图像亮度校正装置包括扫描图像划分部，其将扫描图像划分为多个块；原始值检测部，其从利用扫描图像划分装置划分扫描的图像而获得的各个块中包含的像素中选择具有最高亮度值的像素，并且通过将选择的像素的最高亮度值视为相应块的原始亮度值来检测所述多个块中的每一个块的原始亮度值；以及亮度校正部，其基于使所述多个块中的每一个块的原始亮度值在多个块之间平滑而获得的原始亮度值，对扫描的图像执行亮度校正处理。在该图像亮度校正部中，通过检测局部区域的原始亮度值来校正图像亮度，而不是针对根据部分扫描图像的原始亮度值来划分扫描图像获得的各个带状区域来校正扫描图像的亮度。因此，即使图像阅读部的亮度不均匀，或者即使书籍原稿没有平放在接触玻璃上(高于接触玻璃的书籍原稿的上部的状态与书籍原稿的下部的状态不同)，也可以防止在校正图像中出现黑纹或浅影，并能抑制噪音的影响。
发明内容
本发明的目的是提供一种图像处理装置和图像处理方法，它们能够解决如下问题当要处理的文档图像中包含彩色区域时，由于根据文档颜色对整个图像执行雾翳消除处理而导致彩色区域的亮度过于明亮。根据本发明的第一方面，提供一种图像处理装置，该图像处理装置包括接收部，其接收图像；提取部，其提取由所述接收部接收到的图像中的区域；选择部，其根据预定规则从所述提取部提取的区域中选择区域；测量部，其测量由所述选择部选择的区域中包含的像素的亮度值；估计部，其根据由所述测量部测量的像素的亮度值来估计表示所述接收部接收到的图像的雾翳度的函数；以及消除装置，其根据所述估计部估计的函数来消除所述接收装置接收到的图像的雾翳。根据本发明的第二方面，在根据第一方面所述的图像处理装置中，所述提取部提取等于或大于预定尺寸的区域，或者提取大于预定尺寸的区域，并且如果未发现这样的区域，则可以不执行利用所述选择部执行的处理、利用所述测量部执行的处理、利用所述估计部执行的处理以及利用所述消除部执行的处理。根据本发明的第三方面，在根据第一或第二方面的图像处理装置中，在所述选择部采用的所述预定规则可以利用所述提取部提取的各个区域的尺寸来确定。根据本发明的第四方面，在根据第三方面的图像处理装置中，在所述选择部采用的所述预定规则也可以利用所述提取部提取的各个区域的亮度值或彩度值来确定。根据本发明的第五方面，在根据第三方面的图像处理装置中，在所述选择部采用的所述预定规则还可以利用所述提取部提取的各个区域的彩度值方差、所述图像中的各个区域的位置以及各个所述区域外周的尺寸中的至少一项来确定。根据本发明的第六方面，在根据第四方面的图像处理装置中，在所述选择部采用的所述预定规则还可以利用所述提取部提取的各个区域的彩度值方差、所述图像中各个区域的位置以及各个所述区域外周的尺寸中的至少一项来确定。根据本发明的第七方面，在根据第一、第二、第四、第五和第六方面中的任一方面的图像处理装置中，所述测量部可以通过沿水平方向、竖直方向、倾斜方向、以及椭圆形状方向中的至少一个方向对所述选择部选择的区域进行扫描来测量像素的亮度值。根据本发明的第八方面，在根据第三方面的图像处理装置中，所述测量部可以通过沿水平方向、竖直方向、倾斜方向、以及椭圆形状方向中的至少一个方向对所述选择部选择的区域进行扫描来测量像素的亮度值。根据本发明的第九方面，在根据第一、第二、第四、第五、第六、第八中任一方面的图像处理装置中，所述估计部可以估计将通过连接所述选择部选择的区域内的像素的亮度值而生成的函数。根据本发明的第十方面，在根据第三方面的图像处理装置中，所述估计部可以估计将通过连接所述选择部选择的区域内的像素的亮度值而生成的函数。根据本发明的第十一方面，在根据第七方面所述的图像处理装置中，所述估计部可以估计将通过连接所述选择部选择的区域内的像素的亮度值而生成的函数。根据本发明的第十二方面，在根据第九方面所述的图像处理装置中，如果所述测量部沿多个扫描方向对所述选择部选择的区域进行扫描，则所述消除部可以基于所述估计部估计的与所述多个扫描方向相对应的多个函数来计算所述多个扫描方向相交的位置处的雾翳值。根据本发明的第十三方面，在根据第十或第十一方面的图像处理装置中，如果所述测量部沿多个扫描方向对所述选择部选择的区域进行扫描，则所述消除部可以基于所述估计部估计的与所述多个扫描方向相对应的多个函数来计算所述多个扫描方向相交的位
置处的雾翳值。根据本发明的第十四方面，提供一种图像处理方法，该图像处理方法包括以下步骤接收图像；提取接收到的图像中的区域；根据预定规则从提取的区域中选择区域；测量所选择的区域中包含的像素的亮度值；根据所测量的像素的亮度值估计表示接收到的图像的雾翳度的函数；以及根据估计的函数消除接收到的图像的雾翳。在根据第一方面的图像处理装置中，当要处理的文档图像包含彩色区域时，能够防止由于根据文档的颜色对整个图像进行雾翳消除处理而导致彩色区域的亮度变得过于明亮。在根据第二方面的图像处理装置中，如果没有发现适于估计表示雾翳的梯度的函数的区域，则不执行不必要的处理。在根据第三方面的图像处理装置中，与未提供图像处理装置的构造的情况相比，能够稳定地去除图像中的雾翳。在根据第四方面的图像处理装置中，与未提供图像处理装置的构造的情况相比，能够更加稳定地去除图像中的雾翳。在根据第五、第六方面的图像处理装置中，与未提供图像处理装置的构造的情况相比，即使图像中包含照片，也能稳定地去除图像中的雾翳。在根据第七、第八方面的图像处理装置中，能够根据雾翳梯度进行扫描。
在根据第九、第十、第十一方面的图像处理装置中，能够去除图像内的选择区域外
的雾翳。在根据第十二、第十三方面的图像处理装置中，与未提供图像处理装置的构造的情况相比，能够稳定地去除图像中的雾翳。在根据第十四方面的图像处理装置中，当要处理的文档图像包含彩色区域时，能够防止由于根据文档颜色对整个图像进行雾翳消除处理而导致彩色区域的亮度变得过于明亮。
将基于下列附图详细描述本发明的示例性实施方式，其中图I是示出了形成根据示例性实施方式的图像处理装置的概念模块的框图；图2是示出示例性实施方式执行的处理的示例的流程图；图3示出了图像接收模块执行的处理的示例；图4至5图示出了非边缘区域提取模块执行的处理的示例；图6示出了检查区域选择模块执行的处理的示例；图7A至图SB示出了像素值测量模块执行的处理的示例；图9A至图IOC示出了像素值分布估计模块执行的处理的示例；图11至图13示出了雾翳消除模块执行的处理的示例；图14A至图14F示出了充当示例性实施方式的基础的技术的示例；以及图15是示出了实现示例性实施方式的计算机的硬件配置的示例的框图。
具体实施例方式为了便于示例性实施方式的理解，首先描述充当示例性实施方式的基础的技术。在图14A中，要拍摄的对象文档1410是名片，并且其不仅包含黑白部分，而且还包含彩色部分(例如，特定区域可以是照片或填充了与文档的纸张颜色不同的纯色(即，白色以外的其它颜色)。更具体地，在对象文档1410内，区域1412的背景是红色，区域1414的背景是白色，图形1416是红色标记。利用例如数码相机来拍摄对象文档1410，得到如图14C所示的拍摄图像1430。拍摄图像1430显示出现了图像劣化，如图14B所示的雾翳图像1420叠加在拍摄图像1430上。产生雾翳图像1420的原因多种多样，例如亮度不均匀、逆光拍摄、对象文档1410的位置(即对象文档1410、照明和图像拍摄装置之间的位置关系)以及数码照相机的镜头配置(例如，图像的中心部分明亮而外围部分黯淡)。图14B示出了雾翳图像1420是渐变图像，其中右上方为深黑色，左下方为白色，即色彩明暗逐渐变化。因此，在如图14C所示的拍摄图像1430中，尽管右上方为深黑色，但左下方与原始对象文档1410的图像接近。此类雾翳也称为“阴影”或“黑雾”。不仅使用数码照相机可以产生雾翳图像，使用扫描仪也会产生雾翳图像。例如，在所谓的平板扫描仪中，接触玻璃上设置了可自由开合的压板，当把文档放置在接触玻璃上后，盖上压板并扫描文档。要扫描的文档不仅包括分页文档，而且也包括书稿(书籍、小册子等)。同样将这种书稿放置在接触玻璃上并进行扫描。然而，此类文档的装订部分高出接触玻璃，从而与焦平面分开。结果，在所获得的扫描图像中出现了与文档的装订部分的放置位置相对应的图像劣化，即“雾翳”。下面参照附图来描述本发明的示例性实施方式。
图I是示出了形成根据示例性实施方式的图像处理装置的概念模块的框图。总体上，模块可以是在逻辑上能够彼此分开的软件(计算机程序)组件或硬件组件。因此，本示例性实施方式的模块不仅是计算机程序模块，也是硬件配置模块。因此，也将以允许计算机发挥那些模块的作用的计算机程序(使得计算机执行程序步骤的程序、允许计算机发挥相应的单元的作用的程序、允许计算机实现相应功能的计算机程序)、系统和方法的形式来描述本示例性实施方式。当为了说明的目的而使用诸如“存储”及其等同表述等表达方式时，这类表达方式表示当本示例性实施方式涉及计算机程序时，将计算机程序存储在存储装置中或执行控制以使得计算机程序被存储在存储装置中。模块与功能可以一一对应。然而，根据实现情况，一个模块可以由一个程序构成，或者多个模块可以由一个程序构成。与之相反，一个模块可以由多个程序构成。此外，可以利用单个计算机来执行多个模块，或在分布或并行环境中利用多个计算机来执行单个模块。一个模块可以集成在另一个模块中。在下文中，术语“连接”不仅包括物理连接，而且还包括逻辑连接(数据的发送和接收、指令的发出、数据元素之间的参考关系等)。术语“预定”表示在某个操作之前做出确定，包括在开始本示例性实施方式的处理之前的某个操作之前做出确定，以及在开始本示例性实施方式的处理之后的某个操作之前做出确定，这要视当前情况/状态或之前情况/状态而定。通过经由诸如网络的通信介质(包括一一对应的通信)将多个计算机、硬件单元、设备等彼此连接起来，可以实现系统或装置，或者也可以通过单个计算机、硬件单元、设备等来实现系统或装置。术语“装置”和“系统”同时使用。术语“系统”不包括仅仅人为制定的社会“机制”(社会系统)。此外，在利用相应模块执行操作之前，或者在利用相应模块执行多个操作时，从存储装置中读取对象信息，并且在执行操作之后将处理结果写入存储装置。因此，关于在操作之前从存储装置读取和在操作之后向存储装置写入的描述不再赘述。存储装置的示例可以包括硬盘、随机存取存储器(RAM)、外部存储介质、使用通信线路的存储装置、中央处理器(CPU)内的寄存器等。图I中示出的本示例性实施方式的图像处理装置具有图像雾翳消除功能。图I中示例性示出的图像处理装置例如包括图像接收模块110、非边缘区域提取模块120、检查区域选择模块130、像素值测量模块140、像素值分布估计模块150、雾翳消除模块160以及输出模块170。图像接收模块110与非边缘区域提取模块120相连接。图像接收模块110接收图像并将接收到的图像传送到非边缘区域提取模块120。图像的接收包括利用例如扫描仪和照相机读取图像、利用例如传真机经由通信线路从外部设备接收图像、读取在硬盘(可内置在计算机中或者可以经由网络与计算机连接)等中存储的图像等。图像为多值图像(包括彩色图像)。可以仅接收一个图像，或者也可接收多个图像。图像内容包括商业文件(例如上述名片)、广告手册、绘制在白板上的图像等。图像接收模块110可以通过执行数字过滤处理等而对接收的图像进行校正，所述校正包括相机抖动校正。稍后将参照图3来讨论图像接收模块110所执行的处理的示例。非边缘区域提取模块120与图像接收模块110和检查区域选择模块130相连接。非边缘区域提取模块120从图像接收模块110接收的图像中提取区域，并将提取的区域传送到检查区域选择模块130。
非边缘区域提取模块120还提取等于或大于预定尺寸的区域，或者提取大于预定尺寸的区域。如果非边缘区域提取模块120未发现此类区域，则可以不执行检查区域选择模块130、像素值测量模块140、像素值分布估计模块150、雾翳消除模块160以及输出模块170的操作。在这种情况下，非边缘区域提取模块120可以输出表明未发现上述区域(即未进行雾翳消除)的信息。要提取的区域是色值平滑且连续变化的区域，换言之，是无边缘的区域或被边缘包围的区域。稍后将参照图4至图5来讨论非边缘区域提取模块120执行的处理的示例。检查区域选择模块130与非边缘区域提取模块120和像素值测量模块140相连接。检查区域选择模块130根据预定规则从非边缘区域提取模块120提取出的区域中选择区域，并将所选择的区域传送到像素值测量模块140。检查区域选择模块130所采用的预定规则可以利用非边缘区域提取模块120提取出的区域的亮度或彩度值或区域的尺寸来确定。另选地，预定规则可由所提取的区域中的像素的彩度值方差、图像中的区域的位置以及区域外周的尺寸中的至少一项来确定。稍后将参照图6来讨论检查区域选择模块130所执行的处理的示例。像素值测量模块140与检查区域选择模块130和像素值分布估计模块150相连接。像素值测量模块140测量检查区域选择模块130所选择的区域中的像素的亮度值，并将测量结果传送到像素值分布估计模块150。通过在预定方向上对区域进行扫描来测量像素的亮度值。扫描方向(为了测量像素的亮度值而对区域进行扫描的方向)可以是水平方向、竖直方向、倾斜方向、以椭圆形状对区域进行扫描的方向中的至少一个方向。扫描方向可是两个方向，诸如水平方向和竖直方向的组合、右上倾斜方向和右下倾斜方向的组合，或者可以是一个方向，诸如以椭圆形状对区域进行扫描的方向，或者可以是三个扫描方向的组合。稍后将参照图7A至图SB来讨论像素值测量模块140执行的处理的示例。像素值分布估计模块150与像素值测量模块140和雾翳消除模块160相连接。像素值分布估计模块150根据像素值测量模块140测量的像素值来估计表示图像接收模块110接收的图像中的雾翳度的函数，并将所估计的函数传送到雾翳消除模块160。表示雾翳度的函数可以是线性函数或多维函数(例如，二次函数)。像素值分布估计模块150可以估计通过连接检查区域选择模块130选择的区域内的像素的亮度值而生成的函数。下文中将参照图9A至图IOC来讨论像素值分布估计模块150所执行的处理的示例。雾翳消除模块160与像素值分布估计模块150和输出模块170相连接。雾翳消除模块160基于像素值分布估计模块150估计的函数对图像接收模块110接收的图像进行雾翳消除，并将雾翳消除之后的图像传送到输出模块170。如果像素值测量模块140已通过在多个扫描方向上对图像的区域进行扫描而测量了像素的亮度值，则雾翳消除模块160可以基于从像素值分布估计模块150估计的多个·函数获得的值来计算在扫描方向彼此相交的位置处的雾翳值。对于位置不在扫描线上的像素，可以根据扫描线上的像素与不位于扫描线上的对应像素之间的距离，利用扫描线上的像素位置处的雾翳值来计算不位于扫描线上的像素位置处的雾翳值。雾翳值表示接收到的图像的像素值与原始图像的像素值(所拍摄的没有出现雾翳的图像的像素值)之间的差。下文中将参照图11至图13来讨论雾翳消除模块160所执行的处理的示例。输出模块170与雾翳消除模块160相连接。输出模块170接收已被雾翳消除模块160消除了雾翳的图像并输出该图像。输出图像包括利用例如打印机打印图像；利用例如显示器显示图像；利用如传真机的图像发送设备发送图像；将图像写入诸如图像数据库的图像存储装置；将图像存储在诸如存储卡的存储介质中；将图像传送到另一信息处理装置等。这样的图像可以与图像接收模块110接收的图像关联地输出。图2是示出本示例性实施方式执行的处理的示例的流程图。在步骤S202中，图像接收模块110接收对象图像。图3示出了图像接收模块110所执行的处理的示例。要拍摄的对象文档320等同于图14A所示的对象文档1410。对象文档320包括左侧的具有红色背景的区域、右侧具有白色背景的区域和右上部代表红色标记的区域。当利用图像拍摄装置310拍摄对象文档320时，雾翳出现并反映在获得的图像(例如拍摄图像330)中。例如，在交换名片后，将表示其中一个名片的对象文档320置于桌上并利用摄影装置310摄影。摄影装置310可以是独立的数码照相机、内置在个人数字助手(例如，内置在包括智能手机的手机中)的数码相机、扫描仪等。在步骤S204中，非边缘区域提取模块120提取出色值平滑且连续变化的区域。图4至图5示出了非边缘区域提取模块120所执行的处理的示例。非边缘区域提取模块120包括例如索贝尔滤波模块410、二值化模块420、黑白反转模块430、标记模块440以及小尺寸消除模块450。索贝尔滤波模块410与二值化模块420相连接，并且对在步骤S202中接收到的拍摄图像330进行索贝尔滤波处理，并将得到的图像传送到二值化模块420。索贝尔滤波处理用于利用滤波器来检测竖直线或水平线的边缘。在索贝尔滤波处理中，可以根据滤波器的设计来检测竖直线和水平线之外的线。二值化模块420与索贝尔滤波模块410和黑白反转模块430相连接。在接收到已被索贝尔滤波模块410检测了边缘的图像时，二值化模块420对图像进行二值化处理，并将二值化图像传送到黑白反转模块430。可以应用公知的二值化处理技术作为该二值化处理。作为二值化处理的结果，边缘变成黑色，而其它部分变成白色。黑白反转模块430与二值化模块420和标记模块440相连接。在从二值化模块420接收到二值化图像时，黑白反转模块430对二值化图像进行黑白反转处理并将得到的图像传送到标记模块440。作为黑白反转处理的结果，边缘变成白色，而其它部分变成黑色。标记模块440与黑白反转模块430和小尺寸消除模块450相连接。在接收到经过黑白反转模块430的黑白反转处理的图像时，标记模块440对图像进行标记处理，并将得到的图像传送到小尺寸消除模块450。作为标记处理的结果，相同的标签被附加于呈现连续的黑色像素的黑色区域。因此，通过提取被附加了相同标签的区域，可以提取出没有边缘的区域。小尺寸消除模块450与标记模块440相连接。在接收到经过标记模块440标记处 理的图像时，小尺寸消除模块450消除与等于或小于预定尺寸的区域或者与小于预定尺寸的区域相对应的噪声。换言之，作为该处理的结果，可以提取出等于或大于预定尺寸的区域或者提取出大于预定尺寸的区域。附加有相同标签的区域的面积可以通过统计被附加有相同标签的像素的数量或计算该区域的外接矩形的面积来确定。图5示出了通过对图4所示的拍摄图像330执行上述处理而获得的图像的示例。区域图像510是在拍摄图像330的左侧具有红色背景的区域。区域图像520是在拍摄图像330的右侧具有白色背景的区域。区域图像530是在拍摄图像330的右上部具有红色标记的区域。然而，这些图像都是二值图象并且用作掩模图像。更具体地，在拍摄图像330和掩模图像之间进行逻辑AND运算，由此使得能够从拍摄图像330中提取出与掩模图像对应的区域。非边缘区域提取模块120可以执行利用图4所示的模块配置的处理以外的处理来提取非边缘区域。例如，非边缘区域提取模块120可以通过集合相同颜色的像素来提取非边缘区域。相同颜色的像素不限于颜色完全相同的像素，也可以是具有预定关系的颜色像素。更具体地，可以从图像中选出某个像素，并且可以集合与所选的像素接触且与之具有预定关系的像素(例如，色空间内两个像素之间的距离等于或小于预定值，或两个像素之间的距离小于预定值)。然后，可以类似地对集合的像素进行上述集成处理。结果，可以提取出非边缘区域。回到图2的流程图，在步骤S206中，检查区域选择模块130提取适于估计雾翳的亮度值梯度的区域。检查区域选择模块130提取在步骤S204中提取出的区域的特征值。然后，检查区域选择模块130针对各个区域根据式(I)(判别函数)来计算值，并根据计算出的值来选择区域(在本示例中，上述掩模图像)。例如，在步骤S204中提取的区域中，选择具有最大值的区域。'肌一⑴
/在式(I)中，右侧的Wj为权重，并且可以是正数、0或负数。如果Wj是0，则表示不使用对应的特征值(权重)。如果Wj是负数，则特征值在负方向上起作用。权重Wj是可由操作者设置的预定值，或者可以是利用在多个选项中确定了正确答案的训练数据进行学习而获得的值。在式⑴中，右侧的Xij表示特征值。检查区域选择模块130从各个区域⑴中提取这些特征值。特征值Xu包括Xitl是区域的宽度或高度，或者可以是宽度X高度(即，外接矩形的面积)；Xil是区域的面积；Xi2是区域的像素密度；Xi3是区域内像素的亮度值(例如，在L*ab色空间的情况下，L*的值)的平均值；Xi4是区域内像素的彩度值(例如，在L*ab色空间的情况下，a和b值)的平均值；
xi5是区域内像素的彩度值的方差；X6是从区域(掩模图像)的重心到在步骤S202接收到的图像的中心的距离；以及X7是区域的外周轮廓的长度/区域的外接矩形的周长。上述特征值仅为示例，也可以使用其它特征值。此外，作为其中一个特征值，使用亮度值或彩度值的平均值来描述区域内像素的典型亮度或彩度。但是，也可以不使用平均值，而使用表示区域的典型亮度值或彩度值，例如，可以使用最常见的值或中值。不是必须使用所有的特征值，可以选择其中一部分。例如，可以选择使用特征值xi0, Xil, Xi2中的一个的判别函数。这是因为较大的面积适于估计表示雾翳度的函数。此外，可以添加Xi3或Xi4以选择文档的背景区域。这是因为背景区域也适于估计表示雾翳度的函数。背景区域通常是白色，因此背景区域具有高亮度值和低彩度值。彩度值Xi4的权重W4是负值。上述特征值足以估计诸如具有白色背景的名片、文档和白板的图像上叠加的雾翳的程度。然而，这些特征值对于以下图像可能是不够的通过拍摄文档(例如名片)而获得的图像，其中景观图片占据了文档面积的一半(白色背景的面积相对狭窄)、或者逆光拍摄白板而获得的图像(拍摄图像的周围部分具有高亮度值)。因此，可以添加乂15至乂17。通常，景观图片的彩度值的方差高于背景。因此，可以利用Xi5来选择具有较小彩度值方差的区域，同时防止选中景观图片。彩度值方差Xi5的权重W5是负值。通常，在拍摄图像时，用户会有意将目标区域放置在图像中心。因此，可使用Xi6以使得可以选择重心(或中心)被置于图像中心周围的区域。距离Xi6的权重W6是负值。景观图片的区域的外周包含比外接矩形更多不均匀的部分。相反，例如名片的背景是矩形，并且在大多数情况下该矩形的外周是直线的。因此，可以使用Xi7来选择具有较短外周轮廓的区域，同时防止选中景观图片。外周轮廓Xi7的权重W6是负值。图6示出了由检查区域选择模块130执行的处理的示例。判别函数针对区域图像510的计算结果是I. 5,如式(2)所示。
/(X,；w) = 2]w X,(2)j
=1. 5判别函数针对区域图像520的计算结果为2. 0，如式(3)所示。
/(X2;w) = J]w X2 .⑶j
=2. O
判别函数针对区域图像530的计算结果是0. 2，如式(4)所示。
/(X3；w) = ^wyX3y⑷j
=0. 2然后，选择判别函数的计算出的值中的最大值，如式(5)所示。= argmax/(X, ;w) (5)
i在此情况下，选择与区域图像520对应的区域，如式(6)所示。
X* = X2(6)在步骤S208中，像素值测量模块140根据预定规则对区域的直线进行扫描，以测量区域中的像素值。图7A至图SB示出了像素值测量模块140所执行的处理的示例。提取出的区域图像700是通过在步骤S202中接收到的拍摄图像330和在步骤S206中选择的区域图像520之间执行逻辑AND运算而获得的图像。也即是说，提取了在拍摄图像330右侧的具有白色背景的区域。以预定间隔(例如，按照相等间隔)在竖直方向和水平方向上对提取的区域图像700执行扫描。例如，在水平方向上扫描了线702至718，并且在竖直方向上扫描了线722至742。然后，通过连接像素的亮度值而绘制出曲线图。图7B示出了通过对线702进行扫描而获得的表示像素的亮度值的曲线图的示例。由于线702并未包含在所选区域中，因此该曲线图仅由无效数据构成。图7C示出了通过对线712进行扫描而获得的曲线图示例。由于直线712的一部分包含在所选区域中，因此该曲线图由有效数据和无效数据构成。在图7C所示的图像中，亮度值朝着右侧减小。这是因为雾翳图像整体朝着右上侧变得更暗。通过对检查区域选择模块130选择的区域图像(掩模图像，即图6所示的区域图像520)进行扫描，可以做出关于曲线图包含有效数据还是无效数据的判断。区域图像520中的黑色部分内的位置对应于所提取出的区域图像700中包含有效数据的位置，而区域图像520中的白色部分内的位置对应于所提取出的区域图像700中包含无效数据的位置。在本示例的曲线图中，无效数据的亮度是0。作为对所提取的区域图像700进行扫描时使用的预定规则，不仅可进行图7A所示的竖直扫描和水平扫描，还可进行图8A所示的扫描。更具体地，在图8A所示的扫描中，可以在从左上侧到右下侧的倾斜方向和从右上侧到左下侧的倾斜方向上按预定间隔进行扫描。另选地，如图SB所示，可以以椭圆形状按预定间隔进行扫描。在此情况下，椭圆形状的示例可以包括圆形。扫描方向可由操作者根据雾翳的亮度值的梯度进行选择，或者可以根据摄影装置事先确定。在步骤S210中，像素值分布估计模块150根据一组测得的像素值来估计雾翳度的梯度(表示雾翳度的函数)。示例性地使用线性函数作为表示本示例中估计出的雾翳度的函数。图9A至图IOC示出了像素值分布估计模块150所执行的处理的示例。如图9A的示例所示，表示竖直扫描中的雾翳度的函数由式(7)表示，而表示水平方向上的雾翳度的函数由式(8)表示。Cj (y ； Y j, 6 j) = y j+ 6 jX (7)
rj (x ； a i7 ^i) = a(8)在图9B所示的示例中，包含有效数据的线由实线表示，而只包含无效数据的线由虚线表示。包含有效数据的线是线704至716、线732至740。只包含无效数据的线是线702和718、线722至730、以及线742。图IOA示出了表示包含有效数据的直线的曲线图。线704至716中的每一个均可由与图IOA所示的曲线图相似的曲线图表示。利用最小二乘法等来估计由亮度值的各个曲线图表示的函数。例如，可由式(9)表示由通过对水平线进行扫描而获得的亮度值的曲线图表示的函数。在各条线中，如果有效数据元素的数量小于预定数量，则不使用这些有效数据元素地估计函数。在图IOB所示的示例中，式(9)以点划线表示。
Ti(Xian^j)(9)该函数适用于不含有效数据的线。因此，为了确定不含有效数据的线702上的估计点932至940处的亮度值，如图9C所示，应用该函数，并如图IOC所示，确定估计点932至940处的亮度值。这意味着估计的函数应用于整个图像。利用竖直线进行函数估计与利用水平线进行函数估计相似。在步骤S212中，雾翳消除模块160利用雾翳度的梯度(步骤S210估计的函数)来计算要去除的雾翳量，由此校正曲线图的各组坐标处的图像的像素值。作为在步骤S212中执行的校正的结果，去除了拍摄图像的雾翳以重构初始图像。图11至图13示出了雾翳消除模块160所执行的处理的示例。下面将参照图12描述在图11所示的区域1110内的四个交点1112、1114、1116、1118处雾翳量的计算。交点1112是线706与726的交点。交点1114是线706与728的交点。交点1116是线708与726的交点。交点1118是线708与728的交点。交点1112至1118包含在没有有效数据的区域内。交点1112处的亮度值利用式(10)计算。p(Xi，yj > 丨些(10)利用式(10)计算的亮度值是线706的函数&与线726的函数q在交点1112 (Xi,Yj)处的平均值。同理，交点1114处的亮度值是线706的函数&与线728的函数cj+1在交点1114 (xi+1，Yj)处的平均值。交点1116处的亮度值是线708的函数ri+1与线726的函数Cj在交点1116 (Xi，yJ+1)处的平均值。交点1118处的亮度值是线708的函数ri+1与线728的函数cj+1在交点1118(xi+1，yj+1)处的平均值。通过这种方式，将交点处像素的像素值设置为相应水平线的函数与相应竖直线的函数的平均值。接着，利用式(11)来计算并不位于交点处的像素的亮度值，例如，计算位于图12所示的中间点1222处的像素的亮度值。p(x,y) =Eff((x,y), (xi； Yj)) p (xi； Yj) (11)在式(11)中，利用中间点1222周围的四个交点处的像素的亮度值来计算中间点1222处的像素的亮度值。因此，在计算周围的交点处的像素的亮度值之后，计算并不位于交点处的像素的亮度值。在式(11)中，中间点1222的位置以(x，y)表示。右侧的W((x，y)，(X^yj))为距离权重。也即是说，W((x，y)，(Xi, Yj))是利用从中间点1222到四个交点1112、1114、1116、1118中的每一个点的距离的权重。四个交点的总权重是1，并且权重是距离的倒数。因此，如果从中间点1222到四个交点1112、1114、1116、1118的距离彼此相等，则可将交点1112至1118处的亮度值的1/4相加而获得中间点1222处的亮度值。然后,利用式(12)计算雾量A (x, y) = p*-p(x, y)(12)其中p*是用作预定校正目标值的亮度值，并可如下确定。采集多个交点(可以是图像中的所有交点，或者可以是检查区域选择模块130所选择的区域内的交点)处的亮度值以生成亮度直方图。接着，在亮度直方图中，可以将预定的交点(例如，亮度值低于最高亮度10%的交点)处的亮度值设为p'另选地，操作者也可将某个亮度值设为P*。
图13示出了一个三维地表示的从图像中雾翳消除的过程。在图13中，X轴和y轴指示图中的位置，z轴是表示亮度值的空间。在z轴上，位于下方的灰色平面是雾翳图像，其覆盖整个图像。位于上方的浅色阴影线面代表校正后的图像亮度值。如图13所示，p*是根据亮度直方图确定的高亮度值。将各个交点处的亮度值增加到P*以实现雾翳消除。图13示出了中间点1222处的亮度的增加。在步骤S214中，输出模块170输出已经消除了雾翳的图像。例如，打印机打印已经消除了雾翳的图像。为了与本示例性实施方式对比，下面将参照图14C至图14F描述比较例。在图14C所示的拍摄图像1430中，对直线1432进行扫描，并以图14D所示的曲线图表示作为扫描结果而获得的像素值。也即是说，由于雾翳图像1420朝着右侧变暗，亮度值也相应地朝着右侧降低。然而，图14D所示的像素值也反映了原始图像的亮度值。因此，如亮度分布1442、1444、1446、1448所示，亮度值逐渐变化。接着，如果如图14F所示地向着目标值校正亮度值，则得到的图像为图14E所示的校正图像1440。在校正图像1440中，在不具有白色背景的部分(例如区域1412)中，亮度变得太高以使得消除了原本的红色。此现象的原因如下。本比较例中的处理对象是纸质文档，其整体为白色。然而，在包含彩色部分和白色背景的文档上均匀地执行了该校正处理，尽管彩色部分的亮度值低于白色背景的亮度值。与此相反，在本示例性实施方式中，选择了区域1414，并且基于区域1414计算雾翳量，由此校正图像的亮度值。结果，与图14E所示的校正图像1440相比，不具有白色背景的部分(例如，区域1412)的亮度不会变得太亮。下面将参照图15来描述根据本示例性实施方式的图像处理装置的硬件配置。图15所示的硬件配置可由个人计算机(PC)构成，并且包括数据读取部1517(例如，扫描仪)以及数据输出部1518(例如，打印机)。CPU 1501是根据计算机程序执行处理的控制器，在计算机程序中，描述了诸如非边缘区域提取模块120、检查区域选择模块130、像素值测量模块140、像素值分布估计模块150以及雾翳消除模块160的各个模块的执行顺序。只读存储器(ROM) 1502中存储有CPU 1501使用的程序和计算参数等。RAM1503中存储有CPU 1501的执行所使用的程序以及在CPU 1501的执行中适当改变的参数。CPU1501, ROM 1502, RAM 1503通过主机总线1504 (例如，CPU总线)相互连接。主机总线1504经由桥1505连接到外部总线1506 (例如，外围设备互联(PCI Peripheral Component Interconnect) / 接口总线)。
键盘1508和指点装置1509(例如，鼠标)是由操作者操作的输入设备。显示器1510包括液晶显示器(LCD)或阴极射线管(CRT)，并且显示各种信息(例如文本或图像信息)。硬盘驱动器(HDD) 1511具有内置硬盘,并且驱动硬盘使其记录或重放信息或CPU1501执行的程序。接收的图像、提取区域的图像、测量的像素值、估计的函数等存储在硬盘中。此外,也存储各种计算机程序(诸如各种数据处理程序)。驱动器1512读取放置于其中的可移除记录介质1513(诸如磁盘、光盘、磁光盘或半导体存储器)上记录的数据或程序，并将读取的数据或程序提供给RAM 1503, RAM 1503经由接口 1507、外部总线1506、桥1505和主机总线1504连接到驱动器1512。可移除记录介质1513也可以用作与硬盘相似的数据记录区。连接端口 1514是将外部连接设备1515连接到图像处理 装置的端口，并且包括连接部(诸如通用串行总线(USB)或IEEE-1394端口)。连接端口 1514经由接口 1507、外部总线1506、桥1505和主机总线1504连接到CPU 1501。通信部1516连接到网络并与外部设备进行数据通信处理。数据读取部1517例如为扫描仪并读取文档。数据输出部1518例如是打印机并输出文档。图15所示的硬件构造仅仅是示例，图像处理装置可以采用能够执行本示例性实施方式所述的模块的任何构造。例如，某些模块可由诸如专用集成电路(ASIC)的专用硬件构成，或者可以包含在外部系统中并经由通信线路连接到图像处理装置。另选地，两个或更多个图15所示的系统可经由通信线路连接并且协同操作。可将该系统集成到数码照相机、复印机、传真机、扫描仪、打印机、多功能设备(包括扫描仪、打印机、复印机、传真机等的两个或更多个功能的图像处理装置)。在上述示例性实施方式中，各个模块的处理内容可以采用背景技术中讨论的技术。上述程序可以存储在记录介质中并提供。记录在记录介质中的程序可经由通信介质提供。在这种情况下，可以将上述程序实现为本发明示例性实施方式中的“存储有程序的计算机可读介质”。“存储有程序的计算机可读介质”是存储了可由计算机读取的程序的记录介质，并且用于程序的安装、执行和流通。记录介质的示例包括数字通用光盘(DVD)，更具体地，包括由DVD论坛标准化的DVD (例如 DVD-R、DVD-RW、DVD-RAM)、由 DVD+RW 联盟标准化的 DVD (例如 DVD+R、DVD+RW)、高密度光盘(CD)，更具体地，只读存储器(CD-ROM)、可记录光盘(CD-R)、可擦写光盘(CD-RW)、蓝光光盘(注册商标)、磁光盘(MO)、软盘(FD)、磁带、硬盘、ROM、电可擦可编程只读存储器(EEPROM)(注册商标)、闪存、RAM等。上述程序的整体或部分可以记录在这种记录介质上，并且存储于其中或流通。另选地，程序的整体或部分可以利用传输介质经过通信进行发送，这些传输介质诸如是用于局域网(LAN)、城域网(MAN)、广域网(WAN)、互联网、内联网或外联网的有线网络、无线通信网络或它们的组合。可以利用载波发送程序。上述程序可以是另一程序的一部分，或与另一程序共同记录在记录介质上。可以将程序分开并记录在多个记录介质上。此外，只要程序能够重构，可以利用任何形式记录程序(例如压缩或加密)。 所提供的本发明的示例性实施方式的上述说明是出于图示和说明的目的。并不旨在穷尽本发明或者将本发明限制为所公开的精确形式。明显地，许多变型和变化对本领域的技术人员来说将是显而易见的。选择并且描述这些实施方式以便最好地解释本发明的原理及其实际应用，从而使本领域的其它技术人员可以理解本发明的各种实施方式以及为适于预期的特定用途而做出的各种修改。预期本发明的范围受所附权利要求及其等同物的限 定。
权利要求
1.一种图像处理装置，该图像处理装置包括 接收部，其接收图像； 提取部，其从所述接收部接收到的图像中提取区域； 选择部，其根据预定规则从所述提取部提取的区域中选择区域； 测量部，其测量在所述选择部选择的区域中包含的像素的亮度值； 估计部，其根据所述测量部测量的像素的亮度值，估计表示所述接收部接收到的图像中的雾翳度的函数；以及 消除部，其基于所述估计部估计的函数，消除所述接收部接收到的图像的雾翳。
2.根据权利要求I所述的图像处理装置，其中所述提取部提取等于或大于预定尺寸的区域，或者提取大于预定尺寸的区域，并且如果未发现这样的区域，则不执行利用所述选择部的处理、利用所述测量部的处理、利用所述估计部的处理及利用所述消除部的处理。
3.根据权利要求I或2所述的图像处理装置，其中在所述选择部中采用的所述预定规则利用所述提取部提取的各个区域的尺寸来确定。
4.根据权利要求3所述的图像处理装置，其中在所述选择部中采用的所述预定规则还利用所述提取部提取的各个区域的亮度值或彩度值来确定。
5.根据权利要求3所述的图像处理装置，其中在所述选择部中采用的所述预定规则还利用以下至少一项确定所述提取部提取的各个区域的彩度值方差、所述图像中的各个区域的位置以及各个所述区域的外周的尺寸。
6.根据权利要求4所述的图像处理装置，其中在所述选择部中采用的所述预定规则利用以下至少一项确定所述提取部提取的各个区域的彩度值方差、图像中的各个区域的位置以及各个区域的外周的尺寸。
7.根据权利要求1、2、4、5和6中任一项所述的图像处理装置，其中所述测量部沿水平方向、竖直方向、倾斜方向和椭圆形状方向中的至少一个方向对所述选择部所选择的区域进行扫描，以测量所述像素的亮度值。
8.根据权利要求3所述的图像处理装置，其中所述测量部沿水平方向、竖直方向、倾斜方向和椭圆形状中的方向中的至少一个方向对所述选择部选择的区域进行扫描，以测量所述像素的亮度值。
9.根据权利要求1、2、4、5、6和8中任一项所述的图像处理装置，其中所述估计部估计将通过连接所述选择部选择的区域内的像素的亮度值而生成的函数。
10.根据权利要求3所述的图像处理装置，其中所述估计部估计将通过连接所述选择部选择的区域内的像素的亮度值而生成的函数。
11.根据权利要求7所述的图像处理装置，其中所述估计部估计将通过连接所述选择部选择的区域内的像素的亮度值而生成的函数。
12.根据权利要求9所述的图像处理装置，其中，如果所述测量部沿多个扫描方向对所述选择部选择的区域进行扫描，则所述消除部基于所述估计部估计的与所述多个扫描方向相对应的多个函数来计算所述多个扫描方向相交的位置处的雾翳值。
13.根据权利要求10或11所述的图像处理装置，其中，如果所述测量部沿多个扫描方向对所述选择部选择的区域进行扫描，则所述消除部基于所述估计部估计的与所述多个扫描方向相对应的多个函数来计算所述多个扫描方向相交的位置处的雾翳值。
14.一种图像处理方法，该图像处理方法包括以下步骤接收图像；从接收到的图像中提取区域；根据预定规则从提取的区域中选择区域；测量选择的区域中包含的像素的亮度值；根据测量的像素的亮度值来估计表示接收的图像的雾翳度的函数；以及基于估计的函数来消除接收的图像的雾翳。
全文摘要
本发明涉及图像处理装置和图像处理方法。一种图像处理装置包括接收部，其接收图像；提取部，其从接收部接收到的图像中提取区域；选择部，其根据预定规则从提取部提取的区域中选择区域；测量部，其测量选择部选择的区域中包含的像素的亮度值；估计部，其根据测量部测量的像素的亮度值来估计表示接收部接收到的图像的雾翳度的函数；以及消除部，其基于估计部估计的函数来消除接收部接收到的图像的雾翳。
文档编号H04N1/62GK102801897SQ20121000595
公开日2012年11月28日 申请日期2012年1月10日 优先权日2011年5月23日
发明者福永正和 申请人:富士施乐株式会社