图像处理装置及图像处理方法

专利名称：图像处理装置及图像处理方法
技术领域：
本发明涉及在进行基于图层分离的图像压缩等处理时，能够从输入图像数据中高 精度地提取前景像素的图像处理装置、图像处理方法及记录介质。
背景技术：
目前，以电子照片方式或喷墨方式等形成图像的复印机或复合机等图像形成装置 得到了广泛普及。而且，近年来复合机实现了高功能化，复合机被要求具备将由扫描仪读取 的文稿以电子数据形式保存，并管理所保存的文稿文件的功能；和将文稿数据以电子邮件 方式发送的功能等。由扫描仪读取的文稿虽然被以图像数据形式保存，但该图像数据一般 容量较大。因此，在存储或发送图像数据的情况下，减少数据量的图像压缩技术等必不可 缺。作为用于实现高压缩率的图像压缩技术之一，由分离图层来压缩图像数据的 MRC(Mixed Raster Content)等压缩技术。该压缩技术是将与被输入的图像数据相关的 图像分离成前景图层及背景图层这2个图像数据，进行适合于各图层的图像数据压缩的技 术。由此，可提高最终的图像压缩率。前景图层是文字或画线(以下称为文字等)的图像， iSn^Stffl JBIGQoint Bi-Ievel Image exp erts Group) > MMR(ModifiedModified Read) 或LZW(Lempel Ziv Welch)等可逆压缩方式的压缩。而背景图层是文字或画线以外的图像， 适合采用JPEG(JointPhotographic Experts Group)等非可逆压缩方式的压缩。在日本特开2005-20227号公报(以下称为公知文献1)中，公开了一种如下所述 的图像压缩装置能够将同时存在文字或照片等的彩色文稿图像的读取图像数据，在不降 低文字等的可视性的情况下，以高压缩率进行压缩。该图像压缩装置从由扫描仪等读取的 彩色文稿图像的图像数据中，检查构成文字或图形等描画物的像素的描画状态，将被描画 的像素成为相连状态的一块连接像素，作为连接像素组进行提取。图像压缩装置根据构成 所提取的连接像素组的像素的特征，分类成适合分辨率优先的压缩方式的前景图像、和适 合颜色灰度特性优先的压缩方式的背景图像，对各个图像以最适合的压缩方式进行压缩。对于作为背景色在局部使用了多种颜色的原稿图像、或存在包含反转文字的区域 的原稿图像等，难以正确分离出前景图像和背景图像。公知文献1中记载的图像压缩装置在从图像数据中提取连接像素时，首先将彩色 的图像数据二值化，根据二值化后的图像数据提取连接像素组，将提取出的多个连接像素 组中规定尺寸范围内的组作为前景图像，将规定尺寸范围外的组作为背景图像。但是，由于 该图像压缩装置将彩色图像二值化来进行处理，所以，存在着难以将在局部的背景色上描 画了文字的图像分离成文字像素和背景像素，而且，对于底色明度和文字明度的关系颠倒 的反转文字区域，难以分离文字像素和背景像素这一问题。图1、2A和2B是用于说明公知文献1中记载的图像压缩装置的问题点的示意图。 图1表示由扫描仪等读取、被输入到图像压缩装置的输入图像数据100的一例。例如，输入 图像数据100中包含分别在不同颜色的背景上描画了文字的图像区域101 105、和作为照片图像的图像区域106。而且，在图像区域101 105中分别描画有各种颜色的文字，特别 是在图像区域103及104中，描画有背景色暗、文字色亮的反转文字。图2A表示将输入图像数据100 二值化后的例子。通过二值化处理，可获得提取出 图像区域101、102及105的文字部分、和图像数据103及104的背景部分的图像数据100。 图2B表示根据该二值化数据提取了前景像素的一例。在根据图2A所示的二值化数据，由 公知文献1所记载的图像压缩装置提取了连接像素组的情况下，如图像区域103及104那 样，导致将局部具有暗的背景色的区域作为连接像素组提取出。因此，有可能无法将该区域 中包含的文字像素被作为前景像素提取出。结果，由于无法将图像数据100中包含的一部 分文字像素作为前景像素提取出，所以存在着不能通过切实的压缩方式压缩图像的问题。

发明内容
本发明鉴于上述问题而提出，其目的在于，提供对于如在局部的背景色上描画了 文字的图像、及包含反转文字区域的图像等那样的具有复杂图层的输入图像数据，能够高 精度提取出前景像素的图像处理装置、图像处理方法及记录介质。本发明的图像处理装置，用于从输入图像数据中提取出构成前景图像的前景像 素，其特征在于，具有分类部，其将上述输入图像数据所涉及的图像区域分成多个图像区 域，并将上述多个图像区域分类成该图像区域中包含的像素间的像素值之差小于规定值的 平坦区域、或该平坦区域以外的变化区域；连续变化区域提取部，其将由该分类部分类后的 变化区域中相邻的多个变化区域，作为连续变化区域提取出；色信息计算部，其计算出与上 述变化区域相关的色信息；和前景像素提取部，其按由上述连续变化区域提取部提取出的 每个连续变化区域，根据上述色信息计算部计算出的色信息，提取出前景像素。而且，本发明涉及的图像处理装置的特征在于，上述色信息计算部计算出上述变 化区域的前景色作为上述色信息。并且，本发明涉及的图像处理装置的特征在于，上述色信息计算部从上述变化区 域中包含的多个像素的像素值中，将与上述变化区域周围的平坦区域中包含的像素的像素 值之差大于规定值的像素值，作为上述前景色计算出来，上述前景像素提取部将与上述前 景色的颜色之差在规定范围内的像素，作为上述前景像素提取出。另外，本发明的图像处理装置的特征在于，上述色信息计算部计算出上述变化区 域的背景色作为上述色信息。而且，本发明的图像处理装置的特征在于，上述色信息计算部计算出上述变化区 域周围的平坦区域的颜色作为上述变化区域的背景色，上述前景像素提取部将与上述背景 色的颜色之差在规定范围外的像素作为上述前景像素提取出。并且，本发明的图像处理装置的特征在于，上述分类部具有接近数计算部，该接近 数计算部计算出像素值之差小于规定值的图像区域相接近的数量，上述分类部将该接近数 计算部计算出的接近数超过规定值的图像区域分类为上述平坦区域。另外，本发明的图像处理装置的特征在于，上述接近数计算部计算出像素值之差 小于规定值、且相接近的图像区域中平均像素值之差在规定范围内的图像区域的数量。而且，本发明的图像处理装置的特征在于，上述分类部按规定尺寸的每个图像区 域，进行是上述平坦区域还是上述变化区域的分类，将被分类为上述变化区域的图像区域分割成比上述规定尺寸小的尺寸，对被分割的每个图像区域反复进行上述分类处理，直到 上述图像区域的尺寸达到规定尺寸为止。另外，本发明涉及的图像处理方法，用于从输入图像数据中提取出构成前景图像 的前景像素，其特征在于，将上述输入图像数据所涉及的图像区域分成多个图像区域，将上 述多个图像区域分类成该图像区域中包含的像素间的像素值之差小于规定值的平坦区域、 或该平坦区域以外的变化区域，将分类后的变化区域中相邻的多个变化区域作为连续变化 区域提取出，计算出与上述变化区域相关的色信息，按提取出的每个连续变化区域中，根据 计算出的色信息提取前景像素。此外，本发明涉及的存储介质按照计算机可读取的方式记录有使计算机从输入图 像数据中提取出构成上述前景图像的前景像素的计算机程序，其特征在于，使计算机将上 述输入图像数据所涉及的图像区域分成多个图像区域；使计算机将上述多个图像区域分类 成该图像区域中包含的像素间的像素值之差小于规定值的平坦区域、或该平坦区域以外的 变化区域；使计算机将分类后的变化区域中相邻的多个变化区域作为连续变化区域提取 出；使计算机计算出与上述变化区域相关的色信息；使计算机按提取出的每个连续变化区 域，根据计算出的色信息，提取前景像素。在本发明中，将输入图像数据分成多个图像区域，将各个图像区域分类成平坦区 域或变化区域。这里，平坦区域是像素间的像素值之差小于规定值的图像区域，变化区域是 平坦区域以外的图像区域。对于平坦区域的判定，例如可通过对各个图像区域计算出最大 像素值与最小像素值的差量，将该差量与规定值比较来进行判定。可推定为平坦区域是构 成背景图像的图像区域。而且，通过在输入图像数据所涉及的图像区域中，将平坦区域以外 的区域作为变化区域，可推定为该变化区域是包含前景像素的图像区域。由于不使用将输 入图像数据2值化后的结果，而根据像素值之差来分类图像区域，所以，即使是包含反转文 字的区域，也能够将该区域分类为变化区域。并且，将多个变化区域中相邻的多个变化区域统一作为连续变化区域提取出。相 邻的多个变化区域是在公共的背景图像上描画了前景图像的图像区域的可能性高。因此， 通过将它们统一处理，能够更高精度地从变化区域提取出前景像素。而且，对于局部的背景 图像，可以高精度提取出前景像素。另外，对于从输入图像数据所涉及的图像区域中分类的各个变化区域，计算出前 景色或背景色等色信息。通过根据计算出的色信息从连续变化区域中提取出前景像素，可 实现高精度的前景像素的提取。而且，在本发明中，作为变化区域的色信息，计算出作为前景图像的色信息的前景 色。由此，通过根据计算出的前景色，从连续变化区域中提取出与该前景色接近的颜色的像 素(与前景色的像素值之差在规定范围内的像素)，可提取前景像素。并且，在本发明中，当计算出前景色作为色信息时，将变化区域的像素值与其周边 的平坦区域的像素值进行比较。可以将与平坦区域中包含的像素的像素值之差大的变化区 域的像素值，作为前景色计算出来，并可以将与该前景色接近的颜色的像素作为前景像素 提取出。由于与平坦区域的差大的像素被作为前景像素提取出，所以，即使是背景色浓、前 景色淡的反转文字，也可以进行高精度的提取。另外，在本发明中，作为变化区域的色信息，计算出作为背景图像的色信息的背景色。由此，通过根据计算出的背景色，从连续变化区域提取出相对该背景色颜色之差大的像 素(与背景色的像素值之差在规定范围外的像素)，可提取出背景像素。而且，在本发明中，当计算出背景色作为色信息时，可以将在变化区域的周边存在 的平坦区域的颜色(平均色等)，作为该变化区域的背景色计算出来，从而可以将与该背景 色的颜色之差大的像素作为前景像素提取出。由于与平坦区域的颜色之差大的像素被作为 前景像素提取出，所以，即使是背景色浓、前景色淡的反转文字，也可以进行高精度的提取。并且，在本发明中，从输入图像数据中提取出像素值之差小于规定值的图像区域， 当该图像区域在输入图像数据所涉及的图像区域中相接近时，计算出该接近的图像区域的 数量。在像素值之差小的图像区域超过规定数而接近的情况下，这些图像区域构成平坦的 图像，可以将它们分类为平坦区域。当判断各个图像区域是否是平坦区域时，由于不是只根 据1个图像区域的信息进行判断，而是根据周边的多个图像区域的信息进行判断，所以，可 更高精度地分类平坦区域及变化区域。另外，在本发明中，当计算像素值之差小的图像区域的接近数时，即使是接近的图 像区域，如果其平均像素值之差不在规定范围内，则也不计数在接近数内，只将平均像素值 之差在规定范围内的区域计数到接近数内。即使是像素值之差小的图像区域接近的图像区 域，在各图像区域的平均像素值之差大的情况下，该图像区域也有可能不是平坦的区域。因 此，通过将这样的图像区域从接近数的计数中排除，能够防止图像区域的误分类。而且，在本发明中，将输入图像数据所涉及的图像区域分成规定尺寸的图像区域， 判断各个图像区域是平坦区域或是变化区域中的任意一个。此时，将被判定为变化区域的 图像区域分割成更小尺寸的图像区域，进而判定分割后的图像区域是平坦区域或是变化区 域中的任意一个。这样，反复进行图像区域的分割、和是平坦区域还是变化区域的判定，直 到图像区域的尺寸达到规定尺寸为止，将最终的判定结果作为图像区域的分类结果。由此， 即使是输入图像数据所涉及的图像区域构成具有多个局部背景图像的复杂布局的情况，也 能够高精度地分类平坦区域及变化区域，高精度提取出前景像素。本发明将输入图像数据所涉及的图像区域分类成平坦区域或变化区域，将相邻的 变化区域作为连续变化区域提取出，并根据各个变化区域的色信息按每个连续变化区域提 取出前景像素。因此，即使是包含反转文字区域的图像，也能够将构成文字的像素作为前景 像素高精度地提取出。另外，即使是在局部的背景色上描画了文字的图像等，也能够高精度 提取出前景像素。由此，对于具有复杂布局的图像，可高精度提取出前景像素，通过将图像 高精度分离成前景图像和背景图像，可对各个图像以适当的压缩方式进行压缩。因此，能够 提高图像的压缩率。本发明的目的、特色、以及优点，根据下述详细说明和附图可更加明确。


图1是用于说明公知文献1中记载的图像压缩装置的问题点的示意图。图2A和2B是用于说明公知文献1中记载的图像压缩装置的问题点的示意图。图3是表示本发明的实施方式1涉及的MFP的结构的框图。图4A和4B是用于说明图像处理装置的压缩处理部所进行的图像数据的压缩处理 的示意图。
图5A和5B是用于说明图像处理装置的压缩处理部所进行的图像数据的压缩处理 的示意图。图6A和6B是用于说明图像处理装置的压缩处理部所进行的图像数据的压缩处理 的示意图。图7是表示图像处理装置的压缩处理部的结构的框图。图8是表示压缩处理部的前景蒙版(mask)生成处理部的详细结构的框图。图9是表示前景像素块提取处理部的详细结构的框图。图10是用于说明前景块提取处理部所进行的前景像素块的提取处理的示意图。图11是用于说明前景块提取处理部所进行的前景像素块的提取处理的示意图。图12是用于说明前景块提取处理部所进行的前景像素块的提取处理的示意图。图13是用于说明前景块提取处理部所进行的前景像素块的提取处理的示意图。图14是用于说明前景块提取处理部所进行的前景像素块的提取处理的示意图。图15是用于说明前景块提取处理部所进行的前景像素块的提取处理的示意图。图16是用于说明前景块提取处理部所进行的前景像素块的提取处理的示意图。图17A、17B、17C和17D是用于说明前景块提取处理部所进行的前景像素块的提取 处理的示意图。图18是用于说明前景块提取处理部所进行的前景像素块的提取处理的示意图。图19是用于说明前景块提取处理部所进行的前景像素块的提取处理的示意图。图20A和20B是用于说明标定(labeling)处理部所进行的标定处理的示意图。图21是用于说明标定处理部所进行的标定处理的示意图。图22是用于说明前景色计算处理部所进行的前景色计算处理的示意图。图23是用于说明前景像素提取处理部所进行的前景像素的提取处理的示意图。图24是用于说明前景像素提取处理部所进行的前景像素的提取处理的示意图。图25是表示变形例涉及的图像读取装置的结构的框图。图26是表示实施方式2涉及的前景蒙版生成处理部的结构的框图。图27是表示实施方式3涉及的前景蒙版生成处理部的结构的框图。
具体实施例方式(实施方式1)下面，结合对本发明的实施方式进行表示的附图，具体说明本发明。其中，在本实 施方式中，以数字式彩色复合机(以下称为MFP)为例，对本发明进行说明。需要说明的是， MFP具有彩色复印功能、彩色打印功能及彩色扫描功能等功能。本发明的技术可应用于对通 过读取原稿而获得的彩色图像的压缩等情况。本发明的技术例如适用于MFP的彩色复印功 能及彩色扫描功能。而且，MFP的彩色扫描功能包括将通过读取原稿而获得的彩色图像数 据进行压缩，并向其他装置发送的功能；和将彩色图像数据压缩并保存到MFP内部的存储 器等的保存功能。本发明的技术可被应用到在这些功能中对图像数据进行压缩的情况。图3是表示本发明的实施方式1涉及的MFP的结构的框图。本实施方式的MFP具 有图像输入装置11、图像输出装置12、发送装置13、操作面板15及图像处理装置20等。 操作面板15具有设定MFP的动作模式等的设定键及数字键、受理处理的开始指示等的开始键、以及电源键和各种功能键等硬件按键。而且，操作面板15具有显示MFP的动作状态、 对用户的警告提示、以及辅助用户的操作的各种菜单等的显示器。另外，也可以取代受理用 户的操作的硬件按键，而在显示器上设置触摸屏。操作面板15将受理到的指示或设定等送 给图像输入装置11、图像输出装置12、发送装置13及图像处理装置20。由此，各个装置可 以进行与接收到的指示或设定等对应的处理。图像输入装置11由扫描仪构成，该扫描仪具有对原稿照射光的光源、和排列设置 了(XD(Charge Coupled Device)等图像传感器的受光部等。图像输入装置11从光源向 原稿照射光，并且使受光部向一个方向移动，利用CCD将来自原稿的反射光分解成R(红) G (绿)B (蓝)这3个色成分而对其进行读取，然后将该模拟信号赋予给图像处理装置20。图像处理装置20具有A/D转换部21、阴影修正部22、输入灰度修正部23、区域分 离处理部24、色修正部25、黑生成底色除去部26、空间滤波处理部27、输出灰度修正部28、 灰度再现处理部29、压缩处理部30及存储部31等。从图像输入装置11输入的RGB模拟 信号，被图像处理装置20的A/D转换部21 灰度再现处理部29的各部实施图像处理，然 后被输出到图像输出装置12，或者被图像处理装置20的A/D转换部21 区域分离处理部 24、压缩处理部30的各部实施图像处理，然后被输出到发送装置13。A/D转换部21用于将从图像输入装置11送来的RGB模拟信号，转换成例如各8比 特的数字图像数据，并将转换后的RGB图像数据输出到阴影修正部22。阴影修正部22对从 A/D转换部21送来的RGB图像数据，进行除去在图像输入装置11的照明系统、成像系统和 摄像系统等中产生的各种失真的阴影处理，并将进行了阴影处理后的RGB图像数据送到输 入灰度修正部23。输入灰度修正部23对被阴影修正部22除去了失真的RGB图像数据(RGB反射率 信号)进行彩色平衡及对比度等的调整，并且将浓度信号等信号转换成适合于图像处理装 置20的处理的信号形式，然后将处理后的RGB图像数据送给区域分离处理部24。区域分离处理部24判定与从输入灰度修正部23送来的RGB图像数据相关的图像 的各个像素，是属于由文字构成的文字区域、由网点图像构成的网点区域、或由照片构成的 照片区域的哪种区域的像素。由此，来分离各个像素。区域分离处理部24将处理结果、即 表示各个像素属于哪个区域的信息，作为区域分离信号输出到黑生成底色除去部26、空间 滤波处理部27及灰度再现处理部29，同时将从输入灰度修正部23送来的RGB图像数据直 接送给色修正部25及压缩处理部30。色修正部25将从区域分离处理部24送来的RGB图像数据，转换成C (蓝绿)、M (洋 红)、Y(黄)的色空间图像数据，并且为了忠实化实现图像输出装置12的色再现，对CMY的 各个色成分进行色修正处理。色修正处理具体是从CMY的各个色成分中，除去基于分别包 含不需要的吸收成分的CMY调色剂或墨水等的分光特性的色浊的处理。色修正部25将转 换后的CMY图像数据送给黑生成底色除去部26。黑生成底色除去部26根据从区域分离处理部24送来的区域分离信号、及从色修 正部25送来的CMY图像数据的各个色成分，进行生成K(黑)色成分的黑生成处理。而且， 黑生成底色除去部26从原来的CMY的各个色成分中减去通过黑生成处理而生成的K成分， 生成新的CMY图像数据。由此，从色修正部25送来的CMY图像数据被转换成具有CMYK这 4个色成分的图像数据。
9
例如，在进行基于轮廓黑的黑生成处理的情况下，如果将轮廓曲线的输入输出特 性设为y = f (χ)、将被输入的图像的像素值设为C、M、Y、将输出的像素值设为C’、M’、Y’、 K，，将UCR (Under ColorRemoval、底色除去)率设为α (0 < α < 1)，则黑生成底色除去处 理由以下的公式表示。通过黑生成底色除去部26的黑生成底色除去处理而被转换的CMYK 图像数据被送给空间滤波处理部27。K，= f{min(C、M、Y)}C，=C-α K，Μ，=M-α K，Y，=Y-α K，空间滤波处理部27根据从区域分离处理部24送来的区域分离信号，对从黑生成 底色除去部26送来的CMYK图像数据的图像，进行基于数字滤波的空间滤波处理。由此，修 正了图像的空间频率特性，可防止在图像输出装置12输出的图像中产生模糊或颗粒状劣 化等。被空间滤波处理部27实施了空间滤波处理的图像所涉及的CMYK图像数据，在被输 出灰度修正部28实施了基于图像输出装置12的输出特性的输出灰度修正处理后，被送到 灰度再现处理部29。灰度再现处理部29根据从区域分离处理部24送来的区域分离信号，对从输出灰 度修正部28送来的CMYK图像数据进行灰度再现处理。灰度再现处理是再现中间色调的处 理。在灰度再现处理中可以采用二值化处理、多值离散法或误差扩散法等。例如，在由区域分离处理部24分离成文字区域的区域中，为了特别提高黑文字或 彩色文字的再现性，空间滤波处理部27实施锐化强调的滤波处理，强调高频成分。灰度再 现处理部29对由区域分离处理部24分离成文字区域的区域，为了特别提高黑文字或彩色 文字的再现性，实施与图像输出装置12的高次谐波成分的再现适合的基于高分辨率滤网 (screen)的二值化处理或多值化处理。而在例如被区域分离处理部24分离成网点区域的区域中，空间滤波处理部27实 施低通滤波处理，除去输入网点成分。输出灰度修正部28对于被实施了滤波处理的图像数 据，进行将图像数据转换成作为图像输出装置12的特性值的网点面积率的修正处理。灰度 再现处理部29对被进行了输出灰度修正处理的图像实施中间灰度处理，能够再现像素各 自的灰度。另外，在例如被区域分离处理部24分离成照片区域的区域中，灰度再现处理部29 利用适于灰度再现的滤网实施二值化处理或多值化处理。被实施了灰度再现处理部29的处理的CMYK图像数据，在被暂时存储到未图示的 图像存储器等存储部之后，对应图像形成的定时被从存储部中读出，送给图像输出装置12。 图像输出装置12是将送来的图像数据所涉及的图像输出到纸等记录介质上的电子照片方 式或喷墨方式等的打印机。例如，在是电子照片方式的情况下，图像输出装置12具有使感 光体鼓带有规定电位的电的带电器；根据送来的图像信号发出激光，在感光体鼓表面生成 静电潜像的激光写入器；向生成在感光体鼓表面上的静电潜像供给调色剂，进行显像的显 像器；和将形成在感光体鼓表面的调色剂像转印到纸上的转印器等。另外，图像输出装置 12也可以是显示器等显示装置。图像处理装置20的压缩处理部30对从区域分离处理部24送来的RGB图像数据，
10进行减少数据量的压缩处理，并将压缩后的图像数据存储到存储部31中。存储部31由硬 盘或闪存存储器等大容量的存储元件构成，存储在存储部31中的图像数据被送到发送装 置13。发送装置13具有网卡或调制解调器等1个或多个通信用硬件，通过这些通信部， 将图像数据发送给其他装置。例如，在通过操作面板15将MFP的动作模式设定为电子邮件 发送的情况下，发送装置13将存储部31中存储的图像数据添加到电子邮件中，将该图像数 据向预先设定的地址发送。而例如在进行传真通信的情况下，发送装置13通过使用调制解 调器进行与被指定的对方的发送联络，确保为能够发送图像数据的状态。然后，发送装置13 将由图像输入装置11读取并被以规定的形式压缩后的图像数据从存储部31中读出，对读 出的图像数据实施压缩形式的变更等在传真通信中所必要的处理，将处理后的图像数据通 过通信线路，依次发送给对方目的地。另外，虽然省略了图示，但发送装置13也可以具有作为接收从其他装置通过传真 通信发送来的图像数据的接收装置的功能。在这种情况下，发送装置13 —边进行通信联 络，一边接收从对方发送来的图像数据，并将接收到的图像数据送给图像处理装置20。图像 处理装置20对接收到的图像数据实施解压缩处理，对解压缩后的图像数据，根据需要实施 旋转处理或分辨率转换处理等图像处理，并对图像数据实施由输出灰度修正部28执行的 输出灰度修正处理、及由灰度再现处理部29执行的灰度再现处理，将实施了处理的图像数 据输出到图像输出装置12。由此，形成与发送装置13通过传真通信接收的图像数据相关的 图像，并输出所形成的图像。而且，发送装置13可以利用网卡及网线等，与和LAN (Local AreaNetwork)等网络 连接的计算机或MFP等具有通信功能的其他装置之间进行数据通信。由此，MFP能够将由 图像输入装置11读取的图像数据提供给其他装置、保存在其他装置中，并可以将从其他装 置提供的图像数据由图像输出装置12输出。其中，上述的图像形成处理及图像发送处理等各种处理，通过由设置在MFP中的 未图示的CPU (Central Processing Unit)控制各部来进行。图4A、4B、5A、5B、6A、6B是用于说明图像处理装置20的压缩处理部30所进行的图 像数据压缩处理的示意图，表示了由压缩处理部30对图1所示的输入图像数据100实施压 缩处理的情况。本发明的图像处理装置20所具有的压缩处理部30，将从图像输入装置11 送来并由A/D转换部21 区域分离处理部24实施了各种图像处理的输入图像数据100，分 离成包含文字及画线等的前景图层110(参照图4A)、和由文字、画线以外的图像构成的背 景图层120 (参照图4B)。本发明的压缩处理部30在通过进行后述的处理，将输入图像数 据110分离成前景图层110及背景图层120时，可高精度地提取前景图层110的构成文字 及画线等的前景像素。压缩处理部30针对从输入图像数据100分离出的前景图层110，将其像素颜色索 引(index)化，最终采用JBIG、MMR或LZW等可逆压缩技术，压缩前景图层110。而且，压缩 处理部30使用JPEG等非可逆压缩技术，对背景图层120进行压缩。另外，压缩处理部30将前景图层110分解为将各个像素转换成1比特的数据的多 个蒙版、和各个蒙版的色信息，采用可逆压缩技术压缩各个蒙版，采用可逆压缩技术或非可 逆压缩技术压缩各个蒙版的色信息。图5A、5B、6A、6B中表示了将前景图层110按每个颜色分解的4个蒙版1 IOa 110d。通过压缩处理部30将前景图层110分解为多个蒙版1 IOa 110d，来压缩前景图层110，与直接压缩具有多比特像素值的前景图层110的情况相比，可
提高压缩率。图7是表示图像处理装置20的压缩处理部30的结构的框图。压缩处理部30具 有前景蒙版生成处理部51、前景色索引化处理部52、背景图层生成处理部53、2值图像生 成处理部54及图像压缩部55等。前景蒙版生成处理部51从输入图像数据(在图7中简单标记为输入图像)提取出 表现文字或画线(以下称为文字等)的像素(前景像素)的前景蒙版。前景蒙版生成处理 部51将所生成的前景蒙版(及色信息)、和输入图像数据输出给前景色索引化处理部52。前景色索引化处理部52通过对输入图像数据的前景蒙版(及色信息)实施索引 化处理，生成将前景蒙版的像素值索引化的前景索引图像、和存储有与索引对应的像素值 及像素数等信息的前景索引色彩表。具体而言，前景索引色彩表是存储有前景像素的颜色 (像素值)和对这些颜色附加的索引的表，前景色索引化处理部52对前景蒙版的各个前景 像素，判定前景像素的颜色是否已登录在前景索引色彩表中。在前景像素的颜色已登录的 情况下(也包括与前景像素的颜色接近的色已登录的情况)，前景色索引化处理部52从前 景索引色彩表中取得与该色对应的索引，将取得的索引分配给处理对象的前景像素。在前 景像素的颜色未登录的情况下，前景色索引化处理部52对处理对象的前景像素分配新的 索引，将该索引与前景像素的颜色对应登录到前景索引色彩表中。前景色索引化处理部52 对所有的前景像素反复进行这些处理，不断更新前景索引色彩表。由此，前景色索引化处理 部52最终进行前景像素的索引化。前景色索引化处理部52将输入图像数据及前景索引图 像提供给背景图层生成处理部53，并将前景索引图像及前景索引色彩表提供给2值图像生 成处理部54。背景图层生成处理部53通过从输入图像数据中去除前景像素，生成背景图层。为 了提高背景图层的压缩率，背景图层生成处理部53对于输入图像数据的前景像素的部分， 使用不是前景像素的周边背景像素进行填充。具体而言，背景图层生成处理部53参照前景 索引图像中包含的前景像素，对输入图像数据的与前景像素相当的部分，使用在该前景像 素周边存在的背景像素的像素值(或背景像素的平均值等)进行填充。由此，背景图层生 成处理部53生成背景图层。此时，当在前景像素的附近不存在背景像素时，背景图层生成 处理部53只要使用附近的填充处理的结果进行填充即可。背景图层生成处理部53生成的 背景图层被输出到图像压缩部55。2值图像生成处理部54使用被赋予的前景索引图像及前景索引色彩表，针对前景 索引色彩表的各个索引生成2值化图像。2值图像生成处理部54将前景索引图像的索引 值，通过例如只将” 10”的像素设定为1，将具有其他索引值的像素设为0，可以生成索引值 为“10”的2值化图像。由此，2值图像生成处理部54生成在前景索引图像中包含的索引数 的2值图像，并将这些多个2值图像作为前景图层赋予给图像压缩部55。而且，2值化图像 生成处理部54与前景图层一同还生成前景索引色彩表、和存储有各个索引区域的最大坐 标及最小坐标的坐标表，并将这些赋予给图像压缩部55。图像压缩部55通过恰当地压缩被赋予的前景图层及背景图层，来减少图像数据 的数据量。图像压缩部55对前景图层例如采用可逆压缩方式的MMR进行压缩，对背景图层例如采用非可逆压缩方式的JPEG进行压缩。其中，由于MMR及JPEG等压缩方式是已知的 技术，所以省略详细的说明。另外，图像压缩部55与前景图层及背景图层一同还压缩前景 索引色彩表等的数据。压缩处理部30输出被图像压缩部55分别压缩了前景图层及背景图层的图像数 据。由压缩处理部30压缩后的图像数据被存储在图像处理装置20的存储部31中。发送 装置13通过电子邮件或传真通信等向其他装置发送该图像数据。图8是表示压缩处理部30的前景蒙版生成处理部51的详细结构的框图。前景蒙 版生成处理部51从输入图像数据中提取出前景像素，生成前景蒙版。前景蒙版生成处理部 51具有前景像素块提取处理部61、标定处理部62、前景色计算处理部63和前景像素提取 处理部64等。另外，图9是表示前景像素块提取处理部61的详细结构的框图。前景像素块提取处理部61将输入图像数据所涉及的图像区域分割成规定尺寸的 像素块(像素区域)，从像素数据中的多个像素块，将像素块中包含的像素之间的像素值浓 度之差小于规定值的像素块分类为平坦像素块(平坦区域)。而且，前景像素块提取处理 部61通过将平坦像素块以外的像素块分类为前景像素块(变化区域)，来提取前景像素块。 前景像素块提取处理部61具有水平连接块判定处理部71、垂直连接块判定处理部72、附 近连接块判定处理部73和上采样处理部74等。前景像素块提取处理部61检查像素块内的各个像素的像素值，计算出最大像素 值与最小像素值的差量，将差量小于规定值的像素块作为平坦像素块的候补(以下称为平 坦像素块候补)。水平连接块判定处理部71检索输入图像数据的在水平方向接近(连续) 的多个平坦像素块候补，计算出多个平坦像素块候补的接近数。水平连接块判定处理部71 在计算出的接近数超过了规定值的情况下，判定为这些接近的多个平坦像素块候补是平坦 像素块。同样，垂直连接块判定处理部72检索输入图像数据的在垂直方向接近(连续)的 多个平坦像素块候补，计算出多个平坦像素块候补的接近数。垂直连接块判定处理部72在 计算出的接近数超过了规定值的情况下，判定为这些接近的多个平坦像素块候补是平坦像 素块。接近连接块判定处理部73对输入图像数据的各个像素块，检查其周围的像素块 是平坦像素块或是平坦像素块候补，将在周围存在规定数以上的平坦像素块或平坦像素块 候补的像素块判定为平坦像素块。其中，前景像素块提取处理部61通过水平连接块判定处理部71、垂直连接块判定 处理部72及接近连接块判定处理部73，反复进行平坦像素块的判定处理。例如，前景像素 块提取处理部61首先将输入图像数据所涉及的图像区域分割成尺寸为16像素X 16像素 的像素块(以下简称为16X16像素块)，通过水平连接块判定处理部71、垂直连接块判定 处理部72及接近连接块判定处理部73，分别判定各个16 X 16像素块是否是平坦像素块。然后，前景像素块提取处理部61将被判定为前景像素块的16X16像素块，由上采 样处理部74进一步分割成尺寸小的像素块，例如分割成8像素X8像素的像素块(以下简 称为8X8像素块)。前景像素块提取处理部61利用水平连接块判定处理部71、垂直连接 块判定处理部72及接近连接块判定处理部73，分别判定各个8X8像素块是否是平坦像素 块。这样，前景像素块提取处理部61反复进行输入图像数据所涉及的图像区域的分割和平
13坦像素块的判定，直到像素块的尺寸达到了预先确定的规定尺寸为止。前景像素块提取处 理部61最终将只要在各个判定处理中有一次被判定为平坦像素块的像素块分类为平坦像 素块，将除此以外的像素块分类为前景像素块。图10、11、12、13、14、15、16、17A、17B、17C、17D、18 和 19 是用于说明前景块提取
处理部61所进行的前景像素块的提取处理的示意图，以时间序列表示了对输入图像数据 进行的前景像素块的提取处理的一例。图10表示本例中的输入图像数据的一例。图示的 输入图像数据是在红色(在图中用灰色表现)的背景图像的下侧描画有白色的反转文字 "BB... ”、并在其中央描画有局部白色的背景图像和红色文字‘‘CC...，，的图像，图像的尺寸 为80像素X 80像素。前景像素块提取处理部61首先将输入图像数据所涉及的图像区域分割成16X 16 像素块。图11表示将图10所示的输入图像数据所涉及的图像区域分割成16X 16像素块 的结果。由此，80像素X80像素的输入图像数据所涉及的图像区域被分割成25个16X16 像素块。前景像素块提取处理部61通过水平连接块判定处理部71、垂直连接块判定处理部 72和接近连接块判定处理部73，分别判定各个16 X 16像素块是否是平坦像素块。图12表 示对图11所示的16X16像素块进行了判定的结果。在图12中，对被判定为平坦像素块的 像素块、和除此以外的被判定为前景像素块的像素块赋予不同的阴影线。在对所有的16X 16像素块进行了判定后，前景像素块提取处理部61利用上采样 处理部74将各个16X 16像素块进行4分割。由此，前景像素块提取处理部61将输入图像 数据所涉及的图像区域分割成8X8像素块。图13表示将输入图像数据所涉及的图像区域 分割成8X8像素块的结果(其中，在图13中，对已经被判定为平坦像素块的像素块赋予和 图12相同的阴影线)。由此，80像素X80像素的输入图像数据所涉及的图像区域被分割 成100个8X8像素块。另外，在图13中，虽然所有的16X16像素块被4分割，成为8X8 像素块，但也可以不分割已经被判定为平坦像素块的16X16像素块。在上采样处理结束后，前景像素块提取处理部61通过水平连接块判定处理部71 判定各个8X8像素块是否是平坦像素块。图14表示对图13所示的8X8像素块进行了判 定的结果。首先，水平连接块判定处理部71计算出各个8X8像素块的最大像素值与最小 像素值的差量，将该差量小于规定值的像素块作为平坦像素块候补。接着，水平连接块判定 处理部71检索输入图像数据的在水平方向接近的多个平坦像素块候补，计算出该接近数。 水平连接块判定处理部71在计算出的接近数超过了规定值的情况下，判定为这些接近的 平坦像素块候补是平坦像素块。此时，水平连接块判定处理部71也可以不对通过前段的处 理已经被判定为平坦像素块的像素块进行判定。另外，在检索水平方向接近的平坦像素块 候补时，水平连接块判定处理部71也可以对于接近的平坦像素块候补，只将其平均像素值 等接近的像素块候补(平均像素值之差在规定范围内的像素块候补)，判断为接近的平坦 像素块候补。在图示的例子中，进行了该判断。而且，图示的例子是在平坦像素块候补例如 有5个以上接近的情况下，将该平坦像素块候补判定为平坦像素块时的判定结果。在水平连接块判定处理部71结束了判定处理之后，前景像素块提取处理部61通 过垂直连接块判定处理部72判定各个8X8像素块是否是平坦像素块。图15表示在输入 图像数据中反映了图14所示的判定结果的像素块，图16表示垂直连接块判定处理部72对 图15所示的输入图像数据的8X8像素块进行了判定的结果。垂直连接块判定处理部72从输入图像数据的8X8像素块中决定平坦像素块候补，检索输入图像数据的在垂直方向 接近的多个平坦像素块候补，计算出该接近数。垂直连接块判定处理部72在计算出的接近 数超过了规定值的情况下，将这些接近的平坦像素块候补判定为平坦像素块。此时，垂直连 接块判定处理部72也可以不对通过前段的处理已经被判定为平坦像素块的像素块进行判 定。另外，在检索垂直方向接近的平坦像素块候补时，垂直连接块判定处理部72也可以对 于接近的平坦像素块候补，只将其平均像素值等接近的像素块候补判断为接近的平坦像素 块候补。在图示的例子中，进行了该判断。另外，图示的例子是在平坦像素块候补例如有5 个以上接近的情况下，将该平坦像素块候补判定为平坦像素块时的判定结果。在垂直连接块判定处理部72结束了判定处理后，前景像素块提取处理部61通过 附近连接块判定处理部73判定各个8X8像素块是否是平坦像素块。首先，附近连接块判 定处理部73从输入图像数据的8X8像素块中决定平坦像素块候补。接着，附近连接块判 定处理部73将1个8X8像素块作为注目像素块，检查在该注目像素块的周围存在的其他 8X8像素块是平坦像素块或是平坦像素块候补，计算出在周围存在的平坦像素块及平坦像 素块候补的数量，将该数量作为接近数。附近连接块判定处理部73对所有的8X8像素块 进行这些处理。不过，附近连接块判定处理部73也可以对通过前段的处理已经被判定为平 坦像素块的像素块，不进行该处理。图17A、17B、17C、17D表示附近连接块判定处理部73检查是平坦像素块或是平坦 像素块候补的范围。在图17A、17B、17C、17D中，对注目像素块赋予阴影线，对检查相对该注 目像素块是平坦像素块或是平坦像素块候补的周边像素块附加箭头。例如，在由上采样处 理部74如16 X 16像素块、8 X 8像素块...那样将像素块4分割的情况下，附近连接块判定 处理部73可以将在判定中使用的注目像素块周边的像素块，分成图17A、17B、17C、17D这4 种。在注目像素块是16X 16像素块中的位于左上的8X8像素块的情况下，附近连接 块判定处理部73检查注目像素块的上侧的3个8X8像素块、和左侧的1个8X8像素块 (已经完成了处理的4个像素块)是否是平坦像素块，并计算出其数量(参照图17A)。在注目像素块是16X 16像素块中的位于右上的8X8像素块的情况下，附近连接 块判定处理部73检查注目像素块上侧的3个8X8像素块及左侧的1个8X8像素块(已 经完成处理的4个像素块)、和注目像素块右侧的16X16像素块(5个像素块)是否是平坦 像素块，并计算出其数量(参照图17B)。在注目像素块是16X16像素块中的位于左下的8X8像素块的情况下，附近连接 块判定处理部73检查注目像素块上侧的3个8X8像素块及左侧的1个8X8像素块(已 经完成处理的4个像素块)、和注目像素块左下侧及下侧的2个16X 16像素块(6个像素 块)是否是平坦像素块，并计算出其数量(参照图17C)。在注目像素块是16X 16像素块中的位于右下的8X8像素块的情况下，附近连接 块判定处理部73检查注目像素块上侧的3个8X8像素块及左侧的1个8X8像素块(已 经完成处理的4个像素块)、和注目像素块下侧及右下侧的2个16X 16像素块(6个像素 块)是否是平坦像素块，并计算出其数量(参照图17D)。其中，在前景像素块提取处理部61对输入图像数据开始了处理时(即上采样处理 部74没有分割输入图像数据所涉及的图像区域时)，附近连接块判定处理部73如图17B、
1517C、17D所示那样，在需要针对16 X 16像素块的前段的处理结果的情况下，取代这些处理 结果，判定对应的像素块是否是平坦像素块候补。如果该像素块是平坦像素块候补，则附近 连接块判定处理部73也可以将其作为平坦像素块进行处理。通过对所有的8X8像素块进行上述的判定，附近连接块判定处理部73判定输入 图像数据的8X8像素块是否是平坦像素块。图18表示在输入图像数据中反映了图16所 示的垂直连接块判定处理部72的判定结果的像素块，图19表示附近连接块判定处理部73 对图18所示的输入图像数据的8X8像素块进行了判定的结果。图示的例子是在注目像素 块的周围例如有4个以上平坦像素块接近的情况下，将该注目像素块判定为平坦像素块时 的判定结果。前景像素块提取处理部61如上所述那样，一边通过上采样处理部74分割像素块， 一边反复进行水平连接块判定处理部71、垂直连接块判定处理部72及附近连接块判定处 理部73的判定处理，直到像素块的尺寸达到规定尺寸为止。在像素块的尺寸达到了规定尺 寸的情况下，前景像素块提取处理部61将通过反复进行的判定处理而判定为平坦像素块 的像素块、和除此以外的像素块，分别分离成平坦像素块和前景像素块，并提取出前景像素 块。前景像素块提取处理部61将该处理结果输出到标定处理部62及前景色计算处理部63。标定处理部62对由前景像素块提取处理部61提取出的前景像素块，赋予和相邻 的前景像素块相同的标号。由此，标定处理部62提取出连续的前景像素块的区域(以下简 称为前景像素区域)。图20A、20B和21是用于说明标定处理部62所进行的标定处理的示 意图。例如在图20A中，附加了阴影线的前景像素块被标定处理部62如图20B所示那样， 附加了标号“ 1”及“ 2 ”这2种标号，提取出2个前景像素区域。具体而言，标定处理部62从输入图像数据中，选择1个前景像素块作为注目像素 块，参照在该注目像素块的周围存在的8个像素块。在存在已经被附加了标号的像素块的 情况下，标定处理部62取得最小值的标号，并将该标号附加给注目像素。在周围的8个像 素块未被附加标号的情况下，标定处理部62对注目像素块附加新的标号。另外，在位于注 目像素块的周围的8个像素块中，被附加了多个不同值的标号的情况下，标定处理部62通 过对被附加了不同标号的像素块附加最小值的标号，来将标号统一。由此，图20A的前景像 素块如图20B那样被附加了 2种标号。同样，对图19所示的前景像素块提取处理部61的 处理结果，标定处理部62如图21所示那样，附加标号“1”及“2”这2种标号，从输入图像 数据中提取出2个前景像素区域。标定处理部62的处理结果被送给前景像素提取处理部64。前景色计算处理部63对由前景像素块提取处理部61提取出的各个前景像素块， 计算出构成前景的颜色。图22是用于说明前景色计算处理部63所进行的前景色计算处理 的示意图。前景色计算处理部63将1个前景像素块作为注目像素块，针对在注目像素块的 周围存在(相邻)的平坦像素块计算出像素值的平均值，通过比较该平均值，将差最大的注 目像素块内的像素的像素值作为前景色计算出来。前景色计算处理部63对输入图像数据 的所有前景像素块，计算出前景色。另外，在注目像素块的周围不存在前景像素块的情况 下、即注目像素块的周围只有前景像素块的情况下，前景色计算处理部63也可以将相邻的 前景像素块的前景色作为注目像素块的前景色。而且，该情况下，前景色计算处理部63也可以判定为对于该注目像素块无法计算出前景色。例如，对于图19所示的前景像素块提取 处理部61的处理结果，前景色计算处理部63如图22所示那样，计算出前景像素块的前景 色。前景色计算处理部63的计算结果被送给前景像素提取处理部64。前景像素提取处理部64被赋予由标定处理部62对每个前景像素区域附加了相同 标号的处理结果、和由前景计算处理部63对每个前景像素块计算出的前景色。图23和24 是用于说明前景像素提取处理部64所进行的前景像素的提取处理的示意图。首先，前景像 素提取处理部64对被附加了相同标号的每个前景像素区域决定前景色的代表色。在图23 所示的例子中，在被附加了标号“1”的前景像素区域中包含24个前景像素块，作为前景色， 计算出3个颜色。前景像素提取处理部64从3个前景色中将使用频度最高的前景色作为 被附加了标号“1”的前景像素区域的代表色。而且，被附加了标号“2”的前景像素区域中 包含9个前景像素块，作为前景色，计算出2个颜色。前景像素提取处理部64从2个前景 色中将使用频度最高的前景色作为被附加了标号“2”的前景像素区域的代表色。在计算出代表色之后，前景像素提取处理部64将前景像素区域中包含的各个像 素与前景像素区域的代表色进行比较，将与代表色接近(即，代表色与各个像素的像素值 的差量在规定范围内的颜色)的像素，作为前景像素提取出。图24表示根据图23所示的 前景像素区域及代表色，从图10的输入图像数据提取出前景像素的结果。在图24中，作 为前景像素，一同提取出了图10的反转文字“BB...，，及在局部的背景图像中描画的文字
“ CC ”另外，当从前景像素区域中决定代表色时，在图23所示的例子中，将使用频度最 高的前景色作为代表色，但代表色不限于此。例如，前景像素提取处理部64也可以计算出 前景像素区域中包含的多个前景色的平均值，将该平均色作为代表色。而且，例如也可以将 在前景像素区域中出现频度低的前景色，从决定代表色时的对象中排除。另外，在前景像素 区域的大小(例如前景像素块的数量等)比规定尺寸小的情况下，也可以将该前景像素区 域从前景像素的提取对象中排除。前景蒙版生成处理部51将由前景像素提取处理部64提取出的前景像素作为前景 蒙版输出。如上所述，前景蒙版和输入图像数据被一同送给前景色索引化处理部52。而且， 通过前景色索引化处理部52、背景图层生成处理部53及2值图像生成处理部54分别进行 根据前景蒙版的信息的图像处理，输入图像数据被分离成背景图层及前景图层。背景图层 及前景图层分别由图像压缩部55压缩。上述结构的MFP在图像处理装置20的压缩处理部30的前景蒙版生成处理部51 提取前景像素时，将输入图像数据所涉及的图像区域分成多个像素块(像素区域)，并将各 个像素块分类成平坦像素块(平坦区域)或前景像素块(变化区域)。由此，前景像素块提 取处理部61提取出前景像素块。前景蒙版生成处理部51的前景色计算处理部63根据提 取出的前景像素块，计算出前景色作为色信息。标定处理部62通过对相邻的多个前景像素 块附加相同的标号，将连续的前景像素块的区域作为前景像素区域(连续变化区域)提取 出。根据这些处理结果，前景像素提取处理部64对每个前景像素区域计算出代表色，将具 有接近该代表色的像素值的像素，作为前景像素提取出。由此，即使输入图像数据所涉及的图像是包含文字的图像、或具有局部背景色的 图像等复杂布局的图像，图像处理装置20也能够从输入图像数据中高精度提取出前景像素，并通过将输入图像数据高精度分离成前景图层及背景图层，能够对输入图像数据以恰 当的压缩方式进行压缩。由此，可提高图像处理装置20对输入图像数据的压缩率。而且，前景色计算处理部63在根据前景像素块计算前景色时，通过将与在前景像 素块的周围存在的平坦像素块的平均像素值之差最大的像素的像素值作为前景色而计算 出，对于底色明度和文字明度的关系反转的反转文字，也可以高精度计算出前景色。由此， 前景色计算处理部63可高精度提取出前景像素。并且，前景像素块提取处理部61从输入图像数据中提取出平坦像素块候补(像素 值的变化小的图像区域)，在输入图像数据的水平方向及垂直方向等规定方向平坦像素块 候补接近的情况下，计算出该接近数。前景像素块提取处理部61通过在计算出的接近数超 过规定值的情况下，将这些接近的平坦像素块候补判定为平坦像素块，将输入图像数据分 类为平坦像素块或前景像素块。由此，能够将在大范围内像素值的变化小的像素块作为平 坦像素块，并能够不仅根据1个像素块内的信息，还根据周边的多个像素块的信息，来提取 平坦像素块。因此，前景像素块提取处理部61可高精度提取出平坦像素区域。另外，前景像素块提取处理部61在计算平坦像素块候补的接近数时，即便是接近 的平坦像素块候补，也不将其平均像素值之差在规定范围之外的候补包括在接近数的计算 中，而只对平均像素值之差在规定范围内的平坦像素块候补进行接近数的计算。即使在平 坦像素块候补接近的情况，当平均像素值之差大时，有可能也不是平坦的区域。前景像素块 提取处理部61通过将这样的平坦像素块候补从接近数计算中排除，可防止平坦像素块的 提取精度降低。而且，前景像素块提取处理部61将输入图像数据所涉及的图像区域分割成规定 尺寸的像素块，判定分割后的像素块是否是平坦像素块。然后，前景像素块提取处理部61 通过上采样处理部74将像素块分割成更小的尺寸，同样，判定分割后的小尺寸的像素块是 否是平坦像素块。通过反复进行像素块的分割和平坦像素块的判定，直到像素块的尺寸达 到规定尺寸为止，即使在输入图像数据如具有多个局部背景图像那样的具备复杂布局的情 况下，前景像素块提取处理部61也能够高精度分类平坦像素块及前景像素块。另外，在本实施方式中，举例说明了将提取前景像素的图像处理装置20设置在 MFP中的情况。本实施方式的示例不限于此。在平板扫描仪等图像读取装置(参照后述的 变形例)中也可以应用同样的结构。而且，在进行图像的压缩处理的其他装置中也可以应 用同样的结构。并且，本实施方式的MFP对彩色的图像数据进行处理，但图像数据不限于 此。本实施方式的MFP也可以处理黑白的图像数据。而且，前景像素块提取处理部61是按照水平连接块判定处理部71、垂直连接块判 定处理部72、附近连接块判定处理部73的顺序进行了处理，但顺序不限定于此。可以按照 任意的顺序进行这些各部的处理，也可以并列进行处理。另外，水平连接块判定处理部71、 垂直连接块判定处理部72及附近连接块判定处理部73计算出平坦像素块候补的接近数， 并与规定值进行比较。此时，也可以根据像素块的尺寸来增减比较中所使用的规定值。例 如，可以随着像素块的尺寸减小而增大用于比较的规定值。(变形例)图25是表示变形例涉及的图像读取装置的结构的框图。在上述实施方式中，说明 了将本发明应用于MFP的示例，但可应用本发明的示例不限于MFP。也可以将本发明应用到
18图像读取装置中。变形例涉及的图像读取装置具有图像输入装置11、操作面板15及图像 处理装置20a等。操作面板15由受理用户的操作的各种按键及显示警告提示等的显示器等构成。 图像输入装置11具有向原稿照射光的光源、和并列设置有CCD等图像传感器的受光部。图 像输入装置11从光源向原稿照射光，同时使受光部向一个方向移动，将来自原稿的反射光 分解成R(红)G(绿)B (蓝)这3个色成分，由受光部读取被分解的反射光，将读取的图像 数据作为RGB模拟信号输出给图像处理装置20a。另外，图像输入装置11也可以是数码相 机等装置。图像处理装置20a具有A/D转换部21、阴影修正部22、输入灰度修正部23、区域 分离处理部24和压缩处理部30。图像处理装置20a对由图像输入装置11读取的输入图像 数据，通过A/D转换部21 区域分离处理部24实施图像处理，并利用压缩处理部30将图 像数据压缩，输出压缩后的图像数据。压缩处理部30与实施方式1的MFP同样，将输入图 像数据分离成前景图层及背景图层，对各个图层以最适合的压缩方式进行压缩。压缩后的 图像数据被存储到硬盘等存储装置中。例如，在通过操作面板15发出以电子邮件方式发送 的指示的情况下，压缩后的图像数据被附加到电子邮件中，通过网卡(省略了图示)等，被 发送到指定的发送目的地。其中，由于变形例涉及的图像读取装置的其他结构与实施方式1涉及的MFP的结 构相同，所以，对相同的部分标记相同的符号，并省略详细的说明。而且，本发明的图像处理不仅可由MFP或图像读取装置等硬件实现，而且也可以 通过使计算机执行图像处理的计算机程序来实现。可以将该计算机程序的程序代码(执行 形式程序、中间代码程序或源程序等)记录到计算机可读取的记录介质中。由此，能够搬送 自如地提供记录有进行本发明的前景像素提取处理及压缩处理等的计算机程序的记录介 质。在上述实施方式1涉及的MFP及变形例涉及的图像读取装置等装置具有ROM (Read Only Memory)或硬盘等存储部的情况下，也可以将计算机程序的程序代码存储到该存储部 中。而且，这些装置也可以具备插拔记录介质来读取程序代码的装置，通过执行从记录介质 读取的计算机程序，来进行图像处理。这些情况下，存储部或记录介质等中存储的计算机程 序也可以由MFP或图像读取装置等装置中具备的CPU等直接读出并执行。也可以从存储部 或记录介质中将程序代码下载到RAM (Random Access Memory)等存储区域中，由CPU等执 行该程序代码(用于下载程序代码的计算机程序被预先安装在装置主体中)。能够与MFP或图像读取装置等装置插拔连接的记录介质，可以是如带类介质、磁 盘介质、光盘介质、卡类介质、或半导体存储介质等那样固定保持计算机程序的介质。带 类介质是磁带或盒式带等。磁盘介质是软盘或硬盘等。光盘介质是CD (Compact Disc)、 MO(Magneto-Optical)、MD(Mini Disc)或 DVD(Digital Versatile Disk)等。卡类 介质是IC(Integrated Circuit)卡、存储卡或光卡等。半导体存储介质是掩模ROM、 EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、或闪存存储器等。这些记录介质被安装在MFP或图像读取装置等装置中，通过读出并 执行记录介质中记录的计算机程序，可进行上述的图像处理。而且，在MFP或图像读取装置等装置与互联网等通信网络连接，能够进行数据的发送接收的情况下，该装置也可以利用通信网络下载计算机程序，通过执行下载的计算机 程序，来进行图像处理。该情况下，用于通过通信网络下载图像处理用计算机程序的计算机 程序，可以预先安装在装置主体中，也可以通过记录介质等进行安装。另外，本发明也能够 以将上述计算机程序的程序代码嵌入到通过电子传送而具体呈现载波中的计算机数据信 号的方式实现。而且，执行这些计算机程序的计算机也可以具备图像输入装置、通过执行计算机 程序来进行图像处理等各种处理的处理装置、显示处理结果的图像显示装置、和将图像处 理的结果等输出到纸等介质上的图像输出装置等。图像输入装置是平板扫描仪、胶片扫描 仪或数码相机等。图像显示装置是CRT (Cathode Ray Tube)显示器或液晶显示器等。图像 输出装置是打印机等。另外，执行上述计算机程序的计算机可以还具备用于与通信网络连 接的网卡或调制解调器等通信部。(实施方式2)图26是表示实施方式2涉及的前景蒙版生成处理部251的结构的框图。实施方式 2涉及的前景蒙版生成处理部251取代了实施方式1的前景蒙版生成处理部51所具有的前 景色计算处理部63，而具有对前景像素块的背景色进行计算的背景色计算处理部263。前 景蒙版生成处理部251的前景像素块提取处理部61如上述那样，将输入图像数据所涉及的 图像区域分成多个像素块，并将各个像素块分类成平坦像素块或前景像素块。由此，前景蒙 版生成处理部251的前景像素块提取处理部61提取出前景像素块。而且，标定处理部62 通过对接近的多个前景像素块附加相同的标号，将连续的前景像素块的区域作为前景像素 区域提取出。背景色计算处理部263对由前景像素块提取处理部61提取出的各个前景像素块， 计算出构成背景的颜色。背景色计算处理部263将1个前景像素块作为注目像素块，对在 注目像素块的周围存在(相邻)的平坦像素块，求出像素值的平均值，并将求出的平均值作 为前景像素块的背景色计算出来。背景色计算处理部263对输入图像数据的全部前景像素 块，计算出背景色。其中，在注目像素块的周围不存在平坦像素块的情况下、即在注目像素 块的周围只有前景像素块的情况下，背景色计算处理部263也可以将相邻的前景像素块的 背景色作为注目像素块的背景色。而且，该情况下，背景色计算处理部263也可以对该注目 像素块，判断为不能计算出背景色。背景色计算处理部263的计算结果被送给前景像素提 取处理部264。前景像素提取处理部264对由标定处理部62提取出的每个前景像素区域，计算出 由背景色计算处理部263计算出的背景色的代表色，将与该代表色对应的像素值之差超过 阈值的像素作为前景像素提取出。背景色的代表色的计算，可以与图23所示的前景色的代 表色的计算同样，根据前景像素区域中包含的前景像素块的背景色的使用频度进行。另外， 也可以对浓度相近的背景色使用平均值，来计算出代表色。上述结构的前景蒙版生成处理部251计算出从输入图像数据提取出的前景像素 块的背景色，提取出前景像素。前景蒙版生成处理部251可以进行与根据前景色提取出前 景像素的实施方式1的前景蒙版生成处理部51同样的处理。即，即便输入图像数据所涉及 的图像是包含反转文字的图像、或具有局部背景色的图像等复杂布局的图像，前景蒙版生 成处理部251也能够从输入图像数据中高精度提取出前景像素。由此，具备该前景蒙版生成处理部251的MFP等，能够将输入图像数据高精度分离成前景图层及背景图层，对输入图 像数据以适当的压缩方式进行压缩。从而，可提高输入图像数据的压缩率。另外，由于实施方式2涉及的前景蒙版生成处理部251的其他结构，与实施方式1 涉及的前景蒙版生成处理部51的结构相同，所以对相同的部分标记相同的符号，并省略详 细的说明。(实施方式3)图27是表示实施方式3涉及的前景蒙版生成处理部351的结构的框图。实施方 式3涉及的前景蒙版生成处理部351具有实施方式1涉及的前景蒙版生成处理部51所具 备的前景色计算处理部63、和实施方式2涉及的前景蒙版生成处理部251所具备的背景色 计算处理部263。前景蒙版生成处理部351的前景像素块提取处理部61如上述那样，将输 入图像数据所涉及的图像区域分成多个像素块，并将各个像素块分类成平坦像素块或前景 像素块。由此，前景蒙版生成处理部351的前景像素块提取处理部61提取出前景像素块。 而且，标定处理部62通过对接近的多个前景像素块附加相同的标号，将连续的前景像素块 的区域作为前景像素区域提取出。前景色计算处理部63对由前景像素块提取处理部61提取出的各个前景像素块， 计算出前景色，并将计算出的前景色输出给前景像素提取处理部364。背景色计算处理部 263对由前景像素棵提取处理部61提取出的各个前景像素块，计算出背景色，并将计算出 的背景色输出给前景像素提取处理部364。前景像素提取处理部364对由标定处理部62提取出的每个前景像素区域，分别计 算出由前景色计算处理部63计算出的前景色的代表色、以及由背景色计算处理部263计算 出的背景色的代表色。前景像素提取处理部364将相对于前景色的代表色具有规定范围内 的像素值、且与背景色的代表色对应的像素值之差超过阈值的像素，作为前景像素提取出。上述结构的前景蒙版生成处理部351计算出从输入图像数据中提取出的前景像 素块的前景色及背景色，提取出前景像素。由此，前景蒙版生成部351能够以更高的精度提 取出前景像素。另外，由于实施方式3涉及的前景蒙版生成处理部351的其他结构，与实施方式2 涉及的前景蒙版生成处理部251的结构相同，所以对相同的部分标记相同的符号，并省略 详细的说明。只要不脱离本发明的精神或主要特征，本发明能够通过其他的各种方式实施。因 此，上述实施方式的所有点只不过是举例，本发明的保护范围由权利要求书表示，不受说明 书的任何限制。并且，属于权利要求书的范围的变形或变更都包括在本发明的保护范围内。
权利要求
一种图像处理装置，用于从输入图像数据中提取出构成前景图像的前景像素，其特征在于，具有分类部，其将上述输入图像数据所涉及的图像区域分成多个图像区域，并将上述多个图像区域分类成该图像区域中包含的像素间的像素值之差小于规定值的平坦区域、或该平坦区域以外的变化区域；连续变化区域提取部，其将由该分类部分类后的变化区域中相邻的多个变化区域作为连续变化区域提取出；色信息计算部，其计算出与上述变化区域相关的色信息；和前景像素提取部，其按由上述连续变化区域提取部提取出的每个连续变化区域，根据上述色信息计算部计算出的色信息，提取出前景像素。
2.根据权利要求1所述的图像处理装置，其特征在于，上述色信息计算部计算出上述变化区域的前景色作为上述色信息。
3.根据权利要求2所述的图像处理装置，其特征在于，上述色信息计算部从上述变化区域中包含的多个像素的像素值中，将与在上述变化区 域周围的平坦区域中包含的像素的像素值之差大于规定值的像素值，作为上述前景色计算 出来，上述前景像素提取部将与上述前景色的颜色之差在规定范围内的像素，作为上述前景 像素提取出。
4.根据权利要求1至3中任意一项所述的图像处理装置，其特征在于，上述色信息计算 部计算出上述变化区域的背景色作为上述色信息。
5.根据权利要求4所述的图像处理装置，其特征在于，上述色信息计算部计算出上述变化区域周围的平坦区域的颜色作为上述变化区域的 背景色，上述前景像素提取部将与上述背景色的颜色之差在规定范围外的像素作为上述前景 像素提取出。
6.根据权利要求1至3中任意一项所述的图像处理装置，其特征在于，上述分类部具有 接近数计算部，该接近数计算部计算出像素值之差小于规定值的图像区域相接近的数量，上述分类部将该接近数计算部计算出的接近数超过规定值的图像区域，分类为上述平 坦区域。
7.根据权利要求6所述的图像处理装置，其特征在于，上述接近数计算部计算出像素值之差小于规定值、且相接近的图像区域中平均像素值 之差在规定范围内的图像区域的数量。
8.根据权利要求1 3、5或7中任意一项所述的图像处理装置，其特征在于，上述分类部按规定尺寸的每个图像区域，进行是上述平坦区域或是上述变化区域的分类，将被分类为上述变化区域的图像区域分割成比上述规定尺寸小的尺寸，对分割后的每个图像区域反复进行上述分类处理，直到上述图像区域的尺寸达到规定 尺寸为止。
9.一种图像处理方法，用于从输入图像数据中提取出构成前景图像的前景像素，其特征在于，该方法包括以下步骤将上述输入图像数据所涉及的图像区域分成多个图像区域；将上述多个图像区域分类成该图像区域中包含的像素间的像素值之差小于规定值的 平坦区域、或该平坦区域以外的变化区域；将分类后的变化区域中相邻的多个变化区域作为连续变化区域提取出； 计算出与上述变化区域相关的色信息；和按提取出的每个连续变化区域，根据计算出的色信息，提取前景像素。
全文摘要
本发明涉及图像处理装置和图像处理方法。前景像素块提取处理部(61)将输入图像数据所涉及的图像区域分成多个像素块，并将各个像素块分类成平坦像素块或前景像素块。由此，前景像素块提取处理部(61)提取出前景像素块。前景色计算处理部(63)根据提取出的前景像素块，计算出前景色作为色信息。通过标定处理部(62)对接近的多个情景像素块附加相同的标号，将连续的前景像素块的区域作为前景像素区域提取出。前景像素提取处理部(64)根据这些处理结果，按每个前景像素区域计算出代表色，将具有与该代表色接近的像素值的像素，作为前景像素提取出。
文档编号H04N1/64GK101902549SQ20101018897
公开日2010年12月1日 申请日期2010年5月25日 优先权日2009年5月27日
发明者松田丰久 申请人:夏普株式会社