一种基于svd相似矩阵的图像修复方法
【专利摘要】本发明公开了一种基于SVD相似矩阵的图像修复方法，包括：(1)将待修复图像进行SVD分解，通过将相应的奇异值置为零的操作，得到待修复图像的相似矩阵；(2)以待修复区域边界上的每一像素为中心指定待修复图像块，在所述相似矩阵中查找对应的最相似图像块；(3)将所述最相似图像块的像素值赋给所述待修复图像块；(4)更新整个待修复区域，并重复步骤(2)～(3)，直到完成图像修复。本发明提出的基于SVD相似矩阵的图像修复方法，通过对图像进行SVD分解，并通过处理奇异值来得到相似矩阵，能够一定程度移除待修复区域，使得最终修复的图像在视觉上更加连续；对于缺失区域较大的场景，也能够有一定程度的效果提升。
【专利说明】
一种基于SVD相似矩阵的图像修复方法
技术领域
[0001] 本发明涉及计算机图像处理领域，深度学习领域，以及矩阵分解、奇异值等相关数 学知识，具体涉及一种基于SVD相似矩阵的图像修复方法。
【背景技术】
[0002] 图像修复就是重建一幅图像中的缺失区域的过程，通常会使用缺失区域周围的像 素信息。修复的目的，就是构建一幅完整的人眼"可观察"的正常图像。
[0003] 图像修复最早是由Bertalmio等人提出的，常见的一些修复方法都是基于PDE的， 也就是通过解偏微分方程的的方程完成修复。Dallester等人基于变分提出了一种新的偏 微分方程;Levin等人提出了一种基于梯度域的图像修复方法;Alilou等人提出了一种使用 GRNN神经网络的方法，但是对于纹理丰富，缺损区域较大的图像，这些方法都有其局限性。
[0004] 近期，Xu 和Sun(Zongben X，Sun J(2010)Image inpainting by patch propagation using patch sparsity. IEEE Trans Image Process 19(5): 1153-1165)利 用稀疏表达的思想，提出了一种基于实例的修复方法，但是这种方法需要一个先验，即假设 缺失区域可以用候选的图像块的线性组合来表达。
【发明内容】
[0005] 本发明提供了一种基于SVD相似矩阵的图像修复方法，该方法包括，计算待修复图 像的相似矩阵，选择的过程对图像块进行了奇异值分解，并依次将奇异值置零以得到相似 矩阵。然后，利用神经网络、SS頂、MSE等相关方法查找相似patch，进而完成图像的修复。
[0006] -种基于SVD相似矩阵的图像修复方法，包括：
[0007] (1)将待修复图像进行SVD分解，通过将相应的奇异值置为零的操作，得到待修复 图像的相似矩阵；
[0008] (2)以待修复区域边界上的每一像素为中心指定待修复图像块，在所述相似矩阵 中查找对应的最相似图像块；
[0009] (3)将所述最相似图像块的像素值赋给所述待修复图像块；
[0010] (4)更新整个待修复区域，并重复步骤(2)~(3)，直到完成图像修复。
[0011] 在步骤(1)中的相似矩阵In，按照以下公式得到：
[0012] In=UxSxV
[0013] 其中，U，V为所述待修复图像通过奇异值分解得到的左、右奇异矩阵，S~为奇异值 分解得到的对角矩阵中部分对角元素置零后的近似奇异值矩阵。
[0014] 在步骤（1)中利用神经网络模型计算待修复图像与相似矩阵的相似性，并与阈值 比较，如果相似性小于等于阈值，则完成相似矩阵的计算；如果相似性大于阈值，则将对角 矩阵中对角元素逐个置零迭代计算，之子获得最终的相似矩阵。
[0015] 在步骤(1)中奇异值分解得到的对角矩阵为S，
[0018]在步骤(2)中获取最相似图像块时，在相似矩阵中按照间隔2个像素、从左往右、从 上往下的规律，依次扫描得到各个待选图像块，再计算和比较各待选图像块与待修复图像 块的相似性以及关系。
[0019 ]在步骤(2)中各待选图像块与待修复图像块的相似性为：
[0021]其中，x，y表示待比较的待修复图像块和待选图像块，μχ，μγ为x，y的均值，〇 x，oy为 X，y的标准差，〇Xy为X，y的协方差，ci、C2为常数。
[0022]在步骤(2)中各待选图像块与待修复图像块的关系为：
[0024] Px为待修复图像块；
[0025] Py为待选图像块；
[0026] 其中η表示Px中已经填充的像素的个数；
[0027] 所述最相似图像块为的simx,y值最小的待选图像块。
[0028] 与现有技术相比，本发明的有益效果为：
[0029] (1)本发明提出一种基于SVD相似矩阵的图像修复方法，通过采用相似矩阵，能够 一定程度移除待修复区域，这样可以使最最终修复的图像视觉上更加连续。
[0030] (2)本发明提出的基于SVD相似矩阵的图像修复方法，对于缺失区域较大的场景， 也能够有一定程度的效果提升。
【具体实施方式】
[0031] 下面将结合具体实施例对本发明进行详细说明。本发明基于SVD相似矩阵的图像 修复方法主要步骤如下：
[0032] (1)记输入的待修复图像为1(本实施中，I的大小为256X256)，标记待修复区域为 Ω 0
[0033] (2)指定待修复区域的边界像素点集合为3Ω。如果Ω为空，则处理过程结束。
[0034] (3)对输入的图像做如下初步修复操作：
[0035] (3-1)对图像I做SVD分解：
[0036] [U S V]=SVD(I)
[0037] 其中，SVD表示奇异值分解操作，U，S，V分别表示最终分解得到的左奇异矩阵、对角 矩阵和右奇异矩阵。
[0038] (3-2)记上述分解得到的对角矩阵S的对角元素为811，微，幻3...~ 11，其中11为奇异 值个数(本实施中，n = 256)，且满足S11彡S22彡S33彡...s?彡0,现进行以下迭代操作：
[0039] (3-2-1)令8"1 = 0，计算/"=￡/\(^厂，其中1]，￥为步骤(3-1)计算得到的左、右奇异 矩阵，g是将S最后奇异值s?改为零后得到的矩阵，符号表示为：
[0041] (3_2_2)参考"Zagoruyko,Sergey,and Nikos Komodakis.Learning to compare image patches via convolutional neural networks(2015)"提出的神经网络（文中已给 出训练好的模型），计算I、In之间的相似性s(I，I n):
[0042] 首先，将I、In均分为64 X 64的图像块对，具体实施时，共有16对图像块;其次，将每 一对图像块，分别输入上述神经网络，经过一系列的卷积层、ReLU激活层、池化层，最终进入 到一个称为"decision network"的网络结构;最后，通过上述网络结构，经数据处理后输出 一个相似性度量值，即求得I、^的相似性s(I，I n)。
[0043] 整个数据的处理过程是end-to-end的，中间不需要手动的操作，或是添加额外的 信息。
[0044] (3-2-3)将计算得到的s(I，In)值与一个阈值thr = 0.6比较，如果小于等于阈值， 则迭代停止，进行步骤(4)，此时的"近似"图像J"=i/x互χΓ，记为T ;如果大于阈值，则令η =η-1，返回（3-2-1)继续迭代。
[0045] (4)检查待修复区域Ω，如果不为空，则标明待修复区域Ω中的边界像素点，其集 合记为T bcmndary;如果为空，则整个处理过程结束。
[0046] (5)对于Tbcmndary中的每个元素X，即待修复区域边界上的一个像素点，以其为中 心，大小为h(本实施中，h = 11 X 11)的图像块儿Px，进行以下处理：
[0047] (5-1)在图像T中，提取同样大小为h的图像块儿Py(图像T中的每个元素 y，即图 像T上的一个像素点，都对应一个图像块。具体实施中，按照大小为h、间隔2个像素、从左往 右、从上往下的规律，依次扫描图像T得到图像块儿P y)，然后，按照以下公式，计算两图像块 Px与Py之间的相似性：
[0049] 其中，X，y表示两个待比较的图像块Px、Py，μχ，μγ为X，y的均值(像素值加和后除以 总的像素个数），σ χ，〇y为X，y的标准差，〇Xy为X，y的协方差，C1、C2为较小的常数(具体实施时， ci = 6.5,C2 = 58.5) 〇
[0050] (5-2)将上述计算得到的SSIM(x，y)值从小到大排序，选择前K个SS頂(x，y)对应的 图像块P y，形成的集合记为C，这里K表示被选择的图像块儿的个数，一般取值为
(其中L」表示"向下取整"，比如1Λ9」=4 ;img_width表示输入 图像I的宽，img_height表示输入图像I的高，具体实施中K = 256)。
[0051] (5-3)对于C中的每一个图像块Py，按照以下公式计算与初提取的图像块Ρ χ之间的 关系：
[0053] 其中η表示Px中已经填充的像素的个数(未填充的意味着尚待修复），SS頂(x，y)即 为上述所计算的值。
[0054] (5-4)根据计算得到的simx,y找到最小的那个值，该值对应图像T中的图像块为 然后，将Px中位于修复区域Ω中的像素，置为对应的^中相应位置的像素值。
[0055] (6)将边界像素点集合·从Ω中移除，即更新Ω，返回⑵继续执行。
【主权项】
1. 一种基于SVD相似矩阵的图像修复方法，其特征在于，包括： (1) 将待修复图像进行SVD分解，通过将相应的奇异值置为零的操作，得到待修复图像 的相似矩阵； (2) W待修复区域边界上的每一像素为中屯、指定待修复图像块，在所述相似矩阵中查 找对应的最相似图像块； (3) 将所述最相似图像块的像素值赋给所述待修复图像块； (4) 更新整个待修复区域，并重复步骤(2)~(3)，直到完成图像修复。2. 如权利要求1所述的基于SVD相似矩阵的图像修复方法，其特征在于，在步骤(1)中的 相似矩阵In,按照W下公式得到：其中，U，V为所述待修复图像通过奇异值分解得到的左、右奇异矩阵，容为奇异值分解得 到的对角矩阵中部分对角元素置零后的近似奇异值矩阵。3. 如权利要求2所述的基于SVD相似矩阵的图像修复方法，其特征在于，在步骤(1)中利 用神经网络模型计算待修复图像与相似矩阵的相似性，并与阔值比较，如果相似性小于等 于阔值，则完成相似矩阵的计算;如果相似性大于阔值，则将对角矩阵中对角元素逐个置零 迭代计算，之子获得最终的相似矩阵。4. 如权利要求3所述的基于SVD相似矩阵的图像修复方法，其特征在于，在步骤(1)中奇 异值分解得到的对角矩阵为S，5. 如权利要求4所述的基于SVD相似矩阵的图像修复方法，其特征在于，在步骤(2)中获 取最相似图像块时，在相似矩阵中按照间隔2个像素、从左往右、从上往下的规律，依次扫描 得到各个待选图像块，再计算和比较各待选图像块与待修复图像块的相似性W及关系。6. 如权利要求5所述的基于SVD相似矩阵的图像修复方法，其特征在于，在步骤(2)中各 待选图像块与待修复图像块的相似性为：其中，x，y表示待比较的待修复图像块和待选图像块，μχ,μγ为x，y的均值，〇x，〇y为x，y的 标准差，Oxy为X，y的协方差，C1、C2为常数。7. 如权利要求6所述的基于SVD相似矩阵的图像修复方法，其特征在于，在步骤(2)中各 待选图像块与待修复图像块的关系为：Ρχ为待修复图像块； Py为待选图像块； 其中η表示P X中已经填充的像素的个数； 所述最相似图像块为的sink,y值最小的待选图像块。
【文档编号】G06T5/00GK106097266SQ201610407120
【公开日】2016年11月9日
【申请日】2016年6月8日
【发明人】叶福军, 张根源
【申请人】浙江传媒学院