增强视频图像光滑度及清晰度的超分辨率重构方法
【专利摘要】本发明提供一种增强视频图像光滑度及清晰度的超分辨率重构方法，包括：步骤1：提供一原始图像，包括数个阵列排布的原图像素点；步骤2：利用Canny_H方式对所述原始图像进行边缘侦测，并考虑4*4区域图像范围的像素边缘信息；步骤3：将边缘像素进行2*2倍插值放大，并根据得出的像素边缘信息判定该区域图像类型为纯色实体区或非纯色实体区；步骤4：对纯色实体区、非纯色实体区分别进行条件插值；步骤5：得到像素2*2倍插值放大后的超分辨率图像。本发明在纯色实体区，采用4*4的边缘信息按照规则进行插值，以保持纯色实体区的边界清晰度，同时可以在有锯齿的地方降低锯齿；在非纯色实体区进行BiCubic_H方式插值，进而增强图像光滑度和清晰度。
【专利说明】增强视频图像光滑度及清晰度的超分辨率重构方法
【技术领域】
[0001] 本发明涉及液晶显示【技术领域】，尤其涉及一种增强视频图像光滑度及清晰度的超 分辨率重构方法。
【背景技术】
[0002] 随着消费者日益增长的市场需求，特别在高端显示领域，需要更加高端的显示设 备。从最初的480P显像管电视机到后来的720P、FHD、2K、4K和8K等分辨率的显示设备，显 示分辨率以及显示设备的尺寸是在逐步提升的。
[0003] 4K2K，即高解析度面板，简单来说就是比传统全高清（Full High Definition，FHD) 的解析度还高四倍的新时代显示格式，又称为"超高解析电视（Quad Full High Definition, QFHD) "。4K2K的解析度为RGB4096X 2048或3840X 2160,而全高清电视解析度为 1920父1080,41(21(相当于4倍全高清规格；41(21(采用氧化物薄膜电芯片（0^如）制作，具备 高速电子移动速度，呈现画面内容具有高解析度及薄边框，呈现超薄质感，除了使电视机更 加轻薄，让画面更加细致之外，还可以应用于裸视3D荧幕、卫星云图、航空地理情报等，因 此，4K2K将成为大尺寸的主流规格。
[0004] 为了降低系统运行成本，提高画面质量，超分辨率算法（Super Resolution，SR)已 成为目前高端显示领域中（例如4K2K)的主流算法，其是指将低分辨率图像或图像序列恢 复成高分辨率图像。
[0005] 超分辨率算法是增强图像或视频分辨率的技术，指利用一幅或多幅低分辨率（Low Resolution,LR)图像，通过相应的算法来获得一幅清晰的高分辨率（High Resolution，·) 图像。通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重构。也 就是，超分辨率算法的目的是使得输出的图像或视频的分辨率比任意一幅输入的图像或输 入视频的任意一帧的分辨率都要高。这里所获得的高分辨率图像意味着图像具有高像素密 度，可以提供更多的细节，而这些细节在许多实际应用中不可或缺。然而，很多视频源没能 达到这么高的分辨率（如全高清），让低分辨率的视频在高解析度面板上出色的播放，目前 的超分辨率方式有计算量大的缺陷，会导致成本增加，实用性不强。另一方面，诸如像临近 取代算法、双线性插值算法、Hermite插值算法和Canny插值算法这些简单快速的超分辨率 算法，又使得画面存在锯齿、模糊等问题。
[0006] 请参阅图1，为现有线性插值超分辨率算法的像素矩阵图。其中，原图像素 (Pixel)点分别为P00点、P01点、P10点、P11点，插值点分别为A点、B点、C点，根据 线性插值的概念，可以简单地计算出A = 1/4*P00+1/4*P01+1/4*P10+1/4*P11、B = 1/2*P00+1/2*P01、C = 1/2*P00+1/2*P10。请参阅图2,为现有采用图1所示线性插值方法 的图样效果图。由图2可以看出，虽然图1所示的这种超分辨率算法计算简单，但这种方法 没有降低锯齿现象，并且存在字体不清晰、光滑度不足的问题。
【发明内容】
[0007] 本发明的目的在于提供一种增强视频图像光滑度及清晰度的超分辨率重构方法， 能够利用较少的资源，较好的提升视频图像的光滑度和清晰度。
[0008] 为实现上述目的，本发明提供一种增强视频图像光滑度及清晰度的超分辨率重构 方法，包括：
[0009] 步骤1 :提供一原始图像，包括数个阵列排布的原图像素点P ;
[0010] 步骤2 :利用Canny_H方式对所述原始图像进行边缘侦测，并考虑4*4区域图像范 围的像素边缘信息；
[0011] 步骤3 :将边缘像素进行2*2倍插值放大，并根据得出的像素边缘信息判定该区域 图像类型为纯色实体区或非纯色实体区；
[0012] 步骤4 :对纯色实体区、非纯色实体区分别进行条件插值；
[0013] 步骤5 :得到像素2*2倍插值放大后的超分辨率图像。
[0014] 所述步骤2包括：
[0015] 步骤20 :计算梯度方向和梯度值，用Sobel掩膜矩阵
【权利要求】
1. 一种增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，包括： 步骤1 :提供一原始图像，包括数个阵列排布的原图像素点（P); 步骤2 :利用Canny_H方式对所述原始图像进行边缘侦测，并考虑4*4区域图像范围的 像素边缘信息； 步骤3 :将边缘像素进行2*2倍插值放大，并根据得出的像素边缘信息判定该区域图像 类型为纯色实体区或非纯色实体区； 步骤4 :对纯色实体区、非纯色实体区分别进行条件插值； 步骤5 :得到像素2*2倍插值放大后的超分辨率图像。
2. 如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在 于，所述步骤2包括： 步骤20 :计算梯度方向和梯度值，用Sobel掩膜矩阵
分别和每个原图像素点以及它 周围的8个原图像素点组成的3*3矩阵做点乘以得到4个梯度值，取4个梯度值中的最大 值作为梯度值并保存其方向； 步骤21 :根据每个原图像素点的梯度值及其方向，对每个原图像素点进行"非极大值" 边缘抑制； 步骤22 :对每个原图像素点及其周围的8个原图像素点做边缘细化。
3. 如权利要求2所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征 在于，边缘侦测点是原图像素点（P11)时，步骤20判断原图像素点（P11)为水平方向的边 缘，边缘值为G(P11)，如果满足G(P11)>1/2*G(P01)且6(?11)>1/2扣$21)，将原图像素点 (P11)的边缘值记为G(P11)，否则将原图像素点（P11)的边缘值记为0; 步骤20判断原图像素点（P11)为垂直方向的边缘，边缘值为G(P11)，如果满足 6(卩11)>1/2扣(？10)且6(?11)>1/2扣(？12)，将原图像素点（？11)的边缘值记为6(?11)，否 则将原图像素点（P11)的边缘值记为〇 ; 步骤20判断原图像素点（P11)为45度方向的边缘，边缘值为G(P11)，如果满足 6(卩11)>1/2扣(?00)且6(?11)>1/2扣(?22)，将原图像素点（？11)的边缘值记为6(?11)，否 则将原图像素点（P11)的边缘值记为〇 ; 步骤20判断原图像素点（P11)为135度方向的边缘，边缘值为G(P11)，如果满足 6(卩11)>1/2扣(?02)且6(?11)>1/2扣(?20)，将原图像素点（？11)的边缘值记为6(?11)，否 则将原图像素点（P11)的边缘值记为〇。
4. 如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在 于，所述步骤3中将边缘像素进行2*2倍插值放大，其插值顺序为：从第1行第1列的原图 像素点开始，逐行逐列遍历原图像素点，每遍历一个原图像素点，需要插入3个新像素点。
5. 如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在 于，所述区域图像类型为纯色实体区时，采用4*4的边缘信息按照规则进行插值。
6. 如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在 于，所述区域图像类型为非纯色实体区时，在非纯色实体区进行BiCubic_H方式插值。
7. 如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在 于，当遍历到原图像素点（P11)时，原图像素点（P02)、(P12)、(P22)、(P32)是边缘，其他12 个原图像素点不是边缘，那么当： F(P10)-F(P11) |〈0· 125*max(F(P10)，F(Pll))且 F(P20)-F(P21) |〈0· 125*max(F(P20)，F(P21))且 F(P12)-F(P13) |〈0· 125*max(F(P12)，F(P13))且 F(P22) -F(P23)|〈0· 125*max (F (P22)，F (P23))， 则判定为纯色实体区，否则判定为非纯色实体区。
8. 如权利要求7所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在 于，所述（F(P))为原图像素点⑵的RGB值求和，S卩：F(P) =P(R)+P(G)+P(B);所述区域 图像判定为纯色实体区时，对应的插值点（A)、插值点（B)、插值点（C)的计算分别为：A = P11+P21，B = Pll，C = P11+P21。
9. 如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在 于，当遍历到原图像素点（P11)时，原图像素点（P10)、(P11)、(P12)、(P13)是边缘，其他12 个原图像素点不是边缘，那么当 F(P01)-F(P11) |〈0· 125*max(F(P01)，F(Pll))且 F(P02)-F(P12) |〈0· 125*max(F(P02)，F(P12))且 F(P21)-F(P31) |〈0· 125*max(F(P21)，F(P31))且 F(P22) -F(P32)|〈0· 125*max (F (P22)，F (P32))， 则判定为纯色实体区，否则判定为非纯色实体区。
10. 如权利要求9所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征 在于，所述（F(P))为原图像素点（P)的RGB值求和，S卩：F(P) =P(R)+P(G)+P(B);所述区域 图像判定为纯色实体区时，对应的插值点（A)、插值点（B)、插值点（C)的计算分别为：A = P21+P22, B = P11+P12, C = P21。
11. 如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征 在于，当遍历到原图像素点（P11)时，原图像素点（P22)、（P23)、（P30)、（P31)是边缘，其他 12个原图像素点不是边缘，那么当： F(P02)-F(P12) |〈0· 125*max(F(P02)，F(P12))且 F(P03)-F(P13) |〈0· 125*max(F(P03)，F(P13))且 F(P22)-F(P32) |〈0· 125*max(F(P22)，F(P32))且 F(P23) -F(P33)|〈0· 125*max (F (P23)，F (P33))， 则判定为纯色实体区，否则判定为非纯色实体区。
12. 如权利要求11所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征 在于，所述（F(P))为原图像素点（P)的RGB值求和，S卩：F(P) =P(R)+P(G)+P(B);所述区域 图像判定为纯色实体区时，对应的插值点（A)、插值点（B)、插值点（C)的计算分别为：A = P21+P22, B = P11+P12, C = P11+P21。
13. 如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征 在于，当遍历到原图像素点（P11)时，原图像素点（P02)、（P12)、（P20)、（P21)是边缘，其他 12个原图像素点不是边缘，那么当： F(P01)-F(P11) |〈0· 125*max(F(P01)，F(Pll))且 F(P02)-F(P12) |〈0· 125*max(F(P02)，F(P12))且 F(P21)-F(P31) |〈0· 125*max(F(P21)，F(P31))且 F(P22) -F(P23)I〈0· 125*max (F (P22)，F (P23))， 则判定为纯色实体区，否则判定为非纯色实体区。
14. 如权利要求13所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征 在于，所述（F(P))为原图像素点（P)的RGB值求和，S卩：F(P) =P(R)+P(G)+P(B);所述区域 图像判定为纯色实体区时，对应的插值点（A)、插值点（B)、插值点（C)的计算分别为：A = P21+P22, B = Pll，C = P21。
15. 如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征 在于，当遍历到原图像素点（P11)时，原图像素点（P10)、（Pll)、（P22)、（P32)是边缘，其他 12个原图像素点不是边缘，那么当： F(P10)-F(P11) |〈0· 125*max(F(P10)，F(Pll))且 F(P20)-F(P21) |〈0· 125*max(F(P20)，F(P21))且 F(P12)-F(P13) |〈0· 125*max(F(P12)，F(P13))且 F(P22) -F(P23)|〈0· 125*max (F (P22)，F (P23))， 则判定为纯色实体区，否则判定为非纯色实体区。
16. 如权利要求15所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征 在于，所述（F(P))为原图像素点（P)的RGB值求和，S卩：F(P) =P(R)+P(G)+P(B);所述区域 图像判定为纯色实体区时，对应的插值点（A)、插值点（B)、插值点（C)的计算分别为：A = P11+P21，B = Pll，C = P11+P21。
【文档编号】G06T7/00GK104063875SQ201410329177
【公开日】2014年9月24日 申请日期:2014年7月10日 优先权日:2014年7月10日
【发明者】胡厚亮, 李 浩, 朱立伟 申请人:深圳市华星光电技术有限公司