用于稳定图像的设备和方法
【专利摘要】本发明提供了一种用于稳定图像的设备和方法。一种用于即使当相机抖动时也输出稳定图像的设备和方法。所述方法包括：将第一补偿运动应用于图像，以获得第一稳定图像，其中，将第一运动的累加结果逆变换成第一补偿运动，其中，在从参考图像到任意图像的相邻图像之间估计出第一运动中的每一个；并且获得在参考图像和第一稳定图像之间估计出的第二运动，获得由第一运动的累加结果和第二运动的累加结果逆变换而成的第二补偿运动，将第二补偿运动应用于图像，以获得第二稳定图像。
【专利说明】用于稳定图像的设备和方法
[0001] 本申请要求于2013年7月12日提交到韩国知识产权局的第10-2013-0082470号 韩国专利申请的利益，该申请的公开通过引用全部合并于此。
【技术领域】
[0002] 与示例性实施例一致的设备和方法涉及提供一种用于即使当相机抖动时也稳定 地输出图像的设备和方法。
【背景技术】
[0003] 随着多媒体装置的使用已经增加，对针对在各种环境中捕捉到的数字图像的图像 增强技术的需求也已经增加。图像增强技术的示例包括广泛应用于拍摄设备(诸如，数字相 机、智能电话、家用相机或摄像机、工业监控相机、广播用相机、军用相机等）的图像稳定技 术、图像模糊的消除和噪音消除。最初，拍摄设备将模拟信号数字化，以形成数字图像。然 而，现有技术中最近使用的拍摄设备应用了各种类型的线性处理和后处理校正技术，以获 得具有比模拟图像更好的图像质量的数字图像。
[0004] 在数字图像校正技术之中，图像稳定技术是使用最普遍的技术。如果用户在拍摄 设备移动时捕捉图像，则发生拍摄设备的抖动。此外，由于诸如机械振动、与地面的摩擦等 的多个环境因素，因此安装在诸如汽车、飞机、直升机等的运输工具上的相机不由自主地抖 动。在相机小幅移动的情况下，如果当捕捉图像时相机正使用高放大率，则屏幕的抖动变得 更加严重。如上所述，如果当捕捉图像时拍摄设备抖动，则图像稳定技术通过消除捕捉到的 图像中所发生的不受期望的抖动而获得清晰图像。
[0005] 数字图像稳定技术用于通过输入图像信号的帧之间的运动估计来检测不受期望 的抖动，并从帧存储器或电荷耦合器件（CCD)读取运动已经得到补偿的图像数据，以便校正 抖动。数字图像稳定技术比机械方法更便宜、更准确，并且能够针对无法通过机械稳定技术 补偿的各种运动进行补偿。因此，在现有技术中，数字图像稳定技术已经得到积极的研究。
【发明内容】
[0006] 示例性实施例至少解决以上问题和/或缺点以及以上未描述的其它缺点。此外， 示例性实施例不需要克服上述缺点，并且示例性实施例可不克服任何上述问题。
[0007] -个或更多个示例性实施例提供了一种用于消除在图像稳定处理后剩余的漂移 误差的设备和方法，以减少图像劣化。
[0008] 附加的方面部分将在下面的描述中被阐述，部分将从所述描述中变得清楚，或者 可通过实践示例性实施例而学到。
[0009] 根据示例性实施例的方面，提供了一种方法，所述方法包括：将第一补偿运动应用 于图像，以获得第一稳定图像，其中，将第一运动的累加结果逆变换成第一补偿运动，其中， 在从参考图像到任意图像的相邻图像之间估计出第一运动中的每一个；并且获得在参考图 像和第一稳定图像之间估计出的第二运动，获得由第一运动的累加结果和第二运动的累加 结果逆变换而成的第二补偿运动，将第二补偿运动应用于图像，以获得第二稳定图像。
[0010] 第一稳定图像可包括针对第一运动的漂移误差。
[0011] 第二稳定图像可以是已经由第二补偿运动从中消除了漂移误差的图像。
[0012] 获得第一补偿运动的步骤可包括：从相邻图像的第一图像提取特性点；在相邻图 像的第二图像内追踪特性点，以获得与特性点相应的相应点；通过使用相应点来估计第一 运动中的一个第一运动作为第二图像针对第一图像的运动；并且获得由第一运动中的所述 一个第一运动和其它第一运动逆变换而成的第一补偿运动。
[0013] 提取特性点的步骤可包括：缩小第一图像，并且获得边缘图像；并且响应于在边 缘图像的任意块中存在的边缘的数量超出阈值，提取所述任意块作为多个特性点中的一个 特性点。
[0014] 估计第一运动的步骤可包括：估计包括相应点的移动、旋转、大小改变的第一运 动。
[0015] 获得第二运动的步骤可包括：从参考图像提取特性点；在第一稳定图像内追踪特 性点，以获得与特性点相应的相应点；并且通过使用相应点来估计第二运动作为第一稳定 图像针对参考图像的运动。
[0016] 提取特性点的步骤可包括：缩小参考图像，并且获得边缘图像；并且响应于在边 缘图像的任意块内存在的边缘的数量超出阈值，提取所述任意块作为多个特性点中的一个 特性点。
[0017] 获得第二运动的步骤可包括：获得包括相应点的移动、旋转、大小改变的第二运 动。
[0018] 根据另一示例性实施例的方面，提供一种用于稳定图像的设备，所述设备包括：第 一稳定图像获取器，被配置为累加第一运动，并且将累加结果作为第一补偿运动应用于图 像，以获得第一稳定图像，其中，在从参考图像到任意图像的相邻图像之间估计出第一运动 中的每一个；第二稳定图像获取器，被配置为获得在参考图像和第一稳定图像之间估计出 的第二运动，并且将由第一运动的累加结果和第二运动的累加结果逆变换而成的第二补偿 运动应用于图像，以获得第二稳定图像。
[0019] 第一稳定图像可包括针对第一运动的漂移误差，并且第二稳定图像可以是已经由 第二补偿运动从中消除了漂移误差的图像。
[0020] 第一稳定图像获取器可包括：第一补偿运动获取器，被配置为获得由第一运动的 累加结果逆变换而成的第一补偿运动；第一稳定图像输出器，被配置为将第一补偿运动应 用于图像，以输出第一稳定图像。
[0021] 第一补偿运动获取器还可被配置为：从相邻图像的第一图像提取特性点，在相邻 图像的第二图像内追踪特性点，以获得与特性点相应的相应点，通过使用相应点来估计第 一运动中的一个第一运动作为第二图像针对第一图像的运动，并且获得由第一运动中的所 述一个第一运动和其它第一运动逆变换而成的第一补偿运动。
[0022] 第二稳定图像获取器可包括：第二运动获取器，被配置为获得在参考图像和第一 稳定图像之间估计出的第二运动；第二补偿运动获取器，被配置为获得由第一运动的累加 结果和第二运动的累加结果逆变换而成的第二补偿运动；第二稳定图像输出器，被配置为 将第二补偿运动应用于图像，以输出第二稳定图像。
[0023] 第二运动获取器还可被配置为：从参考图像提取特性点，在第一稳定图像内追踪 特性点，以获得与特性点相应的相应点，并且通过使用相应点来估计第二运动作为第一稳 定图像针对参考图像的运动。
[0024] 第二运动获取器还可被配置为：缩小参考图像，获得边缘图像，并且响应于在边缘 图像的任意块内存在的边缘的数量超出阈值，提取所述任意块作为多个特性点中的一个特 性点。
[0025] 第二运动获取器还可被配置为：获得包括相应点的移动、旋转、大小改变的第二运 动。
[0026] 根据另一示例性实施例的方面，提供了一种非暂时性计算机可读记录介质，所述 介质具有记录在其上的当由计算机运行时执行一种稳定图像的方法的程序，其中，所述方 法包括：获得由第一运动的累计结果逆变换而成的第一补偿运动，其中，在从参考图像到任 意图像的相邻图像之间估计出第一运动中的每一个；将第一补偿运动应用于图像，以获得 第一稳定图像；获得在参考图像和第一稳定图像之间估计出的第二运动；获得由第一运动 的累加结果和第二运动的累加结果逆变换而成的第二补偿运动；将第二补偿运动应用于图 像，以获得第二稳定图像。
【专利附图】
【附图说明】
[0027] 通过下面结合附图的对示例性实施例的描述，本发明的以上和/或其它方面将变 得更清楚和更容易理解，其中：
[0028] 图1是示出根据示例性实施例的用于稳定图像的设备的结构的框图；
[0029] 图2是示出根据示例性实施例的用于稳定图像的图像帧的示图；
[0030] 图3 (A)至（D)是示出提取特征点的处理的图像；
[0031] 图4 (A)和（B)是示出获得相应点的处理的图像；
[0032] 图5 (A)和（B)是示出估计运动的处理的示图；
[0033] 图6是根据示例性实施例的稳定图像的方法的流程图。
【具体实施方式】
[0034] 在下文中，将参照附图来详细描述特定示例性实施例。附图中的相似的标号始终 指示相似的元件。
[0035] 虽然示例性实施例能够具有各种修改和替代形式，但是示例性实施例以附图中的 示例的方式示出，并且将在此被详细描述。然而，应该理解的是，并不意在将实施例限制为 公开的特定形式，而是恰恰相反，实施例将涵盖落入本发明构思的范围内的所有修改、等同 物和替代物。
[0036] 将理解的是，尽管可在此使用术语"第一"、"第二"、"第三"等来描述各种元件、组 件、区域、层和/或区间，但是这些元件、组件、区域、层和/或区间不应该受这些术语限制。 仅使用这些术语来区分一个元件、组件、区域、层或区间与另一元件、组件、区域、层或区间。 在此使用的术语的仅仅是为了描述特定示例性实施例的目的，而并非意在限制示例性实施 例。除非上下文清楚地另有指示，否则在此使用的单数形式意在还包括复数形式。还将理 解的是，当在此说明书中使用术语"包括"和/或"包括……的"时，所述术语指定声明的特 征、整体、步骤、操作、元件和/或组件的存在，但并不排除存在或添加一个或更多个其它特 征、整体、步骤、操作、元件、组件和/或上述项的组合。当在此使用时，术语"和/或"包括 相关联的列表项中的一个或更多个的任何和所有组合。
[0037] 示例性实施例可被实现为功能块结构和各种处理操作。这些功能块可被实现为 各种数量的执行特定功能的硬件和/或软件结构。例如，示例性实施例可使用可通过控制 一个或更多个微处理器或其它控制设备来执行各种功能的直接电路结构(诸如，存储器、处 理、逻辑、查询表等)。示例性实施例的相似的元件可作为软件程序或软件元件被执行。示例 性实施例可被实现为包括各种算法的程序或者脚本语目（诸如，C、C++、汇编语目等)，其中， 通过数据结构、处理、例程或其它编程结构的组合来实现所述各种算法。功能方面可被实现 为由一个或更多个处理器执行的算法。此外，示例性实施例可使用现有技术来执行电子环 境设置、信号处理和/或数据处理等。诸如机械结构、元件、部件或结构的术语可广泛使用， 并且不限于机械或物理结构。所述术语可包括一系列与处理器相关的软件的例程等。
[0038] 当稳定图像时，静态相机计算参考图像和当前抖动图像之间的运动，并且在与运 动相反的方向上变换当前图像，以获得稳定的图像。在此，稳定图像的性能完全取决于计算 参考图像和当前图像之间的运动的结果。此外，在变换图像后，还可执行图像增强。
[0039] 稳定图像的性能取决于参考图像和当前图像之间的运动的计算的准确性。计算参 考图像和当前图像之间的运动的方法被分类为两种方法。在第一方法中，直接计算参考图 像和当前图像之间的运动。换言之，从参考图像中提取特性点，从当前图像追踪与特性点相 应的相应点，或者通过匹配检测所述相应点，并且通过使用相应点来计算参考图像和当前 图像之间的运动。在此，运动指平移、旋转、缩放等。
[0040] 在第二方法中，计算并且如以下的等式1中那样累加相邻图像(第n-1图像和第η 图像）之间的运动(帧间运动）
【权利要求】
1. 一种稳定图像的方法，所述方法包括： 将第一补偿运动应用于图像，以获得第一稳定图像，其中，将第一运动的累加结果逆变 换成第一补偿运动，其中，在从参考图像到任意图像的相邻图像之间估计出第一运动中的 每一个； 获得在参考图像和第一稳定图像之间估计出的第二运动，获得由第一运动的累加结果 和第二运动的累加结果逆变换而成的第二补偿运动，将第二补偿运动应用于图像，以获得 第二稳定图像。
2. 如权利要求1所述的方法，其中，第一稳定图像包括针对第一运动的漂移误差。
3. 如权利要求2所述的方法，其中，第二稳定图像是已经由第二补偿运动从中消除了 漂移误差的图像。
4. 如权利要求1所述的方法，其中，获得第一补偿运动的步骤包括： 从相邻图像的第一图像提取特性点； 在相邻图像的第二图像内追踪特性点，以获得与特性点相应的相应点； 通过使用相应点来估计第一运动中的一个第一运动作为第二图像针对第一图像的运 动； 获得由第一运动中的所述一个第一运动和其它第一运动逆变换而成的第一补偿运动。
5. 如权利要求4所述的方法，其中，提取特性点的步骤包括： 缩小第一图像，并且获得边缘图像； 响应于在边缘图像的任意块中存在的边缘的数量超出阈值，提取所述任意块作为多个 特性点中的一个特性点。
6. 如权利要求4所述的方法，其中，估计第一运动的步骤包括：估计包括相应点的移 动、旋转、大小改变的第一运动。
7. 如权利要求1所述的方法，其中，获得第二运动的步骤包括： 从参考图像提取特性点； 在第一稳定图像内追踪特性点，以获得与特性点相应的相应点； 通过使用相应点来估计第二运动作为第一稳定图像针对参考图像的运动。
8. 如权利要求7所述的方法，其中，提取特性点的步骤包括： 缩小参考图像，并且获得边缘图像； 响应于在边缘图像的任意块内存在的边缘的数量超出阈值，提取所述任意块作为多个 特性点中的一个特性点。
9. 如权利要求7所述的方法，其中，获得第二运动的步骤包括：获得包括相应点的移 动、旋转、大小改变的第二运动。
10. -种用于稳定图像的设备，所述设备包括： 第一稳定图像获取器，被配置为累加第一运动，并且将累加结果作为第一补偿运动应 用于图像，以获得第一稳定图像，其中，在从参考图像到任意图像的相邻图像之间估计出第 一运动中的每一个； 第二稳定图像获取器，被配置为获得在参考图像和第一稳定图像之间估计出的第二运 动，并且将由第一运动的累加结果和第二运动的累加结果逆变换而成的第二补偿运动应用 于图像，以获得第二稳定图像。
11. 如权利要求10所述的设备，其中，第一稳定图像包括针对第一运动的漂移误差，并 且第二稳定图像是已经由第二补偿运动从中消除了漂移误差的图像。
12. 如权利要求10所述的设备，其中，第一稳定图像获取器包括： 第一补偿运动获取器，被配置为获得由第一运动的累加结果逆变换而成的第一补偿运 动； 第一稳定图像输出器，被配置为将第一补偿运动应用于图像，以输出第一稳定图像。
13. 如权利要求12所述的设备，其中，第一补偿运动获取器还被配置为：从相邻图像 的第一图像提取特性点，在相邻图像的第二图像内追踪特性点，以获得与特性点相应的相 应点，通过使用相应点来估计第一运动中的一个第一运动作为第二图像针对第一图像的运 动，并且获得由第一运动中的所述一个第一运动和其它第一运动逆变换而成的第一补偿运 动。
14. 如权利要求10所述的设备，其中，第二稳定图像获取器包括： 第二运动获取器，被配置为获得在参考图像和第一稳定图像之间估计出的第二运动； 第二补偿运动获取器，被配置为获得由第一运动的累加结果和第二运动的累加结果逆 变换而成的第二补偿运动； 第二稳定图像输出器，被配置为将第二补偿运动应用于图像，以输出第二稳定图像。
15. 如权利要求14所述的方法，其中，第二运动获取器还被配置为：从参考图像提取特 性点，在第一稳定图像内追踪特性点，以获得与特性点相应的相应点，并且通过使用相应点 来估计第二运动作为第一稳定图像针对参考图像的运动。
16. 如权利要求15所述的方法，其中，第二运动获取器还被配置为：缩小参考图像，获 得边缘图像，并且响应于在边缘图像的任意块内存在的边缘的数量超出阈值，提取所述任 意块作为多个特性点中的一个特性点。
17. 如权利要求15所述的方法，其中，第二运动获取器还被配置为：获得包括相应点的 移动、旋转、大小改变的第二运动。
【文档编号】H04N5/21GK104284059SQ201410019534
【公开日】2015年1月14日 申请日期:2014年1月16日 优先权日:2013年7月12日
【发明者】柳然杰, 李活石, 朴相志 申请人:三星泰科威株式会社