在图像中交互式调焦的系统、方法和媒体的利记博彩app
【专利说明】在图像中交互式调焦的系统、方法和媒体 互相参照的相关申请
[0001] 本申请要求2012年4月26日提交的美国临时申请No. 61/638,974的权益，该申 请的全部内容并入本文作为参考。 陈沭关于联盟发起的研究或发展
[0002] 本发明是由根据海军研究办公室（Office of Naval Research)授予的批准号 (Grant Nos. )Ν00014-11-1-0285 和 N00014-08-1-0929 以及国防高等研究计画署（Defense Advanced Research Projects Agency)授予的批准号 W911NF-10-1-0214 的政府支持所作 出的。所述政府对本发明具有一定的权利。
技术领域
[0003] 本公开主题涉及在图像中进行交互式调焦的系统、方法和媒体。
【背景技术】
[0004] 图像的景深（DOF)是景象中的物体在该景象的图像上可清晰显现的景象深度范 围。在大多数成像应用中，从民用数字摄影到光学显微术，我们都希望控制好被捕捉图像的 景深。随着景深的增大，越来越多的景象能够得到清晰呈现，这对于捕捉大景深图像最好不 过了。然而，一些传统的增大景深的手段，例如减小相机的孔径，都有其局限性。例如，孔径 越小，到达图像传感器（或胶片）的光线就越少，则需要的曝光时间越长，这会降低信噪比， 进而由于相机抖动和/或捕捉对象移动而使图像模糊不清。而且，随着像素尺寸的减小（和 /或随着传感器分辨率的下降），受图像中散焦模糊影响的像素增多，进而使图像的景深减 小。同时，每个像素接受的光线减小也会使信噪比下降。这种景深与信噪比之间的平衡是 成像技术中一个长期存在的根本局限。
[0005] 图像景深的另外两个局限是：（1)许多相机只能捕捉一个与景象范围对应的有限 景深；（2)图像景深通常是固定不变的，用户在捕捉图像后无法更改景深。由于景深的单一 性和固定性，只有处于景深内的物体才能清晰显现，景象中处于景深之外的物体有一定程 度的模糊。例如，这就使使用者无法捕捉一张相机近处物体（如几英寸到几英尺远）和相 机远处物体（如数英尺到数十英尺远）都清晰的图像，使用者只能让其中一个物体清晰显 现。
[0006] 因此，需要一种可以对于多景深在对图像内进行交互式调焦的机制，并且该机制 能够提供具有扩展景深的图像。
【发明内容】
[0007] 根据本公开主题的不同实施例，提供了在图像中进行交互式调焦的系统、方法和 媒体。
[0008] 本公开主题的一些实施例，提供了在图像中进行交互式调焦的系统，该系统包括： 透镜；图像传感器；和硬件处理器，其设置用于：使图像传感器在预定时间段内捕捉多个图 像，其中，这些图像中的各个图像代表不同时间点的景象；改变这些图像中至少一对图像之 间的景深；把这些图像按照捕捉顺序连接，形成一个连续聚焦体积；根据连续聚焦体积计 算出表现各个图像聚焦部分的空间一时间聚焦图像；以及根据连续聚焦体积和空间一时间 聚焦图像计算出空间一时间指数图，该空间一时间指数图从这些图像中识别出景象中各个 位置的聚焦图像。
[0009] 根据本公开主题的一些实施例，提供了进行交互式调焦的方法，所述方法包括：使 用硬件处理器在预定时间段内捕捉多个图像，其中，所述多个图像中的每个图像代表不同 时间点的景象；使这些图像中至少一对图像之间的捕捉这些图像时的景深发生改变；将这 些图像按捕捉顺序连接，形成一个连续聚焦体积；根据连续聚焦体积计算出表现每个图像 聚焦部分的空间一时间聚焦图像；以及根据连续聚焦体积和空间一时间聚焦图像计算出空 间一时间指数图，该空间一时间指数图从这些图像中识别出景象中各个位置的聚焦图像。 [0010] 根据本公开主题的一些实施例，提供了含有计算机可执行指令的非瞬时计算机可 读媒体，所述指令由硬件处理器执行时，使硬件处理器执行交互式调焦方案，所述方案包 括：在预定时间段内捕捉多个图像，其中，每个图像代表不同时间点的景象；使这些图像中 至少一对图像之间的捕捉这些图像时的景深发生改变；将这些图像按捕捉顺序连接，形成 一个连续聚焦体积；根据连续聚焦体积计算出表现每个图像聚焦部分的空间一时间聚焦图 像；以及根据连续聚焦体积和空间一时间聚焦图像计算出空间一时间指数图，该空间一时 间指数图从这些图像中识别出景象中各个位置的聚焦图像。
[0011] 根据本公开主题的一些实施例，提供了进行交互式调焦的系统，所述系统包括：透 镜；图像传感器；使图像传感器在预定时间段内捕捉多个图像的装置，其中，这些图像中的 各个图像代表不同时间点的景象；改变这些图像中至少一对图像之间景深的装置；把这些 图像按照捕捉顺序连接起来形成一个连续聚焦体积的装置；根据连续聚焦体积计算出表现 各个图像聚焦部分的空间一时间聚焦图像的装置；以及根据连续聚焦体积和空间一时间聚 焦图像计算出空间一时间指数图的装置，所述空间一时间指数图从这些图像中识别出景象 中各个位置的聚焦图像。
[0012] 在一些实施例中，所述改变景深的装置包括改变透镜与图像传感器之间距离的装 置。
[0013] 在一些实施例中，所述改变镜头与图像传感器之间距离的装置包括使图像传感器 相对于透镜移动的致动器驱动装置。
[0014] 在一些实施例中，所述改变镜头与图像传感器之间距离的装置包括使透镜相对于 图像传感器移动的致动器驱动装置。
[0015] 在一些实施例中，改变景深的装置包括改变透镜焦距的装置。
[0016] 在一些实施例中，改变景深的装置包括沿光轴方向移动第二透镜的装置，其中，第 二透镜沿光轴方向设置于透镜与图像传感器之间。
[0017] 在一些实施例中，连续聚焦体积中的各个图像的景深与相邻的一个或多个图像的 景深基本上是连续的。
[0018] 在一些实施例中，这些图像的景深交集为空集。
[0019] 在一些实施例中，所述系统还包括使这些图像以一预定帧频得到捕捉的装置。
[0020] 在一些实施例中，所述系统还包括根据以下参数中至少一个参数以一恒定速率改 变透镜与图像传感器之间距离的装置：预定帧频；图像传感器的像素尺寸；以及透镜的光 圈值。
[0021] 根据本公开主题的一些实施例，提供了进行交互式调焦的系统，该系统包括：硬件 处理器，其设置用于：向使用者显示景象图像，其中，该图像是一个连续聚焦体积中景象的 代表，所述连续聚焦体积包含多个在不同时间点捕捉的该景象的图像，其中，这些图像以多 个不同景深捕捉；接收使用者对图像中一点的选定，其中，从多个图像之中选定一个图像向 使用者显示，所选定的图像为景象中的一个物体在使用者选定点处聚焦的图像。
[0022] 根据本公开主题的一些实施例，提供了进行交互式调焦的方法，所述方法包括：向 使用者显示景象图像，其中，该图像是一个连续聚焦体积中景象的代表，所述连续聚焦体积 包含多个在不同时间点捕捉的该景象的图像，其中，这些图像以多个不同景深捕捉；接收使 用者对图像中一点的选定；从多个图像之中选定一个图像向使用者显示，其中，所选定的图 像为景象中的一个物体在使用者选定点处聚焦的图像。
[0023] 根据本公开主题的一些实施例，提供了含有计算机可执行指令的非瞬时计算机可 读媒体，所述指令由硬件处理器执行时，使硬件处理器执行交互式调焦方案，所述方案包 括：向使用者显示景象图像，其中，该图像是一个连续聚焦体积中景象的代表，所述连续聚 焦体积包含多个在不同时间点捕捉的该景象的图像，其中，这些图像以多个不同景深捕捉； 接收使用者对图像中一点的选定，其中，从多个图像之中选定一个图像向使用者显示，所选 定的图像为景象中的一个物体在使用者选定点处聚焦的图像。
[0024] 根据本公开主题的一些实施例，提供了对图像进行交互式调焦的方法，所述方法 包括：用硬件处理器接收在不同时间点捕捉的景象的多个图像，其中，所述多个图像中的每 个图像代表景象的不同景深；将这些图像按捕捉顺序连接，形成一个连续聚焦体积；根据 连续聚焦体积计算出表现各个图像聚焦部分的空间一时间聚焦图像；以及根据连续聚焦体 积和空间一时间聚焦图像计算出空间一时间指数图，该空间一时间指数图从这些图像中识 别出景象中各个位置的聚焦图像。
[0025] 根据本公开主题的一些实施例，提供了对图像进行交互式调焦的方法，所述方法 包括：使用硬件处理器接收多个在不同时间点捕捉的景象图像，其中，所述多个图像中的每 个图像代表景象的不同景深；将这些图像按捕捉顺序连接，形成一个连续聚焦体积；对于 连续聚焦体积中的每个点（x，y，PO) : (a)设定连续聚焦体积中的点P等于PO ;(b)选定一个 以点P为中心的锥体；（C)找出锥体中聚焦程度最高的点Q ; (d)确定Q是否等于P ; (e)重 复步骤（b)至（d)，直到确定Q等于P ;以及（f)设定等于Q的点（X，y, PO)的深度。
[0026] 根据本公开主题的一些实施例，提供了对图像进行交互式调焦的方法，所述方法 包括：使用硬件处理器接收多个在不同时间点捕捉的景象图像，其中，所述多个图像中的每 个图像代表景象的不