同景深；将这些图像按捕捉顺序连接，形成一个连续聚焦体积；确定 每一对连续图像之间的光流；确定景象中各像素位置穿过连续聚焦体积的像素轨迹；通过 确定像素轨迹中各像素的聚焦程度最强的点来确定该像素的聚焦点；以及根据各像素的聚 焦点计算出空间一时间指数图，该空间一时间指数图从这些图像中识别出景象中各个像素 的聚焦图像。
【附图说明】
[0027] 以下结合附图进行的详细说明使本发明的上述及其他目的和优势显而易见，附图 中相同的标记始终指代相同的部件。
[0028] 图1所示为根据本公开主题一些实施例的在图像中进行交互式调焦的程序实例。
[0029] 图2所示为根据本公开主题一些实施例的所捕捉图像的连续聚焦体积实例。
[0030] 图3所示为根据本公开主题一些实施例的连续聚焦体积的水平切片实例。
[0031] 图4所示为根据本公开主题一些实施例的连续聚焦体积的水平切片实例，图中显 示了一部分空间一时间聚焦图像的实例。
[0032] 图5所示为根据本公开主题一些实施例的所捕捉图像的另一个连续聚焦体积的 实例。
[0033] 图6所示为根据本公开主题一些实施例的空间一时间聚焦图像实例。
[0034] 图7所示为根据本公开主题一些实施例的空间一时间指数图实例。
[0035] 图8所示为根据本公开主题一些实施例的空间一时间指数图以及对应的空间一 时间聚焦图像的实例。
[0036] 图9所示为根据本公开主题一些实施例的三维空间一时间指数图以及对应的连 续聚焦体积的实例。
[0037] 图10所示为根据本公开主题一些实施例的可用于捕捉连续聚焦体积的相机实 例。
[0038] 图11所示为根据本公开主题一些实施例的相机景深实例。
[0039] 图12所示为根据本公开主题一些实施例的相机不同景深实例图解。
[0040] 图13所示为根据公开主题一些实施例的计算空间一时间指数图的程序实例。
[0041] 图14所示为根据本公开主题一些实施例的连续聚焦体积的图像稳定程序实例。
[0042] 图15所示为根据本公开主题一些实施例的计算连续聚焦体积的空间一时间聚焦 图像的程序实例。
[0043] 图16所示为根据本公开主题一些实施例的计算连续聚焦体积的空间一时间指数 图的程序实例。
[0044] 图17所示为根据本公开主题一些实施例的将与连续聚焦体积对应的深度图合并 的程序实例。
[0045] 图18所示为根据本公开主题一些实施例的修改与连续聚焦体积对应的深度图的 程序实例。
[0046] 图19所示为根据本公开主题一些实施例的在计算空间一时间指数图程序中使用 的按比例变化的空间一时间图像、按比例变化的连续聚焦体积以及按比例变化的深度图实 例。
[0047] 图20所示为根据本公开主题一些实施例的使用灰度搜索计算连续聚焦体积的空 间一时间指数图的程序实例。
[0048] 图21所示为根据本公开主题一些实施例的使用机器学习来计算连续聚焦体积的 空间一时间指数图的程序实例。
[0049] 图22所示为根据本公开主题一些实施例的使用光流计算连续聚焦体积的空间一 时间指数图的程序实例。
【具体实施方式】
[0050] 根据不同实施例，提供了在图像中进行交互式调焦的机制。根据一些实施例，可在 预定时间内在捕捉不同景深的景象图像。然后按时间顺序将这些图像连接并分析，以对景 象图像中指定一点重新调整焦距。例如，可将相机的图像传感器相对于相机透镜移动以改 变景深。随着传感器的移动，可捕捉到不同景深的景象图像。按时间顺序将这些不同的图像 连接，形成一个连续聚焦体积，该聚焦体积代表不同时间不同景深的景象。一般而言，一个 连续聚焦体积可以代表一个景象，这个连续聚焦体积中的不同深度表示景象在不同时间点 不同景深时的点。通过这种方式，可将一个连续聚焦体积看作是一个景象的三维表示。在 一个特别实施例中，一组二维景象图像共同组成一个具有两个空间维度和一个时间维度的 体积，以此来表示一个连续聚焦体积。
[0051] 在一些实施例中，对连续聚焦体积的景象中的点进行评定，在图像组中确定一个 指定点处于最强聚焦的图像。这可以使距离相机较近的景象部分在一个图像中处于聚焦状 态，也可以使距离相机较远的景象部分在另一个图像中处于聚焦状态。这种在不同图像中 捕捉聚焦部分可在本文所述机制中使用以在捕捉到的图像中进行交互式调焦，以及其它一 些操作。而且，由于景象中的物体在预定时间内可能是移动的，图像序列还能捕捉到移动物 体的运动，这是因为物体可出现在图像组中不同图像中的不同位置上。
[0052] 可提供一个处理器，用于控制相机的聚焦扫描（例如，通过移动传感器、透镜等的 方式）以捕捉包含与景象中各个物体对应的景深的三维空间一时间体积。例如，这可使图 像都得以捕捉到，这样，出现图像中的各个景象物体至少在其中一个图像上是处于聚焦状 态的。
[0053] 还可提供用于复原聚焦图像和聚焦指数图的技术，该技术可用于交互式调焦。由 于景象中的物体可能在二维图像之间变换位置，还可提供一个层式三维指数图。具体的，三 维指数图中任意特定层（例如，一个二维图像）的指数由这一层以及指数图中的二维位置 决定。
[0054] 在一些实施例中，可使用阅读器在图像中进行交互式调焦并显示本文所述机制所 捕捉的连续聚焦体积的信息（例如，景象中一个或多个物体的聚焦信息）。例如，当使用者 选定阅读器显示的图像中的一点时（例如，当使用者"点击"图像中的一点时），可通过预先 计算出的指数图在阅读器中对景象中的物体重新调整集距，所述指数图是通过本文所述机 制计算得来。在一些实施例中，这种阅读器可对运动的物体重新调整焦距。例如，当使用者 选定了图像中的一点后，阅读器可对选定的物体（或多个物体）聚焦，同时显示该物体（或 多个物体）的运动。这种一体化操作可带给使用者独特而有趣的体验。
[0055] 可选择的，不使用预先计算出的聚焦指数图，而是使用类似的技术在使用者利用 阅读器选定图像中的一点时计算聚焦指数，而不需要进行预先计算，（例如，聚焦指数的计 算可在使用者选定一点时进行，而不是使用预先计算出的聚焦指数图）。
[0056] 参见图1，图中所示为根据本发明主题一些实施例的在图像中进行交互式调焦的 程序实例100。如下所述，通过程序100可捕捉不同景深的一系列图像。每个图像是图像传 感器捕捉的画帧。这些不同的画帧（或图像）按时间顺序连接，形成连续聚焦体积。指数 i可用于指示每幅画帧在连续聚焦体积中的位置以及/或者用于定义每幅画帧的景深。
[0057] 在102,程序100由设定指数i等于1开始，其中i表示画帧编号和/或下一画帧 中捕捉的景深。在103,将捕捉画帧i的景深（DOF)设定为景深i (DOFi)。
[0058] 在104,与指数i对应的画帧在景深i (DOFi)下捕捉。在一些实施例中，在捕捉对 应于其他景深的画帧时，该画帧可保存在存储器中。
[0059] 在106,可设置指数i为i加一，在108,判断指数i是否大于捕捉的画帧总数η。在 一些实施例中，要捕捉的画帧的数量η可设定为可使使用者对景象中最大深度的物体进行 调焦使其达到阈值以上清晰度的画帧数量。在一些实施例中，所捕捉画帧的适宜数量可以 是任意的。例如，η可设定为30,则可捕捉到距相机透镜前30景深的画帧。在另一实施例 中，当景象中的深度有限时（例如室内捕捉），η可设定为较少捕捉画帧数（例如，十画帧， 十五画帧等）。而在另一实施例中，由于例如像素尺寸较小、焦距较大等原因造成各画帧中 的景深减小时，η可设定为较多捕捉画帧数（例如，45画帧，60画帧，100画帧等）。
[0060] 在一些实施例中，可捕捉任意适宜的景深范围。例如，如果被捕捉的景象中的最近 的物体与相机的距离为Rl，最远的物体与相机的距离为R2,则捕捉的景深范围是Rl至R2， 从零至Rl以及从R2至无限远的景深可以忽略。在一些实施例中，捕捉的DOF的数量可以 包括足够多的D0F，以使景象中的任意一个物体至少包含在一个DOF内，下文将结合图11和 12举例说明。
[0061] 在一些实施例中，景深可在捕捉的画帧间转换，这样所捕捉的每个画帧的景深与 其他画帧的景深基本不会重叠，例如在下文将进行描述的图11和图12所示实例。
[0062] 如果指数i小于η (在108处为"否")，程序100返回103,可将景深设定为DOFi (已 将i增大）。如果指数i大于η (在108处为"是"），程序100进行至112。
[0063] 在一些实施例中，如上文所描述以及下文结合图11和12所做的进一步说明，DOF 的设定可使DOFm的外距（例如Z _)等于D0Fm+1的内距（例如Z min)。例如，可将第一景深 DOF1的最大距离Z _等于第二景深DOF 2的最小距离Z min。如上所述，可使用任何适宜的方 法或方法组合改变所捕捉画帧的DOF。
[0064] 在一些实施例中，以成像仪的帧频或该帧频的几分之一捕捉图像。例如，如果用于 捕捉图像的相机的帧频为