经由扫描线影像比对机制来找出一对目标同步点的方法

专利名称：经由扫描线影像比对机制来找出一对目标同步点的方法
技术领域：
本发明涉及一种使一来源端(例如一伺服端)与一目标端(例如一使用 者端)之间实现影像同步的机制，尤其是涉及一种经由一扫描线影像比对机 制来找出对应该来源端与该目标端的一对目标同步点的方法。
背景技术：
当观赏预录的电视节目时，使用者有时候只想要观赏感兴趣的事件，举 例来说，当观赏预录的棒球比赛时，使用者或许仅对全垒打、安打或三振发 生时的特殊时刻感到兴趣，为了符合使用者的需求，来源端(亦即伺服端)负 责电视节目(例如运动比赛)的广播并且会顺便发送一个精彩片段索引文件
(highlight indexing file),而精彩片段索引文件则具有电视节目中让使用者感 兴趣的事件的时间位置与时间长度。当目标端(亦即使用者端)接收到精彩
观赏预录电视节目中任何感兴趣的事件。
然而，由于时间系统的差异，时间偏移(time shift)可能存在于来源端 与目标端之间，举例来说，来源端采用 一 标准时间系统(universal time system),而目标端则具有不与标准时间系统同步的时间系统，如此一来，在 来源端的标准时间系统下的精彩片端位置可能无法顺利地使用于目标端中 的不同时间系统之下。此外，来源端中用以广播一电视节目的电视频道有可 能会异于目标端中用以接收此一电视节目的电视频道，例如，来源端与目标 端分别位于不同的区域或国家。所以，提供精彩片段索引文件的来源端所广 播的电视节目中所插入的广告可能会不同于目标端所接收的电视节目中的 广告，再者，来源端所广播的电视节目的影像格式也有可能会不同于目标端 所接收的电视节目的影像格式，举例来说，画面分辨率或画面更新率(例如 每秒帧张数(frame per second, FPS ))会因为来源端与目标端的不同影像设 定而随之变动。
如此一来，为了使用来源端所提供的精彩片段索引文件以便迅速地观赏感兴趣的事件，使用者必须手动地找出来源端所广播的原始电视节目与目标 端所录制的已接收电视节目两者之间的影像同步点，因此，对于目标端的使 用者而言极为不方便，所以，便亟需一个可靠、快速且自动化的同步机制来 有效率地决定出来源端与目标端两者之间的时间偏移。

发明内容
本发明的目的之一在于提供一种经由一扫描线影像比对机制来找出对 应 一 来源端与 一 目标端的 一 对目标同步点及参考该对目标同步点来估测该 来源端与该目标端之间时间偏移的方法。
根据本发明的一实施例，其提供一种找出一对目标同步点的方法。该对 目标同步点包含有对应至 一 来源端的 一 来源端同步点与对应至 一 目标端的
一目标端同步点。该方法包含有接收一来源端扫描线影像，其对应来自该 来源端的一第一影像；自该来源端扫描线影像中选取出至少一比较帧；提供 一目标端扫描线影像，其对应该目标端的一第二视频来源；以及比较该比较 帧与该目标端扫描线影像来找出该对目标同步点。


图1为本发明找出对应来源端与目标端的一对同步点的方法的一实施 例的流程图。
图2为图1所示的方法的延续流程图。
图3为作为范例说明的一些扫描线位置的示意图。
图4为由特定扫描线位置的扫描线所产生的扫描线影像的范例示意图。
图5为本发明黑框边缘检测的一范例的示意图。
图6为帧在移除黑框边缘成分之后的结果的示意图。
图7为本发明扫描线影像比对操作的一范例的示意图。
图8为再多回合的扫描线影像比对操作中所找到的多对候选匹配点的 示意图。
图9为依据一对初步的同步点来找出所要的一对目标同步点的微调程 序的示意图。
图10为目标端依据电子节目表信息向来源端请求提供的来源端扫描线 影像的数据传输机制的示意图。附图符号说明
702 来源端扫描线影像
712、 比较帧
714、
716
704
718—1、
718—2、
718一N、
804—1、
804—2、
804 M
目标端扫描线影倡 滑动窗
具体实施例方式
在本发明中， 一来源端(亦即一伺服端)负责提供一目标端(亦即一使用 者端)所要求的扫描线影像信息，以帮助目标端找出一对同步点 (synchronization point pair)。在本发明的一实施例中，其提出 一种使用扫描线 影像(scan-line image)的影像比对机制，而这一扫描线影像比对机制自来源端 接收对应一第一视频来源的一来源端扫描线影像，自该来源端扫描线影像中 选取出一比较帧(comparing frame),提供对应目标端的一第二视频来源的 一目标端扫描线影像，以及通过比较该比较帧与该目标端扫描线影像来决定 出所要的一对目标同步点。进一步的细节将于下详述。
请一并参考图1与图2。图1为本发明找出对应一来源端与一目标端的 一对同步点的方法的一实施例的流程图，而图2则是图l所示的方法的延续 流程图。假若可获得大致上相同的结果，本发明方法的步骤不一定要依据图 1与图2所示的次序来依序执行。本发明找出一对同步点的方法包含有以下 步骤
步骤100:开始。
步骤102:自一来源端接收对应一第一视频来源(例如一电视节目)的 一来源端扫描线影像。
步骤104:检查是否需要执行黑框边缘检测(black margin detection ) 若是，则执行步骤106;否则，执行步骤108。
步骤106:对一目标端所记录的一第二视频来源(例如一电视节目)进 行黑框边缘检测，以找出该第二视频来源中每一帧所插入的黑框边缘，以及 将所找出的黑框边缘自该第二视频来源的每一帧中移除。步骤108:检查是否需要执行影像格式调整操作？若是，则执行步骤 110;否则，执行步骤118。
步骤110:是否将影像格式调整操作应用于来源端扫描线影像？若是， 则执行步骤112;否则，执行步骤116。
步骤112:通过影像格式调整操作(例如降低取样(down-sampling)或增 加取样(up-sampling))来调整来源端扫描线影像。如此一来，来源端扫描线 影像与目标端扫描线影像之间的影像格式差异(例如影像分辨率的改变、画
面更新率的改变或两者皆有)便可因为本发明所提出的应用于来源端扫描线 影像的影像格式调整操作而被加以消除。进一 步的细节将于后详述。
步骤114:依据扫描线撷取操作来取得对应于目标端所记录的第二视频 来源的一目标端扫描线影像。接着，执行步骤120。
步骤116:依据影像格式调整操作(例如降低取样或增加取样)与扫描 线撷取操作，取得对应于目标端所记录的第二视频来源的一 目标端扫描线影 像。由于本发明所提供的影像格式调整操作应用于目标端扫描线影像，因此 来源端扫描线影像与目标端扫描线影像之间的影像格式差异(例如影像分辨 率的改变、画面更新率的改变或两者皆有)便可被加以消除。进一步的细节 将于后详述。流程接着进行至步骤120。
步骤118:依据扫描线撷取操作来取得对应于目标端所记录的第二视频 来源的一目标端扫描线影像。
步骤120:设定N爿。
步骤122:自来源端扫描线影像中任意地选取出一比较帧。
步骤124:依据一滑动窗(sliding window)来比较所选取的比较帧与目标 端扫描线影像，其中滑动窗的大小等于比较帧的大小。
步骤126:依据所选取的比较帧与滑动窗，计算多个影像相关值(image correlation value )与多个影像差异值(image difference value)。
步骤128:依据多个影像相关值与多个影像差异值，决定出一对候选匹 酉己点(candidate matching point pair)。
步骤130: N=K 若是，则执行步骤134;否则，执行步骤132。
步骤132: N=N+1,接着，回到步骤122。
步骤134:利用多数决(majority vote)的方式来找出无效的各对候选匹配点。步骤135:有效的候选匹配点的对数相较于无效的候选匹配点的对数的 比率R是否超过一预定阈值TH 若是，执行步骤136;否则，执行步骤144。
步骤136:自有效的各对候选匹配点中选取出 一对初步的匹配点(rough synchronization point pair),并自对应该对初步的匹配点的一特定比较帧中选 耳又出一比较区段(comparing portion),其中该对初步的匹配点包含有对应至来 源端的 一初步来源端同步点以及对应至目标端的 一初步目标端同步点。
步骤138:依据一滑动窗(其大小等于所选取的比较区段的大小)，将 所选取的比较区段与目标端扫描线影像中对应该对初步的匹配点的一部分 区段进行比对。
步骤140:依据所选取的比较区段与滑动窗，计算出多个影像相关值与 多个影像差异值。
步骤142:依据多个影像相关值与多个影像差异值，决定出所要的一对 目标匹配点(target synchronization point pair )。 步骤144:结束。
在步骤100中，本发明的流程开始执行。在步骤102中，目标端要求来 源端提供对应第一视频来源(亦即来源端所广播的电视节目)的来源端扫描线 影像。请同时参阅图3与图4。图3显示出一些扫描线位置以作为范例说明， 而图4则显示一个由特定扫描线位置的扫描线所产生的扫描线影像的范例。 在图3中，四个可能的扫描线位置Sl、 S2、 S3、 S4标示于同一帧中，对于 第一视频来源而言，假若扫描线位置S4被采用，则来源端扫描线便是通过 聚集第一视频来源中每一帧中位于扫描线位置S4的扫描线而产生，举例来 说，第一视频来源中第一张帧中位于扫描线位置S4的对角扫描线被撷取出 来并成为来源端影像中的第一列(row),以及第一视频来源中紧接第一张帧之 后的第二张帧中位于扫描线位置S4的对角扫描线被撷取出来并成为来源端 影像中的第二列，所以，当来源端的视频来源是棒球比赛时，则来源端扫描 线影像的范例显示于图4中。请注意，上述实施例仅作为范例说明，并非用 以作为本发明的限制条件，换言之，扫描线位置的选择依设计需求而定。
在步骤104中，流程会检查黑框边缘检测是否需要被执行，举例来说，
若扫描线位置选择图3所示的Sl，则由于用以找出同步点的扫描线影像并
不会具有任何黑框边缘信息，所以便无需进行黑框边缘检测；除此之外，就
需要执行黑框边缘检测来检测目标端所记录的第二视频来源中是否存在黑框边缘。如果第一视频来源的每一帧并不包含有黑框边缘，但是第二视频来 源的每一帧却包含有黑框边缘，则由于目标端所记录的第二视频来源所产生 的目标端扫描线影像中会包含有不想要的黑框边缘信息，因此本发明所披露 的扫描线比对机制便可能会产生错误的结果。所以，步骤106便被启动来检 测插入至第二视频来源中每一帧的黑框边缘，并以在检测到黑框边缘时将其 移除。为了简化运算复杂度，本发明提供一种简单且快速的黑框边缘检测方 法，^o下所述。
请参考图5，图5是本发明黑框边缘检测的一范例的示意图。如图5所 示，第二视频来源中的帧F1包含有黑框边缘，而本发明的黑框边缘检测机 制首先产生一个全黑影像F2，其大小与所要处理的帧Fl的大小相同。请注 意，假若灰阶范围自0至255，则全黑影像F2中每一像素的灰阶值均等于0。 接着，XOR逻辑运算便结合Fl与F2来产生一二元影像(binary image)F3， 其中二元影像也可称之为位图(bipm叩)，其每一像素一般而言仅储存一个位。 二元影像F3中每一黑点具有位值"0"而每一白点则具有位值"1",接着，NOT 逻辑运算便施加于二元影像F3来产生一更新后的二元影像(更新后的位 图)F4，为了找出黑框边缘，本发明的黑框边缘检测机制将AND逻辑运算应 用至位于同一列(row)上的所有像素，以估计出帧F1中所具有的黑框边缘，
换言之，在本实施例中，若同一列上所有的像素具有相同的位值"r,便判
断此一列是属于黑框边缘的一部分，而图5所示的边界信息BR便用以移除 帧Fl中的黑框边缘成分。请参考图6，图6显示帧Fl于移除黑框边缘成分 之后的结果。在获得与黑框边缘有关的边界信息BR之后，帧Fl便会依据 边界信息BR来加以处理，如图6所示，所产生的帧Fl，会残留较小的黑框 边缘。
帧Fl产生自目标端中所记录的第二视频来源。 一般而言，第二视频来 源经由对所输入的影像串流进行压缩后加以记录而产生，举例来说， 一个基 于区块(block-based)的压缩机制(例如MPEG-2压缩)会被采用来产生第二 视频来源，然而，插入所接收的每一帧的黑框边缘并非是一个压缩区块大小 的整数倍，因而在帧F1由第二视频来源中解码产生时，会造成帧F1的黑框 边缘的边界具有噪声(noise )，如此一来，黑框边缘的边界噪声便会影响移 除黑框边缘的最后结果。所以，本发明进一步地提供一种修改后的黑框边缘
检测机制，其在XOR逻辑运算执行之前先对帧Fl进行预先处理。在一实施例中，修改后的黑框边缘检测机制在对帧Fl进行预先处理时，会将原本像
素值(例如灰阶值)等于或小于一预定值(例如5)的各个像素设定为具有 一更新后的像素值(其值为0)，如此一来，黑框边缘的边界噪声便可大幅地 被抑制。如图6所示，相较于原本的二元影像(位图)F4， 二元影像(位图) F4，在黑框边缘的边界具有较少的噪声干扰，而在通过修改后的黑框边缘检 测机制来获得边界信息BR，之后，黑框边缘成分便可通过边界信息BR，而轻 易地被移除。如图6所示，相较于原本的帧F1',最后产生的帧F1"便由于 前述的应用于帧Fl的预先处理而具有较小的黑框边缘区域。
如前所述，有可能来源端的第一视频来源的影像格式(例如画面分辨率 或画面更新率)不同于目标端的第二视频来源的影像格式，此外，已移除黑 框边缘的帧(例如图6所示的帧Fl，或Fl")的画面分辨率有可能不同于第 一视频来源中帧的画面分辨率，所以，步骤108便被执行以检查第一视频来 源与第二视频来源之间或已移除黑框边缘的帧与第 一视频来源之间是否存 在影像格式差异，如果影像格式差异不存在，则步骤118便被致能而自所记 录的第二视频来源中的每一 帧或自所记录的第二视频来源中已移除黑框边 缘的每一帧中，撷取位于一扫描线位置(例如图3所示的S4)的扫描线来 获得目标端扫描线影像。然而，若第一视频来源与第二视频来源之间或者已 移除黑框边缘的帧与第 一视频来源之间确实存在影像格式差异，则影像格式 调整操作便被致能来调整画面分辨率、画面更新率或两者。进一步的细节将 详述如下。
假若当第 一视频来源与第二视频来源之间或者已移除黑框边缘的帧与 第 一视频来源之间具有画面分辨率/画面更新率的差异时，影像格式调整操作 应用于来源扫描线影像(步骤110)。在一实施例中，黑框边缘的移除操作没 有执行且第 一视频来源的画面分辨率/画面更新率大于第二视频来源的画面 分辨率/画面更新率，则步骤112便依据第一视频来源与第二视频来源之间画 面分辨率/画面更新率的差异来对来源端扫描线影像进行降低取样 (down-sampling)的操作，以及步骤114自第二视频来源中每一帧撷取出 一条 扫描线以获得一目标端扫描线影像；在另一实施例中，黑框边缘的移除操作 没有执行且第一视频来源的画面分辨率/画面更新率小于第二视频来源的画 面分辨率/画面更新率，则步骤112便依据第一视频来源与第二视频来源之间 画面分辨率/画面更新率的差异来对来源端扫描线影像进行增加取样(up-sampling)的操作，以及步骤114便自第二视频来源中每一帧撷取出 一条 扫描线以获得目标端扫描线影像。
在另 一 实施例中，黑框边缘的移除操作已执行且第 一视频来源的画面分 辨率/画面更新率大于第二视频来源中移除黑框边缘之后的帧的画面分辨率/ 画面更新率，则步骤U2便依据已移除黑框边缘的帧与第一视频来源之间画 面分辨率/画面更新率的差异来对来源端扫描线影像进行降低取样的操作，以 及步骤114自已移除黑框边缘的每一帧中撷取出一条扫描线以获得目标端扫 描线影像；在又一实施例中，黑框边缘的移除操作已执行且第一视频来源的 画面分辨率/画面更新率小于第二视频来源中已移除黑框边缘的帧的画面分 辨率/画面更新率，则步骤112便依据已移除黑框边缘的帧与第一视频来源之 间画面分辨率/画面更新率的差异来对来源端扫描线影像进行增加取样的操 作，以及步骤114自已移除黑框边缘的每一帧中撷取出一条扫描线以获得目 标端扫描线影像。
假若当第 一视频来源与第二视频来源之间或者已移除黑框边缘的帧与 第 一视频来源之间具有画面分辨率/画面更新率的差异时，影像格式调整操作 并非是应用于来源扫描线影像(步骤110)。在一实施例中，黑框边缘的移除 操作没有执行且第 一视频来源的画面分辨率/画面更新率大于第二视频来源 的画面分辨率/画面更新率，则步骤116便依据第 一视频来源与第二视频来源 之间画面分辨率/画面更新率的差异来对第二视频来源中的帧进行增加取样 的操作，接着再自第二视频来源中已增加取样(up-sampled)的每一帧中撷取 出一条扫描线以获得目标端扫描线影像；在另一实施例中，黑框边缘的移除 操作没有执行且第 一视频来源的画面分辨率/画面更新率大于第二视频来源 的画面分辨率/画面更新率，则步骤116便自第二视频来源中每一帧撷取一条 扫描线来产生 一扫描线影像，接着依据第 一视频来源与第二视频来源之间画 面分辨率/画面更新率的差异来对该扫描线影像进行增加取样的操作以获得 目标端扫描线影像；在另一实施例中，黑框边缘的移除操作没有执行且第一 ^L频来源的画面分辨率/画面更新率小于第二;MJ贞来源的画面分辨率/画面更 新率，则步骤116便依据第 一视频来源与第二视频来源之间画面分辨率/画面 更新率的差异来对第二视频来源中的帧进行降低取样的操作，接着再自第二 视频来源中已降低取样(down-sampled)的每一帧中撷取出一条扫描线以获 得目标端扫描线影像；在又一实施例中，黑框边缘的移除操作并未执行且第
14一视频来源的画面分辨率/画面更新率小于第二视频来源的画面分辨率/画面 更新率，则步骤116便自第二视频来源中每一帧撷取出一条扫描线以产生一 扫描线影像，接着依据第 一视频来源与第二视频来源之间画面分辨率/画面更 新率的差异来对该扫描线影像进行降低取样的操作以产生目标端扫描线影 像。
在另 一 实施例中，黑框边缘的移除操作已执行且第 一视频来源的画面分 辨率/画面更新率大于第二视频来源中已移除黑框边缘的帧的画面分辨率/画 面更新率，则步骤116便依据已移除黑框边缘之后的帧与第一视频来源之间 画面分辨率/画面更新率的差异来对已移除黑框边缘的帧进行增加取样的操 作，接着从已增加取样的已移除黑框边缘的每一帧中撷取一条扫描线来获得
目标端扫描线影像；在另一实施例中，黑框边缘的移除操作已执行且第一视
频来源的画面分辨率/画面更新率大于第二视频来源中已移除黑框边缘的帧
的画面分辨率/画面更新率，步骤116会自已移除黑框边缘的每一帧中撷取一
条扫描线来产生一扫描线影像，接着再依据已移除黑框边缘的帧与第一视频 来源之间画面分辨率/画面更新率的差异来对该扫描线影像进行增加取样的
操作来产生目标端扫描线影像；在另一实施例中，黑框边缘的移除操作已执 行且第 一视频来源的画面分辨率/画面更新率小于第二视频来源中已移除黑 框边缘的帧的画面分辨率/画面更新率，则步骤116便依据已移除黑框边缘的 帧与第 一视频来源之间画面分辨率/画面更新率的差异来对已移除黑框边缘 的帧进行降低取样的操作，接着从已降低取样的已移除黑框边缘的每一帧中 撷取一条扫描线来获得目标端扫描线影像；在另一实施例中，黑框边缘的移 除操作已执行且第 一视频来源的画面分辨率/画面更新率小于第二视频来源 的画面分辨率/画面更新率，步骤116自已移除黑框边缘的每一帧中撷取一条 扫描线来产生一扫描线影像，接着依据已移除黑框边缘的帧与第一视频来源 之间画面分辨率/画面更新率的差异来对该扫描线影像进行降低取样的操作 以产生目标端扫描线影像。
请注意，本发明的较佳作法是采用降低取样的操作以减少后续扫描线影 像比对阶段所要处理的数据量。此外，为了降低运算复杂度，本发明的较佳 实施例先致能降低取样的操作，接着再从降低取样后的结果中撷取出扫描 线。
当来源端扫描线影像与目标端扫描线影像两者均准备妥当时，便会开始执行扫描线影像比对操作。在本发明中，步骤120~ 132用以获得多对候选 匹酉己点，如图2中的流程所示，成对候选匹配点的搜寻并不会停止，直到N 等于默认值K为止，换言之，成对候选匹配点的搜寻会重复执行，以试着找 出至少K对的候选匹配点。成对候选匹配点搜寻的操作详述如下。
在步骤122中， 一个比对帧任意地自来源端扫描线影像中选取出来，举 例来说，来源端扫描线影像中连续的400行(亦即扫描线)被选取而作为后续 扫描线影像比对操作中所要使用的比对帧。接着，所选取的比较帧便会根据 一滑动窗来与目标端扫描线影像进行比较，其中滑动窗的大小等于比较帧的 大小(步骤124)。请参考图7，其为本发明扫描线影像比对操作的一范例的 示意图。如图7所示，比较帧712、 714、 716的长度等于Lg以及宽度等于 Ws,此外，滑动窗718—1、 718_2、 ...、 718_N的长度等于WD以及宽度等 于Wd。明显地，从来源端扫描线影像702中所选出的每一比较帧712、 714
或716的大小等于目标端扫描线影像704中滑动窗718一1、718—2.....718一N
的大小。在步骤122中，具有大小为L^Ws的比较帧会依据滑动窗718_1、
718_2.....718—N而与全部的目标端扫描线影像704比较，在本实施例中，
两个参数(亦即影像差异值P1及影像相关值P2)会于所选取的比较帧与目 前的滑动窗进行比较时被计算出来(步骤126)。对于目前的滑动窗而言，影 像差异值P1及影像相关值P2的运算可用以下算式来加以表示
<formula>formula see original document page 16</formula>(1)<formula>formula see original document page 16</formula>(2)
在上述的算式(l)中，S代表比较帧中的来源端影像(例如图7所示的比 较帧712), D代表滑动窗中的目标端影像，以及imgSize代表比较帧/滑动窗 的大小。来源端影像中的像素与目标端影像中相对应像素之间的像素差异会 以一个像素接着一个像素(pixel-by-pixel)的方式来进行累加，接着求出一平 均像素值差异(average pixel value difference)以作为对应目前滑动窗的影像差 异值P1。对于影像相关值P2而言，已知的相关性运算便用来衡量来源端影 像与目标端影像之间的相关性，由于相关性运算为业界所已知，故为了简洁 起见，详细说明便于此不另赘述。
在初始滑动窗718一1的相对应影像差异值P1以及影像相关值P2均获得 之后，目前的滑动窗便会前进至下一位置。在本实施例中，在移动滑动窗时会考虑一部分重叠长度A，举例来说，假设滑动窗的长度LD等于400,则 部分重叠长度A便设计成100,然而，这仅作为范例说明之用，并非作为本 发明的限制条件。同样地，对应至滑动窗718—2的影像差异值Pl以及影像 相关值P2也会被计算出来(步骤126),简而言之，滑动窗会从目标端扫描线 影像704的起点位置开始向后移动，直到达到目标端扫描线影像704的终点 位置为止，而在对应最后一个滑动窗718一N的影像差异值P1以及影像相关 值P2已计算出来之后，步骤128便依据多个影像差异值及多个影像相关值 来决定出 一对候选匹酉己点(candidate matching point pair)。在本实施例中，若 有一特定目标端影像(其由目标端扫描线影像的滑动窗所定义出来) 一并具 有最小的影像差异值与最大的影像相关值(换句话说，最小的影像差异值与 最大的影像相关值均指向同一个目标端影像)，则可确认可能的(potential)候 选同步点的存在，则此一特定目标端影像(例如对应至滑动窗718—2的目标 端影像)与比较帧712之间便可找出一对候选匹配点；否则的话，因为最小 的影像差异值与最大的影像相关值没有指向同一个目标端影像，因此便没有 任何的候选匹配点可于此一回合的扫描线影像比对操作中被找到。
当对于选取自来源端扫描线影像的不同比较帧所进行的扫描线比对的 执行次数尚未等于一默认值K时，则下一回合的扫描线影像比对操作会被致 能(步骤130与132)。 一个新的比较帧(亦即图7所示的比较帧714)便被 选取并与目标端扫描线影像704进行比对来找出相对应的一对候选匹配点， 由于找出一对候选匹配点的操作已经详述如上，故为了简洁起见，进一步的 说明便于此不另赘述。
当对来源端扫描线影像中所选出的不同比较帧所进行的扫描线比对的 执行次数等于默认值K时，步骤134便会被执行来进行多数决(majority vote) 的操作以找出任一对无效的候选匹配点。如前所述，插入至来源端所广播的 电视节目(例如运动比赛节目)的广告可能不同于插入至目标端所接收的电 视节目的广告，其中来源端还会提供精彩片段索引文件，而目标端则是接收 并使用精彩片段索引文件，所以，步骤120~ 132可能会找出错误的候选匹 配点，因此，便需要在进行后续步骤以找出一对最终的目标同步点之前，先 将这些错误选出的候选匹配点移除。请参考图8,图8为在多回合的扫描线 影像比对操作中所找到的多对候选匹配点的示意图。如图8所示，在现有的 步骤中找出7对候选匹配点(SP,，DP,)、 (SP2,DP2)、 (SP3,DP3)、 (SP4,DP4)、(SP5,DP5)、 (SP6,DP6)、 (SP7,DP7)，在本实施例中，每一对候选匹配点的斜率
指标值(slope index)K依据以下的算式所求出 尺,=(^D-CDS-Z^) (3)
在上述算式(3)中，SP。代表来源端扫描线影像的开始时间点，以及DPo 则代表目标端扫描线影像的开始时间点。参照以上的算式(3)与图8所示的范 例示意图，由于来源端与目标端之间的垂直距离假定为一个单位距离(亦 即"l，，)，故斜率指标值K等效地等于每一对匹配点的斜率倒数(inverse slope),通过观测多对候选匹配点(SP]，DP,)、 (SP2,DP2)、 (SP3，DP3)、 (SP4,DP4)、 (SP5,DP5)、 (SP6,DP6)、 (SP7,DP7)的斜率指标值，可以方便地找出其中一对候 选匹配点(SP4,DP4)是无效的，主要是因为其斜率指标值极度地不同于具有相 似斜率指标值的其它对候选匹配点，筒而言之，通过使用上述的多数决处理， 每一对无效的候选匹配点便可轻易且迅速地被辨识出来。
接着，有效的候选匹配点的对数相较于无效的候选匹配点的对数的比率 R便会被检验来确认来源端的第一视频来源与目标端所记录的第二视频来源 之间的相似度(步骤135)，若比率R大于阈值TH，则第一视频来源与第二 视频来源之间便具有可接受的相似度，举例来说，第一视频来源与第二视频 来源大致上具有相同的影像内容，即便内含的广告可能彼此不同，而流程便 接着会执行至步骤136;然而，若比率R并未大于阈值TH，则第一视频来 源与第二视频来源之间的相似度便很差，而由于第 一视频来源与第二视频来 源会被判断为具有不同的影像内容，故流程也随之中止。
当多对候选匹配点通过了上述的相似度检查之后，步骤136便被执行来 自多对有效的候选匹配点中选取出一对初步的同步点。请注意，多对有效的 候选匹配点中任 一 对都可被选取而作为所要的 一 对初步的同步点。举例来 说， 一对候选匹配点(SP2,DP2)便被选取而作为一对初步的同步点，其中来 源端的匹配点SP2作为图7所示的比较帧714中来源端影像所对应的一初步 来源端同步点，而目标端的匹配点DP2作为滑动窗718—2的目标端影像所对 应的一初步目标端同步点。在获得所要的一对初步的同步点之后，便会启动 一个微调程序来获得一对较为准确的同步点。
请参考图9,图9为依据一对初步的同步点来找出所要的一对目标同步 点的微调程序的示意图。在步骤136中，比较区段802自对应至初步来源端 同步点SP2的比较帧714中被选取出来，在较佳作法中，由于时间偏移的考虑，比较帧714的中间部分会被选为比较区段802，举例来说，若比较帧714 的长度等于400,则比较区段802的长度等于50，换言之，比较帧714中间 的50条扫描线会被选取。接着，比较区段802便依据较小的滑动窗804J 、
804—2..... 804一M来与滑动窗718—2中所定义的来源端影像进行比较，其
中滑动窗804—1、 804—2、 ...、 804—M的大小等于比较区段802的大小(步 骤138)。如图9所示，比较区段802的长度等于Ls，以及比较区段802的宽
度等于Ws，此外，滑动窗804J、 804—2..... 804—M的长度等于L。，以及
滑动窗804_1、 804—2.....804—M的宽度等于WD，如图所示，自比较帧714
所选出的比较区段802的大小等于滑动窗804—1、 804_2..... 804一M的大
小，再者，在本实施例中，在移动滑动窗时会考虑一部分重叠长度B,举例 来说，假设滑动窗的长度Ld，等于50,则部分重叠长度B便设计成30，然 而，这仅作为范例说明之用，并非作为本发明的限制条件。
当具有大小为Ls"Ws的比较区段802依据每一滑动窗804—1、 804_2、 ...、 804一M而与滑动窗718—2中全部的目标端影像进行比较时，两 个参数(亦即影像差异值与影像相关值)便根据前述的算式(1)与(2)而被计 算出来。在步骤140获得多个影像相关值与多个影像差异值之后，所要的一 对目标同步点便可依据由滑动窗(例如滑动窗804—2)所定义的一特定目标 端影像而决定出来，其中该特定目标端影像具有最小的影像差异值及最大的 影像相关值。
上述仅披露本发明的一实施例，然而，在不违反本发明精神的前提下， 其它的设计变化是可行的。举例来说，在使用电子节目表(electronic program guide, EPG)来作为参考用的标准时间的本发明另 一实施例中，来源端所提供 的来源端扫描线影像并非 一定要包含从来源端的全部视频来源中所撷取出 的扫描线。请参考图10,图IO为目标端依据电子节目表信息向来源端请求 提供的来源端扫描线影像的数据传输机制的示意图。 一般而言，电子节目表 包含有已排定的电视节目的信息，其可允许观赏者根据播放时间、节目名称、 频道编号、节目种类等等来浏览、选取与找到所要内容。电子节目表所提供 的时间信息可作为来源端(其提供精彩片段索引文件)与目标端(其接收并 使用精彩片段索引文件)之间所使用的参考时间。
假设精彩片段索引文件已记录有一个已排定的电视节目的参考开始时 间点TS一Ref。当来源端在其本地时钟(local clock)达到参考开始时间点TS_Ref时开始广播已排定的电视节目，由于本地时钟并未准确地与电子节 目表所参考的标准时钟(universal clock)同步，因此参考开始时间点TS_Ref 与本地开始时间TS一S之间有可能会存在时间误差TE,,然而，时间误差TE, 一般而言极小，且在大部分的状况下是可被忽略的。对于目标端而言，目标 端会依据其本地时钟而在本地开始时间点TS一D时开始录制来源端所广播的 已排定的电视节目。在参照电子节目表所提供的参考开始时间点TS—Ref之 后，目标端便可得知参考开始时间点TS—Ref与本地开始时间点TS_D之间 存在时间误差TE2，请注意，时间误差TE2并无法直接用来决定来源端与目 标端之间的时间偏移，主要是因为本地时钟可能并未与电子节目表所参考的 标准时钟同步，换言之，依据目标端的本地时钟所决定的本地开始时间点 TS—D实际上是依据标准时钟所决定的参考开始时间点TS—D—Ref,假若时间 误差TE,是可被忽略的，则来源端与目标端之间的实际时间偏移是TE2，而非 TE2。所以，图1与图2所示的步骤是用以找出一对目标同步点，以便估算 出来源端与目标端之间的实际时间偏移。在实际时间偏移已通过上述的扫描 线影像比对机制而估计出来时，目标端便可以适当地运用精彩片段索引文 件。
通过电子节目表的辅助，来源扫描线影像传输的数据量可被减低且本地 同步(local synchronization)也可实现。如上所述，目标端在本地开始时间点 TS—D开始录制电视节目，在本发明的一实施例中，目标端会请来源端提供 自SP+(TE2-TE,)-AT起至SP+(TE2-TE,)+AT止的时段中所对应的扫描线影 像区段(scan-line image segment),请注意，TE,是可忽略的，以及AT可根据 设计需求而进行调整。此外，由于来源端依据目标端的请求而仅需提供扫描 线影像区段，因此，目标端无需将由扫描线影像区段所选出的比较帧与目标 端所记录的全部视频来源的扫描线影像进行比较，换句话说，目标端允许将 由扫描线影像区段所选出的比较帧与目标端所记录的全部视频来源的扫描 线影像中的一部分进行比较。
再者，由来源端传送至目标端的扫描线影像信息(亦即完整的来源端扫 描线影像或者是扫描线影像区段)可被压缩来降低传输数据量，举例来说， 来源端压缩来源端扫描线影像而产生一 JPEG文件，之后，目标端再通过解 压缩所接收的JPEG文件来回复产生来源端扫描线影像。
此外，在上述实施例中，两个参数(亦即影像差异值与影像相关值)同时被用来找出上述的多对候选匹配点以及一对目标同步点，然而，在本发明 的其它实施例中，使用影像差异值与影像相关值中其一也可同样达到找出多 对候选匹配点及一对目标同步点的目的。举例来说，在一第一范例中，仅有 影像差异值会被计算，而多对候选匹配点及一对目标同步点便是依据影像差 异值的最小值而找出；另外，在一第二范例中，仅有影像相关值会被计算， 而多对候选匹配点及一对目标同步点便是依据影像相关值的最大值而找出。 上述的这些设计变化仍符合本发明精神而落于本发明的范畴之中。
以上所述仅为本发明的较佳实施例，凡依本发明权利要求所做的均等变 化与修饰，皆应属本发明的涵盖范围。
权利要求
1. 一种找出一对目标同步点的方法，该对目标同步点包含有对应至一来源端的一来源端同步点与对应至一目标端的一目标端同步点，该方法包含有接收一来源端扫描线影像，其对应来自该来源端的一第一影像；自该来源端扫描线影像中选取出至少一比较帧；提供一目标端扫描线影像，其对应该目标端的一第二视频来源；以及比较该比较帧与该目标端扫描线影像来找出该对目标同步点。
2. 如权利要求1所述的方法，其中接收该来源端扫描线影像的步骤包含有--自该来源端接收一已压缩的扫描线影像；以及于该目标端对该已压缩的扫描线影像进行解压缩以获得该来源端扫描 线影像。
3. 如权利要求1所述的方法，其中接收该来源端扫描线影像的步骤包含有依据一电子节目表来向该来源端请求提供至少一扫描线影像区段；以及 自该来源端接收该扫描线影像区段以作为该来源端扫描线影像。
4. 如权利要求3所述的方法，其中依据该电子节目表来向该来源端请求 提供至少该扫描线影像区段的步骤包含有决定该第二视频来源的一开始时间点与该电子节目表所提供的一参考 开始时间点之间的 一 时间误差；参照该时间误差来决定自该第二视频来源的该开始时间点之后的 一 时 段；以及向该来源端请求提供对应该时段的该扫描线影像区段。
5. 如权利要求1所述的方法，其中提供该目标端扫描线影像的步骤包含有对该第二视频来源进行一黑框边缘检测，以找出插入至该第二视频来源 中每一帧的一黑框边缘；依据该黑框边缘检测的检测结果，获得多个已移除黑框边缘的帧；以及依据该多个已移除黑框边缘的帧来产生该目标端扫描线影像。
6. 如权利要求5所述的方法，其中对该第二视频来源进行该黑框边缘检 测的步骤包含有产生一全黑影像，其所具有的一影像大小等于对应该第二视频来源的一 帧大小；执行一 XOR逻辑运算来结合该全黑影像与该第二视频来源中一帧以产 生一二元影像；对该二元影像执行一 NOT逻辑运算来产生一更新后的二元影像； 针对该更新后的二元影像中每一列，对位于同一列上的像素进行一AND逻辑运算；以及依据该AND逻辑运算应用于该更新后的二元影像中每一列的结果来找出该黑框边缘。
7. 如权利要求6所述的方法，其中对该第二视频来源进行该黑框边缘检 测的步骤还包含有在执行该XOR逻辑运算之前，预先处理该帧以使具有一原始像素值等 于或小于一预定值的每一像素具有等于0的一更新后的像素值。
8. 如权利要求5所述的方法，其中依据该多个已移除黑框边缘的帧来产 生该目标端扫描线影像的步骤包含有依据该多个已移除黑框边缘的帧与该第 一 视频来源之间的画面分辨率 差异或画面更新率差异，调整该多个已移除黑框边缘的帧来产生多个调整后 的已移除黑框边缘的帧；以及依据该多个调整后的已移除黑框边缘的帧来产生该目标端扫描线影像。
9. 如权利要求5所述的方法，其中依据该多个已移除黑框边缘的帧来产 生该目标端扫描线影像的步骤包含有依据该多个已移除黑框边缘的帧来产生一扫描线影像；以及依据该多个已移除黑框边缘的帧与该第 一 视频来源之间的画面分辨率差异或画面更新率差异，调整该扫描线影像来产生该目标端扫描线影像。
10.如权利要求5所述的方法，其中接收该来源端扫描线影像的步骤还包含有依据该多个已移除黑框边缘的帧与该第 一 视频来源之间的画面分辨率 差异或画面更新率差异，调整该来源端扫描线影像。
11.如权利要求1所述的方法，其中提供该目标端扫描线影像的步骤包含有依据该第二视频来源与该第 一视频来源之间的画面分辨率差异或画面更新率差异，调整该第二视频来源的多个帧来产生多个调整后的帧；以及 依据该多个调整后的帧来产生该目标端扫描线影像。
12. 如权利要求5所述的方法，其中提供该目标端扫描线影像的步骤包含有依据该第二视频来源的多个帧来产生一扫描线影像；以及 依据该第二视频来源与该第 一视频来源之间的画面分辨率差异或画面 更新率差异，调整该扫描线影像来产生该目标端扫描线影像。
13. 如权利要求1所述的方法，其中接收该来源端扫描线影像的步骤还 依据该第二视频来源与该第 一视频来源之间的画面分辨率差异或画面更新 率差异来调整该来源端扫描线影像。
14. 如权利要求1所述的方法，其中自该来源端扫描线影像中选取出至 少该比较帧的步骤包含自该来源端扫描线影像中选取出多个比较帧；以及找 出该对目标同步点的步骤包含有分别比较该多个比较帧与该目标端扫描线影像来找出多对候选匹配点； 检查该多对候选匹配点而自该多对候选匹配点中选取出 一对初步同步 点，其中该对初步同步点包含有 一 初步来源端同步点与 一 初步目标端同步点；自对应该初步来源端同步点的一特定比较帧中选取出一比较区段；以及 将该比较区段与该目标端扫描线影像中对应该初步目标端同步点的一 部分进行比较，以决定该对目标同步点。
15. 如权利要求14所述的方法，其中该比较区段为对应该初步来源端同 步点的该特定比较帧中的中间部分。
16. 如权利要求14所述的方法，其中检查该多对候选匹配点的步骤包含有针对每一对候选匹配点，依据相对应的 一对候选匹配点、该第二碎见频来 源的 一开始时间点以及该第 一视频来源的 一开始时间点来计算出 一斜率指 标值；检查该斜率指标值来决定相对应的一对候选匹配点为一对有效的候选 匹配点或是一对无效的候选匹配点；以及自多对有效的候选匹配点中选取其一来作为该对初步同步点。
17. 如权利要求16所述的方法，其还包含有检查有效的候选匹配点的对数相较于无效的候选匹配点的对数的比率， 来决定该第一影像来源与该第二影像来源之间的相似度。
18. 如权利要求14所述的方法，其中将该比较区段与该目标端扫描线影 像中该部分进行比较的步骤包含有针对该目标端扫描线影像提供一滑动窗，其中该滑动窗的大小等于该比 较区段的大小；依据该比较区段与该滑动窗，计算出多个影像差异值；以及 依据由该滑动窗所定义且具有该多个影像差异值中的一最小值的一目 标端影像来决定该对目标同步点。
19. 如权利要求14所述的方法，其中将该比较区段与该目标端扫描线影 像中该部分进行比较的步骤包含有针对该目标端扫描线影像提供一滑动窗，其中该滑动窗的大小等于该比 较区段的大小；依据该比较区段与该滑动窗，计算出多个影像相关值；以及 依据由该滑动窗所定义且具有该多个影像相关值中的一最大值的一目 标端影像来决定该对目标同步点。
20. 如权利要求14所述的方法，其中将该比较区段与该目标端扫描线影 像中该部分进行比较的步骤包含有针对该目标端扫描线影像提供一滑动窗，其中该滑动窗的大小等于该比较区段的大小；依据该比较区段与该滑动窗，计算出多个影像差异值； 依据该比较区段与该滑动窗，计算出多个影像相关值；以及 依据由该滑动窗所定义且具有该多个影像差异值中的一最小值及该多个影像相关值中的一最大值的一目标端影像来决定该对目标同步点。
21. 如权利要求14所述的方法，其中分别比较该多个比较帧与该目标端 扫描线影像来找出该多对候选匹配点的步骤包含有针对该多个比较帧中的每一比较帧对该目标端扫描线影像提供一滑动窗，其中该滑动窗的大小等于该比较 帧的大小；依据该比较帧与该滑动窗，计算出多个影像差异值；以及依据由该滑动窗所定义且具有该多个影像差异值中的一最小值的一目 标端影像来决定一对候选匹配点。
22. 如权利要求14所述的方法，其中分别比较该多个比较帧与该目标端 扫描线影像来找出该多对候选匹配点的步骤包含有针对该多个比较帧中的每一比较帧对该目标端扫描线影像提供一滑动窗，其中该滑动窗的大小等于该比较 帧的大小；依据该比较帧与该滑动窗，计算出多个影像相关值；以及 依据由该滑动窗所定义且具有该多个影像相关值中的一最大值的一目 标端影像来决定一对候选匹配点。
23. 如权利要求14所述的方法，其中分别比较该多个比较帧与该目标端 扫描线影像来找出该多对候选匹配点的步骤包含有针对该多个比较帧中的每一 比较帧对该目标端扫描线影像提供一滑动窗，其中该滑动窗的大小等于该比较 帧的大小；依据该比较帧与该滑动窗，计算出多个影像差异值； 依据该比较帧与该滑动窗，计算出多个影像相关值；以及 依据由该滑动窗所定义且具有该多个影像差异值中一最小值与该多个 影像相关值中一最大值的一 目标端影像来决定一对候选匹配点。
全文摘要
本发明提供一种经由扫描线影像比对机制来找出一对目标同步点的方法，该对目标同步点包含有对应至一来源端的一来源端同步点与对应至一目标端的一目标端同步点。该方法包含有接收一来源端扫描线影像，其对应来自该来源端的一第一影像；自该来源端扫描线影像中选取出至少一比较帧；提供一目标端扫描线影像，其对应该目标端的一第二视频来源；以及比较该比较帧与该目标端扫描线影像来找出该对目标同步点。
文档编号H04N5/04GK101437112SQ20081009304
公开日2009年5月20日 申请日期2008年4月15日 优先权日2007年11月14日
发明者叶家宏, 施宣辉, 蓓 王, 郭宗杰 申请人:智辉研发股份有限公司