图像差检测方法和装置、场景转换检测方法和装置、以及图像差分检测方法和装置的利记博彩app

专利名称：图像差检测方法和装置、场景转换检测方法和装置、以及图像差分检测方法和装置的利记博彩app
技术领域：
本发明涉及能够检测图像差或视频的场景转换的场景转换检测方法 和装置。 .背景技术以往，在记录有图像或视频的装置中，为了检测任意2个图像的有 意差或视频场景的变化点，必须通过手动输入操作选出图像和视频，利 用肉眼确认彼此的差异，需要很多的时间和劳力。为了消除这种问题，提出了用于发现视频的场面转换场景(以后称 为"场景转换")的方法(例如参照专利文献l、 2和3)。在专利文献l中示出如下方法在进行编码的编码器的前级的预视频信号处理装置中，计算在时间上前后两个视频的直方图的各等级的差的绝对值的合计，在 计算出的合计超过规定阈值的情况下，判定为是场景转换。并且，在专利文献2中示出如下方法读出存储在HDD等存储介质中的视频数据，来判定场景转换。并且，在专利文献3中示出如下方法将检测场景转换的图像数据分割为块单位，以块单位来检测场景转换。专利文献l:日本特开2004-282318号公报(第7页、图2) 专利文献2:日本特开2002-064823号公报(第5页、图1 )' 专利文献3:日本特开平5-284369号公报(第4页、图l) 但是，专利文献1所示的方法是通过设于编码器前级的预视频信号 处理装置来检测场景转换的方法，所以，无法应用于从视频解码器到编 码器的结构为一体的编码器芯片组，即无法应用于具有不向外部输出场 景转换提取结果的单元的视频记录装置。并且，即使在编码器芯片组输 出场景转换提取结果的情况下，每当所使用的编码器芯片组的种类发生12变化，所以，存在每当编码器芯片组的 种类发生变化时都需要进行视频记录装置的调整的问题。并且，专利文献2所示的方法是根据压縮并记录在HDD上的视频流来检测场景转换的方法，所以，在记录处理完成后，需要离线进行花费 很多时间的处理，并不实用。并且，专利文献3所示的方法通过将场景转换的区域分割为多个块，从而能够降低处理单位的负荷，但是，为了检测场景转换，必须对全部 块执行处理，无法縮短场景转换的处理时间。发明内容因此，本发明是为了解决上述现有技术的课题而完成的，其目的在 于，提供能够迅速进行图像差或视频的场景转换检测的方法和装置。本发明的图像差检测方法检测2个图像数据的差，其特征在于，该图像差检测方法具有以下步骤区域提取步骤，在该步骤中，从2个图像数据中提取其一部分作为解析对象区域的数据；以及图像差检测步骤， 在该步骤中，根据所述2个图像数据的通过所述区域提取步骤提取出的 解析对象区域的图像特征值的差，来检测所述2个图像之间的图像差， 所述2个图像数据的解析对象区域彼此具有相同的大小。根据本发明，能够迅速检测图像的差或视频的场景转换。


图1是示出本发明的实施方式1的场景转换检测装置的结构的框图。 图2是示出实施方式1的场景转换提取装置的区域分割的一例的图。 图3是示出与图2所示的区域分割对应的处理歩骤的流程图。 图4是示出实施方式1的动作的流程图。图5 (a) (d)是示出在实施方式2中使用的将检测对象区域的数量作为变量的权重函数的例子的图。图6 (a) (d)是示出在实施方式2中使用的针对每个检测对象区 域设定的权重函数的例子的图。图7是示出实施方式3的场景转换提取装置的结构的框图。
图8是实施方式3的所分割的区域和对应区域的直方图的说明图。
图9是示出实施方式3的动作的流程图。
图10是示出实施方式4的场景转换提取装置的结构的框图。
图11是示出实施方式4的动作的流程图。
图12是示出实施方式5的场景转换提取装置的结构的框图。
图13是示出实施方式5的动作的流程图。
图14是示出实施方式6的场景转换提取装置的结构的框图。
图15是示出实施方式6的动作的流程图。
图16是示出本发明的实施方式7的场景转换检测装置的结构的框图。
图17是示出实施方式7的场景转换提取装置的区域分割的一例的图。
图18是示出实施方式7的动作的流程图。 图19是示出实施方式7的解析对象区域的选择方法的图。 图20是示出实施方式7的解析对象区域的选择方法的图。 图21是示出在实施方式7中并行进行各图像的场景转换处理时的主 任务的流程图。
图22是示出在实施方式7中并行进行各图像的场景转换处理时的针 对图像A的处理FA的流程图。
图23是示出在实施方式7中并行进行各图像的场景转换处理时的针 对图像B的处理FB的流程图。
图24是示出本发明的实施方式8的场景转换提取装置的结构的框图。
图25 (a)和(b)是示出实施方式8的针对连续的视频数据在部分 区域中进行场景转换检测时使用的数据的图。
图26是示出在实施方式8中用于决定追加图像区域的处理的流程图。
图27是示出本发明的实施方式9的场景转换提取装置的结构的框图。
图28是示出实施方式9的动作的流程图。
图29是示出实施方式9的场景转换提取装置的变形例的框图。
标号说明
1:场景转换检测装置；2:场景转换控制部；3:视频输入部；4: 开关；5a、 5b:帧存储器；6a、 6b:区域提取部；7:区域控制部；8a、 8b:直方图生成部；9:差分提取部；10:场景转换判定部；11:直方图 缓存器；12:部分区域直方图生成部；13:累积差异值缓存器；14:编 码流输入部；15:解码器；16:解码视频缓存器；17;阈值设定部；103:
视频输入部；106a、 106b:区域提取部；107a、 107b:区域选择部；108a、 108b:读出控制部；llla、 lllb:流缓存器；112a、 112b,.解码器；113:
HDD; 118:阈值设定部；119:图像选择部。
具体实施例方式
实施方式1
图1是示出本发明的实施方式1的场景转换检测装置1的结构的框 图。本实施方式所示的场景转换检测装置1如图1所示，从未图示的硬
盘、光盘、或视频信号线等视频数据的供给源，通过视频输入部3输入
有视频数据p。
场景转换检测装置1具有开关4;第1和第2帧存储器5a、 5b; 第1和第2区域提取部6a、 6b;第l和第2直方图生成部8a、 8b;差分
提取部9;场景转换判定部10;场景转换控制部2;以及区域控制部7。
场景转换控制部2检测场景转换检测动作的开始、结束、以及场景 转换判定部10的判定结果(场景转换提取结果)Nse，虽然没有图示， 但是在存储器中进行保存，或者控制将来自视频输入部3的视频数据P 切换至帧存储器5a或帧存储器5b的开关4。
帧存储器5a、 5b分别具有视频数据的至少一个画面、即l帧的数据
区域，临时存储l帧的视频数据。
开关4以1帧为单位，将作为检测场景转换的对象的2个视频信号的输入分别切换至帧存储器5a或帧存储器5b。下面，用PA表示通过开 关4划分而保存在帧存储器5a侧的视频数据，另一方面，用PB表示通过 开关4划分而保存在帧存储器5b中的视频数据。
区域提取部6a、 6b提取分别存储在帧存储器5a、 5b中的1帧的视 频数据的一部分，作为解析对象区域的视频数据Pea、 Peb。下面，有时 将某个"区域的视频数据的提取"简称为"区域的提取"。
区域控制部7根据场景转换控制部2的指示，设定视频数据的1帧 的全部区域中被区域提取部6a、 6b提取出的区域。
在本实施方式中，如后所述，针对由区域提取部6a、 6b提取出的区 域的图像数据，由直方图生成部8a、 8b生成直方图，由差分提取部9提 取两个直方图的差分，所以，由区域控制部7设定的区域是解析对象区 域，也是场景转换检测对象区域。
直方图生成部8a、 8b针对区域提取部6a、 6b提取出的场景转换检 测对象区域的部分视频数据生成直方图。
在直方图的生成时，只要生成视频数据的1个或2个以上的成分的 直方图即可，例如，可以是亮度信号的直方图，也可以是色差信号的直 方图，还可以是颜色信号(R、 G、 B信号)的直方图。
区域提取部6a、 6b和直方图生成部8a、 8b分别独立地设置在视频
数据PA侧和视频数据PB侧，进行同样的处理。
差分提取部9利用下述式(1)计算直方图生成部8a生成的直方图 HA和直方图生成部8b生成的直方图HB的差(差异值)d。 [数式1]
"d…(1)
其中，HA和HB是视频数据PA、 PB中的解析对象区域的数据Pea、 Peb的直方图，Se表示视频数据Pea、 Peb的面积(由像素数表示的面积)。 这里，设视频数据Pea、 Peb的面积彼此相同。
并且，
HA= (HistA (1)， HistA (2)， ...HistA (k)， ...HistA (K)} ...(2)
并且，HistA (k)表示视频成分l K中第k个要素(级别k)的度
数(要素值)。这里，设k取l K (=255)的值。并且， [数式2]
表示()内的每个要素成分的差分的绝对值之和，即
|HistAi(l) - HistM(l)| +,. + |HistAi(k) - HistBi(k)| +...+ |HistM(K) - HistBi(K) 1 .
场景转换判定部10进行差分提取部9计算出的差异值d和由阈值设 定部17提供的场景转换判定用阈值(以下称为"场景转换阈值")dth的比 较，如果差异值d超过场景转换阈值dth，即如果满足以下的数式(3)所 示的条件，则判定为产生了场景转换。
d2dth …(3)
接着，说明场景转换检测装置1的动作。当在场景转换控制部2中 设定场景转换检测动作开始的指示后，开始从视频输入部3提供视频数 据。开关4按照来自场景转换控制部2的帧存储器输入控制信号CH，如
果输入帧的作为场景转换对象的帧编号为奇数，则将输入视频数据P提 供给帧存储器5a，如果为偶数，则将视频数据P提供给帧存储器5b。另 外，在进行场景转换检测时，也可以代替求出前后相邻的帧(第奇数帧 和第偶数帧)之间的差异，而求出彼此隔开几个帧的帧之间的差异。例 如，也可以针对每规定数量的帧提取1帧，根据前后相邻提取出的帧之 间的差异来检测场景转换。该情况下，将依次提取出的帧的视频数据交 替提供给帧存储器5a、 5b并存储。例如，将(动作开始后)第奇数个提 取的一个帧提供给一个帧存储器例如5a，将第偶数个提取的另一帧提供 给另一个帧存储器5b。并且，在2帧之间检测场景转换的情况下，作为 场景转换检测对象的2帧可以在时间上不接近，也可以在时间上隔开。 该情况下，也可以构成为将一个帧固定为基准帧，依次更换与其进行比 较的另一个帧，由此，进行针对基准帧的场景转换检测。
帧存储器5a、 5b输入有由开关4分配的l帧的视频数据，并保持到
17输入作为下一比较对象的视频数据为止。并且，场景转换控制部2将区 域提取指示CpE发送到区域控制部7。接收到区域提取指示CPE的区域控
制部7决定应该由区域提取部6a、 6b提取的区域。
这里，如图2所示，将视频数据中的1帧的图像分割为8个带状的 区域(区乃至薄片)，根据判定有无场景转换的试行次数n (根据是第几 次的试行)，成比例地增加提取对象区域，从而成比例地增加场景转换检 测对象区域。这点在后面进一步详细地说明。该情况下，区域控制部7 从8个区域(区)中选择一个或2个以上的区域(区)，决定场景转换检 测对象区域，对区域提取部6a和6b赋予场景转换检测对象区域的提取
指示(区域控制信号)CPA—a和CpA—b。
从区域控制部7接收到指示的区域提取部6a、 '6b从保持在帧存储器 5a、 5b中的1帧的视频数据中，提取由区域控制部7设定的部分区域、 例如图2的第奇数个帧的区域Zl和第偶数个帧的区域Zl的部分视频数 据(场景转换检测对象区域的部分视频数据)。
区域提取部6a、 6b分别对应地设置在视频数据PA侧和PB侧，输出 部分区域的视频数据Pea、 Peb。直方图生成部8a和8b针对所提取出的 第奇数个帧的区域Z1和第偶数个帧的区域Z1的视频数据，分别生成直
方图hA和he。
在本实施方式中，视频数据PA被分割为几个区域，所分割的区域随 着试行次数n而增加。在图2和图3的例子中，在11=1时，仅将区域Z1 作为场景转换检测对象区域，在11=2时，将区域Z1和区域Z2作为场景 转换检测对象区域，在『3时，将区域Z1、区域Z2和区域Z3作为场景 转换检测对象区域，以后同样，根据试行次数n来决定场景转换检测对 象区域，最终，在r^N (=8)时，与视频数据的全部区域一致。
这里，将该试行次数n设为变量，上述数式(2)如下表现。<formula>formula see original document page 18</formula>
艮口，图像全部区域Pa中的直方圓(直方图的级别k的度数)HistA(k)能够表现为区域单位的直方图hisUi (k)的N区域的总和。并且， 设区域Zn中的部分区域的直方图hM为
hAn= {histAn (1)， ...histAn (k)， ...histAn (K)} ... (5)
时，到区域Zn为止的累积直方图M^能够以下述数式(6)表现。 [数式4]
M^ =Z =jS脇力(l)，…,Zto",W,…,S脍"'(K)！
L '.=i 卜i J
(6)
并且，使用到区域Zn为止的累积直方图M^，能够以下述数式(7) 表现到区域Zn为止的差异值dn。 [数式5]
《=-
2》,
S M加)
1
2》,
+ -■ +
.(7)
在数式(7)中，s」表示在第n次试行中，在作为场景转换检测对象 的区域Zl Zn中第j (j=l n)个提取出的区域所包含的像素数， [数式6]
并且，如果r^N、即如果全部区域为对象，则 [数式7]
么。a fceJC
(8〉
接着，使用图2和图3说明对2个图像的分割区域(部分区域)阶 段性地进行场景转换检测的方法。开始场景转换检测后，首先，在一个 分割区域、例如区域Z1中进行场景转换检测。即，针对第奇数个帧的图 像PA的区域Zl (图2 (a))和第偶数个帧的图像PB的区域Zl (图2 (b)) 进行场景转换判定(S102)。
19接着，在步骤S103中，进行场景转换的结果判定，如果存在场景转
换，则转移到场景转换信息记录S108，结束场景转换检测处理(SllO)。
如果没有场景转换，则追加区域Z2，在区域Z1和区域Z2的组合(图 2 (c)和(d))中进行场景转换的判定(S104)。
然后，在步骤S105中，进行场景转换的结果判定，如果存在场景转 换，则转移到场景转换信息记录S108，结束场景转换检测处理(SllO)。
另一方面，如果没有场景转换，则进一步追加区域(例如区域Z3)， 在增加了追加区域的区域(区域Z1、 Z2、 Z3的组合^中进行场景转换判 定。以后同样，反复进行如下处理如果没有产生场景转换则追加区域， 在增加了追加区域的区域组中进行场景转换判定。
然后，最终在全部区域(图2 (e)和(f))中进行场景转换的判定 (S106)。
在步骤S107中，如果存在场景转换，则转移到场景转换信息记录 S108，结束场景转换提取处理，另一方面，在没有场景转换的情况下， 将没有场景转换的情况作为最终的场景转换判定结果进行记录(S109)， 结束场景转换提取处理(SllO)。
这样，在成为画面的一部分的区域中进行场景转换判定，如果检测 出场景转换，则结束场景转换处理，如果未能检测出场景转换，则进一 步扩大区域继续进行场景转换提取处理。由此，不需要针对图像PA和图 像PB的全部区域进行处理，所以，能够提早完成场景转换提取处理。
这种用于通过逐一增加分割区域来扩大解析对象区域(特性检测对 象区域)的控制，通过区域控制部7进行。
下面，参照图4更详细地说明上述处理。
开始场景转换提取处理后(S201)，从场景转换控制部2接收到区域 提取指示Cre的区域控制部7判定是否存在下一个作为检测对象而追加的 区域(S202)。
如果存在作为检测对象而追加的区域，则决定场景转换检测对象区 域，指示区域提取部6a、 6b进行图像Pa和團像Pb的对象区域的提取 (S203)。接收到提取区域的指示的区域提取部6a、 6b从存在于帧存储器5a、 5b中的图像PA和图像PB中，提取场景转换检测对象区域(S204a、 S204b)。 与提取出的对象区域对应的场景转换检测对象区域的部分视频数据被发 送到直方图生成部8a、 8b，针对各个区域进行直方图的生成(S205a、 S205b)。进而，通过差分提取部9计算直方图的差分值即差异值(S207)， 如果差异值大于场景转换阈值dth，则判定为产生了场景转换(检测出场 景转换)，如果差异值小于等于场景转换阈值dth，则判定为没有产生场景 转换(没有检测出场景转换)(S208)。
在产生了 (检测出)场景转换的情况下，结束处理。
另一方面，在判定为没有产生场景转换的情况下(没有检测出场景 转换)，再次在步骤S202中追加作为场景转换对象的区域，在增加了追 加区域的区域中再次进行上述处理。以后继续进行处理，直到产生了场 景转换、或无法通过追加分割区域(区)来扩大场景转换检测区域为止 (步骤S202中的"没有"判定)。
通过如上所述那样构成，能够检测视频中的2个图像之间的场景转换。
并且，没有将要比较的2个图像的全部区域始终作为场景转换检测 用的对象区域，所以，能够减少场景转换提取处理所需要的时间。并且， 能够抑制进行处理的场景转换检测装置自身的负荷。
并且，在分割区域中，在早期作为场景转换提取区域的区域、例如 区域Z1和区域Z2中，存在充分的用于判定为场景转换的差的情况下， 不需要对全部区域进行解析，所以，能够高速完成场景转换提取。
并且，在本实施方式中，针对图像的全部区域固定场景转换检测的 对象区域的最大值，但是该最大值也可以是可变的。'即，能够构成为针 对每次场景转换检测来改变场景转换检测的对象区域的最大值(最大限 度)，由此，控制场景转换检测的灵敏度和速度。由此，例如在电影或音 乐节目中，在图像的下部区域(接近下端的区域)中良好显示的字幕中 不反映场景转换检测，能够提高场景转换的检测精度。
并且，在本场景转换装置组装在其他系统中的'fc况下等、系统整体的负荷高的情况下，通过减小检测区域的最大值、或使中途区域不包含 在检测对象中，能够快速完成场景转换检测动作，其结果，能够对减轻 系统的负荷作出贡献。
并且，在本场景转换装置中，为了检测图像的差，使用了直方图， 但是，也可以通过直方图以外的方法、例如使用运动矢量的方法或对要 比较的图像的特定位置的像素值进行直接比较，来检测场景转换。艮口， 也可以根据直方图以外的特征值的差来检测场景转换。在根据直方图以 外的特征值进行场景转换检测的情况下，例如，代替图1的直方图生成
部8a、 8b，设置求出视频特征值的单元，在差分提取部9中，求出视频 特征值的差，在图4的步骤S205a、 205b中，代替生成直方图，而求出 视频特征值，在步骤S207中，代替直方图差异值，求出视频特征值的差 即可。
并且，在本实施方式中，说明了一个视频数据内不同的帧数据之间 的图像的差、即场景转换，但是，也能够应用于完全不同的视频数据的 任意的图像的差。进而，不仅是视频，也能够应用于多个静态图像。
这些情况下，作为开关4，不进行基于奇数帧、偶数帧的分配，而 是将作为比较对象的2个帧中的一个提供给帧存储器5a，将另一个提供 给帧存储器5b。
实施方式2
本发明的实施方式2的结构与在实施方式1中说明的图1相同，但 是，其特征在于，求出被赋予了根据场景转换检测对象区域所包含的分 割区域(区)的数量n而变更的权重的差异值dn。该情况下，例如以下 述式(9)来表现求出差异值d。的运算。
""-4^i: (^"-仏》 ...(9)
2》乂
在式(9)中，M^和M^是到试行次数n为止(到第n次试行为止) 的图像PA和PB的累积直方图，f (sn)是根据试行次数n和场景转换对象 区域的像素数s而变化的权重函数。
22图5 (a) (d)示出权重函数的例子。在图5 (a) (d)中，横 轴示出试行次数n，纵轴示出权重f (sn)。
图5 (a)所示的权重函数针对区域的变化，权重没有变化，而且是 l这样的常数值，所以，成为与实施方式l所示的结果相同的结果。
图5 (b)所示的权重函数是权重与对象区域成比例的例子，存在对 象区域变大时更容易检测场景转换的倾向。相反，在对象区域小的情况 下，能够降低场景转换的检测灵敏度。这一特征起到抑制以下的错误判
定的效果在图像PA和PB的状态下，尽管就图像整体而言应该判定为不
产生场景转换，但在图像的一部分、例如实施方式1中的区域Z1中进行
场景转换判定的情况下，会误判定为存在场景转换。
图5 (c)所示的权重函数是对象区域越少权重越大的例子，在对象 区域少的阶段，能够更早地检测出场景转换。通过这样设定权重函数， 在对象区域少的状态下，也能够进行场景转换检测，所以，能够更高速 地完成场景转换检测。
在图5 (d)所示的权重函数中，是针对特定区域提高检测灵敏度的 例子，在该例子中构成为，在大致一半区域为对象区域时，灵敏度提高。 与实施方式1相同，如果是区域的选择是从图像上侧开始阶段性地增加 的情况，则能够针对中心附近提高灵敏度。
通过采取上述结构，在分割区域来阶段性地执行场景转换检测的情 况下，能够抑制由于对象区域仅是画面的一部分而引起的误判定。艮口， 能够改善场景转换检测精度。 '
并且，通过改变权重函数的特性，能够进行重视特定区域的判定。
并且，也可以在求出第n次试行的差异值(使用到区域Zn为止的直 方图时的差异值)dn时，如下述式(10)所示，对在各区域的直方图的 各级别的度数(要素值)的差(histAi (k) -histBi (k))乘以各区域的权
重函数f (i)后的值进行累计，求出其总和，由此求出差异值dn，这样，
能够进一步提高针对区域Zi (用标号i表示的位置的区域(区))的依赖度。<formula>formula see original document page 24</formula>...(10)
图6 (a) (d)示出权重函数f (i)的例子。
该情况下，如图2所示，i是区域编号，例如如图2所示，存在8个 区域，在用标号Zi (i=l、 2、 ...8)表示的情况下，区域编号i根据其位 置，例如从上往下依次为1、 2、...。
并且，通过动态变更权重函数，从而能够动态地控制场景转换的检 测精度。例如，根据图像的种类和内容来变更函数的特性，如果是关于 运动的图像，则设为图5 (b)所示的权重函数，变更为在图像整体中进 行判定的方向，如果是关于戏剧的图像，则设为图5 (d)所示的权重函 数，变更为在图像的中心附近进行判定，由此，能够进行与图像性质一 致的场景转换检测。在本实施方式中，示出权重函数根据图像区域或大 小而变化的例子，但是，也可以使用与视频成分(直方图的级别)k对应 的权重函数。
并且，在本实施方式中，示出了改变权重函数的特性的例子，但是， 也可以根据场景转换的试行次数或场景转换检测的对象区域来改变阈 值。
在该情况下，根据区域控制部7的输出，决定(设定乃至变更)阈 值设定部17输出的阈值dth，将这样决定的阈值dth提供给场景转换判定 部10，场景转换判定部10使用从阈值设定部17提供的阈值进行场景转 换判定。
实施方式3
图7是示出本发明的实施方式3的场景转换检测装置1的结构的框图。本实施方式与实施方式1相比，在图7中附加了第1和第2直方图
缓存器lla、 llb这点成为结构上的差异。在直方图缓存器lla、 llb中存 储有开始视频数据Pa和Pb的场景转换检测后到进行了试行次数n的场景 转换检测的区域Zl Zn的直方图的累积值 [数式10]
ma =lX —;|>'^(1),...，1>^(",''、1>^(幻1…(11) '-i L /=i '=1 j
在式(11)中，hAi是图8所示的区域Zi中的部分直方图。并且，在 对图像Pa迸行n分割(8分割)的情况下，整体的直方图ha能够表现 为。
关于从区域提取部6a、 6b向直方图生成部发送的图像区域，在实施 方式1中，在试行次数为n的情况下，向直方图生成部8a、 8b发送作为 场景转换对象区域的区域整体
的图像数据，但是，在实施方式3中，仅向直方图生成部8a、 8b发送新 作为场景转换对象区域的区域(的图像数据)。直方图生成部8a仅针对 由Pm所示的部分区域生成直方圈hAn。在直方图缓存器lla、 lib中存储 有到前一个区域Z (n-l)为止的直方图的和(到上次试行(第(n-l)次 试行)为止的累积直方图) [数式13]
所以，通过下述数式(14)，能够求出到区域Zn为止的累积直方图 (到本次试行(第n次试行)为止的累积直方图)。
25MAn二MA(n一p十h^ ... (14)
如上所述，能够以场景转换检测对象区域(Zn)为单位求出直方图、，根据已经存储在直方图缓存器lla、 lib中的到第(n-l)次试行为止的累积直方图MA (n.n，求出到第n次试行为止的累积直方图Mah。
接着，参照图9的流程图进行说明。开始场景转换提取处理后(S301)，从场景转换控制部2接收到区域提取指示Cpe的区域控制部7判定是否存在作为下一检测对象而追加的区域(S302)。
接收到提取区域的指示的区域提取部6a、 6b根据存在于帧存储器5a、 5b中的图像PA和PB，决定新成为场景转换检测对象区域的区域(追加对象区域)Pah和PBn(S303 )，提取该区域Pa 和区域PBn(S304a、S304b)。提取出的对象部分区域的视频数据、即场景转换检测对象区域的部分视
频数据被发送到直方图生成部8a、 8b，针对部分区域PAn和PBn进行直方
图h^和hBn的生成(S305a、 S305b)，并且，取记录在直方图缓存器lla、
lib中的到第(n-l)次试行为止的累积直方图MA(n-p与Mb(^)的和，从而能够求出到第n次试行为止的MAn和MBn。并且，通过以下式(15)
表示的计算，求出到区域Zn为止的差异值dn (S307)。[数式14]
《')化J-( "+U '' ' (15〉2》,^
在式(15)中，MA(n-P、 Mb(^是到第(n-l)次试行为止的累积直方图，在上次的累积直方图计算步骤S306a、 S306b的处理中求出，并存储在直方图缓存器lla、 llb中。
并且，在步骤S308中，如果满足
dn2dth ... (3)
则判断为产生了场景转换，而结束(S309)，如果判断为没有产生场景转换，则返回步骤S302。
继续进行上述动作，直到判定为产生场景转换、或在步骤S302中判断为没有追加区域为止。
通过如上所述那样构成，能够检测2个图像的场景转换。200880016929
并且，没有将2个图像的全部区域始终作为场景转换检测用的对象区域，所以，能够减少场景转换提取处理所需要的时间。并且，能够抑制进行处理的场景转换检测装置自身的负荷。
并且，在分割后的区域中，在早期作为场景转换提取区域的区域、例如区域Z1或区域Z2中，存在用于判定为场景转换的充分的差的情况下，能够中断(结束)场景转换检测处理，不用将全部区域作为场景转换对象区域来进行处理即可，其结果，能够高速完成场景转换检测处理。
并且，相反，在作为针对特定区域进行场景转换检测处理的结果为，即使针对剩余区域进行了场景转换检测也只是不能被判定为场景转换的差异值的情况下，能够中断(结束)场景转换检测处理，与上述同样，能够高速完成场景转换检测处理。
并且，对区域进行分割，以分割后的区域为单位求出部分性的直方图，所以，可以减少用于生成直方图的图像的搜索区域(解析对象区域)。
并且，在求包含新成为对象的区域在内的区域的直方图的情况下，针对新成为区域的区域以外的部分，再次利用已经求出的直方图，对其加上新成为对象的区域的直方图，所以，不执行用于针对已经求出直方图的区域再次求出直方图的运算处理即可，能够实现处理时间的节约、处理所需要的存储容量的节约、以及未图示的CPU资源的节约。
并且，在本实施方式中，在此前求出的直方图(到上次试行为止的累积直方图)中加上新区域的直方图(本次试行新加入的区域的直方图)后，判定有无场景转换，但是，如果通过到上次试行为止的累积直方图的值，就能够判定即使新区域的直方图取任何值也不会导致场景转换，则也可以仅进行直方图的相加处理，而不进行场景转换的判定处理。由此，能够高速进行处理。
在实施方式3中，与实施方式1所述的情况相同，也可以根据直方
图以外的图像的特征值的差来检测场景转换。在根据直方图以外的特征
值进行场景转换检测的情况下，例如，可以代替图7的直方图生成部8a、8b，而设置求出视频特征值的单元，代替直方图缓存器lla、 llb，而设置保持累积视频特征值的缓存器，差分提取部9求出累积视频特征值的差，在图9的步骤S305a、 305b中代替生成直方图，而求出视频特征值， 在步骤S306a、 S306b中，代替累积直方图，而求出累积视频特征值，在 步骤S307中，代替累积直方图差异值，而求出累积视频特征值的差。 实施方式4
图10示出实施方式4的结构。本发明的实施方式4相对于实施方式 3，其特征在于，没有图7的直方图生成部8a、 8b和直方图缓存器lla、 llb，而附加了部分区域直方图生成部12a、 12b和累积差异值缓存器13。
与实施方式3同样，与新提取出的区域P^和区域PBn对应的场景转换检
测对象区域的部分视频数据被取入部分区域直方图生成部12a、 12b，生
成各个区域中的部分区域直方图h^和hBn。并且，差分提取部9根据部
分区域直方图h^和hBn求出区域Zn的部分区域差异值en。在累积差异 值缓存器13中保持到第(n-l)次试行为止的累积差异值e (n-l)，在差 分提取部9中，根据新的部分区域差异值en求出累积差异值e (n)。计算 出的累积差异值e (n)被保存在累积差异值缓存器13中，用于下一区域 Z (n+l)中的场景转换判定用。利用在差分提取部9中计算出的累积差 异值e (n)，通过场景转换判定部10来判定有无场景转换。
接着，通过图11所示的流程图说明本实施方式的动作。开始场景转 换提取处理后(S401)，从场景转换控制部2接收到区域提取指示CpE的 区域控制部7判定是否存在作为下一检测对象而追加的区域(S402)。接 收到提取区域的指示的区域提取部6a、 6b根据存在于帧存储器5a、 5b 中的图像Pa和圈像Pb，决定新成为场景转换检测对象区域的区域PAn和 PBn (S403)，提取该区域PM和PBn (S404a、 S404b)。与提取出的场景转 换对象部分区域对应的场景转换检测对象区域的部分视频数据被发送到
部分区域直方图生成部12a、 12b，针对部分区域PAn和PBn进行直方图
h^和h加的生成(S405a、 S405b)。接着，使用针对提取出的部分区域 P^和PBn的直方图hAn和h^，如下所述求出部分区域差异值en (S406)。 [数式15]
28<formula>formula see original document page 29</formula>
根据这里求出的部分区域差异值en和保持在累积差异值缓存器13 中的到第(n-l)次试行为止的累积差异值e (n-l)，通过 [数式16]
<formula>formula see original document page 29</formula> 求出累积差异值e (n)。
另外，这里假设分割后的各区域的大小相等、即s^i，此时，得出 <formula>formula see original document page 29</formula>其中，标号s,表示用标号i表示的位置的分割区域(区)的面积(像 素数)。在按照位置顺序提取(追加)区域的情况下，第j个提取出的区 和用标号i表示的位置的区相同，i=j。
另一方面，针对区域Zl Zn求出的差异值dn也同样，分割后的区 域的大小彼此相等，即为s^i时，数式(7)表示为
<formula>formula see original document page 29</formula>这里，关于式(18)和式(19)，着眼于直方图的要素(级别)k时， 式(18)能够表示为
(20〉
式(19)能够表示为 [数式20]
'=1
(21)
艮P，可知式(18)和式(20)是针对每个区域求出差异值，而与此 相对，式(19)和式(21)是求出区域整体平均的差异值。
艮P，示出使用部分区域差异值en以及它的和即累积差异值e(n)时， 能够检测区域单位的视频的差。
根据上述结构，以分割后的区域单位来计算差异值，所以，即使在 逐渐扩大区域来判定场景转换的情况下，关于已经求出差异值的区域， 也不需要再次求出差异值，所以，能够高速判定场景转换。
并且，在通过对区域进行分割来判定场景转换的情况下，所保持的 值是差异值这样的标量值，所以，与记录直方图这种矢量值的情况相比，
存储容量很少即可。并且，由于使用存储容:
:少
因此还能够提高运算
在实施方式4中，与实施方式1所述的情况相同，也可以根据直方 图以外的图像的特征值的差来检测场景转换。在根据直方图以外的特征 值进行场景转换检测的情况下，例如，可以代替图IO的部分区域直方图 生成部12a、 12b，而设置求出部分区域视频特征值的单元，在差分提取 部9中，求出视频特征值的累积差异值，在累积差异值缓存器13中，保 持视频特征值的累积差异值，在图11的步骤S405a、 S405b中，代替生 成直方图，而求出视频特征值，在步骤S406中，代替求出分割区域的直 方图的差异值，而求出分割区域的视频特征值的差异值，在步骤S407中， 代替累积直方图差异值，而求出累积视频特征值的差。
实施方式5本发明的实施方式5的基本结构与在实施方式1中说明的图1相同， 但是，其特征在于，视频信号的输入是已编码的视频流；对编码流的图 像区域进行分割而进行解码；以及针对分割后的图像区域中与完成解码 的一个或多个分割区域对应的解码视频数据执行直方图生成。
图12示出实施方式5的结构。图12的整体结构与图1相同，但是， 不设置图1的帧存储器5a、 5b，取而代之，设有解码器15a、 15b和解码 视频缓存器16a、 16b。
在图12中，场景转换控制部2通过开关4，以帧为单位将从编码流 输入部14输入的编码流分配给区域提取部6a或区域提取部6b。区域控 制部7根据来自场景转换控制部2的区域提取指示CPE，对区域提取部 6a进行场景转换检测对象区域的提取指示。区域提取部6a从编码流中提 取场景转换检测对象区域的部分视频数据即编码数据。提取出的编码数
据Pe。mAn和Pe。mBn被发送到解码器15a、15b，以部分区域为单位进行解码。 已被解码的图像数据PdecAn和PdecBn被发送到解码数据缓存器16a、 16b， 已被解码的图像数据被配置在编码前的视频的位置。例如，如果原始视
频是MPEG-2这种以薄片(slice)为单位进行编码的视频压縮方式，则 如图2所示，以薄片为单位进行解码。在解码视频缓存器16a、 16b中配 置有根据场景转换的试行次数而以薄片为单位进行解码的图像数据。直 方图生成部8a、 8b从解码视频数据缓存器16a、 16b中读出已经完成解
.码的一个或多个部分区域的图像数据即解码图像数据PdecA和PdecB，生成 直方图。所生成的直方图HA。和HBn被发送到差分提取部9，在判定部10
中，对在差分提取部9中计算出的差异值d和由阈值设定部17设定的场 景转换阈值dth进行比较，由此来检测场景转换。
接着，通过图13所示的流程图说明本实施方式的动作。开始场景转 换提取处理后(S501)，从场景转换控制部2接收到区域提取指示CpE的 区域控制部7判定是否存在作为下一检测对象而追加的区域(S502)。接 收到提取区域的指示的区域提取部6a、 6b根据以帧为单位的编码流，决
定新成为场景转换检测对象区域的区域PM和区域PBn(S503)，读出与该
区域对应的编码数据Pc。mAn和P隱Bn (S504a、 S504b)。解码器15a、 15b进行编码数据Pe。mM和Pe。mBn的解码(S505a、 S505b)，生成已被解码的
图像，存储在解码视频缓存器16a、 16b中(S506a、 S506b)。
直方图生成部8a、 8b根据保持在解码视频缓存器16a、 16b中的己 被解码的图像数据PdecjP PdeeB，分别生成直方图(S507a、 S507b)，在 差分提取部9中计算直方图的差异值(S508)，进而，在场景转换判定部 10中对阈值dth和差异值进行比较，由此判定场景转换(S509)。在判定 为场景转换的情况下，场景转换检测结束(S510)，另一方面，在没有检 测出场景转换的情况下，设定追加区域(S502)，扩大场景转换检测的对 象区域，继续执行场景转换。
在步骤S502中，在场景转换检测的对象区域中不存在追加区域的情 况下，处理结束(S510)。
通过采取上述结构，仅针对作为场景转换对象的区域执行需要处理 时间的解码处理，所以，能够减轻处理负荷。
并且，如实施方式2那样，根据场景转换对象区域动态地变更进行 场景转换判定的阈值，由此，不需要针对图像区域整体进行场景转换判 定，所以，能够大幅削减在针对编码流进行场景转换判定时成为问题的 解码处理。
在实施方式5中，与实施方式1所述的情况相同，也可以根据直方 图以外的图像的特征值的差来检测场景转换。在根据直方图以外的特征 值进行场景转换检测的情况下，例如，可以代替图12的直方图生成部8a、 8b，而设置求出视频特征值的单元，在差分提取部9中，求出视频特征 值的差异值，在图13的步骤S507a、 S507b中，代替生成直方图，而求 出视频特征值，在步骤S508中，代替求出直方图的差异值，而求出视频 特征值的差异值。
实施方式6
本发明的实施方式6相对于实施方式5，其特征在于，以分割后的 区域单位实施直方图生成，并在直方图缓存器中保持以分割后的区域为 单位的直方图。由此，对于生成过一次直方图的分割区域可以不必反复 进行直方图生成。
32在图14中，场景转换控制部2通过开关4，以帧为单位将从编码流
输入部14输入的编码流分配给区域提取部6a或区域提取部6b。区域控制部7根据来自场景转换控制部2的区域提取指示..Cpe，对区域提取部6a进行场景转换检测对象区域的提取指示。区域提取部6a从编码流中提取场景转换检测对象区域的部分视频数据即编码数据。提取出的编码数
据P,An和P函Bn被发送到解码器15a、15b，以部分区域为单位进行解码。已被解码的图像数据Pdee^和PdeeBn被发送到解码数据缓存器16a、 16b，已被解码的图像数据配置在编码前的视频的位置。例如，如果原始视频
是MPEG-2这种以薄片为单位进行编码的视频压縮方式，则如图2所示，以薄片为单位进行解码。在解码视频缓存器16a、 16b中保持有作为本次解码对象的薄片单位的己被解码的图像数据。直方图生成部8a、 8b从解码视频数据缓存器16a、 16b中读出与分割区域对应的已被解码的图像数
据即解码图像数据PdeeAn和PdecBn，以读出的部分区域为单位生成直方图。将所生成的直方图H^和HBn与以前生成的直方图Ha(^)和HB(n-,)相加，
生成与已经成为对象的区域对应的直方图Ha和Hb。差分提取部9根据直方图Ha和HB计算差异值，在场景转换判定部10中，与场景转换阈值dth进行比较，由此来检测场景转换。
接着，通过图15所示的流程图说明本实施方式的动作。开始场景转换提取处理后(S601)，从场景转换控制部2接收到区域提取指示CpE的区域控制部7判定是否存在作为下一检测对象而追加的区域(S602)。接收到提取区域的指示的区域提取部6a、 6b根据帧单位的编码流，决定新
成为场景转换检测对象区域的区域PAn和区域PBn(S603)，读出与该区域
对应的编码数据P,An和Pe。mBn (S604a、 S604b)。解码器15a、 15b进行编码数据P,An和Pe。mBn的解码(S605a、 S605b)，在解码视频缓存器16a、
16b中生成已被解码的图像数据PdeeM和Pdec^ (S606a、 S606b)。直方图
生成部8a、 8b根据保持在解码视频缓存器16a、 16b中的已被解码的部
分区域的图像数据PdecAn和Pdec加，分别生成与部分区域对应的直方图
(S606a、 S606b)，并且，根据到上次试行为止由直方图生成部8a、 8b求出并保持在直方图缓存器lla、 lib中的到上次试行为止的累积直方图
33Ha(^)和HB(n_D，来求出到在本次试行中作为对象的区域为止的累积直
方图Ha和Hb (S608a、 S608b)。差分提取部9计算直方图Ha和Hb的差异值(S609)，进而，在场景转换判定部10中对阈值dth和差异值进行比较，由此判定场景转换(S610)。在判定为场景转换的情况下，场景转换检测结束(S611)，另一方面，在没有检测出场景转换的情况下，设定追加区域(S602)，扩大场景转换检测的对象区域，继续执行场景转换。在步骤S602中，在场景转换检测的对象区域中不存在追加区域的情况下，处理结束(S611)。
通过采取上述结构，不针对未作为场景转换对象的区域进行需要处理时间的解码处理，所以，能够减轻处理负荷。
并且，以分割后的区域单位来实施解码，所以，MPEG流的解码所需要的缓存器和保持完成解码的已解码数据的缓存器很少即可。特别地，己解码的视频数据的数据大小大，所以，由于不需要已解码数据的缓存器，因此在系统整体的成本降低方面具有效果。并且，通过削减数据量，还具有如下效果针对对存储器的存取数量和存储器采取用的带宽的要求降低。
在实施方式6中，与实施方式1所述的情况相同，也可以根据直方图以外的图像的特征值的差来检测场景转换。在根据直方图以外的特征值进行场景转换检测的情况下，例如，代替图14的直方图生成部8a、 8b，设置求出视频特征值的单元，代替直方图缓存器lla、 llb，设置保持累积视频特征值的缓存器，在差分提取部9中，求出视频特征值的差异值，在图15的步骤S607a、 S607b中，代替生成直方图，而求出视频特征值，在步骤S608a、 S608b中，代替计算累积直方图，而求出累积视频特征值，在步骤S609中，代替求出累积直方图差异值，而求出累积视频特征值的差即可。
作为实施方式1的变形，说明了实施方式2，但是，在实施方式2中说明的根据作为解析对象的区域的面积或位置来改变场景转换检测步骤中的场景转换的判定阈值这样的特征，也能够应用于实施方式3 6中。
实施方式2 6与实施方式1所述的情况相同，能够用于场景转换以外的2个图像的差的检测。实施方式7
图16是示出本发明的实施方式7的场景转换检测装置1的结构的框图。另外，在本实施方式中，虽然是场景转换检测装置这样的名称，但
是，内容是对检测期望的2个静态图像的图像差的静态图像的图像差检
测进行说明。其理由是，在检测视频的场景转换的情况下，也是从视频
中选择任意2个帧图像来检测彼此之间的图像差，在进行图像比较这点
上，与静态图像彼此之间的比较没有差异，只不过由于连续进行检测处理、或一次一次单独进行检测处理的差异，而存在是视频的场景转换检测还是静态图像的图像差检测的差异。由此，以后，比较对象是视频也好，是静态图像也好，都将视频/图像的变化点检测称为场景转换或场景
转换检测。并且在本实施方式7中，对作为视频的场景转换检测的基本的、检测任意2个静态图像的图像差的场景转换检测装置进行说明。
本实施方式所示的场景转换检测装置1如图16所示，通过图像选择
部119，从未图示的硬盘和光盘等输入有任意的图像数据PA或PB。
场景转换检测装置l具有第1和第2区域选择部107a、 107b;第1和第2帧存储器5a、 5b;第1和第2读出控制部l'08a、 108b;第1和第2直方图生成部8a、 Sb;差分提取部9;阈值设定部118;场景转换判定部10;场景转换控制部2;以及区域控制部7。
场景转换控制部2检测场景转换检测动作的开始、结束-、以及场景转换判定部10的判定结果(场景转换提取结果和场景转换判定可否结果(以是否能够进行场景转换判定为判定结果))NSE，在未图示的内部存储器中进行保存。
区域选择部107a、 107b经由图像选择部119，提取成为表示图像A或图像B的图像数据PA、 Ps中的一部分的部分区域数据Psa或Psb，写入帧存储器5a、 5b。
读出控制部108a、 108b提取分别写入帧存储器5a、 5b中的视频数据的一部分或全部，作为解析对象区域的视频数据Pea、 Peb。
这样，通过读出控制部108a、 108b来选择由区域选择部107a、 107b
35写入帧存储器5a、 5b中的数据的一部分或全部，并作为解析对象区域的视频数据来提取。
下面，有时将某个"区域的图像数据的提取"简称为"区域的提取"。
区域控制部7根据场景转换控制部2的指示，设定图像数据的1帧的全部区域中被区域选择部107a、 107b提取出的区域。
帧存储器5a、 5b分别具有静态图像的至少一个画面、即l帧的数据区域，临时存储从最小的1个像素到最大的1帧的任意大小的图像数据。
在本实施方式中，如后所述，将由区域选择部107a、 107b提取出的部分区域的图像数据写入帧存储器5a、 5b中，针对所写入的图像数据中由读出控制部108a、 108b读出的数据，由直方图生成部8a、 8b生成直方图，由差分提取部9提取两个直方图的差分。由区域控制部7设定的区域是解析对象区域，也是场景转换检测对象区域。下面，有时将该"解析对象区域"、"场景转换检测对象区域"简称为"对象区域"或"比较区域"。并且，如上所述，通过读出控制部108a、 108b来选择由区域选择部107a、107b写入帧存储器5a、 5b中的数据的一部分或全部，并作为解析对象区域的视频数据来提取，利用区域选择部107a、 107b和读出控制部108a、108b来构成区域提取单元106a、 106b。
直方图生成部8a、 8b针对通过区域选择部107a、 107b和读出控制部108a、 108b提取出的场景转换检测对象区域的图像数据，生成直方图。
在直方图的生成时，只要生成图像数据的1个或2个以上的成分的直方图即可，例如，可以是亮度信号的直方图，也可以是色差信号的直方图，还可以是颜色信号(R、 G、 B信号)的直方图。
区域选择部107a、 107b、读出控制部108a、 108b和直方图生成部8a、 8b分别独立地设置在图像A侧和图像B侧，进行同样的处理。但是，写入帧存储器5a和5b中的区域不一定彼此相同。
差分提取部9利用上述实施方式1的说明中所述的式(O，计算直方图生成部8a生成的直方图KU和直方图生成部8b生成的直方图Hb的差(差异值)d。
在本实施方式中，图像的全部区域(各帧的整体)被分割为几个区(分割区域)，解析对象区域的面积、以及解析对象区域的图像数据Pea的量随着所分割的区中作为解析对象的区数n增加而增加。在图示的例子中，n=l，则仅将区Zl作为场景转换检测对象区域，n=2，则将区Z1和区Z2作为场景转换检测对象区域，n=3，将区Z1、区Z2和区Z3作为-场景转换检测对象区域，以后同样，根据试行次数n决定场景转换检测对象区域，最终，在『N (=8)时，与图像数据的全部区域一致。这里，设该试行次数n为变量，如以下的式(22)那样来表现上述式(2)。[数式21]
船"&)-》^'W…(22) i
艮P，图像PA的解析对象区域的直方图(直方图的级别k的度数)HistA
(k)能够表现为区单位的直方图hisUi (k)的n区的总和。
场景转换判定部10进行差分提取部9计算出的差异值d和由阈值设
定部118提供的场景转换判定用阈值(以下称为"场景转换阈值")dth的
比较，如果差异值d超过场景转换阈值dth，即如果满足以下的式(23)
所示的条件，则判定为在对象图像之间产生了场景转换。d之dth... (23〉
并且，阈值设定部118具有如下阈值除了设定有无产生场景转换的阈值dth以外，还具有用于根据对象区域的大小来判定是否能够进行场景转换判定(场景转换判定)的阈值。例如，虽然对象区域是全部图像区域的一部分，但是，在对象区域的图像比较中计算出的差异值d充分大，即使剩余的非对象区域是完全相同的图像，也是判定为产生了场景转换的充分大的值(场景转换判定上限值)dmax，并且，相反，虽然对象区域是全部图像区域的一部分，但是，在对象区域的图像比较中计算出的差异值d充分小，即使剩余的非对象区域是完全不同的图像，也是判定为没有产生场景转换的充分小的值(场景转换判定下限值)dmin。
场景转换判定部使用判定上限值d^x和判定下限值dmin，由此，即使场景转换判定对象区域不是图像整体而是一部分，也能够检测图像A和图像B的全部区域的场景转换的产生。另外，上述判定上限值dn^和
判定下限值dmm有时需要根据对象区域的大小来变更，所以，阈值设定部118根据从区域控制部7发送的区域信息IPE，来变更判定上限值dmax 和判定下限值dmin的设定。
接着，说明场景转换检测装置1的动作。当在场景转换控制部2中 设定场景转换检测动作开始的指示后，区域控制部7根据包含提取区域
信息在内的区域控制信号CpA^和CPA_b，指示区域选择部107a、 107b和 读出控制部108a、 108b提取区域，其中，该提取区域信息通过另外说明 的区域决定方法来决定。区域选择部107a、 107b从检测图像差的对象即 图像A和图像B中，将由区域控制部7指示的区域的图像数据Psa和Psb 分别读入帧存储器5a、 5b，针对由区域控制部7控制的读出控制部108a、 108b所选择的读入帧存储器的图像的全部数据或一部分数据的区域，直 方图生成部8a和8b生成直方图。使用所生成的到第n个区为止的直方 图H^禾卩HBn，差分提取部9计算图像A和图像B各自被提取出的区域 中的图像的差异值d。并且，场景转换判定部IO对由阈值设定部118设 定的场景转换阈值dth和差异值d进行比较，如果满足式(22)所示的条 件，则能够判定为产生了场景转换。
这里，作为区域的分割方法，如图17所示，将图像数据中的1帧的 图像的全部区域分割为8个带状的区(薄片)Z1 Z8，将到某个区为止 的图像数据读入帧存储器5a、 5b。在图17中示出，图像A读入到区Z6 为止，图像B读入到区Z4为止。此时，读出控制部108a、 10b针对图像 A和图像B双方，读出写入帧存储器5a、 5b中的区域即区Zl 区Z4作 为解析对象区域，直方图生成部8a、 8b针对由读出控制部108a、 108b 读出的区Z1 Z4的数据生成直方图。
差分提取部9针对部分区域的直方图(区Zl 区Zn (n为1 8中 的任--个)的直方图)H^和H加求出差异值d，场景转换判定部10将其 与场景转换判定上限值d隨和场景转换判定下限值(U进行比较，如果 差异值d超过场景转换判定上限值cUax，则判定为产生了场景转换，另一
方面，如果低于场景转换判定下限值dmin，则判定为没有产生场景转换，
结束图像A和图像B的场景转换检测。
并且，如果差异值d处于场景转换判定下限值(Un和场景转换判定
38上限值dmax之间，则无法判定有无产生场景转换，所以，场景转换控制 部2对区域控制部7发送指示区域扩大的控制信号，该情况下，从区域 控制部7向区域选择部107b发送对图像B追加区来扩大对象区域的控制
信号CPA—b。区域选择部107b从图像B中将区Z5读出到帧存储器5b。读 出控制部108b读出所追加的区Z5的数据，直方图生成部8b针对加入了 所追加的区Z5后的区Z1 区Z5的区域生成直方園Hbd。另一方面，读 出控制部108a也读出区Z5的数据，直方图生成部8a也根据图像B的区 域大小，针对区Zl 区Z5的区域生成直方图H^。
差分提取部9根据分别扩大后的区Zl 区Z5的区域的直方图HAn 和H&，求出差异值d。这里，阈值设定部118从区域控制部7得到区域 信息IPE，根据该区域信息IPE，重新设定场景转换判定上限值cUax和场景 转换判定下限值dmin。场景转换判定部10将由阈值设定部118设定的场
景转换判定上限值dmax和场景转换判定下限值dmin与差异值d进行比较， 与上述同样，如果差异值d超过场景转换判定上限值dm^(如果满足下述
式(24B))，则判定为产生了场景转换，另一方面，如果低于场景转换判
定下限值dmin (如果满足下述式(24A))，则判定为没有产生场景转换。
d < …(24A)
d赚< d…(24B〉
接着，针对如图19所示读入帧存储器5a、 5b中的图像A和图像B 的区域不同的情况，参照图18说明处理步骤。在本说明中，关于图像A， 将区Zl 区Z6读入帧存储器5a，另一方面，关于图像B，将区Z1 区 Z4读入帧存储器。在图18中，场景转换处理开始后(S701)，首先，读 出控制部108a、 10b针对图像A和图像B，进行读入帧存储器5a、 5b中 的区域的大小的比较，在图19中的图像A和图像B中，将共通的区域 即虚线所示的区域(区Zl 区Z4的区域)设定为作为场景转换判定对 象的区域(S702)。关于该区域，从图像A和图像B中提取数据(S704)， 在帧存储器5a、 5b中展开(S705)，直方图生成部8a、 8b生成双方的直 方图(S706)，进行差异值d的计算(S707)。在步骤S708中，与上述同 样，如果差异值d超过场景转换判定上限值(LM，则判定为产生了场景转换，另一方面，如果低于场景转换判定下限值dmin，则判定为没有产生场 景转换。在通过该处理无法判断出是产生了场景转换还是没有产生场景 转换的情况下，艮P，
< d < cimax
则返回步骤S702，进行图像大小的设定。
在步骤S702中，针对上次的区域无法进行场景转换判定，所以，决 定追加图像B的区Z5，从图像B中提取追加区Z5 (S704)，将其写入帧 存储器(S705)。然后，针对区Z1 区Z5的部分区域求出图像A和图像 B的直方图(S706)，计算差异值d (S707)，再次与场景转换判定条件(式 (24A)和式(24B))进行核对，如果不满足该条件，则在确认到解析 对象区域还没有达到1帧整体(S710:"否")的情况下，返回步骤S702。 在步骤S708中，在满足上述场景转换判定条件的情况下，即能够进行场 景转换判定的情况下，结束处理(S709)。并且，在步骤S710中解析对 象区域达到1帧整体的情况下，也结束处理(S709)。
接着，参照图20说明读入帧存储器5a、 5b中的图像A和图像B的 区域相同的情况。该情况下，在步骤S701 S705的处理后，针对区Z1 区Z6的部分区域分别生成直方图(S706)，进行差异值的提取(S707)。 在该状态下进行场景转换判定(S708)，设无法进行场景转换判定。接着， 在图像A和图像B的区域大小的设定处理S702中，图像A和图像B为 相同大小，所以，图像A和图像B都将区Z7加入解析对象中，从图像A 和图像B中分别提取区Z7 (S704)，将其读入帧存储器5。因此，直方图 生成部8a、 8b计算针对区Zl 区Z7的部分区域的直方图，进而，求出 各个直方图的差异值(S707)，进行基于场景转换和场景转换判定条件的 验证。这里，如果满足场景转换判定条件，则结束场景转换处理(S709)， 如果不满足该条件，则在确认到解析对象区域还没有达到1帧整体(S710: "否，，)的情况下，返回步骤S702，进一步扩大解析对象区域，从而继续 进行场景转换检测用的处理。在有效图像消失为止(在步骤S710中判断 为解析对象区域达到1帧整体之前)执行这种解析对象区域的扩大，在 求出针对1帧图像的全部区域(全部区)的直方图和差异值的阶段，如果不满足场景转换判定条件，则判定为在本次作为检测对象的图像之间 没有产生明显的有意差。
接着，图21 图23示出针对图像A和图像B的各个图像并行执行 场景转换检测用的针对图像A的处理和针对图像B的处理的步骤的例 子。
在图21所示的主任务中，在场景转换检测开始(S801)后，进行图 22所示的针对图像A的处理FA的开始(S802)和图23所示的针对图像 B的处理FB的开始(S803)的指示，在步骤S804中进入处理FA或处 理FB的结束等待状态。
图22所示的处理FA和图23所示的处理FB只不过将分别针对图像 A、图像B的处理显示为不同的任务，处理内容相同，所以，下面仅对 处理FA进行说明。
如图22所示，在起动的处理FA (S810)中，首先，等待基于区域 控制部7的区域控制信号CpAj的设定或处理FA的结束指示M811 (SSll)。从区域控制部7接收到区域控制信号CpA^的区域选择部107a 从图像A中提取某个区(S812),将其写入帧存储器5a (S813)。接着， 读出控制部108a从帧存储器5a中读出数据，直方图生成部8a生成直方 图(S814)，求出与在处理FB中同样计算出的直方图之间的差异值 (S815)。
接着，如式(24A)和式(24B)所示，进行差异值d与场景转换判 定上限值d,和场景转换判定下限值dmin的比较，如果差异值d超过场 景转换判定上限值dm^，则判定为产生了场景转换，另一方面，如果低于 场景转换判定下限值dmi。，则判定为没有产生场景转换(S816)。
如果判断为不能进行场景转换判定，则在确认到解析对象区域还没 有达到1帧整体(S819:"否")的情况下，转移到等待来自区域控制部7 的区域控制信号CpAj或处理FA结束指示的状态(S811)。如果能够进行 场景转换判定、并判断为产生了场景转换或没有产生场景转换，则进行 处理FA的结束通知(M817) (S817)，处理结束(S81S)。并且，在步骤 S819中解析对象区域达到1帧整体的情况下，也结束处理(S817)。在主任务中，等待处理FA或处理FB的结束通知，接收到步骤S817 的处理FA的结束通知后，对处理FB指示结束(S805)。在处理FB中， 在区域控制等待(S821)中，等待来自区域控制部7的区域控制Cpa》或 来自主任务的结束指示，在发行了来自主任务结束指示后(S805)，处理 FB从区域控制等待(S821)释放，并且处理FB结束(S828)。 相反，处理FB先完成场景转换判定的情况也同样。 在本实施方式中，对检测任意2个静态图像之间的图像差的装置和 方法进行了说明，但是，也能够应用于视频所包含的场景的变化点的检 测。其理由是，如上所述，视频是连续连接合成静态图而得到的，并且， 通过进行视频中任意2个静态图像的图像差的比较，能够检测场景转换。 通过如上所述那样构成，能够检测2个图像的差。 并且，在检测2个图像的差时，不对图像整体的数据进行处理，利 用部分区域就能够检测图像整体的差。
并且，不需要始终将要比较的2个图像的全部区域(全部区)读出 到帧存储器5a、 5b等中，所以，能够削减针对存储有图像数据的位于图 像选择部119的输入侧的硬盘、光盘等的存取次数、存取时间、转送时 间。
并且，不需要始终将要比较的2个图像的全部区域(全部区)作为 场景转换检测用的对象区域，所以，能够减少场景转换提取处理所需要 的时间。并且，能够抑制进行处理的场景转换检测装置自身的负荷。
并且，在分割区中，在早期作为场景转换提取区域的区、例如区Z1 或区Z2中存在判定为场景转换的足够的差的情况下，不需要对全部区进 行解析，所以，能够高速完成场景转换提取。
并且，即使在利用某个部分区域无法进行场景转换判定的情况下， 通过逐次扩大对象区域，也能够进行场景转换判定，能够利用最小的部 分区域进行场景转换判定。
并且，作为场景转换解析对象的部分区域被逐次扩大，所以，在比 较2个图像之间的图像差时，仅读出最小的图像区域即可，其结果，能 够实现处理时间的高速化。并且，在本实施方式中，将场景转换检测的对象区域的最大值固定 为图像的全部区域，但是也可以是可变的。即，也可以构成为针对每次 场景转换检测来改变场景转换检测的对象区域的最大值(最大限度)。由 此，能够控制场景转换检测的灵敏度和速度。例如通过使画面的下部区 域(接近下端的区域)不包含在解析对象区域中，能够使得场景转换检 测不对例如在电影或音乐节目中在图像的下部区域经常显示的字幕进行 反应，能够提高场景转换的检测精度。
并且，在本场景转换装置组装在其他系统的情况等、系统整体的负 荷高的情况下，通过减小检测区域的最大值、或使中途区域不包含在检 测对象中，能够快速完成场景转换检测动作，其结果，能够对减轻系统 的负荷作出贡献。
在实施方式7的图像差检测装置中，为了检测图像的差，使用了直 方图，但是，也可以通过直方图以外的方法、例如使用运动矢量的方法 或直接比较要比较的图像的特定位置的像素值的方法，来检测图像差。 即，也可以根据直方图以外的图像特征值的差来检测图像差。在根据直 方图以外的图像特征值进行图像差检测的情况下，例如，代替图16的直
方图生成部8a、 8b，设置求出图像特征值的单元，在差分提取部9中， 求出图像特征值的差，在图18的步骤S706、图22的步骤S814以及图 23的步骤S824中，代替生成直方图，而求出图像特征值即可。 实施方式8
图24是示出本发明的实施方式8的场景转换检测装置1的结构的框 图。在实施方式7中，将静态图像作为对象，但是，在本实施方式8中， 将视频作为解析对象。在图24中，与图16相同的标号表示相同或同样 的部件。
图24所示的场景转换检测装置1在图16的装置的基础上，附加有-记录有视频的硬盘驱动器(HDD) 113;从视频的任意帧中提取作为场景 转换判定对象的1帧的视频输入部103;以及开关4，其根据所输入的视 频数据P是第奇数帧还是第偶数帧，将来自视频输入部103的视频数据P 切换至帧存储器5a或帧存储器5b。
43开关4以1帧为单位，将作为检测场景转换的对象的2个视频信号的输入分别切换至帧存储器5a或帧存储器5b。场景转换控制部2进行如 下控制根据将来自视频输入部103的视频数据P切换至帧存储器5a或 帧存储器5b的图像选择控制信号Cn，使开关4倒向区域选择部107a侧 (使开关4成为将视频输入部103的输出P提供给区域选择部107a的状 态)，或者使开关4倒向区域选择部107b侧(使开关4成为将视频输入 部103的输出P提供给区域选择部107b的状态)。接着，说明图24所示的场景转换检测装置1的动作。当在场景转换 控制部2中设定场景转换检测动作开始的指示后，开始从视频输入部103 提供视频数据。开关4根据来自场景转换控制部2的帧存储器输入控制 信号Cn，如果输入帧的作为场景转换对象的帧编号为奇数，则将输入视 频数据P提供给区域选择部107a，如果为偶数，则将视频数据P提供给 区域选择部107b。另外，在进行场景转换检测时，代替求出前后帧(第 奇数帧和第偶数帧)之间的差异，也可以求出彼此隔开几个帧的帧之间 的差异。例如，也可以每规定数量的帧中提取1帧，根据前后提取出的 帧之间的差异来检测场景转换。该情况下，将依次提取出的帧的视频数 据交替提供给帧存储器5a、 5b并存储。例如，将(动作开始后)第奇数 个提取的一个帧提供给一个帧存储器例如5a，将第偶数个提取的另一帧 提供给另一个帧存储器5b。并且，在2个帧之间检测场景转换的情况下， 作为场景转换检测对象的2个帧可以在时间上不接近，也可以在时间上 分离。该情况下也可以构成为，将一个帧固定为基准帧，依次更换与其 进行比较的另一个帧，由此，进行针对基准帧的场景转换检测。场景转换控制部2向区域控制部7发行用于指示提取下一个为了进 行场景转换检测而成为比较对象的区域的命令(区域提取指示Cpe)。区 域控制部7将指示提取作为场景转换解析对象的区域的区域控制信号 CpAa或CpAb发送到区域选择部107a或107b和读出控制部108a或108b。 区域选择部107a、 107b和读出控制部108a、 108b从经由开关4从视频 输入部103输入的图像数据PA、 Pb中，提取作为该场景转换提取对象的 区域，将其写入帧存储器5a、 5b中。以后的处理与实施方式7相同。在奇数帧和偶数帧交 替且连续的帧编号之间进行比较。并且，各帧的分割后的区分别为帧整体的10%，因此，追加一个区导致的增量比例为10%。在图25 (a)中， 关于记录在帧存储器5a、 5b中的各帧的解析对象区域，施加向左下方的 斜线示出"在与前侧的帧进行比较中使用的区域"，施加向右下方的斜线 示出"为了与后侧的帧进行比较而扩大的区域"，另一方面，关于未作为 解析对象的区域，不施加斜线。图25 (b)关于第1 第6帧，示出在与 前后的帧进行比较时作为解析对象的区域占帧整体的比例。_在连续视频的比较中，首先进行第1帧和第2帧的比较。在第1帧 和第2帧的比较中，将第1帧和第2帧的各分割区域(区)同时读入帧 存储器5a、 5b中，每次读入时生成直方图，导出差异值，进行场景转换 判定。第1帧和第2帧的解析对象区域如10%、 20%、 30%、 ...70%、 80% 那样每次增加10%，如图25 (a)和(b)所示，在使用80%的区域的比 较中，完成了场景转换判定。接着，进行第2帧和第3帧的比较。在第2帧和第3帧的比较中， 第2帧的图像数据已经读入80%，所以，仅第3帧以10%的增量读入帧 存储器5a中，针对第2帧和第3帧的均被读入帧存储器5a、 5b中的区 域，计^:直方图和差异值，进行场景转换判定即可。在第2帧和第3帧 之间的场景转换检测中，如图25 (a)和(b)所示，利用30%的区域完 成了场景转换判定。接着，进行第3帧和第4帧的比较。第3帧已经有30%读入帧存储 器5a中，由此，以10%的间隔将第4帧读入帧存储器5b中直到30%为 止，与上述同样进行直方图和差异值的计算、场景转换判定即可。但是， 在利用30%的区域未完成场景转换判定的情况下，需要针对过去侧(先 行侧)即第3帧也进行扩大区域。这里，为了与后侧(后续侧)的第4 帧进行比较，如图25 (a)和(b)所示，将第3帧的区域扩大到60%。这里要注意的是，针对视频这种具有时间上的排列的数据，在像上 述方法那样根据需要(也可以是时间经过后)扩大解析对象区域的情况下，需要将各帧的数据保持到使用该帧的场景转换检测处理结束为止的 存储区域。在本实施方式中，作为存储介质，从HDD113中读出数据，
如第3帧和第4帧的比较的例子所示那样，在与后侧的帧进行比较中，. 能够扩大先行的第3帧的解析对象区域。关于视频的各帧的保持方法， 不仅可以是本实施例所示的HDD这种持久性存储介质，还可以是能够保 持几帧 几十帧的易失性存储器。
下面，同样进行第4帧和第5帧的比较和第5帧和第6帧的比较。 在第5帧和第6帧的比较中，如图所示，将区域扩大到70%。
接着，参照图26，说明针对视频流内先行的图像A和后续的图像B 分割图像区域来进行场景转换检测的场景转换判定顺序。
场景转换解析处理开始后(S901)，针对图像A和图像B，比较存在 于帧存储器5a、 5b中的作为场景转换解析对象的区域的大小(S902)。 设为先行的图像A在与之前更先行的图像进行场景转换检测处理后，在 帧存储器5a中已经存在有一些部分区域数据，另一方面，关于图像B， 如果是首次执行场景转换处理，则完全不存在作为解析对象的区域的数 据。由此，图像A的区域比图像B大，所以转移到步骤S903。在步骤 S卯3中，针对作为解析对象的区域少的图像B，进行预先设定的区域的 追加，将追加区域写入帧存储器5b (S904)。该区域的追加例如与图17、 图19和图20所示的情况相同，以区为单位进行。
在步骤S905中，针对存在于帧存储器5b中的图像B的数据生成直 方图，但是，如果不存在图像A的直方图，则一并生成图像A的直方图。 接着，求出图像A和图像B的直方图的差异值d (S906)，针对该差异值 d，判定是否能够判定图像A和图像B整体的场景转换(式(24A)、式 (24B)) (S907)，如果能够进行场景转换判定，即在进行了场景转换判 定的情况下，结束处理(S909),如果无法进行场景转换判定，则在确认 到解析对象区域还没有达到1帧整体(S910:"否")的情况下，返回步 骤S902。
在本处理中，如果即使扩大后续的图像B的部分区域(处理对象区 域)并反复进行场景转换判定也无法进行场景转换判定，则图像B的解析对象区域的大小逐渐变大，最终，图像A和图像B的解析对象的区域
的大小变为相同。然后，扩大图像A和图像B双方的区域(S920)，分 别将扩大后的区域的数据写入帧存储器5a、 5b (S921)，分别利用直方图 生成部8a、 8b生成直方图(S922)。然后，在差分提取部9中，计算双 方的直方图的差异值(S906)，在场景转换判定部10中，再次进行场景 转换判定(S907)。
通过如上所述那样构成，能够进行视频中的场景转换检测。
并且，通过针对部分区域进行场景转换判定，由此，能够进行图像 整体的场景转换判定。
并且，在部分区域中进行场景转换判定，所以，与在图像整体中进 行比较的情况相比，能够高速地进行场景转换检测。
逐渐扩大对象区域来进行场景转换判定，所以，能够利用基于2个 图像之间的差的最小的区域大小和处理时间，进行场景转换检测。
实施方式9
图27是示出本发明的实施方式9的场景转换检测装置1的结构的框 图。本实施方式9对压縮编码后的视频数据进行处理。因此，附加有以 帧为单位对压縮编码后的视频流进行解压縮的解码器U2a、 112b。在图 27中，与图24相同的标号表示相同或同样的部件。
在图27所示的场景转换检测装置1中，经压縮编码的视频流被保存 在硬盘驱动器(HDD) 113中。开关4根据视频流的帧是第奇数帧还是第 偶数帧，将经压縮编码的1帧单位的视频数据P送入流缓存器llla、 lllb。 流缓存器llla、 lllb临时保存视频数据P。区域选择部107a、 107b从临 时保存在流缓存器llla、 lllb中的1帧单位的视频编码数据中，将与由
从区域控制部7发送来的区域控制信号CPA—a和CpAj指定的1帧或1帧
的部分区域对应的数据送入解码器112a、 112b。
保存在流缓存器llla、 lllb中的视频流数据的1帧单位和/或分割区 域单位的数据地址信息(记录位置)由区域控制部7管理。在从区域控 制部7向区域选择部107a、 107b发送的区域控制信号CPA_jn CPA—b中， 作为表示要提取的部分区域的记录位置的信息，包含有流缓存器llla、lllb中的地址信息。
解码器112a、 112b对从区域选择部107a、 107b送入的部分或与部 分区域对应的经压縮编码的数据进行解压縮(以下为解码)，将其写入帧 存储器5a、 5b。解码器112a、 112b不仅以1帧为单位进行解压缩(以下 为解码)，而且还能够仅对1帧数据内的部分数据或与部分区域对应的数 据进行解码。
接着，说明图27所示的场景转换检测装置1的动作。当在场景转换 控制部2中设定场景转换检测动作开始的指示后，开始从视频输入部103 提供经压缩编码的视频流E。根据来自场景转换控制部2的帧存储器输入 控制信号CFI，如果输入帧的作为场景转换对象的帧编号为奇数，则开关 4将其作为输入视频流EA提供给流缓存器llla，如果为偶数，则开关4 将其作为视频流EB提供给流缓存器lllb。
场景转换控制部2向区域控制部7发行用于指示提取下一个为了进 行场景转换检测而成为比较对象(解析对象)的区域的命令(区域提取 指示Cpe)。区域控制部7将指示对作为场景转换解析对象的区域进行提 取的区域控制信号CpA一a或Q^b发送到区域选择部107a或107b。区域选 择部107a、 107b从记录在流缓存器llla、 lllb中的1帧单位的压縮编码 数据中，提取相当于作为该场景转换提取对象的区域的压縮编码数据eA、 eB，将其发送到解码器112a、 112b。解码器112a、 112b对相当于从区域 选择部107a、107b发送的部分区域或最大1帧的压縮编码数据进行解码， 将其写入帧存储器5a、 5b。以后的处理与实施方式7相同。
接着，参照图28说明针对压縮编码视频，在部分区域中进行场景转 换提取的结构。
场景转换解析处理开始后(S1101)，从记录在HDD113中的压縮编 码视频流中，将相当于1帧的视频数据读入流缓存器llla、 lllb中 (S1102)。接着，区域控制部7根据场景转换的进度状况，决定作为场 景转换解析对象的部分区域(S1103)。能够利用在实施方式8中参照图 26说明的方法来进行部分区域的决定。
接着，从流缓存器llla、 111b中提取与在步骤S1103中决定的部分区域对应的压縮编码视频数据(S1104)。解码器112a、 112b对提取出的 所述数据进行解码(S1105)，在帧存储器中展开(S1106)。分别利用直 方图生成部8a、 8b生成直方图(S1107)，在差分提取部9中，求出图像 A和图像B双方的直方图的差异值(S1108)。接着，在场景转换判定部 10中，根据式(24A)和式(24B)对差异值d进行场景转换判定(S1109)， 如果能够进行场景转换判定(即在进行了场景转换判定的情况下)，则结 束处理(Sllll)，如果无法进行场景转换判定，则在确认到解析对象区 域还没有达到1帧整体(S1110:"否")的情况下，返回步骤S1103，再 次决定解析对象区域。此时，如后所述，针对图像A和图像B中解析对 象区域小的图像扩大区域，再次执行步骤S1104 步骤S1109的处理，或 者，扩大图像A和图像B双方的区域，同样进行步骤S1104 步骤S1109 的处理。反复进行上述处理，在步骤S1109中满足式(24A)和式(24B) 的条件、或解析对象区域达到1帧整体的情况下(S1110:"是")，结束处 理。
另外，在本实施方式中，采取如下结构在流缓存器llla、 lllb中 临时保存视频，通过对存在于流缓存器llla、 lllb内的数据的地址进行 管理的区域控制部7，区域选择部107a、 107b提取1帧或1帧内的部分 区域的数据，区域控制部7构成对保存在流缓存器llla、 lllb中的视频 数据的1帧或其部分区域的记录位置进行管理的单元，但是，如图29所 示，也可以由永久性记录视频的HDD 113、和对记录在HDD113中的视 频的1帧或其部分区域的地址位置进行管理的HDD管理部114构成。该 情况下，采取如下结构在区域控制部7中，决定作为解析对象的视频 的1帧或1帧内的部分区域，将该信息即视频数据区域信息IAR发送到 HDD管理部114， HDD管理部114根据记录在HDD 113中的视频，判 定与指定帧的指定区域对应的数据位置，通过区域选择部107a、 107b进 行提取。
该情况下，HDD管理部114构成对保存在作为视频记录单元的HDD 113中的视频数据的1帧单位或其部分区域的记录位置进行管理的单元。 另外，作为永久性记录介质，示出HDD的例子，但是不限于HDD，
49质。
并且，图像数据的保存期间也可以不是永久性的，只要能够在使用 该帧的图像的场景转换检测结束为止的期间内保持各帧的图像即可。
通过如上所述那样构成，能够进行视频中的场景转换检测。
并且，对于视频经压縮编码后的流，通过针对部分区域进行场景转 换判定，也能够进行图像整体的场景转换判定。
并且，在部分区域中进行场景转换判定，所以，与在图像整体中进 行比较的情况相比，能够高速地进行场景转换检测。
并且，仅对部分区域的数据执行处理负荷高的解码处理即可，所以， 处理负荷减轻，其结果，处理高速完成。
并且，逐渐扩大对象区域来进行场景转换判定，所以，能够利用基 于2个图像之间的差的最小的区域大小和处理时间，进行场景转换检测。
并且，通过使用HDD等非易失性记录介质，不需要使用场景转换提 取用的流缓存器。
在实施方式8和实施方式9的场景转换装置中，为了检测视频的差，
使用了直方图，但是，也可以通过直方图以外的方法、例如使用运动矢 量的方法或直接比较要比较的图像的特定位置的像素值，来检测场景转 换。即，也可以根据直方图以外的视频特征值的差来检测场景转换。在 根据直方图以外的视频特征值进行场景转换检测的情况下，例如，代替
图24、图27和图29的直方图生成部8a、 8b，设置求出视频特征值的单 元，在差分提取部9中，求出视频特征值的差，在图26的步骤S905、S922、 图28的步骤Sl 107中，代替生成直方图，而求出视频特征值，在步骤S906、 S1108中，提取视频特征值的差分即可。
权利要求
1.一种图像差检测方法，该方法检测2个图像数据的差，其特征在于，该图像差检测方法具有以下步骤区域提取步骤，在该步骤中，从2个图像数据中提取其一部分作为解析对象区域的数据；以及图像差检测步骤，在该步骤中，根据所述2个图像数据的通过所述区域提取步骤提取出的解析对象区域的图像特征值的差，来检测所述2个图像之间的图像差，所述2个图像数据的解析对象区域彼此具有相同的大小。
2. —种图像差检测方法，该方法检测2个图像数据的差，其特征在于，该图像差检测方法具有以下步骤区域提取步骤，在该步骤中，从2个图像数据中提取其一部分作为 解析对象区域的数据；以及图像差检测步骤，在该步骤中，根据所述2个图像数据的通过所述 区域提取步骤提取出的解析对象区域的图像特征值的差，来检测所述2 个图像之间的图像差，在通过所述图像差检测步骤未能检测出图像差的情况下，在所述区 域提取步骤中，提取所述图像数据中此前未包含在解析对象区域中的部 分的数据的一部分或全部而进行追加，由此，扩大解析对象区域，在所述图像差检测步骤中，针对扩大后的解析对象区域再次进行图 像差的检测。
3. —种场景转换检测方法，该方法检测视频的场景转换，其特征在 于，该场景转换检测方法具有以下步骤区域提取步骤，在该步骤中，从2个帧的视频数据中提取作为解析 对象的部分区域；以及场景转换检测步骤，在该步骤中，根据所述2个帧的通过所述区域 提取步骤提取出的部分区域的视频特征值的差，来检测所述2个帧之间 的场景转换，在通过所述场景转换检测步骤未能检测出场景转换的产生的情况 下，在所述区域提取步骤中，从此前未作为解析对象的区域中新提取区 域进行追加，由此，扩大解析对象区域，在所述场景转换检测步骤中， 根据与扩大后的解析对象区域有关的视频的差，再次进行场景转换检测。
4. 一种场景转换检测方法，该方法检测视频的场景转换，其特征在 于，该场景转换检测方法具有以下步骤区域提取步骤，在该步骤中，从2个帧的视频数据中提取作为解析对象的部分区域；视频特性分析步骤，在该步骤中，针对通过所述区域提取步骤提取出的部分区域的视频数据，计算视频特征值；累积步骤，在该步骤中，对通过所述视频特性分析步骤计算出的视 频特征值进行累积，求出累积视频特征值；以及场景转换检测步骤，在该步骤中，根据针对所述2个帧求出的累积 视频特征值，来检测所述2个帧之间的场景转换，在通过所述场景转换检测步骤未能检测出场景转换的产生的情况 下，在所述区域提取步骤中，从此前未作为解析对象的区域中提取新的 区域进行追加，由此，扩大解析对象区域，在所述场景转换检测步骤中， 根据与扩大后的解析对象区域有关的累积视频特征值，再次进行场景转 换检测，在所述累积步骤中，对上次场景转换检测时求出的累积视频特征值 和针对新提取的区域计算出的视频特征值进行相加，由此，求出所述累 积视频特征值。
5. —种场景转换检测方法，该方法检测视频的场景转换，其特征在 于，该场景转换检测方法具有以下步骤区域提取步骤，在该步骤中，从2个帧的视频数据中提取作为解析 对象的部分区域；视频特性分析步骤，在该步骤中，针对通过所述区域提取步骤提取 出的部分区域的视频数据，计算视频特征值；计算通过所述视频特性分析步骤计算出的部分区域中的所述2个帧的视频特征值的差异值的步骤；对计算出的差异值进行累积并求出累积差异值的步骤；以及 场景转换检测步骤，在该步骤中，根据所求出的累积差异值，来检 测所述2个帧之间的场景转换，在通过所述场景转换检测步骤未能检测出场景转换的产生的情况 下，在所述区域提取步骤中，从此前未作为解析对象的区域中提取新的 区域进行追加，由此，扩大解析对象区域，在所述场景转换检测步骤中， 根据与扩大后的解析对象区域有关的所述累积差异值，再次进行场景转 换检测，在所述求出累积差异值的步骤中，对上次场景转换检测时求出的累 积差异值和针对新提取的区域计算出的差异值进行相加，由此，求出新 的累积差异值。
6. —种场景转换检测方法，该方法检测已被编码的视频的场景转换， 其特征在于，该场景转换检测方法具有以下步骤-区域提取步骤，在该步骤中，从2个已被编码的帧的视频数据中提 取作为解析对象的部分区域；解码步骤，在该步骤中，对通过所述区域提取步骤提取出的部分区 域的编码数据进行解码；视频特性分析步骤，在该步骤中，根据通过所述解码步骤得到的解 码数据，计算视频特征值；以及场景转换检测步骤，在该步骤中，根据所述2个帧的所述视频特征 值的差，来检测所述2个帧之间的场景转换，在通过所述场景转换检测步骤未能检测出场景转换的产生的情况 下，在所述区域提取步骤中，对来自此前未作为解析对象的区域的新的 区域的编码数据进行解码，与此前进行了解析的区域的解码数据进行相 加，由此，扩大解析对象区域，在所述场景转换检测步骤中，根据与扩 大后的解析对象区域有关的视频特征值，再次进行场景转换检测。
7. —种场景转换检测方法，该方法检测已被编码的视频的场景转换， 其特征在于，该场景转换检测方法具有以下步骤区域提取步骤，在该步骤中，从2个已被编码的帧的视频数据中提 取作为解析对象的部分区域；解码步骤，在该步骤中，对通过所述区域提取步骤提取出的部分区 域的编码数据进行解码；视频特性分析步骤，在该步骤中，根据通过所述解码步骤得到的解 码数据，计算视频特征值；累积步骤，在该步骤中，对通过视频特性分析步骤计算出的视频特 征值进行累积，求出累积视频特征值；以及场景转换检测步骤，在该步骤中，根据所述2个帧的所述累积视频 特征值，检测所述2个帧之间的场景转换，在通过所述场景转换检测步骤未能检测出场景转换的产生的情况 下，在所述区域提取步骤中，从此前未作为解析对象的区域中提取新的 区域进行追加，由此，扩大解析对象区域，在所述场景转换检测步骤中， 根据与扩大后的解析对象区域有关的所述累积视频值，再次进行场景转 换检测，在所述累积步骤中，对上次场景转换检测时求出的累积差异值和针 对新提取的区域计算出的差异值进行相加，由此，求出新的累积差异值。
8. 根据权利要求4或7所述的场景转换检测方法，其特征在于， 该场景转换检测方法还具有保持所求出的累积视频特征值的保持步骤。
9. 根据权利要求5所述的场景转换检测方法，其特征在于，该场景转换检测方法还具有保持所求出的累积差异值的步骤。
10. 根据权利要求3 9中的任一项所述的场景转换检测方法，其特征在于，在所述视频特性分析步骤中计算出的视频的特征值是直方图。
11. 根据权利要求3 10中的任一项所述的场景转换检测方法，其 特征在于，该场景转换检测方法还具有根据作为解析对象的区域的面积或位置 来改变所述场景转换检测步骤中的场景转换的判定阈值的步骤。
12. —种图像差分检测方法，其特征在于，该图像差分检测方法具 有以下步骤输入多个图像的步骤；区域提取步骤，在该步骤中，从所输入的图像的图像数据中提取作 为解析对象的部分区域；以及图像差分检测步骤，在该步骤中，针对2个图像数据来检测分别提 取出的部分区域的图像的差，在所述图像差分检测步骤中图像的差没有超过所设定的阈值的情况 下，在所述区域提取步骤中，从未作为解析对象的区域中新提取区域而 进行追加，由此，扩大解析对象区域，在所述图像差分检测步骤中，针 对扩大后的解析对象区域再次进行图像的差的检测。
13. —种场景转换检测方法，该方法检测视频的场景转换，其特征 在于，该场景转换检测方法具有以下步骤保存视频的视频记录步骤；对通过所述视频记录步骤保存的视频数据的1个帧单位或其部分区域的记录位置进行管理的步骤；区域提取步骤，在该步骤中，从2个帧的视频数据中提取其一部分 作为解析对象区域的数据；以及场景转换检测步骤，在该步骤中，根据所述2个帧的通过所述区域 提取步骤提取出的解析对象区域的数据的视频特征值的差，来检测所述2 个帧之间的场景转换，在通过所述场景转换检测步骤未能检测出场景转换的产生的情况 下，在所述区域提取步骤中，提取所述视频数据中此前未包含在解析对 象区域中的部分的一部分或全部数据进行追加，由此，扩大解析对象区 域，在所述场景转换检测步骤中，根据与扩大后的解析对象区域有关的 视频的差，再次进行场景转换检测。
14. 一种图像差检测装置，该装置检测2个图像数据的差，其特征 在于，该图像差检测装置具有区域提取单元，其从2个图像数据中提取其一部分作为解析对象区域的数据；以及图像差检测单元，其根据所述2个图像数据的通过所述区域提取单 元提取出的解析对象区域的图像特征值的差，来检测所述2个图像之间 的图像差，所述2个图像数据的解析对象区域彼此具有相同的大小。
15. —种图像差检测装置，该装置检测2个图像数据的差，其特征 在于，该图像差检测装置具有区域提取单元，其从2个图像数据中提取其一部分作为解析对象区 域的数据；以及图像差检测单元，其根据所述2个图像数据的通过所述区域提取单 元提取出的解析对象区域的图像特征值的差，来检测所述2个图像之间 的图像差，在通过所述图像差检测单元未能检测出图像差的情况下，所述区域 提取单元提取所述图像数据中此前未包含在解析对象区域中的部分的数 据的一部分或全部而进行追加，由此，扩大解析对象区域，所述图像差检测单元针对扩大后的解析对象区域再次进行图像差的 检测。
16. —种场景转换检测装置，该装置检测视频的场景转换，其特征 在于，该场景转换检测装置具有-区域提取单元，其从2个帧的视频数据中提取作为解析对象的部分 区域；以及场景转换检测单元，其根据所述2个帧的通过所述区域提取单元提 取出的部分区域的视频特征值的差，来检测所述2个帧之间的场景转换，在通过所述场景转换检测单元未能检测出场景转换的产生的情况 下，所述区域提取单元从此前未作为解析对象的区域中新提取区域进行 追加，由此，扩大解析对象区域，所述场景转换检测单元根据与扩大后 的解析对象区域有关的视频的差，再次进行场景转换检测。
17. —种场景转换检测装置，该装置检测视频的场景转换，其特征在于，该场景转换检测装置具有区域提取单元，其从2个帧的视频数据中提取作为解析对象的部分 区域；视频特性分析单元，其针对通过所述区域提取单元提取出的部分区 域的视频数据，计算视频特征值；累积单元，其对通过所述视频特性分析单元计算出的视频特征值进 行累积，求出累积视频特征值；以及场景转换检测单元，其根据针对所述2个帧求出的累积视频特征值， 来检测所述2个帧之间的场景转换，在通过所述场景转换检测单元未能检测出场景转换的产生的情况 下，所述区域提取单元从此前未作为解析对象的区域中提取新的区域进 行追加，由此，扩大解析对象区域，所述场景转换检测单元根据与扩大 后的解析对象区域有关的累积视频特征值，再次进行场景转换检测，所述累积单元对上次场景转换检测时求出的累积视频特征值和针对 新提取的区域计算出的视频特征值进行相加，由此，求出所述累积视频 特征值。
18. —种场景转换检测装置，该装置检测视频的场景转换，其特征在于，该场景转换检测装置具有区域提取单元，其从2个帧的视频数据中提取作为解析对象的部分 区域；视频特性分析单元，其针对通过所述区域提取单元提取出的部分区 域的视频数据，计算视频特征值；计算通过所述视频特性分析单元计算出的部分区域中的所述2个帧 的视频特征值的差异值的单元；对计算出的差异值进行累积并求出累积差异值的单元；以及场景转换检测单元，其根据所求出的累积差异值，检测所述2个帧 之间的场景转换，在通过所述场景转换检测单元未能检测出场景转换的产生的情况 下，所述区域提取单元从此前未作为解析对象的区域中提取新的区域进行追加，由此，扩大解析对象区域，所述场景转换检测单元根据与扩大 后的解析对象区域有关的所述累积差异值，再次进行场景转换检测，所述求出累积差异值的单元对上次场景转换检测时求出的累积差异 值和针对新提取的区域计算出的差异值进行相加，由此，求出新的累积 差异值。
19. 一种场景转换检测装置，该装置检测已被编码的视频的场景转 换，其特征在于，该场景转换检测装置具有区域提取单元，其从2个已被编码的帧的视频数据中提取作为解析 对象的部分区域；解码单元，其对通过所述区域提取单元提取出的部分区域的编码数据进行解码；视频特性分析单元，其根据通过所述解码单元得到的解码数据，计 算视频特征值；以及场景转换检测单元，其根据所述2个帧的所述视频特征值的差，检 测所述2个帧之间的场景转换，在通过所述场景转换检测单元未能检测出场景转换的产生的情况 下，所述区域提取单元对来自此前未作为解析对象的区域的新的区域的 编码数据进行解码，与此前为止进行了解析的区域的解码数据进行相加， 由此，扩大解析对象区域，所述场景转换检测单元根据与扩大后的解析 对象区域有关的视频特征值，再次进行场景转换检测。
20. —种场景转换检测装置，该装置检测已被编码的视频的场景转 换，其特征在于，该场景转换检测装置具有区域提取单元，其从2个已被编码的帧的视频数据中提取作为解析 对象的部分区域；解码单元，其对通过所述区域提取单元提取出的部分区域的编码数 据进行解码；视频特性分析单元，其根据通过所述解码单元得到的解码数据，计 算视频特征值；累积单元，其对通过视频特性分析单元计算出的视频特征值进行累积，求出累积视频特征值；以及场景转换检测单元，其根据所述2个帧的所述累积视频特征值，检测所述2个帧之间的场景转换，在通过所述场景转换检测单元未能检测出场焉转换的产生的情况 下，所述区域提取单元从此前未作为解析对象的区域中提取新的区域进 行追加，由此，扩大解析对象区域，所述场景转换检测单元根据与扩大 后的解析对象区域有关的所述累积视频值，再次进行场景转换检测，所述累积单元对上次场景转换检测时求出的累积差异值和针对新提 取的区域计算出的差异值进行相加，由此，求出新的累积差异值。
21. 根据权利要求17 20所述的场景转换检测装置，其特征在于， 该场景转换检测装置还具有保持所求出的累积视频特征值的单元。
22. 根据权利要求18所述的场景转换检测装置，其特征在于， 该场景转换检测装置还具有保持所求出的累积差异值的单元。
23. 根据权利要求16 22中的任一项所述的场景转换检测装置，其 特征在于，所述视频特性分析单元计算出的视频的特征值是直方图。
24. 根据权利要求16 23中的任一项所述的场景转换检测装置，其特征在于，该场景转换检测装置还具有根据作为解析对象的区域的面积或位置 来改变所述场景转换检测单元中的场景转换的判定阈值的单元。
25. —种图像差分检测装置，其特征在于，该图像差分检测装置具有输入多个图像的单元；区域提取单元，其从所输入的图像的图像数据中提取作为解析对象 的部分区域；以及图像差分检测单元，其针对2个图像数据检测分别提取出的部分区 域的图像的差，在所述图像差分检测单元中，在图像的差没有超过所设定的阈值的 情况下，所述区域提取单元从未作为解析对象的区域中新提取区域而进行追加，由此，扩大解析对象区域，所述图像差分检测单元针对扩大后 的解析对象区域再次进行图像的差的检测。
26. —种场景转换检测装置，该装置检测视频的场景转换，其特征在于，该场景转换检测装置具有 保存视频的视频记录单元；对通过所述视频记录单元保存的视频数据的1个帧单位或其部分区 域的记录位置进行管理的单元；区域提取单元，其从2个帧的视频数据中提取其一部分作为解析对 象区域的数据；以及场景转换检测单元，其根据所述2个帧的通过所述区域提取单元提 取出的解析对象区域的数据的视频特征值的差，来检测所述2个帧之间 的场景转换，在通过所述场景转换检测单元未能检测出场景转换的产生的情况 下，所述区域提取单元提取所述视频数据中此前未包含在解析对象区域 中的部分的一部分或全部数据进行追加，由此，扩大解析对象区域，所述场景转换检测单元根据与扩大后的解析对象区域有关的视频的 差，再次进行场景转换检测。
全文摘要
本发明提供图像差检测方法和装置、场景转换检测方法和装置、以及图像差分检测方法和装置。从2个图像数据中提取其一部分作为解析对象区域的数据(S702、S704)，具有根据解析对象区域的图像特征值的差来检测2个图像之间的图像差的图像差检测步骤(S707)，2个图像数据的解析对象区域具有彼此相同的大小。在没有检测出图像差的情况下，在区域提取步骤中，追加提取图像数据中此前未包含在解析对象区域中的部分的数据的一部分或全部(S704)，由此，可以扩大解析对象区域(S707)。能够高速进行图像和视频的场景转换。
文档编号H04N7/26GK101681518SQ200880016929
公开日2010年3月24日 申请日期2008年5月16日 优先权日2007年5月21日
发明者楠惠明 申请人:三菱电机株式会社