被拍摄体跟踪装置以及相机的利记博彩app
【技术领域】
[0001 ] 本发明涉及被拍摄体跟踪装置以及相机。
【背景技术】
[0002]已知下面这样的物体跟踪装置。该物体跟踪装置，为了与被拍摄体的变化相对应，而使用不同的多个模板图像进行模板匹配，使用相似度最高的模板图像进行模板图像的更新(参照专利文献I)。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特许第3768073号公报
【发明内容】
[0006]发明要解决的课题
[0007]然而，在以往的物体跟踪装置中，即使被拍摄体的大小变化了，模板图像的尺寸也不变，所以不能高精度地跟踪大小变化的被拍摄体。
[0008]用于解决课题的技术方案
[0009]根据本发明的第I技术方案，一种被拍摄体跟踪装置，具备:搜索区域设定部，其在输入图像内设定搜索区域；第I相似度演算部，其演算跟踪用模板图像与搜索区域内的图像的相似度；被拍摄体位置确定部，其基于用第I相似度演算部演算出的相似度，确定输入图像内的跟踪被拍摄体位置；第2相似度演算部，其分别演算基于跟踪用模板图像所生成的多张尺寸调整判定用模板图像与搜索区域内的图像的相似度；匹配位置确定部，其基于用第2相似度演算部演算出的相似度，分别确定输入图像内的、多张尺寸调整判定用模板图像的匹配位置；和尺寸变更部，其基于用匹配位置确定部确定的多个匹配位置的疏密程度，变更跟踪用模板图像以及尺寸调整判定用模板图像的图像尺寸。
[0010]根据本发明的第2技术方案，在第I技术方案的被拍摄体跟踪装置中，优选:尺寸变更部，在用匹配位置确定部确定的多个匹配位置的疏密程度变化了预定以上的情况下，变更跟踪用模板图像以及尺寸调整判定用模板图像的图像尺寸。
[0011]根据本发明的第3技术方案，在第I或2技术方案的被拍摄体跟踪装置中，优选:尺寸变更部，在用匹配位置确定部确定的多个匹配位置的密度向高变了的情况下减小图像尺寸，在用匹配位置确定部确定的多个匹配位置的密度向低变了的情况下增大图像尺寸。
[0012]根据本发明的第4技术方案，在第I?3中任一技术方案的被拍摄体跟踪装置中，优选:尺寸变更部，在用匹配位置确定部确定的多个匹配位置中，选择用第2相似度演算部演算出的相似度为预定以上的高相似度的匹配位置，基于选择的匹配位置的疏密程度变更图像尺寸。
[0013]根据本发明的第5技术方案，在第I?4中任一技术方案的被拍摄体跟踪装置中，优选:多张尺寸调整判定用模板图像为分别包含跟踪用模板图像的不同部分的图像。
[0014]根据本发明的第6技术方案，在第5技术方案的被拍摄体跟踪装置中，优选:多张尺寸调整判定用模板图像分别是被分割为多个块的跟踪用模板图像中以各块的中心位置为中心的预定尺寸的图像。
[0015]根据本发明的第7技术方案，在第6技术方案的被拍摄体跟踪装置中，优选:尺寸变更部，基于以与以多个块中的正中的块的中心位置为中心的尺寸调整判定用模板图像有关的匹配位置为基准的、与其他尺寸调整判定用模板图像有关的匹配位置的疏密程度，变更跟踪用模板图像以及尺寸调整判定用模板图像的图像尺寸。
[0016]根据本发明的第8技术方案，在第7技术方案的被拍摄体跟踪装置中，优选:尺寸变更部，在以多个块中的正中的块的中心位置为中心的尺寸调整判定用模板图像与搜索区域内的图像的最大相似度为预定以上的高相似度的情况下，判定是否变更跟踪用模板图像以及尺寸调整判定用模板图像的图像尺寸。
[0017]根据本发明的第9技术方案，一种被拍摄体跟踪装置具备:搜索区域设定部，其在输入图像内设定搜索区域；第I相似度演算部，其分别演算初始模板图像与搜索区域内的图像的相似度、以及合成模板图像与搜索区域内的图像的相似度；被拍摄体位置确定部，其基于用第I相似度演算部演算出的相似度，确定输入图像内的跟踪被拍摄体位置；更新判定部，其基于用第I相似度演算部演算出的相似度，判定是否更新合成模板图像；更新部，其在更新判定部判定为更新合成模板图像的情况下，更新将输入图像中的包含跟踪被拍摄体位置的图像与初始模板图像合成而得的图像作为新合成模板图像；第2相似度演算部，其分别演算多张尺寸调整判定用模板图像与搜索区域内的图像的相似度；匹配位置确定部，其基于用第2相似度演算部演算出的相似度，分别确定输入图像内的、多张尺寸调整判定用模板图像的匹配位置；尺寸变更判定部，其基于用匹配位置确定部确定的多个匹配位置的疏密程度，判定是否变更初始模板图像、合成模板图像与尺寸调整判定用模板图像的图像尺寸；和尺寸变更部，其在尺寸变更判定部判定为变更图像尺寸的情况下，将初始模板图像的图像尺寸变更为新图像尺寸；更新部，在尺寸变更判定部判定为变更图像尺寸的情况下，更新将输入图像中的包含跟踪被拍摄体位置的新图像尺寸的图像作为新合成模板图像，进一步，将更新后的合成模板图像分割为多个块，更新输入图像中的包含各块的新图像尺寸的图像作为新尺寸调整判定用模板图像。
[0018]根据本发明的第10技术方案，一种被拍摄体跟踪装置具备:跟踪单元，其基于模板图像，对图像内的确定被拍摄体进行跟踪；检测单元，其检测确定被拍摄体的大小变化；和更新单元，其在检测单元检测到确定被拍摄体的大小变化了预定量以上的情况下，更新模板图像。
[0019]根据本发明的第11技术方案，一种相机具备第I?10中任一技术方案的被拍摄体跟踪装置。
[0020]发明效果
[0021]根据本发明，能够高精度地跟踪大小变化的被拍摄体。
【附图说明】
[0022]图1是对根据本发明的一个实施方式的相机的构成例进行说明的框图。
[0023]图2是表示被拍摄体跟踪处理的流程的流程图。
[0024]图3是表示模板图像生成处理的详细情况的流程图。
[0025]图4是接着图3的流程图。
[0026]图5是对二值图像以及与图像(7 y卜''画像)进行说明的图。
[0027]图6是对初始模板图像的生成进行说明的图。
[0028]图7是对尺寸调整判定用模板图像的生成进行说明的图。
[0029]图8是对尺寸调整判定用模板图像的生成进行说明的图。
[0030]图9是表示跟踪被拍摄体位置确定处理的详细情况的流程图。
[0031]图10是表示合成模板图像更新处理的详细情况的流程图。
[0032]图11是表示模板尺寸更新处理的详细情况的流程图。
[0033]图12是接着图11的流程图。
[0034]图13是对与尺寸调整判定用模板图像有关的匹配位置与被拍摄体的大小的关系进行说明的图。
[0035]图14是对变形例I的尺寸调整判定用模板图像的生成进行说明的图。
【具体实施方式】
[0036]以下，参照附图对本发明的【具体实施方式】进行说明。图1是表示本实施方式中的相机的一个实施方式的构成的框图。相机100具备操作部件101、透镜102、拍摄元件103、控制装置104、存储卡插槽105和监视器106。操作部件101包含由使用者操作的各种输入部件，例如电源按钮、快门按钮、缩放按钮、十字键、确定按钮、再现按钮、删除按钮等。
[0037]透镜102由多个光学透镜构成，在图1中作为代表用I块透镜来表示。拍摄元件103为例如CMOS等图像传感器，对由透镜102成像的被拍摄体像进行拍摄。接着，将通过拍摄所得到的图像信号向控制装置104输出。
[0038]控制装置104由CPU、存储器、以及其他周边电路构成，对相机100进行控制。另夕卜，在构成控制装置104的存储器中，含有SDRAM和/或闪存。SDRAM是易失性的存储器，作为CPU在程序执行时用于展开程序的工作存储器而使用，或作为用于暂时记录数据的缓存而使用。另外，闪存是非易失性的存储器，记录有控制装置104执行的程序的数据和/或、在程序执行读入的各种参数等。
[0039]控制装置104基于从拍摄元件103输入的图像信号而生成预定的图像形式例如JPEG形式的图像数据(以下称为“正式图像数据”)。另外，控制装置104基于生成的图像数据，生成显示用图像数据例如缩略图像数据。控制装置104生成包含生成的正式图像数据与缩略图像数据并进一步附加有标题信息而成的图像文件并将其向存储卡插槽105输出。在本实施方式中，正式图像数据与缩略图像数据都设为按RGB表色系表示的图像数据。
[0040]存储卡插槽105是供作为存储介质的存储卡插入的插槽。控制装置104将图像文件写入而记录于上述存储卡。另外，控制装置104读入存储于上述存储卡内的图像文件。
[0041]监视器106为搭载于相机100背面的液晶监视器(背面监视器)，在该监视器106上显示有存储于存储卡的图像和/或用于设定相机100的设定菜单等。另外，控制装置104，当由使用者将相机100的模式设定为摄影模式时，将从拍摄元件103按时间系列获取的图像的显示用图像数据向监视器106输出。由此，在监视器106显示静态画面(只少一画)。
[0042]图2是表示本实施方式中的被拍摄体跟踪处理的流程的流程图。图2所示的处理作为若开始从拍摄元件103输入静态画面则起动的程序，由控制装置104执行。
[0043]在步骤SlO中，控制装置104读入从拍摄元件103输入的帧图像(第I帧图像)，进入步骤S20。读入的帧图像的尺寸设为例如360X240像素。另外，控制装置104将按RGB表色系表示的帧图像转换成YCbCr颜色空间中的由辉度分量(Y分量)构成的辉度图像与由色差分量(Cb分量、Cr分量)构成的色差图像。另外，在从拍摄元件103输入的帧图像按YCbCr表示的情况下，不需要该转换处理。
[0044]步骤S20中，控制装置104执行模板图像生成处理。在这里，使用图3以及图4对模板图像生成处理的详细情况进行说明。图3的步骤S201中，控制装置104对帧图像内的作为跟踪对象的被拍摄体(跟踪被拍摄体)的位置进行确定，进入步骤S202。在本实施方式中，督促使用者指定帧图像内的跟踪被拍摄体位置，将使用者操作操作部件101而输入的位置确定为跟踪被拍摄体位置。
[0045]步骤S202中，控制装置104，在以上述跟踪被拍摄体位置为中心的3X3像素的区域内分别计算Y分量的平均值、Cb分量的平均值、Cr分量的平均值。另外，控制装置104在整个帧图像中分别计算Y分量的标准偏差、Cb分量的标准偏差、Cr分量的标准偏差。另外，在本实施方式中，在这些标准偏差的计算中，不使用整个帧图像的平均值，而使用在以上述跟踪被拍摄体位置为中心的3X3像素的区域中计算出的平均值。
[0046]然后，进入步骤S203，控制装置104从帧图像的辉度图像(Y图像)与色差图像(Cb图像以及Cr图像)的各像素的值中减去步骤S202中计算出的Y分量、Cb分量、Cr分量的各自的平均值，分别作成取差值的绝对值而得的差分图像。
[0047]另外，控制装置104计算与距以上述跟踪被拍摄体位置为中心的预定大小(例如30X30像素)的矩形的距离相应的带距离权重的系数。另外，以距该矩形的距离越远(即越远离上述跟踪被拍摄体位置)越大的方式，计算出带距离权重的系数。而且，控制装置104通过在Y分量、Cb分量、Cr分量的各差分图像的各像素的值上乘以该带距离权重的系数，分别作成Y分量、Cb分量、Cr分量的带距离权重的差分图像。通过该处理，能够将背景的噪音除去。然后，进入步骤S204。
[0048]步骤S204中，控制装置104对步骤S203中生成的带距离权重的差分图像进行二值化处理，如图5所示，分别生成Y分量、Cb分量、Cr分量的二值图像3b?3d。另外，在图5中，用阴影表示的区域为黑像素的区域。
[0049]具体地说，在对Y分量的带距离权重的差分图像的二值化处理中，将在步骤S202中计算出的Y分量的标准偏差上乘以预定系数(例如0.6)所得的值设为阈值。而且，将像素值比阈值小的像素设为黑像素、将此外的像素设为白像素，生成二值图像。
[0050]对Cb分量的带距离权重的差分图像的二值化处理，与Y分量的情况同样地进行。但是，在步骤S202中计算出的Cb分量的平均值aveCb以及标准偏差sigCb满足下式(I)以及⑵这两方的情况下，在二值化处理中，使用通过下式⑶计算出的阈值thCb。这是为了与无彩色场景相对应。
[0051]118〈aveCb〈138...(I)
[0052]sigCb〈abs (aveCb-128)+3...(2)
[0053]thCb = a XsigC