基于逐层标签融合深度网络的图像标注方法
【专利摘要】本发明公开了一种基于逐层标签融合深度网络的图像标注方法，该方法包括以下步骤：对于训练集中的训练图像，提取其底层视觉特征；对于训练图像的标签进行层级化，构建标签的层级结构；对于训练图像，逐层融合其底层视觉特征信息和标签信息，并通过深度网络参数学习，得到训练图像的层级特征表示；对于测试集中的测试图像，提取其底层视觉特征，然后通过深度网络学习得到其层级特征表示，最后根据测试图像的层级特征表示预测其标注信息本发明所述的图像标注方法属于一种层级的标注，比传统的标注方法更加精确。
【专利说明】基于逐层标签融合深度网络的图像标注方法
【技术领域】
[0001]本发明涉及社交网络图像标注【技术领域】，尤其涉及一种基于逐层标签融合深度网络的图像标注方法。
【背景技术】
[0002]近年来，随着社交媒体的不断发展，社交平台上的图像数量呈爆炸式增长，如何对海量的社交图像进行标注成为网络多媒体领域重要的研究内容。
[0003]目前主流的图像标注方法主要集中在基于视觉信息的方法，该类方法首先进行底层特征提取，然后利用机器学习模型来对基于特征表示的图像进行分类。该类方法在一定程度上取得了较好的效果，然而由于仅利用视觉信息而忽视了其上下文的文本信息，其效果仍不够理想。
[0004]图像标注的核心在于利用图像相关的信息(包括视觉，上下文文本标签信息等)进行图像内容的理解，融合图像的标签信息和视觉信息，得到更加有表达能力的图像特征，对图像标注，特别是社交图像有重要的促进作用。然而，视觉特征和文本标签信息的异构性，给两类信息的融合带来了挑战，本发明提出的基于逐层标签融合深度网络的图像标注方法逐层地融合两类信息，解决了异构信息融合的难题，对于社交图像标注有着重要的作用。
【发明内容】
[0005]为了解决现有技术中存在的上述问题，本发明提出了一种基于逐层标签融合深度网络的图像标注方法。
[0006]本发明提出的一种基于逐层标签融合深度网络的图像标注方法包括以下步骤:
[0007]步骤1、对于训练集中的训练图像，提取其底层视觉特征X ；
[0008]步骤2、对于所述训练图像的标签进行层级化，构建标签的层级结构；
[0009]步骤3、对于所述训练图像，逐层融合其底层视觉特征信息和标签信息，并通过深度网络参数学习，得到所述训练图像的层级特征表示；
[0010]步骤4、对于测试集中的测试图像，提取其底层视觉特征，然后通过所述深度网络学习得到其层级特征表示，最后根据所述测试图像的层级特征表示预测其标注信息。
[0011]互联网图像标注在很多重要的相关领域已经有了广泛的应用。由于视觉顶层信息与高层语义之间的语义鸿沟的存在，基于视觉的图像标注是一个具有挑战性的难题。本发明提出的上述基于逐层标签融合深度网络的图像标注的方法能够自动对社交图像进行标注，另外本发明层级的标注方法比传统的标注方法更加精确。
【专利附图】
【附图说明】
[0012]图1是根据本发明一实施例的基于逐层标签融合深度网络的图像标注方法的流程图；[0013]图2是标签层级示例图；
[0014]图3是根据本发明一实施例的逐层特征融合深度网络的模型结构图。
【具体实施方式】
[0015]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0016]本发明所提出的方法所涉及的相关数据集包括:1)训练集，其中包括图像以及该图像所对应的社交标签；2)测试集，仅包括待标注的测试图像，而没有标签信息。
[0017]考虑到图像底层视觉信息和社交标签信息的异构性，本发明提出了一种基于逐层标签融合深度网络的图像标注方法。该方法的核心思想是在深度网络的框架下，逐层地进行标签信息和视觉信息的融合，从而学习图像的层级特征，为图像的标注提供特征表示。
[0018]图1示出了本发明提出的基于逐层标签融合深度网络的图像标注方法流程图，如图1所示，所述方法包括:
[0019]步骤1、对于训练集中的训练图像，提取其底层视觉特征；
[0020]步骤2、对于所述训练图像的标签进行层级化，构建标签的层级结构；
[0021]步骤3、对于所述训练图像，逐层融合其底层视觉特征信息和标签信息，并通过深度网络参数学习，得到所述训练图像的层级特征表示；
[0022]步骤4、对于测试集中的测试图像，提取其底层视觉特征，然后通过所述深度网络学习得到其层级特征表示，最后根据所述测试图像的层级特征表示预测其标注信息。
[0023]下面详细介绍上述四个步骤的具体执行过程。
[0024]步骤I中，对象的底层视觉特征提取是得到对象的初始表示，对于图像信息，本发明优选采用尺度不变特征变换特征(SIFT)(比如1000维)作为图像的底层视觉特征，图像的底层视觉特征用X来表示。
[0025]步骤2中，利用一些可以用的工具,本发明优选WordNet,对于图像的社交标签构建层数为K的标签层级。比如:若某图像带有标签animal, plant, cat, dog, flower,则对应的标签层级如图2所示(此处层数为2)。
[0026]所述步骤3为对于训练图像，逐层融合其底层视觉特征信息和标签信息，并通过深度网络参数学习，得到所述训练图像的层级特征。
[0027]步骤3中，构建层数为L(L>K)的深度网络，并使标签层级结构的K层对应深度网络的最高层。设深度网络各层的变量表示为h={h (°)，...，ha)}，其中，h(°)表示图像的底层视觉特征X ;K层的标签层级结构对应的各个层的变量表示为y={ya_K+1)，...，y(L)}。
[0028]该步骤是本发明的重要部分，图3是根据本发明一实施例的逐层特征融合深度网络的模型结构图，参照图3，所述步骤3可以分为以下几个子步骤:
[0029]步骤3.1:通过构建自编码器(auto-encoder),基于重构误差对于深度网络中从h?层到ha_K+1)层的参数进行初步调整；
[0030]所述步骤3.1进一步包括以下步骤:
[0031]步骤3.1.1:/Ah(0)层向上到ha_K+1)层，在每相邻两层之间构建一个自编码器，通过所述自编码器可由下一层的表示得到上一层表示的映射；
[0032]比如，基于hM和h(1)层之间的自编码器，由层的表示可映射得到h(1)层的表不:
[0033]
【权利要求】
1.一种基于逐层标签融合深度网络的图像标注方法，其特征在于，该方法包括以下步骤: 步骤1、对于训练集中的训练图像，提取其底层视觉特征X ; 步骤2、对于所述训练图像的标签进行层级化，构建标签的层级结构； 步骤3、对于所述训练图像，逐层融合其底层视觉特征信息和标签信息，并通过深度网络参数学习，得到所述训练图像的层级特征表示； 步骤4、对于测试集中的测试图像，提取其底层视觉特征，然后通过所述深度网络学习得到其层级特征表示，最后根据所述测试图像的层级特征表示预测其标注信息。
2.根据权利要求1所述的方法，其特征在于，所述训练图像的底层视觉特征为其尺度不变特征变换特征。
3.根据权利要求1所述的方法，其特征在于，所述深度网络的层数为L，标签层级结构的层数为K，其中，L>K，所述深度网络各层的变量表示为h={h(°)，...，ha)}，其中，h(°)表示图像的底层视觉特征X ;所述标签层级结构对应各层的变量表示为y={ya_K+1)，...，y(L)}。
4.根据权利要求3所述的方法，其特征在于，所述步骤3包括以下步骤: 步骤3.1:通过构建 自编码器，基于重构误差对于深度网络中从h(°)层到ha_K+1)层的参数进行初步调整； 步骤3.2:对于所述深度网络中的ha_K+1)层到最高11(1)层，结合深度网络中的某一层，比如ha)层和标签层级结构中的相应层，比如y(1)层，进行特征融合以及所述深度网络中相应参数的调整。
5.根据权利要求4所述的方法，其特征在于，所述步骤3.1进一步包括以下步骤: 步骤3.1.1:从h(°)层向上到ha_K+1)层，在每相邻两层之间构建一个自编码器，通过所述自编码器可由下一层的表示得到上一层表示的映射； 步骤3.1.2:由上一层表示映射回来得到下一层的重构表示； 步骤3.1.3:根据正确表示与重构表示之间的差错，对于所述深度网络的参数进行调整，直到h(L-K+1)层。
6.根据权利要求5所述的方法，其特征在于，所述步骤3.1.3中，使用最小化重构交叉熵来对所述深度网络的参数进行调整。
7.根据权利要求4所述的方法，其特征在于，所述步骤3.2进一步包括以下步骤: 步骤3.2.1:利用所述标签层级结构中的某一层y(1)标签调整所述深度网络中从h(tl)到h(1)层的参数； 步骤3.2.2:通过h(1)层和ya)层表示合并学习得到ha+1)层的特征表示，并对所述深度网络的相应参数进行调整，直至ha)层。
8.根据权利要求7所述的方法，其特征在于，所述步骤3.2.1和步骤3.2.2中，基于交叉熵损失，利用后向传播算法对于所述深度网络进行参数调整。
9.根据权利要求7所述的方法，其特征在于，所述步骤3.2.2中，将h(1)层和ya)层的表不合并起来，与ha+1)层的表不构成一个自编码器。
10.根据权利要求1所述的方法，其特征在于，所述步骤4进一步包括以下步骤: 步骤4.1:对于测试图像提取其底层视觉特征； 步骤4.2:利用所述深度网络，得到所述测试图像底层视觉特征的层级特征表示；步骤4.3: 利用所述测试图像的层级特征表示预测所述测试图像的标签信息。
【文档编号】G06F17/30GK104021224SQ201410290316
【公开日】2014年9月3日 申请日期:2014年6月25日 优先权日:2014年6月25日
【发明者】徐常胜, 袁召全, 桑基韬 申请人:中国科学院自动化研究所