处理音频和图像信息的方法、装置和终端设备的利记博彩app
【专利摘要】本发明公开了一种处理音频和图像信息的方法、装置和终端设备。该方法包括：接收第一用户指令，该第一用户指令用于指示从第一时刻开始连续采集音频信息；根据该第一用户指令，在该第一时刻与第二时刻之间的第一时间段内连续采集音频信息；接收第二用户指令，该第二用户指令用于指示从第三时刻开始采集图像信息；根据该第二用户指令，从该第三时刻开始采集图像信息并且在第二时间段超时时停止采集图像信息；建立该第一时间段内连续采集到的音频信息与该第二时间段内采集到的图像信息之间的对应关系；根据该对应关系，存储该音频信息和图像信息。本发明公开的处理音频和图像信息的方法，能够在较长时间地记录会议场景的同时较为完整地还原会议场景。
【专利说明】处理音频和图像信息的方法、装置和终端设备
【技术领域】
[0001]本发明涉及数据处理领域，尤其涉及处理音频和图像信息的方法、装置和终端设备。
【背景技术】
[0002]随着社会的发展，工作越来越忙碌，商务人士与白领们每天都要参加很多会议，有时候多个会议的时间冲突，因此用户不能同时参加多个会议，只能委托别人参加会议并记录会议的情况。一般地，被委托人可以通过视频录制的方式记录一个会议的情况，但是视频存储文件会占用很大的存储空间，同时也会消耗大量的手机电池电量，而目前手机的存储空间以及电量均有限，这往往会导致被委托人只能进行较短时间的视频录制，因此，在会议持续时间较长的情况下采用视频录制的方法无法完整地记录会议的情况，进而无法完整还原会议场景，用户体验较差。
【发明内容】
[0003]本发明实施例提供了一种记录信息的数据处理的方法和设备，能够在较长时间地记录会议场景的同时较为完整地还原会议场景。
[0004]第一方面，提供了处理音频与图像信息的方法，包括:接收第一用户指令，该第一用户指令用于指示从第一时刻开始连续采集音频信息；根据该第一用户指令，在该第一时刻与第二时刻之间的第一时间段内，连续采集音频信息，其中，该第一时刻早于该第二时刻；接收第二用户指令，该第二用户指令用于指示从第三时刻开始采集图像信息；根据该第二用户指令，在连续采集音频信息的同时，从该第三时刻开始采集图像信息并且在第二时间段超时时停止采集图像信息，其中，该第二时间段以该第三时刻为起始时刻，该第二时间段的长度小于该第一时间段的长度且该第二时间段位于该第一时间段内；建立该第一时间段内连续采集到的音频信息与该第二时间段内采集到的图像信息之间的对应关系；根据该对应关系，存储该第一时间段内连续采集到的音频信息以及该第二时间段内采集到的图像息。
[0005]在第一种可能的实现方式中，该第二时间段内采集到的图像信息为连续帧图片信息或单帧图片信息。
[0006]结合上述可能的实现方式，在第二种可能的实现方式中，该建立该第一时间段内连续采集到的音频信息与该第二时间段内采集到的图像信息之间的对应关系，包括:根据该第三时刻，确定第三时间段，其中，该第三时间段包括该第二时间段且该第三时间段位于该第一时间段内；为该第三时间段内连续采集到的音频信息添加第一标识，并且为该第二时间段采集到的图像信息添加第二标识，其中，该第一标识与该第二标识之间具有对应关系；根据该第一标识和该第二标识，建立该第一时间段内连续采集到的音频信息与该第二时间段内采集到的图像信息之间的对应关系。
[0007]结合上述可能的实现方式，在第三种可能的实现方式中，该建立该第一时间段内连续采集到的音频信息与该第二时间段内采集到的图像信息之间的对应关系，包括:根据该第二时间段内连续采集到的音频信息，确定该图像信息的主题名称；根据该图像信息的主题名称对该第一时间段内连续采集到的音频信息进行关键字搜索，以确定该第一时间段内连续采集到的音频信息中与该主题名称匹配的音频信息；根据与该主题名称匹配的音频信息，建立该第一时间段内连续采集到的音频信息与该第二时间段内采集到的图像信息之间的对应关系。
[0008]结合上述可能的实现方式，在第四种可能的实现方式中，该根据该对应关系，存储该第一时间段内连续采集到的音频信息以及该第二时间段内采集到的该图像信息，包括:将该第一时间段内连续采集到的音频信息存储至音频格式存储文件；将该第二时间段采集到的图像信息存储至图像格式存储文件；其中，该音频格式存储文件和该图像格式存储文件之间具有该对应关系。
[0009]结合上述可能的实现方式，在第五种可能的实现方式中，该根据该对应关系，存储该第一时间段内连续采集到的音频信息以及该第二时间段内采集到的该图像信息，包括:将该第一时间段内连续采集到的音频信息、该第二时间段采集到的图像信息以及该对应关系存储至一个存储文件。
[0010]结合上述可能的实现方式，在第六种可能的实现方式中，该方法还包括:
[0011]接收第三用户指令，该第三用户指令用于查看该存储文件存储的第四时刻的音频信息，该第四时刻位于该第一时间段内且该存储文件中存在与该第四时刻的音频信息具有对应关系的图像信息；根据该第三用户指令，在呈现该第四时刻的音频信息的同时，呈现与该第四时刻的音频信息具有对应关系的图像信息。
[0012]结合上述可能的实现方式，在第七种可能的实现方式中，该方法还包括:
[0013]接收第四用户指令，该第四用户指令用于查看该存储文件存储的第五时刻的图像信息，其中，该第五时刻位于该第二时间段内；根据该第四用户指令，在呈现该第五时刻的图像信息的同时，呈现该存储文件存储的音频信息中与该第五时刻的图像信息具有对应关系的音频信息。
[0014]第二方面，提供了一种处理音频与图像信息的装置，包括:接收单元，用于接收第一用户指令，该第一用户指令用于指示从第一时刻开始连续采集音频信息；音频采集单元，用于根据该接收单元接收到的该第一用户指令，在该第一时刻与第二时刻之间的第一时间段内，连续采集音频信息，其中，该第一时刻早于该第二时刻；该接收单元还用于接收第二用户指令，该第二用户指令用于指示从第三时刻开始采集图像信息；图像采集单元，用于根据该接收单元接收的该第二用户指令，在该音频采集单元连续采集音频信息的同时，从该第三时刻开始采集图像信息并且在第二时间段超时时停止采集图像信息，其中，该第二时间段以该第三时刻为起始时刻，该第二时间段的长度小于该第一时间段的长度且该第二时间段位于该第一时间段内；对应关系建立单元，用于建立该音频采集单元在该第一时间段内连续采集到的音频信息与该图像采集单元在该第二时间段内采集到的图像信息之间的对应关系；存储单元，用于根据该对应关系建立单元建立的该对应关系，存储该音频采集单元在该第一时间段内连续采集到的音频信息以及该图像采集单元在该第二时间段内采集到的图像信息。
[0015]在第一种可能的实现方式中，该图像采集单元在该第二时间段内采集到的图像信息为连续帧图片信息或单帧图片信息。
[0016]结合上述可能的实现方式，在第二种可能的实现方式中，该对应关系建立单元包括:第一确定单元，用于根据该第三时刻，确定第三时间段，其中，该第三时间段包括该第二时间段且该第三时间段位于该第一时间段内；标识添加单元，用于为该音频采集单元在该第一确定单元确定的该第三时间段内连续采集到的音频信息添加第一标识，并且为该图像采集单元在该第二时间段采集到的图像信息添加第二标识，其中，该第一标识与该第二标识之间具有对应关系；第一建立单元，用于根据该标识添加单元添加的第一标识和该第二标识，建立该音频采集单元在该第一时间段内连续采集到的音频信息与该图像采集单元在该第二时间段内采集到的图像信息之间的对应关系。
[0017]结合上述可能的实现方式，在第三种可能的实现方式中，该对应关系建立单元包括:第二确定单元，用于根据该音频采集单元在该第二时间段内连续采集到的音频信息，确定该图像信息的主题名称；第三确定单元，用于根据该第二确定单元确定的该主题名称，对该音频采集单元在该第一时间段内连续采集到的音频信息进行关键字搜索，以确定该音频采集单元在该第一时间段内连续采集到的音频信息中与该第二确定单元确定的该主题名称匹配的音频信息；第二建立单元，用于根据该第三确定单元确定的与该主题名称匹配的音频信息，建立该音频采集单元在该第一时间段内连续采集到的音频信息与该图像采集单元在该第二时间段内采集到的图像信息之间的对应关系。
[0018]结合上述可能的实现方式，在第四种可能的实现方式中，该存储单元包括:第一存储单元，用于将该音频采集单元在该第一时间段内连续采集到的音频信息存储至音频格式存储文件；第二存储单元，用于将该图像采集单元在该第二时间段采集到的图像信息存储至图像格式存储文件；其中，该音频格式存储文件和该图像格式存储文件之间具有该对应关系建立单兀建立的该对应关系。
[0019]结合上述可能的实现方式，在第五种可能的实现方式中，该存储单元还用于:将该音频采集单元在该第一时间段内连续采集到的音频信息、该图像采集单元在该第二时间段采集到的图像信息以及该对应关系建立单元建立的该对应关系存储至一个存储文件。
[0020]结合上述可能的实现方式，在第六种可能的实现方式中，该接收单元还用于接收第三用户指令，该第三用户指令用于查看该存储单元生成的该存储文件存储的第四时刻的音频信息，该第四时刻位于该第一时间段内且该存储文件中存在与该第四时刻的音频信息具有对应关系的图像信息；该装置还包括:第一呈现单元，用于根据该接收单元接收的该第三用户指令，在呈现该第四时刻的音频信息的同时，呈现与该第四时刻的音频信息具有对应关系的图像信息。
[0021]结合上述可能的实现方式，在第七种可能的实现方式中，该接收单元还用于接收第四用户指令，该第四用户指令用于查看该存储单元生成的该存储文件存储的第五时刻的图像信息，其中，该第五时刻位于该第二时间段内；该装置还包括:第二呈现单元，用于根据该接收单元接收的该第四用户指令，在呈现该第五时刻的图像信息的同时，呈现该存储文件存储的音频信息中与该第五时刻的图像信息具有对应关系的音频信息。
[0022]第三方面，提供了一种终端设备，包括:接收器，用于接收第一用户指令，该第一用户指令用于指示从第一时刻开始连续采集音频信息；录音器，用于根据该接收器接收到的该第一用户指令，在该第一时刻与第二时刻之间的第一时间段内，连续采集音频信息，其中，该第一时刻早于该第二时刻；该接收器还用于接收第二用户指令，该第二用户指令用于指示从第三时刻开始采集图像信息；摄像头，用于根据该接收器接收的该第二用户指令，在该录音器连续采集音频信息的同时，从该第三时刻开始采集图像信息并且在第二时间段超时时停止采集图像信息，其中，该第二时间段以该第三时刻为起始时刻，该第二时间段的长度小于该第一时间段的长度且该第二时间段位于该第一时间段内；处理器，用于建立该录音器在该第一时间段内连续采集到的音频信息与该摄像头在该第二时间段内采集到的图像信息之间的对应关系；存储器，用于根据该处理器建立的该对应关系，存储该录音器在该第一时间段内连续采集到的音频信息以及该摄像头在该第二时间段内采集到的图像信息。
[0023]在第一种可能的实现方式中，该摄像头在该第二时间段内采集到的图像信息为连续帧图片信息或单帧图片信息。
[0024]结合上述可能的实现方式，在第二种可能的实现方式中，该处理器具体用于:根据该第三时刻，确定第三时间段，其中，该第三时间段包括该第二时间段且该第三时间段位于该第一时间段内；为该录音器在该第三时间段内连续采集到的音频信息添加第一标识，并且为该摄像头在该第二时间段采集到的图像信息添加第二标识，其中，该第一标识与该第二标识之间具有对应关系；根据该第一标识和该第二标识，建立该录音器在该第一时间段内连续采集到的音频信息与该摄像头在该第二时间段内采集到的图像信息之间的对应关系O
[0025]结合上述可能的实现方式，在第三种可能的实现方式中，该处理器具体用于:根据该录音器在该第二时间段内连续采集到的音频信息，确定该图像信息的主题名称；根据该图像信息的主题名称，对该录音器在该第一时间段内连续采集到的音频信息进行关键字搜索，以确定该录音器在该第一时间段内连续采集到的音频信息中与该主题名称匹配的音频信息；根据与该主题名称匹配的音频信息，建立该录音器在该第一时间段内连续采集到的音频信息与该摄像头在该第二时间段内采集到的图像信息之间的对应关系。
[0026]结合上述可能的实现方式，在第四种可能的实现方式中，该存储器具体用于:将该录音器在该第一时间段内连续采集到的音频信息存储至音频格式存储文件；将该摄像头在该第二时间段采集到的图像信息存储至图像格式存储文件；其中，该音频格式存储文件和该图像格式存储文件之间具有该处理器建立的该对应关系。
[0027]结合上述可能的实现方式，在第五种可能的实现方式中，该存储器还用于:将该录音器在该第一时间段内连续采集到的音频信息、该摄像头在该第二时间段采集到的图像信息以及该处理器建立的该对应关系存储至一个存储文件。
[0028]结合上述可能的实现方式，在第六种可能的实现方式中，该接收器还用于接收第三用户指令，该第三用户指令用于查看该存储器生成的该存储文件存储的第四时刻的音频信息，该第四时刻位于该第一时间段内且该存储文件中存在与该第四时刻的音频信息具有对应关系的图像信息；该终端设备还包括:播放器，用于根据该接收器接收的该第三用户指令，在呈现该第四时刻的音频信息的同时，呈现与该第四时刻的音频信息具有对应关系的图像信息。
[0029]结合上述可能的实现方式，在第七种可能的实现方式中，该接收器还用于接收第四用户指令，该第四用户指令用于查看该存储器生成的该存储文件存储的第五时刻的图像信息，其中，该第五时刻位于该第二时间段内；该终端设备还包括:播放器，用于根据该接收器接收的该第四用户指令，在呈现该第五时刻的图像信息的同时，呈现该存储文件存储的音频信息中与该第五时刻的图像信息具有对应关系的音频信息。
[0030]基于上述技术方案，本发明实施例的处理音频和图像信息的方法、装置和终端设备，通过在一段时间内连续采集音频信息，并且在该段时间内的某一时刻或某一较短时间段采集图像信息，建立采集到的音频信息与图像信息之间的对应关系并根据该对应关系存储该采集到的音频信息和图像信息，能够在较长时间段内连续采集音频信息的同时，根据用户指令进行选择性地进行图像信息的采集，从而占用较小的存储空间，并且较为完整地还原会议场景，提高用户体验。
【专利附图】
【附图说明】
[0031]为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]图1是本发明实施例的处理音频和图像信息的方法的示意性流程图。
[0033]图2是本发明实施例的另一处理音频和图像信息的方法的示意性流程图。
[0034]图3是本发明实施例的处理音频和图像信息的装置的示意性框图。
[0035]图4是本发明实施例的终端设备的示意性框图。
【具体实施方式】
[0036]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
[0037]还应理解，在本发明实施例可以应用于各种会议或其它场景记录，处理音频和图像信息的装置可以是具有摄像功能和录音功能的终端设备或是其它任意兼具有录音和拍照/摄像功能的装置，但本发明并不限定于此。
[0038]图1示出了本发明实施例的处理音频和图像信息的方法100的示意性流程图。该方法可以由任意具备录音功能和拍照/摄像功能的装置执行。
[0039]S110，接收第一用户指令，该第一用户指令用于指示从第一时刻开始连续采集音
频信息。
[0040]该装置可以通过多种方式确定该第一时刻。可选地，该第一用户指令可以直接指示开始采集音频信息的时刻，相应地，该装置可以将该第一用户指令中指示的开始采集音频信息的时刻确定为第一时刻。可选地，作为另一实施例，如果该第一用户指令未直接指示开始采集音频信息的时刻，则该装置可以根据接收到该第一用户指令的时刻，确定该第一时刻，例如，该装置在接收到该第一用户指令之后立即开始采集音频信息，相应地，该第一时刻可以为该装置的音频信息采集单元启动的时刻，或者为该装置检测到用户按压与音频信息采集相对应的按钮或快捷键的时刻，等等，本发明实施例对此不做限定。
[0041]S120,根据该第一用户指令,在该第一时刻与第二时刻之间的第一时间段内，连续采集音频信息，其中，该第一时刻早于该第二时刻。
[0042]该装置在第一时间段内连续不间断地采集音频信息，并且在检测到用于指示采集图像信息的用户指令之前，该装置不采集图像信息。
[0043]该装置可以通过多种方式确定该第二时刻，即音频采集结束的时刻。例如，该装置可以预先设置采集音频信息的时间长度，并根据该第一时刻和该预先设置的时间长度确定该第二时刻；或者该第一用户指令可以指示音频信息采集的结束时刻或指示音频信息采集的持续时间长度，相应地，该装置可以根据该第一用户指令中指示的结束时刻或持续时间长度，确定该第二时刻；或者该第二时刻为该装置检测到用于指示停止采集音频信息的用户指令的时刻，例如，用户再次按压该装置中与音频信息采集相对应的按钮或快捷键的时亥IJ，或者用户按压与停止进行音频信息采集相对应的按钮或快捷键的时刻，等等，本发明实施例对此不做限定。
[0044]S130，接收第二用户指令，该第二用户指令用于指示从第三时刻开始采集图像信
肩、O
[0045]该装置可以通过多种方式确定该第三时刻。可选地，该第二用户指令可以直接指示开始采集图像信息的时刻，相应地，该装置可以将该第二用户指令中指示的开始采集图像信息的时刻确定为第三时刻。可选地，作为另一实施例，若该第二用户指令未直接指示开始采集图像信息的时刻，则该装置可以根据接收到该第二用户指令的时刻，确定该第三时亥IJ，例如，该装置在接收到该第二用户指令之后立即开始采集图像信息，相应地，该第三时刻可以为该装置的图像信息采集单元启动的时刻，或者为该装置检测到用户按压与图像信息采集相对应的按钮或快捷键的时刻，等等，本发明实施例对此不做限定。
[0046]S140，根据该第二用户指令，在连续采集音频信息的同时，从该第三时刻开始采集图像信息并且在第二时间段超时时停止采集图像信息，其中，该第二时间段以该第三时刻为起始时刻，该第二时间段的长度小于该第一时间段的长度且该第二时间段位于该第一时间段内。
[0047]该装置在该第二时间段的开始时刻(即第三时刻)开始采集图像信息，并且在该第二时间段的终止时刻停止采集图像信息。若该第二时间段超时且该第一时间段未超时，该装置在再次检测到用于指示采集图像信息的用户指令之前，只进行音频信息的采集而不进行图像信息采集。
[0048]该装置进行图像信息的采集的第二时间段短于该装置进行音频信息的采集的第一时间段。可选地，该第二时间段的长度可以为零，即该第二时间段具体为该第三时刻，例如，该装置在第三时刻拍摄一张照片；或者该第二时间段的长度也可以大于零，例如，该装置在第二时间段内连续拍摄多张照片或者录制视频，本发明实施例对此不做限定。
[0049]可选地，该第三时刻可以等于该第一时刻，并且第二时间段的终止时刻早于该第二时刻，此时，该装置从同一时刻开始进行音频信息和图像信息的采集，经过一段时间后停止采集图像信息并且继续采集音频信息。可选地，作为另一实施例，该第三时刻也可以晚于第一时刻并且早于第二时刻，此时，该装置可以首先进行音频信息的采集，并在音频信息的采集进行一段时间后同时采集音频信息和图像信息，如果该第二时间段的终止时刻早于该第二时刻，则该装置停止采集图像信息之后继续采集音频信息，而如果该第二时间段的终止时刻等于该第二时刻，则该装置同时停止采集图像信息和音频信息；可选地，作为另一实施例，该第二时间段的长度为零且该第三时刻等于该第二时刻，此时，该装置在该第一时间段的绝大部分时间内只进行音频信息的采集，并在该第一时间段的最后时刻同时进行图像信息和音频信息的采集，本发明实施例对此不做限定。
[0050]该装置可以通过多种方式确定该第二时间段的终止时刻。可选地，该第二时间段的终止时刻可以为该装置检测到用于指示停止采集图像信息的用户指令的时刻，例如，该终止时刻为用户关闭图像信息采集单元的时刻，或者为该装置检测到用户再次按压与图像信息采集相对应的按钮或快捷键的时刻，等等。可选地，作为另一实施例，如果该第二用户指令用于指示该装置拍摄一张照片或连续拍摄多张照片，则该装置可以从该第三时刻开始拍摄一张照片或连续拍摄多张照片，并且在拍摄完一张或连续多张照片后停止进行拍摄，即该第二时间段的终止时刻可以为该装置完成该张照片或该连续多张照片拍摄的时刻，本发明实施例对此不做限定。
[0051]可选地，作为另一实施例，该装置也可以预先设置进行图像信息采集的持续时间段并且从该第三时刻开始计时，如果该装置在该预先设置的持续时间段超时时仍未接收到用于指示停止采集图像信息的用户指令，则该装置停止采集图像信息，即该第二时间段的终止时刻为该预设的持续时间段的终止时刻，其中，该预先设置的持续时间段可以为几十秒或几分钟，如果该装置设置有屏幕休眠时间段，则该预先设置的持续时间段的长度也可以默认等于该屏幕休眠时间段的长度；或者，若该装置在第二时刻之前未检测到用于指示停止采集图像信息的用户指令，则该第二时间段的终止时刻也可以为该装置检测到用于指示停止采集音频信息的用户指令的时刻，此时，该第二时间段的终止时刻为该第二时刻，且该装置同时停止采集音频信息和图像信息，本发明实施例对此不做限定。
[0052]可选地，作为另一实施例，该装置也可以预设一个临界存储容量，并且在检测到采集到的图像信息所占用的存储空间等于或接近该临界存储容量时，停止采集图像信息，即该第二时间段的终止时刻为该装置检测到采集到的图像信息所占用的存储空间等于或接近该临界存储容量的时刻，其中，该预设的临界存储容量可以根据用户指令设置，可以为几十兆或几百兆字节，或者为当前剩余存储空间的一定比例，本发明实施例对此不做限定。
[0053]S150，建立该第一时间段内连续采集到的音频信息与该第二时间段内采集到的图像信息之间的对应关系。
[0054]该装置可以根据图像信息与音频信息的采集时间，或者根据采集到的音频信息和图像信息的内容，建立该第一时间段内采集到的音频信息与图像信息之间的对应关系，本发明实施例对此不做限定。
[0055]S160，根据该对应关系，存储该第一时间段内连续采集到的音频信息以及该第二时间段内采集到的图像信息。
[0056]该装置根据该音频信息、该图像信息以及二者之间的对应关系，生成存储文件。
[0057]因此，根据本发明实施例的处理音频和图像的方法，通过在一段时间内连续采集音频信息，并且在该段时间内的某一时刻或某一较短时间段采集图像信息，建立采集到的音频信息与图像信息之间的对应关系并根据该对应关系存储该采集到的音频信息和图像信息，能够在较长时间段内连续采集音频信息的同时，根据用户指令进行选择性地进行图像信息的采集，从而占用较小的存储空间，并且较为完整地还原会议场景，提高用户体验。
[0058]可选地，该第二时间段内采集到的图像信息可以为连续帧图片信息或单帧图片信息。其中，如果该第一用户指令用于指示进行拍照，则该装置可以从第三时刻开始拍摄一张或多张照片，此时，该装置采集到的图像为一张或多张静态图片，即采集到的图像信息为单帧图片信息；而如果该第一用户指令用于指示拍摄视频，则该装置可以在该第二时间段内拍摄视频，此时，该装置采集到的图像为连续多张静态图片，即采集到的图像信息为连续帧图片信息，但本发明实施例不限于此。
[0059]可选地，作为另一实施例，为了进一步提高用户体验，在存储该采集到的音频信息之前，该装置还可以对采集到的音频信息进行降噪处理。此外，由于该装置采集到的音频信息是模拟信号，因此该装置在存储该采集到的音频信息之前，还可以对该音频信息进行模数转换(Analog-to-Digital Conversion，简称为“ADC”)处理以获得数字信号，并在S160中存储获得的该数字信号，但本发明实施例不限于此。
[0060]作为一个可选实施例，S150,建立该第一时间段内连续米集到的音频信息与在该第二时间段内采集到的图像信息之间的对应关系，包括:
[0061]根据该第三时刻，确定第三时间段，其中，该第三时间段包括该第二时间段且该第三时间段位于该第一时间段内；
[0062]为该第三时间段内连续采集到的音频信息添加第一标识，并且为该第二时间段采集到的图像信息添加第二标识，其中，该第一标识与该第二标识之间具有对应关系；
[0063]根据该第一标识和该第二标识，建立该第一时间段内连续采集到的音频信息与该第二时间段内采集到的图像信息之间的对应关系。
[0064]具体地，该第三时间段可以与该第二时间段完全重合，或者该第二时间段为该第三时间段的一部分。其中，如果该装置在第二时间段内进行视频的拍摄，则该第三时间段可以与该第二时间段完全重合；如果该第二时间段内拍摄多张静态照片，则该第二时间段可以为该第三时间段的一部分；而如果该第二时间段内拍摄一张静态照片，即该第二时间段为第三时刻，则该第三时间段可以为该第三时刻或包括第三时刻在内的一段时间，本发明实施例对此不做限定。
[0065]该第三时间段的长度可以预设设置，其中，该第三时间段可以以该第三时刻为起始时刻且长度大于该第二时间段的长度，或者该第三时间段与该第二时间段具有相同的终止时刻但该第三时间段的起始时刻早于该第三时刻，或者该第三时间段以该第三时刻为中心时刻且该第三时间段的终止时刻为该第二时间段的终止时刻或晚于该第二时间段的终止时刻，本发明实施例对此不做限定。
[0066]该装置确定该第三时间段内采集到的音频信息与该第二时间段内采集到的图像信息之间具有对应关系，并且采用该第一标识和该第二标识表示该对应关系，其中，该第一标识和该第二标识可以为任意具有关联关系的标识，本发明实施例对此不做限定。
[0067]可选地，作为另一实施例，S150,建立该第一时间段内连续米集到的音频信息与在该第二时间段内采集到的图像信息之间的对应关系，包括:
[0068]根据该第二时间段内连续采集到的音频信息，确定该图像信息的主题名称；
[0069]根据该图像信息的主题名称对该第一时间段内连续采集到的音频信息进行关键字搜索，以确定该第一时间段内连续采集到的音频信息中与该主题名称匹配的音频信息；
[0070]根据与该主题名称匹配的音频信息，建立该第一时间段内连续采集到的音频信息与该第二时间段内采集到的图像信息之间的对应关系。[0071]具体地，该装置可以在采集该图像信息之后弹出对话框，以提示用户输入该图像信息的主题名称，并根据该用户的输入确定该图像信息的主题名称；或者该装置也可以根据该第二时间段内采集到的音频信息的内容，确定该图像信息的主题名称，本发明实施例对此不做限定。该装置在确定该图像信息的主题名称后，可以采用关键字搜索技术，在该第一时间段采集到的语音信息中搜索与该图像信息的主题名称匹配的语音信息，并确定该匹配的语音信息与该图像信息之间具有对应关系。例如，该图像信息的主题名称为“统计函数”且该装置在采集到的语音信息中搜索到两处与该“统计函数”匹配的语音信息，则该装置可以确定该图像信息和该两段匹配的语音信息之间具有对应关系。可选地，该装置也可以以该两段匹配的语音信息中的每段匹配的语音信息为中心点并分别向两侧扩展一定的长度，或以该每段匹配的语音信息为起始向后扩展一定的长度，并确定该图像信息与该扩展后的两段语音信息之间具有对应关系，但本发明实施例不限于此。
[0072]可选地，作为另一实施例，S160，根据该对应关系，存储该第一时间段内连续采集到的音频信息以及在该第二时间段内采集到的该图像信息，包括:
[0073]将该第一时间段内连续采集到的音频信息存储至音频格式存储文件；
[0074]将该第二时间段采集到的图像信息存储至图像格式存储文件；
[0075]其中，该音频格式存储文件和该图像格式存储文件之间具有该对应关系。
[0076]具体地，该音频格式存储文件用于存储音频信息，该图像格式存储文件用于存储图像信息，且可以在该音频格式存储文件和该图像格式存储文件中设置标签，以记录S150中建立的对应关系。可选地，该装置也可以将该音频信息转换为文本格式，并存储文本格式的该音频信息，但本发明实施例不限于此。
[0077]可选地，作为另一实施例，S160，根据该对应关系，存储该第一时间段内连续采集到的音频信息以及在该第二时间段内采集到的该图像信息，包括:
[0078]将该第一时间段内连续采集到的音频信息、该第二时间段采集到的图像信息以及该对应关系存储至一个存储文件。
[0079]具体地，该存储文件具有新的文件格式，用于存储音频信息、图像信息以及二者之间的对应关系。用户在查看该存储文件存储的内容时，其中，该装置可以同时呈现某段音频信息和与之具有对应关系的图像信息，但本发明实施例不限于此。可选地，用户还可以选择性地进行查看，例如，用户可以通过拖动时间轴或点击某一个具体时间点来查看该时间点的相关内容，还可以对该内容进行编辑或删除操作，本发明实施例不限于此。
[0080]可选地，作为另一实施例，该方法100还包括:
[0081]接收第三用户指令，该第三用户指令用于查看该存储文件存储的第四时刻的音频信息，该第四时刻位于该第一时间段内且该存储文件中存在与该第四时刻的音频信息具有对应关系的图像信息；
[0082]根据该第三用户指令，在呈现该第四时刻的音频信息的同时，呈现与该第四时刻的音频信息具有对应关系的图像信息。
[0083]具体地，该第四时刻可以位于该第三时间段或第二时间段内。如果用户点击时间轴的某一时刻或者该音频信息连续播放到该时刻，则该装置可以在播放该时刻的录音的同时，呈现与该时刻的录音具有对应关系的图像信息，但本发明实施例不限于此。
[0084]可选地，作为另一实施例，该方法100还包括:[0085]接收第四用户指令，该第四用户指令用于查看该存储文件存储的第五时刻的图像信息，其中，该第五时刻位于该第二时间段内；
[0086]根据该第四用户指令，在呈现该第五时刻的图像信息的同时，呈现该存储文件存储的音频信息中与该第五时刻的图像信息具有对应关系的音频信息。
[0087]具体地，如果用户点击某一图片，则该装置可以在呈现该图片的同时，播放与该图片具有对应关系的音频信息，但本发明实施例不限于此。
[0088]因此，根据本发明实施例的处理音频和图像的方法，通过在一段时间内连续采集音频信息，并且在该段时间内的某一时刻或某一较短时间段采集图像信息，建立采集到的音频信息与图像信息之间的对应关系并根据该对应关系存储该采集到的音频信息和图像信息，能够在较长时间段内连续采集音频信息的同时，根据用户指令进行选择性地进行图像信息的采集，从而占用较小的存储空间，并且较为完整地还原会议场景，提高用户体验。
[0089]图2示出了根据本发明另一实施例的处理音频和图像信息的方法200的示意性流程图。如图2所示，该方法200包括:
[0090]S210，采集音频信息。
[0091]在检测到用于指示采集图像信息的用户指令之前，只进行音频信息的采集而不进行图像信息的采集。
[0092]S220，检测用户指令。
[0093]其中，S210和S220可以同时执行，如果未检测到任何用户指令，则继续进行音频信息采集而不进行图像信息采集，即继续执行S210 ;如果检测到用于指示停止采集音频信息的用户指令，则执行S260和S280 ;如果检测到用于指示采集图像信息的用于指令，则执行 S230。
[0094]S230，同时采集图像信息和音频信息。
[0095]其中，该图像信息可以为单帧图片信息或连续帧图片信息。
[0096]S240，检测用户指令或确定是否满足停止采集图像信息的预设条件。
[0097]其中，S230和S240可以同时执行，该停止采集图像信息的预设条件可以包括下列条件中的至少一项:采集图像信息的持续时间是否超过预设时间阈值以及采集到的图像信息所占用的存储空间是否超过临界存储容量。如果满足上述两个条件中的至少一项，则确定满足该停止采集图像信息的预设条件，但本发明实施例不限于此。如果该停止采集图像信息的预设条件满足或者检测到用于指示停止采集图像信息的用于指令，则可以执行S250和S210，即停止采集图像信息但继续采集音频信息；而如果检测到用于指示停止采集音频信息的用户指令，则执行S250、S260、S270和S280，即停止采集音频信息和图像信息，建立采集到的音频信息和图像信息之间的对应关系，并根据该对应关系生成存储文件。
[0098]S250,停止米集图像彳目息。
[0099]S260，停止采集音频信息。
[0100]S270,建立采集到的音频信息与图像信息之间的对应关系。
[0101]其中，可以根据两者分别包括的内容建立该音频信息与图像信息之间的对应关系。可选地，该步骤也可以在执行S250之后立即执行，具体地，如果在停止采集图像信息后继续采集音频信息，则可以在继续采集音频信息的同时根据采集时间建立之前采集到的图像信息与音频信息之间的对应关系，但本发明实施例不限于此。[0102]S280，生成存储文件。
[0103]具体地，该存储文件用于存储采集到的音频信息，或用于存储采集到的音频信息、图像信息以及两者之间的对应关系，但本发明实施例不限于此。
[0104]应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0105]因此，根据本发明实施例的处理音频和图像的方法，通过在一段时间内连续采集音频信息，并且在该段时间内的某一时刻或某一较短时间段采集图像信息，建立采集到的音频信息与图像信息之间的对应关系并根据该对应关系存储该采集到的音频信息和图像信息，能够在较长时间段内连续采集音频信息的同时，根据用户指令进行选择性地进行图像信息的采集，从而占用较小的存储空间，并且较为完整地还原会议场景，提高用户体验。
[0106]上文中结合图1和图2，详细描述了根据本发明实施例的处理音频和图像信息的方法，下面将结合图3和图4，详细描述根据本发明实施例的处理音频和图像信息的装置和终端设备。
[0107]图3示出了根据本发明实施例的处理音频和图像信息的装置300的示意性框图。如图3所示，该装置300包括:
[0108]接收单元310，用于接收第一用户指令，该第一用户指令用于指示从第一时刻开始连续采集音频信息；
[0109]音频采集单元320，用于根据该接收单元310接收到的该第一用户指令，在该第一时刻与第二时刻之间的第一时间段内，连续采集音频信息，其中，该第一时刻早于该第二时刻；
[0110]该接收单元310还用于接收第二用户指令，该第二用户指令用于指示从第三时刻开始采集图像信息；
[0111]图像采集单元330，用于根据该接收单元310接收的该第二用户指令，在该音频采集单元320连续采集音频信息的同时，从该第三时刻开始采集图像信息并且在第二时间段超时时停止采集图像信息，其中，该第二时间段以该第三时刻为起始时刻，该第二时间段的长度小于该第一时间段的长度且该第二时间段位于该第一时间段内；
[0112]对应关系建立单元340，用于建立该音频采集单元320在该第一时间段内连续采集到的音频信息与该图像采集单元330在该第二时间段内采集到的图像信息之间的对应关系;
[0113]存储单元350，用于根据该对应关系建立单元340建立的该对应关系，存储该音频采集单元320在该第一时间段内连续采集到的音频信息以及该图像采集单元330在该第二时间段内采集到的图像信息。
[0114]因此，根据本发明实施例的处理音频和图像的装置，通过在一段时间内连续采集音频信息，并且在该段时间内的某一时刻或某一较短时间段采集图像信息，建立采集到的音频信息与图像信息之间的对应关系并根据该对应关系存储该采集到的音频信息和图像信息，能够在较长时间段内连续采集音频信息的同时，根据用户指令进行选择性地进行图像信息的采集，从而占用较小的存储空间，并且较为完整地还原会议场景，提高用户体验。
[0115]可选地，该图像采集单元330在该第二时间段内采集到的图像信息为连续帧图片信息或单帧图片信息。
[0116]可选地，作为另一实施例，该对应关系建立单元340包括:
[0117]第一确定单元，用于根据该第三时刻，确定第三时间段，其中，该第三时间段包括该第二时间段且该第三时间段位于该第一时间段内；
[0118]标识添加单元，用于为该音频采集单元320在该第一确定单元确定的该第三时间段内连续采集到的音频信息添加第一标识，并且为该图像采集单元330在该第二时间段采集到的图像信息添加第二标识，其中，该第一标识与该第二标识之间具有对应关系；
[0119]第一建立单元，用于根据该标识添加单元添加的第一标识和该第二标识，建立该音频采集单元320在该第一时间段内连续采集到的音频信息与该图像采集单元330在该第二时间段内采集到的图像信息之间的对应关系。
[0120]可选地，作为另一实施例，该对应关系建立单元340包括:
[0121]第二确定单元，用于根据该音频采集单元320在该第二时间段内连续采集到的音频信息，确定该图像信息的主题名称；
[0122]第三确定单元，用于根据该第二确定单元确定的该主题名称，对该音频采集单元320在该第一时间段内连续采集到的音频信息进行关键字搜索，以确定该音频采集单元320在该第一时间段内连续采集到的音频信息中与该第二确定单元确定的该主题名称匹配的音频信息；
[0123]第二建立单元，用于根据该第三确定单元确定的与该主题名称匹配的音频信息，建立该音频采集单元320在该第一时间段内连续采集到的音频信息与该图像采集单元330在该第二时间段内采集到的图像信息之间的对应关系。
[0124]可选地，作为另一实施例，该存储单元350包括:
[0125]第一存储单元，用于将该音频采集单元320在该第一时间段内连续采集到的音频信息存储至音频格式存储文件；
[0126]第二存储单元，用于将该图像采集单元330在该第二时间段采集到的图像信息存储至图像格式存储文件；
[0127]其中，该音频格式存储文件和该图像格式存储文件之间具有该对应关系建立单元340建立的该对应关系。
[0128]可选地，作为另一实施例，该存储单元350还用于:
[0129]将该音频采集单元320在该第一时间段内连续采集到的音频信息、该图像采集单元330在该第二时间段采集到的图像信息以及该对应关系建立单元340建立的该对应关系存储至一个存储文件。
[0130]可选地，作为另一实施例，该接收单元310还用于接收第三用户指令，该第三用户指令用于查看该存储单元350生成的该存储文件存储的第四时刻的音频信息，该第四时刻位于该第一时间段内且该存储文件中存在与该第四时刻的音频信息具有对应关系的图像信息；相应地，该装置300还包括:
[0131]第一呈现单元，用于根据该接收单元310接收的该第三用户指令，在呈现该第四时刻的音频信息的同时，呈现与该第四时刻的音频信息具有对应关系的图像信息。
[0132]可选地，作为另一实施例，该接收单元310还用于接收第四用户指令，该第四用户指令用于查看该存储单元350生成的该存储文件存储的第五时刻的图像信息，其中，该第五时刻位于该第二时间段内；相应地，该装置300还包括:
[0133]第二呈现单元，用于根据该接收单元310接收的该第四用户指令，在呈现该第五时刻的图像信息的同时，呈现该存储文件存储的音频信息中与该第五时刻的图像信息具有对应关系的首频?目息。
[0134]根据本发明实施例的处理音频和图像信息的装置300可对应于根据本发明实施例的处理音频和图像信息的方法中的执行主体，并且处理音频和图像信息的装置300中的各个模块的上述和其它操作和/或功能分别为了实现图1至图2中的各个方法的相应流程，为了简洁，在此不再赘述。
[0135]因此，根据本发明实施例的处理音频和图像的装置，通过在一段时间内连续采集音频信息，并且在该段时间内的某一时刻或某一较短时间段采集图像信息，建立采集到的音频信息与图像信息之间的对应关系并根据该对应关系存储该采集到的音频信息和图像信息，能够在较长时间段内连续采集音频信息的同时，根据用户指令进行选择性地进行图像信息的采集，从而占用较小的存储空间，并且较为完整地还原会议场景，提高用户体验。
[0136]图4示出了根据本发明实施例的一种终端设备400，如图4所示，该终端设备400包括:
[0137]接收器410，用于接收第一用户指令，该第一用户指令用于指示从第一时刻开始连续采集音频信息；
[0138]录音器420，用于根据该接收器410接收到的该第一用户指令，在该第一时刻与第二时刻之间的第一时 间段内，连续采集音频信息，其中，该第一时刻早于该第二时刻；
[0139]该接收器410还用于接收第二用户指令，该第二用户指令用于指示从第三时刻开始采集图像信息；
[0140]摄像头430，用于根据该接收器410接收的该第二用户指令，在该录音器420连续采集音频信息的同时，从该第三时刻开始采集图像信息并且在第二时间段超时时停止采集图像信息，其中，该第二时间段以该第三时刻为起始时刻，该第二时间段的长度小于该第一时间段的长度且该第二时间段位于该第一时间段内；
[0141]处理器440，用于建立该录音器420在该第一时间段内连续采集到的音频信息与该摄像头430在该第二时间段内采集到的图像信息之间的对应关系；
[0142]存储器450，用于根据该处理器440建立的该对应关系，存储该录音器420在该第一时间段内连续采集到的音频信息以及该摄像头430在该第二时间段内采集到的图像信
肩、O
[0143]因此，根据本发明实施例的终端设备，通过在一段时间内连续采集音频信息，并且在该段时间内的某一时刻或某一较短时间段采集图像信息，建立采集到的音频信息与图像信息之间的对应关系并根据该对应关系存储该采集到的音频信息和图像信息，能够在较长时间段内连续采集音频信息的同时，根据用户指令进行选择性地进行图像信息的采集，从而占用较小的存储空间，并且较为完整地还原会议场景，提高用户体验。
[0144]可选地，该摄像头430在该第二时间段内采集到的图像信息为连续帧图片信息或单帧图片信息。
[0145]可选地，作为另一实施例，该处理器440具体用于:
[0146]根据该第三时刻，确定第三时间段，其中，该第三时间段包括该第二时间段且该第三时间段位于该第一时间段内；
[0147]为该录音器420在该第三时间段内连续采集到的音频信息添加第一标识，并且为该摄像头430在该第二时间段采集到的图像信息添加第二标识，其中，该第一标识与该第二标识之间具有对应关系；
[0148]根据该第一标识和该第二标识，建立该录音器420在该第一时间段内连续采集到的音频信息与该摄像头430在该第二时间段内采集到的图像信息之间的对应关系。
[0149]可选地，作为另一实施例，该处理器440具体用于:
[0150]根据该录音器420在该第二时间段内连续采集到的音频信息，确定该图像信息的主题名称；
[0151]根据该图像信息的主题名称，对该录音器420在该第一时间段内连续采集到的音频信息进行关键字搜索，以确定该录音器420在该第一时间段内连续采集到的音频信息中与该主题名称匹配的音频信息；
[0152]根据与该主题名称匹配的音频信息，建立该录音器420在该第一时间段内连续采集到的音频信息与该摄像头430在该第二时间段内采集到的图像信息之间的对应关系。
[0153]可选地，作为另一实施例，该存储器450具体用于:
[0154]将该录音器420在该第一时间段内连续采集到的音频信息存储至音频格式存储文件；
[0155]将该摄像头430在该第二时间段采集到的图像信息存储至图像格式存储文件；
[0156]其中，该音频格式存储文件和该图像格式存储文件之间具有该处理器440建立的该对应关系。
[0157]可选地，作为另一实施例，该存储器450还用于:
[0158]将该录音器420在该第一时间段内连续采集到的音频信息、该摄像头430在该第二时间段采集到的图像信息以及该处理器440建立的该对应关系存储至一个存储文件。
[0159]可选地，作为另一实施例，该接收器410还用于接收第三用户指令，该第三用户指令用于查看该存储器450生成的该存储文件存储的第四时刻的音频信息，该第四时刻位于该第一时间段内且该存储文件中存在与该第四时刻的音频信息具有对应关系的图像信息；相应地，该终端设备400还包括:
[0160]播放器，用于根据该接收器410接收的该第三用户指令，在呈现该第四时刻的音频信息的同时，呈现与该第四时刻的音频信息具有对应关系的图像信息。
[0161]可选地，作为另一实施例，该接收器410还用于接收第四用户指令，该第四用户指令用于查看该存储器450生成的该存储文件存储的第五时刻的图像信息，其中，该第五时刻位于该第二时间段内；相应地，该终端设备400还包括:
[0162]播放器，用于根据该接收器410接收的该第四用户指令，在呈现该第五时刻的图像信息的同时，呈现该存储文件存储的音频信息中与该第五时刻的图像信息具有对应关系的音频信息。
[0163]根据本发明实施例的终端设备400可对应于根据本发明实施例的处理音频和图像信息的方法中的执行主体，并且终端设备400中的各个模块的上述和其它操作和/或功能分别为了实现图1至图2中的各个方法的相应流程，为了简洁，在此不再赘述。
[0164]因此，根据本发明实施例的终端设备，通过在一段时间内连续采集音频信息，并且在该段时间内的某一时刻或某一较短时间段采集图像信息，建立采集到的音频信息与图像信息之间的对应关系并根据该对应关系存储该采集到的音频信息和图像信息，能够在较长时间段内连续采集音频信息的同时，根据用户指令进行选择性地进行图像信息的采集，从而占用较小的存储空间，并且较为完整地还原会议场景，提高用户体验。
[0165]另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示:单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0166]应理解，在本发明实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
[0167]本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0168]所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0169]在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
[0170]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0171]另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0172]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM, Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。[0173]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本【技术领域】的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
【权利要求】
1.一种处理音频与图像信息的方法，其特征在于，包括: 接收第一用户指令，所述第一用户指令用于指示从第一时刻开始连续采集音频信息；根据所述第一用户指令，在所述第一时刻与第二时刻之间的第一时间段内，连续采集音频信息，其中，所述第一时刻早于所述第二时刻； 接收第二用户指令，所述第二用户指令用于指示从第三时刻开始采集图像信息； 根据所述第二用户指令，在连续采集音频信息的同时，从所述第三时刻开始采集图像信息并且在第二时间段超时时停止采集图像信息，其中，所述第二时间段以所述第三时刻为起始时刻，所述第二时间段的长度小于所述第一时间段的长度且所述第二时间段位于所述第一时间段内； 建立所述第一时间段内连续采集到的音频信息与所述第二时间段内采集到的图像信息之间的对应关系； 根据所述对应关系，存储所述第一时间段内连续采集到的音频信息以及所述第二时间段内采集到的图像信息。
2.根据权利要求1所述的方法，其特征在于，所述第二时间段内采集到的图像信息为连续帧图片信息或单帧图片信息。
3.根据权利要求1或2所述的方法，其特征在于，所述建立所述第一时间段内连续采集到的音频信息与所述第二时间段内采集到的图像信息之间的对应关系，包括: 根据所述第三时刻，确定第三时间段，其中，所述第三时间段包括所述第二时间段且所述第三时间段位于所述第一时间段内； 为所述第三时间段内连续采集到的音频信息添加第一标识，并且为所述第二时间段采集到的图像信息添加第二标识，其中，所述第一标识与所述第二标识之间具有对应关系；根据所述第一标识和所述第二标识，建立所述第一时间段内连续采集到的音频信息与所述第二时间段内采集到的图像信息之间的对应关系。
4.根据权利要求1或2所述的方法，其特征在于，所述建立所述第一时间段内连续采集到的音频信息与所述第二时间段内采集到的图像信息之间的对应关系，包括: 根据所述第二时间段内连续采集到的音频信息，确定所述图像信息的主题名称；根据所述图像信息的主题名称对所述第一时间段内连续采集到的音频信息进行关键字搜索，以确定所述第一时间段内连续采集到的音频信息中与所述主题名称匹配的音频信息； 根据与所述主题名称匹配的音频信息，建立所述第一时间段内连续采集到的音频信息与所述第二时间段内采集到的图像信息之间的对应关系。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述对应关系，存储所述第一时间段内连续采集到的音频信息以及所述第二时间段内采集到的所述图像信息，包括: 将所述第一时间段内连续采集到的音频信息存储至音频格式存储文件； 将所述第二时间段采集到的图像信息存储至图像格式存储文件； 其中，所述音频格式存储文件和所述图像格式存储文件之间具有所述对应关系。
6.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述对应关系，存储所述第一时间段内连续采集到的音频信息以及所述第二时间段内采集到的所述图像信息，包括: 将所述第一时间段内连续采集到的音频信息、所述第二时间段采集到的图像信息以及所述对应关系存储至一个存储文件。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括: 接收第三用户指令，所述第三用户指令用于查看所述存储文件存储的第四时刻的音频信息，所述第四时刻位于所述第一时间段内且所述存储文件中存在与所述第四时刻的音频信息具有对应关系的图像信息； 根据所述第三用户指令，在呈现所述第四时刻的音频信息的同时，呈现与所述第四时刻的音频信息具有对应关系的图像信息。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括: 接收第四用户指令，所述第四用户指令用于查看所述存储文件存储的第五时刻的图像信息，其中，所述第五时刻位于所述第二时间段内； 根据所述第四用户指令，在呈现所述第五时刻的图像信息的同时，呈现所述存储文件存储的音频信息中与所述第五时刻的图像信息具有对应关系的音频信息。
9.一种处理音频与图像信息的装置，其特征在于，包括: 接收单元，用于接收第一用户指令，所述第一用户指令用于指示从第一时刻开始连续采集音频信息； 音频采集单元，用于根据所述接收单元接收到的所述第一用户指令，在所述第一时刻与第二时刻之间的第一时间段内，连续采集音频信息，其中，所述第一时刻早于所述第二时刻； 所述接收单元还用于接收第二用户指令，所述第二用户指令用于指示从第三时刻开始采集图像信息； 图像采集单元，用于根据所述接收单元接收的所述第二用户指令，在所述音频采集单元连续采集音频信息的同时，从所述第三时刻开始采集图像信息并且在第二时间段超时时停止采集图像信息，其中，所述第二时间段以所述第三时刻为起始时刻，所述第二时间段的长度小于所述第一时间段的长度且所述第二时间段位于所述第一时间段内； 对应关系建立单元，用于建立所述音频采集单元在所述第一时间段内连续采集到的音频信息与所述图像采集单元在所述第二时间段内采集到的图像信息之间的对应关系； 存储单元，用于根据所述对应关系建立单元建立的所述对应关系，存储所述音频采集单元在所述第一时间段内连续采集到的音频信息以及所述图像采集单元在所述第二时间段内采集到的图像信息。
10.根据权利要求9所述的装置，其特征在于，所述图像采集单元在所述第二时间段内采集到的图像信息为连续帧图片信息或单帧图片信息。
11.根据权利要求9或10所述的装置，其特征在于，所述对应关系建立单元包括: 第一确定单元，用于根据所述第三时刻，确定第三时间段，其中，所述第三时间段包括所述第二时间段且所述第三时间段位于所述第一时间段内； 标识添加单元，用于为所述音频采集单元在所述第一确定单元确定的所述第三时间段内连续采集到的音频信息添加第一标识，并且为所述图像采集单元在所述第二时间段采集到的图像信息添加第二标识，其中，所述第一标识与所述第二标识之间具有对应关系；第一建立单元，用于根据所述标识添加单元添加的第一标识和所述第二标识，建立所述音频采集单元在所述第一时间段内连续采集到的音频信息与所述图像采集单元在所述第二时间段内采集到的图像信息之间的对应关系。
12.根据权利要求9或10所述的装置，其特征在于，所述对应关系建立单元包括: 第二确定单元，用于根据所述音频采集单元在所述第二时间段内连续采集到的音频信息，确定所述图像信息的主题名称； 第三确定单元，用于根据所述第二确定单元确定的所述主题名称，对所述音频采集单元在所述第一时间段内连续采集到的音频信息进行关键字搜索，以确定所述音频采集单元在所述第一时间段内连续采集到的音频信息中与所述第二确定单元确定的所述主题名称匹配的音频信息； 第二建立单元，用于根据所述第三确定单元确定的与所述主题名称匹配的音频信息，建立所述音频采集单元在所述第一时间段内连续采集到的音频信息与所述图像采集单元在所述第二时间段内采集到的图像信息之间的对应关系。
13.根据权利要求9至12中任一项所述的装置，其特征在于，所述存储单元包括: 第一存储单元，用于将所述音频采集单元在所述第一时间段内连续采集到的音频信息存储至音频格式存储文件； 第二存储单元，用于将所述图像采集单元在所述第二时间段采集到的图像信息存储至图像格式存储文件； 其中，所述音频格式存储文件和所述图像格式存储文件之间具有所述对应关系建立单元建立的所述对应关系。
14.根据权利要求9至12中任一项所述的装置，其特征在于，所述存储单元还用于: 将所述音频采集单元在所述第一时间段内连续采集到的音频信息、所述图像采集单元在所述第二时间段采集到的图像信息以及所述对应关系建立单元建立的所述对应关系存储至一个存储文件。
15.根据权利要求9至14中任一项所述的装置，其特征在于，所述接收单元还用于接收第三用户指令，所述第三用户指令用于查看所述存储单元生成的所述存储文件存储的第四时刻的音频信息，所述第四时刻位于所述第一时间段内且所述存储文件中存在与所述第四时刻的音频信息具有对应关系的图像信息； 所述装置还包括: 第一呈现单元，用于根据所述接收单元接收的所述第三用户指令，在呈现所述第四时刻的音频信息的同时，呈现与所述第四时刻的音频信息具有对应关系的图像信息。
16.根据权利要求9至15中任一项所述的装置，其特征在于，所述接收单元还用于接收第四用户指令，所述第四用户指令用于查看所述存储单元生成的所述存储文件存储的第五时刻的图像信息，其中，所述第五时刻位于所述第二时间段内； 所述装置还包括: 第二呈现单元，用于根据所述接收单元接收的所述第四用户指令，在呈现所述第五时刻的图像信息的同时，呈现所述存储文件存储的音频信息中与所述第五时刻的图像信息具有对应关系的音频信息。
17.一种终端设备，其特征在于，包括:接收器，用于接收第一用户指令，所述第一用户指令用于指示从第一时刻开始连续采集音频信息； 录音器，用于根据所述接收器接收到的所述第一用户指令，在所述第一时刻与第二时刻之间的第一时间段内，连续采集音频信息，其中，所述第一时刻早于所述第二时刻； 所述接收器还用于接收第二用户指令，所述第二用户指令用于指示从第三时刻开始采集图像息; 摄像头，用于根据所述接收器接收的所述第二用户指令，在所述录音器连续采集音频信息的同时，从所述第三时刻开始采集图像信息并且在第二时间段超时时停止采集图像信息，其中，所述第二时间段以所述第三时刻为起始时刻，所述第二时间段的长度小于所述第一时间段的长度且所述第二时间段位于所述第一时间段内； 处理器，用于建立所述录音器在所述第一时间段内连续采集到的音频信息与所述摄像头在所述第二时间段内采集到的图像信息之间的对应关系； 存储器，用于根据所述处理器建立的所述对应关系，存储所述录音器在所述第一时间段内连续采集到的音频信息以及所述摄像头在所述第二时间段内采集到的图像信息。
18.根据权利要求17所述的终端设备，其特征在于，所述摄像头在所述第二时间段内采集到的图像信息为连续帧图片信息或单帧图片信息。
19.根据权利要求17 或18所述的终端设备，其特征在于，所述处理器具体用于: 根据所述第三时刻，确定第三时间段，其中，所述第三时间段包括所述第二时间段且所述第三时间段位于所述第一时间段内； 为所述录音器在所述第三时间段内连续采集到的音频信息添加第一标识，并且为所述摄像头在所述第二时间段采集到的图像信息添加第二标识，其中，所述第一标识与所述第二标识之间具有对应关系； 根据所述第一标识和所述第二标识，建立所述录音器在所述第一时间段内连续采集到的音频信息与所述摄像头在所述第二时间段内采集到的图像信息之间的对应关系。
20.根据权利要求17或18所述的终端设备，其特征在于，所述处理器具体用于: 根据所述录音器在所述第二时间段内连续采集到的音频信息，确定所述图像信息的主题名称； 根据所述图像信息的主题名称，对所述录音器在所述第一时间段内连续采集到的音频信息进行关键字搜索，以确定所述录音器在所述第一时间段内连续采集到的音频信息中与所述主题名称匹配的音频信息； 根据与所述主题名称匹配的音频信息，建立所述录音器在所述第一时间段内连续采集到的音频信息与所述摄像头在所述第二时间段内采集到的图像信息之间的对应关系。
21.根据权利要求17至20中任一项所述的终端设备，其特征在于，所述存储器具体用于: 将所述录音器在所述第一时间段内连续采集到的音频信息存储至音频格式存储文件； 将所述摄像头在所述第二时间段采集到的图像信息存储至图像格式存储文件； 其中，所述音频格式存储文件和所述图像格式存储文件之间具有所述处理器建立的所述对应关系。
22.根据权利要求17至20中任一项所述的终端设备，其特征在于，所述存储器还用于: 将所述录音器在所述第一时间段内连续采集到的音频信息、所述摄像头在所述第二时间段采集到的图像信息以及所述处理器建立的所述对应关系存储至一个存储文件。
23.根据权利要求17至22中任一项所述的终端设备，其特征在于，所述接收器还用于接收第三用户指令，所述第三用户指令用于查看所述存储器生成的所述存储文件存储的第四时刻的音频信息，所述第四时刻位于所述第一时间段内且所述存储文件中存在与所述第四时刻的音频信息具有对应关系的图像信息； 所述终端设备还包括: 播放器，用于根据所述接收器接收的所述第三用户指令，在呈现所述第四时刻的音频信息的同时，呈现与所述第四时刻的音频信息具有对应关系的图像信息。
24.根据权利要求17至23中任一项所述的终端设备，其特征在于，所述接收器还用于接收第四用户指令，所述第四用户指令用于查看所述存储器生成的所述存储文件存储的第五时刻的图像信息，其中，所述第五时刻位于所述第二时间段内； 所述终端设备还包括: 播放器，用于根据所述接收器接收的所述第四用户指令，在呈现所述第五时刻的图像信息的同时，呈现所述存储文件存储的音频信息中与所述第五时刻的图像信息具有对应关系的音频信息。
【文档编号】H04N5/91GK104023176SQ201410243132
【公开日】2014年9月3日 申请日期:2014年6月3日 优先权日:2014年6月3日
【发明者】刘远旺, 叶敏, 贺真 申请人:华为技术有限公司