应用于互联网视频直播的增强现实ar系统及方法
【技术领域】
[0001] 本发明涉及视频成像技术领域，尤其涉及应用于互联网视频直播的增强现实AR系 统及方法。
【背景技术】
[0002] 目前，在线娱乐平台众多，主播们宅在家里就可以进行视频直播。由于拍摄环境单 调，导致节目缺乏趣味性、吸引力不强，因此需要提供一种操作简单的技术为主播的精彩表 现烘托气氛，加强视觉冲击力。目前大多采用图片叠加技术，图片叠加技术是把两张图片按 照不同的透明度融合在一起，也可以改变原来图片的气氛;但图片叠加技术带来的效果有 限，而且不能任意更换背景。
[0003] 增强现实(Augmented Reality，简称AR)是近年来国外众多知名大学和研究机构 的研究热点之一;增强现实AR技术是近年来发展起来的新兴技术，其核心是将虚拟内容和 真实存在的内容进行实时融合，形成虚拟、现实之间的互动，从而创造出全新的体验。虚拟 演播室就是典型的增强现实系统，它将实拍的人物与电脑绘制的虚拟场景有机地结合起 来，以全新的视觉效果展现在观众面前。但虚拟演播室是一套复杂的系统，价格昂贵，操作 繁琐，且对节目制作人员有技术要求，同时传统的增强现实AR技术对计算机的运算性能要 求很高。
【发明内容】
[0004] 针对上述问题中存在的不足之处，本发明提供应用于互联网视频直播的增强现实 AR系统及方法。
[0005] 为实现上述目的，本发明提供了一种应用于互联网视频直播的增强现实AR系统， 包括:增强现实AR单元、摄像头、数据库和显示单元；
[0006] 所述摄像头用于采集原始背景，和带有前景目标图像和原始背景的视频帧；
[0007] 所述数据库用于存储替换图像或视频；
[0008] 所述显示单元用于显示增强现实AR单元的处理结果；
[0009] 所述增强现实AR单元分别与所述摄像头、数据库和显示单元相连，所述增强现实 AR单元包括检测模块、提取模块和叠加模块；
[0010] 所述检测模块用于检测摄像头采集的原始背景是否符合AR处理要求，当符合要求 时，向提取模块内发送提取信号；
[0011] 所述提取模块与所述检测模块相连，用于根据所述提取信号提取视频帧的前景目 标图像；
[0012] 所述叠加模块与所述提取模块相连，用于将替换图像或视频与前景目标图像进行 置加。
[0013] 作为本发明的进一步改进，所述增强现实AR单元还包括放大/缩小模块，所述放 大/缩小模块设置在所述提取模块与所述叠加模块之间，用于在叠加前对提取的前景目标 图像进行放大或缩小。
[0014] 作为本发明的进一步改进，所述检测模块包括方差检测模块和边缘数目检测模 块。
[0015] 作为本发明的进一步改进，当原始背景不符合AR处理要求时，检测模块向摄像头 发送再次采集原始背景的信号。
[0016] 本发明还公开了一种应用于互联网视频直播的增强现实AR系统的使用方法，包 括：
[0017] 步骤一、采集原始背景并检测所述原始背景是否符合AR处理要求，当检测结果为 符合时，则进入步骤二；
[0018] 步骤二、采集带有前景目标图像和所述原始背景的视频帧，并提取视频帧的前景 目标图像；
[0019] 步骤三、将提取的前景目标图像与替换背景进行叠加，形成新的视觉图像，所述替 换背景包括:图像或视频。
[0020] 作为本发明的进一步改进，所述原始背景为纯色背景。
[0021] 作为本发明的进一步改进，所述步骤一中检测是否符合AR处理要求的依据为:方 差检测和边缘数目检测；
[0022]所述方差检测的公式为：
[0023]
[0024] 其中:D(X)表示方差，X表示原始背景图像，E(X)表示原始背景图像的平均值，^表 示像素值，η表示像素个数；
[0025] 所述边缘数目检测的方法为:采用Sobel算子检测边缘数目；
[0026] 当方差和边缘数目均小于其设定的阈值时，则判定为:原始背景符合AR处理要求。
[0027] 作为本发明的进一步改进，当步骤一中的检测结果为不符合时，调整所述原始背 景，并重复步骤一。
[0028] 作为本发明的进一步改进，所述步骤二中提取视频帧的前景目标图像的方法为：
[0029] 基于混合高斯模型GMM将视频帧的像素点与混合高斯模型GMM的各个分布进行匹 配；
[0030] Χ-μL| < λ〇?
[0031] 其中:Χ表示像素值，&表示高斯分布的均值，〇1表示高斯分布的方差，λ表示高斯分 布方差的阈值；
[0032] 当像素点与某个高斯分布满足上式，则该像素点与高斯分布相匹配，为背景点；否 则为前景点。
[0033]作为本发明的进一步改进，所述步骤二与步骤三之间还包括步骤四；
[0034] 所述步骤四为将视频帧的前景目标图像根据需要放大或缩小后，将其移动到指定 的位置。
[0035] 与现有技术相比，本发明的有益效果为：
[0036] 本发明提供了应用于互联网视频直播的增强现实AR系统及方法，包括增强现实AR 单元、摄像头、数据库和显示单元;通过上述结构实现原始背景检测、提取前景目标图像、替 换背景。本发明解决了在线娱乐平台主播因拍摄环境单调、直播视频缺乏吸引力的问题，用 户可动态更换任意背景，可以有效地提升视频的趣味性、加强视频的视觉冲击力；用户指定 替换图像或视频，就可达到更换视频背景的目的，操作简单；同时该方法对计算机的性能要 求不高，可以在PC机、手机android系统上实现。
【附图说明】
[0037] 图1为本发明一种实施例公开的应用于互联网视频直播的增强现实AR系统的框架 图；
[0038] 图2为本发明一种实施例公开的应用于互联网视频直播的增强现实AR的方法流程 图；
[0039]图3为本发明一种实施例公开的原始背景图；
[0040]图4为本发明一种实施例公开的替换背景；
[0041]图5为本发明一种实施例公开的带有前景目标图像的视频帧图；
[0042] 图6为本发明一种实施例公开的替换图像与前景目标图像进行叠加形成的新图 像。
[0043] 图中：1、增强现实AR单元；1-1、检测模块；1-2、提取模块；1-3、叠加模块；1-4、放 大/缩小模块;2、摄像头;3、数据库;4显示单元。
【具体实施方式】
[0044]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人 员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。 [0045]本发明公开了一种应用于互联网视频直播的增强现实AR系统，包括:增强现实AR 单元、摄像头、数据库和显示单元;摄像头用于采集原始背景，和带有前景目标图像和原始 背景的视频帧;数据库用于存储替换图像或视频;显示单元用于显示增强现实AR单元的处 理结果;增强现实AR单元分别与摄像头、数据库和显示单元相连，增强现实AR单元包括检测 模块、提取模块和叠加模块;检测模块用于检测摄像头采集的原始背景是否符合AR处理要 求，当符合要求时，向提取模块内发送提取信号；提取模块与检测模块相连，用于根据提取 信号提取视频帧的前景目标图像;叠加模块与提取模块相连，用于将替换图像或视频与前 景目标图像进行叠加。本发明还公开了一种应用于互联网视频直播的增强现实AR方法，采 集原始背景并检测原始背景是否符合AR处理要求，当检测结果为符合时，则进入下一步;采 集带有前景目标图像和原始背景的视频帧，并提取视频帧的前景目标图像;将提取的前景 目标图像与替换背景进行叠加，形成新的视觉图像，替换背景包括：图像或视频。本发明解 决了在线娱乐平台主播因拍摄环境单调、直播视频缺乏吸引力的问题，用户可动态更换任 意背景，可以有效地提升视频的趣味性、加强视频的视觉冲击力；用户指定替换图像或视 频，就可达到更换视频背景的目的，操作简单；同时该方法对计算机的性能要求不高，可以 在PC机、手机android系统上实现。
[0046]下面结合附图对本发明做进一步的详细描述：
[0047]实施例1:如图1所示，本发明第一目的在于提供一种应用于互联网视频直播的增 强现实AR系统，包括:增强现实AR单元1、摄像头2、数据库3和显示单元4;
[0048] 摄像头2用于采集不带有目标的原始背景，和采集带有前景目标图像和原始背景 的视频帧，数据库3用于存储替换图像或视频，显示单元4用于显示增强现实AR单元的处理 结果;增强现实AR单元1分别与摄像头2、数据库3和显示单元4相连。
[0049] 增强现实AR单元1包括检测模块1-