1、提取模块1-2、叠加模块1-3和放大/缩小模块 1-4。检测模块1-1与摄像头2相连，用于检测摄像头采集的原始背景是否符合AR处理要求， 当符合要求时，向提取模块内发送提取信号;检测模块1-1进一步包括方差检测模块和边缘 数目检测模块;提取模块1-2与检测模块1-1相连，基于混合高斯模型GMM并根据提取信号提 取视频帧的前景目标图像;叠加模块1-3通过放大/缩小模块1-4与提取模块1-2相连，用于 将替换背景与经过放大或缩小的前景目标图像进行叠加，替换背景可以为图像或视频。
[0050] 实施例2:如图2-6所示，本发明第二目的在于提供一种应用于互联网视频直播的 增强现实AR系统的使用方法，包括：
[0051] ①、初始化：
[0052] 在检测模块内设定方差的阈值、边缘数目的阈值，在提取模块内设定高斯分布方 差的阈值。
[0053]②、摄像头采集不带有目标的原始背景，原始背景为纯色背景，纯色背景为单一颜 色的背景（如蓝色或白色），如图3所示，传入到增强现实AR单元内的检测模块内，并固定摄 像头。
[0054]③、检测模块检测不带有目标的原始背景图像是否符合AR处理要求，利用方差和 边缘数目进行检测：
[0055] 方差检测的公式为：
[0056]
[0057]其中:D(X)表示方差，X表示原始背景图像，E(X)表示原始背景图像的平均值，^表 示像素值，η表示像素个数；
[0058]边缘检测的方法为:采用Sobel算子检测边缘数目。Sobel算子为索贝尔算子，其是 计算机视觉领域的一种重要处理方法，主要用于获得数字图像的一阶梯度，常见的应用和 物理意义是边缘检测。在技术上，它是一个离散的一阶差分算子，用来计算图像亮度函数的 一阶梯度之近似值。在图像的任何一点使用此算子，将会产生该点对应的梯度矢量或是其 法矢量；
[0059] 当方差和边缘数目均小于其设定的阈值时，原始背景符合AR处理要求，则转到步 骤④;当不符合AR处理要求时，调整原始背景，并重复步骤②、③。
[0060] ④、在满足要求的原始背景下，用上述固定不动的摄像头采集带有前景目标图像 和原始背景的视频帧，如图5所示，将其传入到增强现实AR单元内的接收模块内；
[0061] 增强现实AR单元对背景图像建立混合高斯模型GMM;混合高斯建模是基于像素样 本统计信息的表示方法，利用像素在较长时间内大量样本值的概率密度等统计信息（如模 式数量、每个模式的均值和标准差)表示背景，然后使用统计差分(如3σ原则)进行前景目标 图像像素判断。混合高斯模型的数目与计算机的性能有关，本发明使用4个高斯模型来表征 图像中各个像素点的特征。
[0062] ⑤、提取视频帧的前景目标图像:具体提取方法为：
[0063] 基于混合高斯模型GMM将视频帧的像素点与混合高斯模型GMM的各个分布进行匹 配；
[0064] Χ-μι| < λ〇ι
[0065] 其中:Χ表示像素值，&表示高斯分布的均值，〇1表示高斯分布的方差，λ表示高斯分 布方差的阈值；
[0066] 当像素点与某个高斯分布满足上式，则该像素点与高斯分布相匹配，为背景点；否 则为前景点。
[0067] ⑥、将视频帧的前景目标图像根据需要放大或缩小后，将其移动到指定的位置。
[0068] ⑦、从数据库内选择替换背景，替换背景为图像或视频，如图4所示，将其传入到增 强现实AR单元的替换模块内；在替换模块内将替换图像或视频与视频帧的前景目标图像进 行叠加，形成新的视觉图像，如图6所示。
[0069]本发明提供了应用于互联网视频直播的增强现实AR系统及方法，包括增强现实AR 单元、摄像头、数据库和显示单元;通过上述结构实现原始背景检测、提取前景目标图像、替 换背景。本发明解决了在线娱乐平台主播因拍摄环境单调、直播视频缺乏吸引力的问题，用 户可动态更换任意背景，可以有效地提升视频的趣味性、加强视频的视觉冲击力；用户指定 替换图像或视频，就可达到更换视频背景的目的，操作简单；同时该方法对计算机的性能要 求不高，可以在PC机、手机android系统上实现。
[0070]以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人 员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、 等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种应用于互联网视频直播的增强现实AR系统，其特征在于，包括：增强现实AR单 元、摄像头、数据库和显示单元； 所述摄像头用于采集原始背景，和带有前景目标图像和原始背景的视频帖； 所述数据库用于存储替换图像或视频； 所述显示单元用于显示增强现实AR单元的处理结果； 所述增强现实AR单元分别与所述摄像头、数据库和显示单元相连，所述增强现实AR单 元包括检测模块、提取模块和叠加模块； 所述检测模块用于检测摄像头采集的原始背景是否符合AR处理要求，当符合要求时， 向提取模块内发送提取信号； 所述提取模块与所述检测模块相连，用于根据所述提取信号提取视频帖的前景目标图 像； 所述叠加模块与所述提取模块相连，用于将替换图像或视频与前景目标图像进行叠 加。2. 如权利要求1所述的应用于互联网视频直播的增强现实AR系统，其特征在于，所述增 强现实AR单元还包括放大/缩小模块，所述放大/缩小模块设置在所述提取模块与所述叠加 模块之间，用于在叠加前对提取的前景目标图像进行放大或缩小。3. 如权利要求1所述的应用于互联网视频直播的增强现实AR系统，其特征在于，所述检 测模块包括方差检测模块和边缘数目检测模块。4. 如权利要求1所述的应用于互联网视频直播的增强现实AR系统，其特征在于，当原始 背景不符合AR处理要求时，检测模块向摄像头发送再次采集原始背景的信号。5. -种如权利要求1-4中任一项权利要求所述的应用于互联网视频直播的增强现实AR 系统的使用方法，其特征在于，包括： 步骤一、采集原始背景并检测所述原始背景是否符合AR处理要求，当检测结果为符合 时，则进入步骤二； 步骤二、采集带有前景目标图像和所述原始背景的视频帖，并提取视频帖的前景目标 图像； 步骤=、将提取的前景目标图像与替换背景进行叠加，形成新的视觉图像，所述替换背 景包括:图像或视频。6. 如权利要求5所述的应用于互联网视频直播的增强现实AR系统的使用方法，其特征 在于，所述原始背景为纯色背景。7. 如权利要求5所述的应用于互联网视频直播的增强现实AR系统的使用方法，其特征 在于，所述步骤一中检测是否符合AR处理要求的依据为:方差检测和边缘数目检测； 所述方差检测的公式为：其中：D(X)表示方差，X表示原始背景图像，EU)表示原始背景图像的平均值，Xi表示像 素值，n表示像素个数； 所述边缘数目检测的方法为:采用Sobel算子检测边缘数目； 当方差和边缘数目均小于其设定的阔值时，则判定为:原始背景符合AR处理要求。8. 如权利要求5所述的应用于互联网视频直播的增强现实AR系统的使用方法，其特征 在于，当步骤一中的检测结果为不符合时，调整所述原始背景，并重复步骤一。9. 如权利要求5所述的应用于互联网视频直播的增强现实AR系统的使用方法，其特征 在于，所述步骤二中提取视频帖的前景目标图像的方法为： 基于混合高斯模型GMM将视频帖的像素点与混合高斯模型GMM的各个分布进行匹配； X-Jiil <A〇i 其中:X表示像素值,Jii表示高斯分布的均值，Oi表示高斯分布的方差，A表示高斯分布方 差的阔值； 当像素点与某个高斯分布满足上式，则该像素点与高斯分布相匹配，为背景点；否则为 前景点。10. 如权利要求5所述的应用于互联网视频直播的增强现实AR系统的使用方法，其特征 在于，所述步骤二与步骤=之间还包括步骤四； 所述步骤四为将视频帖的前景目标图像根据需要放大或缩小后，将其移动到指定的位 置。
【专利摘要】本发明公开了应用于互联网视频直播的增强现实AR系统，包括：增强现实AR单元、摄像头、数据库和显示单元；增强现实AR单元分别与摄像头、数据库和显示单元相连，增强现实AR单元包括检测模块、提取模块和叠加模块；检测模块用于检测原始背景是否符合AR处理要求；提取模块与检测模块相连，用于提取视频帧的前景目标图像；叠加模块与提取模块相连，用于将替换图像或视频与前景目标图像进行叠加。本发明可动态更换任意背景，可以有效地提升视频的趣味性、加强视频的视觉冲击力；用户指定替换图像或视频，就可达到更换视频背景的目的，操作简单；同时该方法对计算机的性能要求不高，可以在PC机、手机android系统上实现。
【IPC分类】G06T7/00, H04N21/44
【公开号】CN105654471
【申请号】
【发明人】喻西香, 朱光喜, 李小明
【申请人】武汉鸿瑞达信息技术有限公司
【公开日】2016年6月8日
【申请日】2015年12月24日