基于fpga的实时立体视频融合转换方法
【技术领域】
本发明属于高清立体视频领域,尤其涉及到高清分辨率的多视点的2D/3D处理技术。特别是一种基于FPGA的实时立体视频融合转换算法.
【背景技术】
3维立体技术并不是新兴事物,它有着将近170多年的历史。传统的裸眼立体成像系统受到产品重量,系统尺寸,总体功耗的影响,本系统要求在小尺寸、高速度、低功耗的硬件电路上实现。常见的立体显示系统为采用SOC (偏上系统)芯片加上DDR3类似的外部存储器,然后软件控制SOC内部集成的图像处理模块实现图像处理,普遍存在效率低,功耗大,系统结构复杂,成本高的问题。
针对上述存在的问题,本发明基于FPGA的实时立体视频融合转换算法,系统结构简单,体积小,功耗低,增加了 FPGA在高清分辨率视频图像处理方面的应用。
【发明内容】
本发明目的是,提出一种基于FPGA的实时立体视频融合转换算法。具有效率高,功耗低,系统结构简明及可以控制成本。
本发明的技术方案是:一种基于FPGA的实时立体视频融合转换算法,其特征在于:包括串口通讯模块,FPGA主板;FPGA主板包括串口通讯模块,HDMI输入寄存器配置模块,HDMI输出寄存器配置模块,IIC接口控制模块,HDMI子卡即HDMI输入控制模块,HDMI输出控制模块,DDR3内存控制模块,时钟生成模块,HDMI1080Pi60Hz时序生成模块;由PC输出未经融合的左右格式的视频源,左右格式分辨率为1920*1080,通过HDMI接口输入左右格式图像、HDMI接口输出立体视频,视频源通过HDMI1.4接口输入到FPGA,利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换;最后通过HDMI1.4的输出接口接到显示屏上显示立体视频,完成高清立体视频的转换与显示,同时通过串口通讯模块可以控制左右格式的融合顺序;串口通讯模块采用UART协议,接受PC发出的指令来调整左右格式图像的融合顺序。
同时通过串口模块可以控制左右格式的融合顺序。相对于传统的软件算法实现视频格式转换。
本发明提出的实时立体视频融合转换接口电路板使用Kintex-7FPGA为主处理芯片,同时配合1080P@60Hz HDMI输入输出子卡完成一系列图像处理功能,利用FPGA的高速并行性,在速度、成本、稳定性方面有了较大的突破,增加了 FPGA在视频图像处理方面的实用性。
具体包括以下步骤:首先由PC(I)输出左右格式的视频源,左右格式的视频源由分辨率为960*1080的单视图从左到右依次排列组成,分辨率为1920*1080。PC(I)输出的全视图格式的视频源流向HDMI输入控制模块的HDMI1.4输入子卡(2),HDMI1.4输入子卡(2)的视频处理能力为1080Ρ@60Ηζ.经过HDMI1.4输入子卡(2)的视频源进入FPGA主板(3),在FPGA主板(3)内完成左右视图格式到立体格式视频的转换算法。
转换后的立体格式的视频源进入HDMI1.4输出子卡(4),最后通过HDMI1.4输出子卡
(4)的立体格式视频源在3D IXD(5)上显示,得到分辨率为1080P的立体图像。
HDMI输入寄存器配置模块的作用是配置HDMI视频解码芯片,采用IIC协议来配置。 HDMI输出寄存器配置模块的作用是配置HDMI视频编码芯片,采用IIC协议来配置。 IIC接口控制模块用来产生符合IIC协议的时序。
FPGA主板内部HDMI输入控制模块完成3项功能:1)采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量,避免了读写冲突;2)将左右格式图像的对应像素点融合成立体格式的像素点;3)生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM;
FPGA主板内部HDMI输出控制模块DDR3_2_HDMI主要完成3项功能I)以1080P@60Hz时序输出像素到HDMI输出接口 ;2)生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素;3)基于乒乓切换的算法从DDR3中读取视频流,从而避免了读写冲突。
FPGA主板内部DDR3内存控制模块MIG主要完成输入视频流向DDRS_SDRAM的写入控制,DDR3_SDARAM向输出视频流的输出控制。
FPGA主板负责完成左右格式图像到立体格式图像的转换算法,其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号。
FPGA主板内部HDMI 1080Pi60Hz时序生成模块主要完成HDMI输出接口的时序。
FPGA主处理芯片为XILINX公司的Kintex_7FPGA芯片,处理能力强,运算速度快。
本发明有益效果:实现了通过HDMI接口输入左右格式图像、HDMI接口输出融合立体视频,由PC输出未经融合的左右格式的视频源,利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换。最后通过HDMI1.4的输出接口输入到显示屏上,完成高清立体视频的转换与显示,同时通过串口模块可以控制左右格式的融合顺序。相对于传统的软件算法实现视频格式转换,本发明提出的实时立体视频融合转换接口电路板,使用Kintex-7FPGA为主处理芯片,同时配合1080P@60Hz HDMI输入输出子卡完成一系列图像处理功能,HDMI1.4输入子卡⑵的视频处理能力为1080P060HZ.HDMI1.4输出子卡(4)的视频处理能力为1080P@60Hz ;利用FPGA的高速并行性,在速度、成本、稳定性方面有了较大的突破,增加了 FPGA在视频图像处理方面的实用性。
【附图说明】
图1左右视图格式。
图2 FPGA内部左右格式到立体格式视频的转换算法。
图3 HDMI输入控制模块HDMI_2_DDR3内部生成示意图。
图4 HDMI输出控制模块DDR3_2_HDMI内部生成示意图。
【具体实施方式】
下面将结合附图具体说明本发明的实施方式。
基于FPGA的超高清立体视频接口转换算法系统框图如图2所示。
首先先由PC输出左右视图格式的视频源,左右视图格式如图1由2幅分辨率为960*1080的单视图从左到右依次排列组成。 PC输出的左右格式的视频源流向HDMI1.4输入子卡。HDMI1.4输入子卡的视频处理能力为 1080Ρ@60Ηζ.基于FPGA的超高清立体视频接口转换算法系统,由PC,HDMI1.4输入子卡,灯扯61-7??64主板,邢111.4输出子卡,30 LCD构成,其中:
PC输出的视频源为左右格式的视频源,如图1所示。左右视图格式由2幅分辨率为960*1080的单视图从左到右依次排列组成。
Kintex-7FPGA主板内部串口通讯模块采用UART协议,接受PC发出的指令来调整左右视点图像的融合顺序。
通过HDMI输出寄存器配置模块来配置HDMI视频编码芯片,采用IIC协议来配置。通过HDMI输入寄存器配置模块来配置HDMI视频解码芯片,采用IIC协议来配置。Kintex-7FPGA主板负责完成左右格式到