一种基于多核dsp+fpga架构的图像去抖与电子稳像设备的利记博彩app
【专利摘要】本实用新型公开了一种基于多核DSP+FPGA架构的图像去抖与电子稳像设备,其FPGA模块包括一个图像预处理模块和一个图像缓存模块，图像预处理模块输出端连接图像缓存模块；多核DSP处理模块由两个并行同构的数字信号处理器DSP组成，两个并行同构的数字信号处理器DSP均与图像缓存模块双向连接；图像缓存模块的输出端通过LVDS传输模块和图像显示通道外接显示器；图像缓存模块还通过RS-485通信接口及通信通道与车载/机载上位机实时通信。该设备可对光学图像序列进行图像预处理、运动估计和运动补偿；该设备低功耗、小体积、功能可重构，实时性强，在车载/机载视频监控和监视系统上具有良好的应用前景。
【专利说明】—种基于多核DSP+FPGA架构的图像去抖与电子稳像设备
【技术领域】
[0001]本实用新型涉及一种基于多核DSP+FPGA架构的图像去抖与电子稳像设备，具体为一种以光学(可见光、红外、或微光)图像为输入，在该设备上通过进行噪声滤波、图像增强、运动估计、运动补偿等信号处理，最终实现基于机载/车载平台的视频图像稳定。
【背景技术】
[0002]图像去抖和电子稳像是指从输入的视频图像序列中去除因摄像机随机运动而引入的图像扰动而使图像序列稳定的处理过程，即经过处理，消除因摄像机的随机运动而造成的视频变化，以保证摄像机在一定的变化范围内，输出稳定的视频图像。
[0003]目前市场上已经投入使用的嵌入式视频稳像设备多以单片机和ARM等微处理器为核心芯片的处理板卡形式存在，如家用摄像机、数码相机等。而工业或国防上应用的车载/机载视频监控和监视系统，要求电子稳像设备的图像处理能力为图像大小512*512像素，帧频50Hz以上。这意味着电子稳像设备需要处理更大的数据量，对实时性也提出更高的要求。因此，在现有的集成电路技术基础上设计、制作一套面向机载/车载低功耗、小体积、高处理速度的图像去抖和稳像设备是十分必要的。本设备就是在这种背景下产生的。
实用新型内容
[0004]本实用新型的目的在于提供一种基于多核DSP+FPGA架构的图像去抖与电子稳像设备，以解决【背景技术】中实时性、高分辨率图像数据处理的问题。
[0005]为实现上述目的，本实用新型提供如下技术方案:
[0006]一种基于多核DSP+FPGA架构的图像去抖与电子稳像设备，包括:图像通道、图像采集与传输模块、FPGA模块、多核DSP处理模块、RS-485通信接口、通信通道、SDSRAM存贮器、FLASH存贮器、LVDS传输模块、图像显示通道，所述图像通道通过图像采集与传输模块连接FPGA模块，所述FPGA模块包括一个图像预处理模块和一个图像缓存模块，图像预处理模块输出端连接图像缓存模块；所述多核DSP处理模块由两个并行同构的数字信号处理器DSP组成，两个并行同构的数字信号处理器DSP均与图像缓存模块双向连接；所述图像缓存模块的输出端通过LVDS传输模块和图像显示通道外接显示器；图像缓存模块还通过RS-485通信接口及通信通道与车载/机载上位机实时通信；所述多核DSP处理模块分别与SDSRAM存贮器、FLASH存贮器双向连接。
[0007]作为本实用新型进一步的方案:该设备还包括电源模块和时钟模块。
[0008]作为本实用新型进一步的方案:所述FPGA模块以XC4VLX60为核心芯片。
[0009]作为本实用新型进一步的方案:所述FPGA模块还包括图像底层处理算法的逻辑电路，该电路用来完成来自图像采集与传输模块的数字图像的噪声抑制和图像增强。
[0010]作为本实用新型进一步的方案:所述数字信号处理器DSP是以浮点运算器TMS320C6678为核心芯片。
[0011]作为本实用新型进一步的方案:所述的RS-485通信接口采用同步半双工模式，其以HDLC为基础，通信总线控制器在FPGA模块中以逻辑电路的形式实现，其电气特性的转换通过RS-485接口芯片IL485实现。
[0012]作为本实用新型进一步的方案:所述SDSRAM存贮器为静态存贮器。
[0013]作为本实用新型进一步的方案:所述FLASH存贮器为可擦写存贮器。
[0014]与现有技术相比，本实用新型的有益效果是:
[0015]本实用新型提供的设备可对光学(可见光、红外、或微光)图像序列进行图像预处理(去噪、图像增强)、运动估计和运动补偿。该设备低功耗、小体积、功能可重构，实时性强，在车载/机载视频监控和监视系统上具有良好的应用前景。其具体有益效果如下:
[0016](I)在本实用新型中，所使用的芯片都是低电压集成电路芯片，核心处理芯片:FPGA的规模达到上千万门，两个浮点DSP-TMS320C6678的主频达到20GHz，能满足车载/机载实时图像去抖和稳像设备低功耗、小体积、高帧频的要求。
[0017](2)在本实用新型中，采用交叉开关、差分信号和点到点传输方式的高速串行总线替代采用并行单端信号传统共享总线。显著提高了数据传输带宽，最高带宽达到20GB/S。
[0018](3)在本实用新型中，采用单板集中式信息处理结构，采用了大规模可编程逻辑器件，结构灵活、可动态重构，即运行于DSP模块上的运动估计和运动补偿算法能根据需要方便地获取前端FPGA模块中的信息，并可根据实际应用环境自适应调整信息流结构以达到最佳的图像去抖与稳像性能，有效克服了多板处理器结构信息交换不畅的缺点。
【专利附图】
【附图说明】
[0019]图1为基于多核DSP+FPGA架构的图像去抖与电子稳像设备的结构图。
[0020]图2为FPGA模块功能及外部器件连接图。
[0021]图3为两片TMS320C6678构成的多核DSP处理模块结构图。
[0022]图4为RS-485通信接口结构图。
【具体实施方式】
[0023]下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。
[0024]请参阅图1，本实用新型实施例中，一种基于多核DSP+FPGA架构的图像去抖与电子稳像设备，其主要任务是对光学(可见光、红外或微光)图像数据进行处理，完成噪声抑制、图像增强、序列图像运动估计、以及运动补偿。其以高性能浮点多核DSP (后端处理模块)和大规模可编程逻辑器件FPGA (前端处理模块)为核心，外部扩展SDRAM、Flash等存储器单元，构成一个完整的多处理机硬件平台。该设备包括:图像通道1、图像采集与传输模块2、FPGA模块3、多核DSP处理模块4、RS-485通信接口 5、通信通道6、SDSRAM存贮器7、FLASH存贮器8、LVDS传输模块9、图像显示通道10、电源模块11、时钟模块12。
[0025]本实用新型实施例中，所述的图像采集与传输模块2承担图像采集、传输与控制接 口任务,该模块采用 LVDS 传输模块 9，LVDS (LOWVOLTAGEDIFFERENTIALSIGNALING)是一种小振幅差分信号技术，使用非常低的幅度信号(约350mV)通过一对差分PCB走线或平衡电缆传输数据，单个信道传输速率达到每秒数百兆比特，其特有的低振幅及恒流源模式驱动只产生极低的噪声，消耗非常小的功率。具有传输距离远、传输速率高、低噪声/低电磁干扰、低功耗、低能耗、传输线少等优点。本设计方案利用解调器DS92LV18把一组18bit的并行数据变换成一个高速LVDS串行数据流；并把高速LVDS串行数据流还原成18bit并行数据，其最高速度可以达到80MHz。
[0026]请参阅图2，本实用新型实施例中，所述FPGA模块3包括一个图像预处理模块13和一个图像缓存模块14，FPGA模块3以XC4VLX60为核心芯片，该芯片采用FFG1148封装，用户可用I/O引脚为640个，可编程逻辑资源达到26，624CLB，片内块RAM达到160*18Kbit。所述FPGA模块除承担本设备中各种接口的通信控制、开关量控制等功能外，作为前端处理模块，还设计了图像底层处理算法的逻辑电路，完成来自图像采集和传输通道数字图像的噪声抑制和图像增强任务。
[0027]请参阅图3，本实用新型实施例中，所述多核DSP处理模块4由两个并行同构的数字信号处理器DSP15和16组成；数字信号处理器DSP是以TI公司出品的浮点运算器TMS320C6678为核心芯片，TMS320C6678主要特点有:(I)内部集成8个C66x内核，每个内核频率可达1.25GHz，可提供IOGHz的内核频率。(2)具有定点、浮点双运算模块，理论上最高可实现320GMAC/S或160GFL0P/S的处理能力。(3)集成了大量的片上存储器资源，每个C66x内核有32KB的LI程序缓存和32KB的LI数据缓存、512KB的L2缓存和4096KB的多核共享存储器，支持访问速率最高达1.6GHz的64bit宽度的DDR-3存储器接口。(4)具有3个EDMA控制器。其中I个EDMA控制器具有16个独立通道；另外2个EDMA控制器具有64个独立通道。
[0028]请参阅图4，本实用新型实施例中，所述的RS-485通信接口 5通过通信通道6与上位机的通信，本方案中，RS-485通信接口采用同步半双工模式，协议以HDLC为基础，通信总线控制器在FPGA模块3中以逻辑电路的形式实现，其电气特性的转换通过RS-485接口芯片IL485实现。该IC芯片为专用RS-485通信集成电路，具有输入输出信号光耦隔离、差分端口 2KV静电保护功能。由于集成了光耦隔离功能，有利于减小系统的体积。
[0029]本实用新型实施例中，所述SDSRAM存贮器7为静态存贮器，主要用来存储原始图像和预处理后的中间结果。
[0030]本实用新型实施例中，所述FLASH存贮器8为一种可擦写存贮器，主要是用来存贮在本实用新型提供的设备上运行的系统软件、应用软件和应用软件中需配置的参数值。
[0031]本实用新型的工作原理是:来自图像通道I的光学(可见光、红外或微光)图像序列通过图像采集与传输模块2，形成数字图像，并实时传输到FPGA模块3，由FPGA模块3中图像预处理模块13依次完成序列图像的前端低层处理、包括图像去噪、信号增强，并将低层处理图像数据和中间参数存入图像缓存模块14 ;多核DSP处理模块4中的两个数字信号处理器DSP15和16分别读取图像缓存模块14中奇数帧、偶数帧图像数据和相应的中间参数，然后通过运行基于图像序列的运动估计和运动补偿算法，实现序列图像的去抖和电子稳像，并将去抖和稳像后的图像序列存入图像缓存模块14。LVDS传输模块9实时读取图像缓存模块14中去抖与稳像后的图像数据，并通过图像显示通道10在外接显示器上进行显示。SDSRAM存贮器7主要用来存储来原始图像及运动估计/运动补偿后的中间结果。RS-485通信接口 5采用HDLC协议和同步半双工模式完成与车载/机载上位机的通信，将序列图像的帧间全局平移运动矢量(Ax，Ay)和旋转矢量(A 0 )等参数通过通信通道6实现与车载/机载上位机的实时通信。可擦写FLASH存贮器8存贮设备用的系统软件、应用软件、以及全局参数的初始化值。此外，设备中各种接口的通信控制、开关量控制由FPGA模块3逻辑编程实现。
[0032]对于本领域技术人员而言，显然本实用新型不限于上述示范性实施例的细节，而且在不背离本实用新型的精神或基本特征的情况下，能够以其他的具体形式实现本实用新型。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本实用新型的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本实用新型内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0033]此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
【权利要求】
1.一种基于多核DSP+FPGA架构的图像去抖与电子稳像设备，包括:图像通道(I)、图像采集与传输模块(2 )、FPGA模块(3 )、多核DSP处理模块(4 )、RS-485通信接口( 5 )、通信通道(6)、SDSRAM存贮器(J)、FLASH存贮器(8)、LVDS传输模块(9)、图像显示通道(10)，其特征在于:所述图像通道(I)通过图像采集与传输模块(2)连接FPGA模块(3)，所述FPGA模块(3)包括一个图像预处理模块(13)和一个图像缓存模块(14)，图像预处理模块(13)输出端连接图像缓存模块(14);所述多核DSP处理模块(4)由两个并行同构的数字信号处理器DSP (15和16)组成，两个并行同构的数字信号处理器DSP (15和16)均与图像缓存模块(14)双向连接；所述图像缓存模块(14)的输出端通过LVDS传输模块(9)和图像显示通道(10)外接显示器；图像缓存模块(14)还通过RS-485通信接口(5)及通信通道(6)与车载/机载上位机实时通信；所述多核DSP处理模块(4)分别与SDSRAM存贮器(7)、FLASH存贮器(8)双向连接。
2.根据权利要求1所述的基于多核DSP+FPGA架构的图像去抖与电子稳像设备，其特征在于:该设备还包括电源模块(11)和时钟模块(12)。
3.根据权利要求1所述的基于多核DSP+FPGA架构的图像去抖与电子稳像设备，其特征在于:所述FPGA模块(3)以XC4VLX60为核心芯片。
4.根据权利要求1所述的基于多核DSP+FPGA架构的图像去抖与电子稳像设备，其特征在于:所述FPGA模块(3)还包括图像底层处理算法的逻辑电路，该电路用来完成来自图像采集与传输模块(2)的数字图像的噪声抑制和图像增强。
5.根据权利要求1所述的基于多核DSP+FPGA架构的图像去抖与电子稳像设备，其特征在于:所述数字信号处理器DSP (15和16)是以浮点运算器TMS320C6678为核心芯片。
6.根据权利要求1所述的基于多核DSP+FPGA架构的图像去抖与电子稳像设备，其特征在于:所述的RS-485通信接口(5)采用同步半双工模式，其以HDLC为基础，通信总线控制器在FPGA模块(3)中以逻辑电路的形式实现，其电气特性的转换通过RS-485接口芯片IL485实现。
7.根据权利要求1所述的基于多核DSP+FPGA架构的图像去抖与电子稳像设备，其特征在于:所述SDSRAM存贮器(7)为静态存贮器。
8.根据权利要求1所述的基于多核DSP+FPGA架构的图像去抖与电子稳像设备，其特征在于:所述FLASH存贮器(8)为可擦写存贮器。
【文档编号】H04N5/21GK203399187SQ201320505599
【公开日】2014年1月15日 申请日期:2013年8月20日 优先权日:2013年8月20日
【发明者】鲁新平, 李吉成, 余知音, 罗宇谦, 刘云剑 申请人:长沙超创电子科技有限公司