专利名称：基于双摄像机的车载视频拼接装置的利记博彩app
技术领域：
本实用新型属于智能交通领域，涉及一种用于扩展驾驶员视觉感知范围的车载视 频拼接装置。
背景技术：
随着经济的迅猛发展，汽车保有量急剧增加，保证车辆安全行驶，减少交通事故的 发生，成为人们关注的问题，确保车辆安全行驶的因素很多，这其中最主要的就是驾驶员的 视觉感知范围，它直接影响驾驶员的判断决策能力和动作反应能力，驾驶员的座位是固定 的，其视野范围有限，有很多视觉盲区，如前挡风玻璃的两侧，车头的下方，车尾部等，车型 越大，视觉盲区也越大，因此需要在车辆上安装一种车载装置，扩展驾驶员的视野，目前市 场上尚没有此类车载装置。
实用新型内容为解决上述问题，本实用新型的目的在于提供一种基于双摄像机的车载视频拼接 装置，实时采集双路视频数据，通过图像处理和视频拼接技术将双路视频画面融合成一副 视野范围更宽的视频画面，从而扩大驾驶员的视觉感知范围，消除驾驶员的视觉盲区，提高 驾驶的安全性。为实现上述目的，本实用新型采用以下技术方案一种基于双摄像机的车载视频拼接装置，其特征是该拼接装置由车载处理器、程 序存储器、数据存储器、硬盘、一号摄像机、二号摄像机、一号视频解码器、二号视频解码器、 现场可编程门阵列、视频编码器组成；一号摄像机的三路模拟信号输出端口与一号视频解码器的三路模拟信号输入端 口连接；二号摄像机的三路模拟信号输出端口与二号视频解码器的三路模拟信号输入端口 连接；—号视频解码器的行同步信号输出端口、场同步信号输出端口、串行数据输出端 口、串行时钟输出端口、片选端口、像素解码数据输出端口都与现场可编程门阵列的第一输 入输出端口连接；二号视频解码器的行同步信号输出端口、场同步信号输出端口、串行数据输出端 口、串行时钟输出端口、片选端口、像素解码数据输出端口都与现场可编程门阵列的第二输 入输出端口连接；车载处理器的一号并行外设接口中的行同步信号输入端口、场同步信号输入端 口、串行数据输入端口、串行时钟输入端口、片选端口、视频数据输入端口都与现场可编程 门阵列的第三输入输出端口连接；车载处理器的二号并行外设接口中的行同步信号输出端口、场同步信号输出端 口、串行数据输出端口、串行时钟输出端口、片选端口、视频数据输出端口分别与视频编码 器的行同步信号输入端口、场同步信号输入端口、串行数据输入端口、串行时钟输入端口、片选端口、像素编码数据输入端口连接；视频编码器的三路模拟信号输出端口与显示器连 接；车载处理器的外部总线接口包括异步存储器接口和同步存储器接口，其中异步 存储器接口中的输出使能端、读使能端、写使能端、字节使能端、片选端分别与程序存储器 的输出使能端、读使能端、写使能端、字节使能端、片选端连接；同步存储器接口中的行地址 选通端、列地址选通端、写使能端、片选端、时钟使能端、时钟端分别与数据存储器的行地址 选通端、列地址选通端、写使能端、片选端、时钟使能端、时钟端连接，车载处理器的数据端口分三路输出，第一路经过数据总线与数据存储器的数据端 口连接，第二路经过数据总线与程序存储器的数据端口连接，第三路经过数据总线与数据 总线驱动器连接，数据总线驱动器与硬盘的数据端口连接；车载处理器的地址端口分三路输出，第一路经过地址总线与数据存储器的地址端 口连接，第二路经过地址总线与程序存储器的地址端口连接，第三路经过地址总线与地址 总线驱动器连接，地址总线驱动器与硬盘的地址端口连接。本装置可以有效扩大驾驶员对车辆前部或后部的视觉感知范围，使驾驶员能及时 发现处于车辆前部或后部视觉盲区的车辆、障碍物以及行人，消除了事故隐患，提高了驾驶 的安全性，具有实用价值。
图1是本实用新型的电路方框图。图2是本实用新型的电路原理图。
具体实施方式
请参照图1、图2，本实用新型是一种基于双摄像机的车载视频拼接装置，该拼接 装置由车载处理器ADSP-BF561、程序存储器FLASH、数据存储器SDRAM、硬盘ΑΤΑ-IDE、一号 摄像机VCl、二号摄像机VC2、一号视频解码器ADV7183、二号视频解码器ADV7183、现场可编 程门阵列FPGA组成，一号摄像机VCl的三路模拟信号输出端口与一号视频解码器ADV7183的三路模拟 信号输入端口 AIN1、AIN2、AIN3连接，二号摄像机VC2的三路模拟信号输出端口与二号视频解码器ADV7183的三路模拟 信号输入端口 AIN1、AIN2、AIN3连接，一号视频解码器ADV7183的行同步信号输出端口 HSYNC、场同步信号输出端口 VSYNC、串行数据输出端口 SDA、串行时钟输出端口 SCL、片选端口 0E、像素解码数据输出端 口 P0-P7都与现场可编程门阵列FPGA(型号为EP2 C 5)的第一输入输出(I/O)端口连接，二号视频解码器ADV7183的行同步信号输出端口 HSYNC、场同步信号输出端口 VSYNC、串行数据输出端口 SDA、串行时钟输出端口 SCL、片选端口 0E、像素解码数据输出端 口 P0-P7都与现场可编程门阵列FPGA(型号为EP2 C 5)的第二输入输出(I/O)端口连接，车载处理器ADSP-BF561的一号并行外设接口 PPIl中的行同步信号输入端口 TMR1、场同步信号输入端口 TMR2、串行数据输入端口 PF0、串行时钟输入端口 PF1、片选端口 PF2、视频数据输入端口 D0-D7都与现场可编程门阵列FPGA(型号为EP2 C 5)的第三输入输出(I/O)端口连接，车载处理器ADSP-BF561的二号并行外设接口 PPI2中的行同步信号输出端口 TMR1、场同步信号输出端口 TMR2、串行数据输出端口 PF1、串行时钟输出端口 PF0、片选端口 PF2、视频数据输出端口 D8-D15分别与视频编码器ADV7171的行同步信号输入端口 HSYNC、 场同步信号输入端口 VSYNC、串行数据输入端口 SDA、串行时钟输入端口 SCL、片选端口 0E、 像素编码数据输入端口 P0-P7连接；视频编码器ADV7171的三路模拟信号输出端口 DAC-B、DAC-C, DAC-D与显示器连 接；车载处理器ADSP-BF561的外部总线接口 EBIU包括异步存储器接口和同步存储器 接口，其中异步存储器接口中的输出使能端/Α0Ε、读使能端/ARE、写使能端/AWE、字节使能 端/ABE、片选端/AMS分别与程序存储器FLASH的输出使能端/0E、读使能端/CE、写使能端 /WE、字节使能端/AO、片选端/CS连接，同步存储器接口中的行地址选通端/SRAS、列地址选通端/SCAS、写使能端/SWE、 片选端/SMS、时钟使能端/SCKE、时钟端/CLK分别与数据存储器SDRAM的行地址选通端/ RAS、列地址选通端/CAS、写使能端/WE、片选端/CS、时钟使能端/CKE、时钟端/CLK连接，车载处理器ADSP-BF561的数据端口分三路输出，第一路经过数据总线与数据存 储器SDRAM(型号为HY57V561620)的数据端口 D0-D15连接，第二路经过数据总线与程序存 储器FLASH (型号为AiC9LV800DB)的数据端口 D0-D15连接。第三路经过数据总线与数据总线驱动器(型号为SN74LVTH16M5)连接，数据总线 驱动器(型号为SN74LVTH16M5)与硬盘ΑΤΑ-IDE的数据端口连接。车载处理器ADSP-BF561的地址端口分三路输出，第一路经过地址总线与数据存 储器SDRAM(型号为HY57V561620)的地址端口 A0-A15连接。第二路经过地址总线与程序 存储器FLASH (型号为AiC9LV800DB)的地址端口 A0-A15连接。第三路经过地址总线与地址总线驱动器(型号为74HCM5)连接，地址总线驱动器 (型号为74HCM5)与硬盘ΑΤΑ-IDE的地址端口连接。车载处理器ADSP-BF561利用其多功 能并行外设接口 PPIl采集视频数据，该PPIl具有DMA功能，无需内核干预便可进行高速数 据传输，传输完成后可自动向内核发出DMA中断。ADSP-BF561是Blackfin系列中的一款高性能定点DSP视频处理芯片，其主频最高 可达750MHz，其内核包含2个16位乘法器MAC、2个40位累加器ALU、4个8位视频ALU，以及 1个40位移位器，该芯片中的2套数据地址产生器(DAG)可为同时为存储器存取双操作数 提供地址，每秒可处理1200M次乘法运算，同时具有动态电源管理功能，此外，ADSP-BF561 处理器还包括丰富的外设接口，包括EBIU接口SDRAM接口，4个1MB异步存储 器接口)、3个定时/计数器、1个UART、1个SPI接口、2个同步存储器接口和两路并行外设 接口(支持ITU-656数据格式)，Blackfin处理器在结构上充分体现了对媒体应用(特别 是视频应用)算法的支持。ADSP-BF561提供2个16位并行外设接口(PPI1和PPI2)，它们是半双工双向端 口，在本实用新型中，并行外设接口 PPIl用于与一号摄像机VCl和二号摄像机VC2进行联 接，并行外设接口 PPI2用于与显示器联接。ADSP-BF561为核心处理器；HY57V561620是通过EBIU总线扩展的SDRAM，是系统的帧存储器，用于存储采集的原始图像以及算法处理的 中间结果；FLASH用于系统引导程序加载和参数保存；工作过程为上电或系统复位后，系统自动将程序存储器FLASH中的程序下载到 ADSP-BF561中，然后开始执行程序。车载处理器ADSP-BF561由外部程序存储器FLASH引导，再通过I2C总线设置一号 摄像机VCl和二号摄像机VC2的控制寄存器。现场可编程门阵列FPGA提供摄像机的工作 时序和图像序列的读写时序。由于CPU访问片外存储器的速度通常要比访问片内慢几十倍，片外数据的传输通 常成为程序运行时的瓶颈，这样，即使代码效率很高，流水线也会因为等待数据而被严重阻 塞。解决这一问题的有效方法是用DMA传送数据。程序是按宏块进行编码的，在编码当前 宏块的同时，先由DMA将下一个宏块的数据、用到的参考帧数据由片外传送至片内，当前宏 块做完运动补偿后，DMA又将重建后的宏块由片内传送至片外。这样CPU只对片内数据进行 操作，从而使流水线可以顺利进行，而压缩码流按逐个码字有时间间隔地写入，可由CPU直 接写至片外。车载处理器ADSP-BF561采用先进的DMA技术，利用专用的DMA通道完成数据 传送和接收，通过DMA方式将图像数据存入到数据存储器(帧存储器)SDRAM中，从而进一 步提高数据传输速度。本装置的数据采集由一号摄像机VC1、二号摄像机VC2完成，并由车载处理器 ADSP-BF561进行图像处理，现场可编程门阵列FPGA协同车载处理器ADSP-BF561完成时序 逻辑控制和组合逻辑控制。处理后的图像通过视频编码器ADV7171接口输出至显示器。EP2C5 是 Altera 公司推出的 CycloneII 序列 FPGA 器件，内嵌 RAM 119808 位，13 个乘法器，并有143个I/O脚。在本系统中，为了数据缓存，需要在摄像机和ADSP之间有 一个FIFO来充当数据的缓存区，同时为了满足数据采集中高速实时数据流应用，避免FIFO 溢出，设计时通过FPGA及SDRAM构造一个FIFO，以提供一个低成本并能满足高速实时数 据流传输的解决方案。本装置中的EP2C5时钟信号由外部晶振提供，EP2C5的复位信号由 ADSP-BF561 的 I/O 口实现。ADSP-BF561 为 EP2C5 产生复位信号。考虑到车载处理器ADSP-BF561的内部存储控制器支持单片SDRAM的最大容量为 U8MB，所以选用HY57V561620，其存储容量为4x2Mxl6位，工作电压为单3. 3V±0. 3V，16位 数据宽度满足存储要求。HY57V561620的时钟CLK由ADSP-BF561的系统时钟提供由于 车载处理器ADSP-BF561内部存储空间有限，必须外接FlASH用于存储程序。本装置选用 AM29LV800DB,每次上电复位后，车载处理器ADSP-BF561首先将FlASH中的程序引导到内核 中。其电路连接如图2所示。一号摄像机VCl和二号摄像机VC2输入的模拟视频信号经视频解码器ADV7183转 化为数字信号，此信号从Blackfin561的PPI1接口进入ADSP-BF561芯片进行压缩，压缩后 的码流则经视频编码器ADV7171转换后从ADSP-BF561的PPI2 口输出至显示器，由FlASH 加载程序，网络传输编码过程中的原始图像、参考帧等数据存储在SDRAM中，ADSP-BF561片 内只有256KB的存储空间，因此当前帧、参考帧和当前帧的重建帧都必须放至片外数据存 储器中，压缩码流若被主机读取，也可放至片外。其它数据如程序代码、全局变量、VLC码表、 各编码模块产生的中间数据等均放至在程序存储器FLASH中。ADSP-BF561只有1个数字视频输入接口，为了接两路视频解码器，需要在视频解码器与ADSP-BF561的视频输入接口之间增加耦合逻辑，高性能、低成本、可编程的FPGA可 以方便实现二者之间的耦合逻辑。另外，FPGA上含有丰富的资源，可用来实现某些图像处 理功能，比如，图像大小的缩放，防眩光等。本装置的设计思路是通过摄像机来获取视频信 号，然后采用模数转换芯片ADV7183将模拟的PAL制式视频信号转换为YUV4:2:2的数字视 频信号。使用FPGA芯片EP2C5作为协处理器，来完成视频信号的缓存和视频帧的合成，并 在完成视频数据的预处理后，将视频数据传入到ADSP-BF561中，完成特定的视频处理算法 (如压缩等)，最后对处理完的视频数据进行传输和存储。一号摄像机VCl和二号摄像机VC2可以同时安装在车辆前部，也可以同时安装在 车辆的尾部，以扩大驾驶员对车辆前部或后部的视野范围，在本实施例中，一号摄像机VCl 和二号摄像机VC2分别放置在车辆的左右前照灯位置，补充左前侧和右前侧的信息，扩大 单路摄像机视频采集的范围，其摄入的视频图像对应帧有30% -50%的重合区域。通过视 频解码器将视频数据采集到车载处理器ADSP-BF561中。ADV7183是美国模拟器件公司(ADI)推出的集成了 10位ADC的增强型视频解码 器。它内含两个ΙΟ-bit精确模数转换器(ADCs)和完整的自动增益控制(AGC)电路，能够自 动将一种兼容国际标准NTSC或PAL的模拟视频基带信号转换成兼容16位/8位CCIR601/ CCIR656的YCrCb型4 2 2或4 2 1的视频数据。其灵活的数字式输出接口能够在基于缓 存器结构和行锁时钟的系统中完成视频解码和转换功能，ADV7183内部带有行锁定系统时 钟(LLC)和自适应数字线长跟踪(ADLLT)电路，可以提供双重视频锁定功能。在处理图像中，由于图像数据量很大，车载处理器ADSP-BF561内存有限，所以系 统外部扩展FLASH和SDRAM做为程序和数据缓冲区。在器件选择上，FLASH程序存储器选 用能电擦写、掉电保护的存储器AiC9LV800DB，该器件为8Mbit，数据宽度可配置成8位或16 位。SDRAM选用Hynix公司的HY57V561620，该器件是一款的同步高速动态存储器，能够满 足数据缓冲的需要。车载处理器ADSP-BF561对视频数据进行压缩编码时采用MPEG-4标准。视频数据 的存储采用大容量的ATA_IDE硬盘存储。ATA_IDE硬盘总线接口方式与控制时序满足车载 处理器ADSP-BF561的外部总线接口 EBIU的总线控制时序。车载处理器ADSP-BF561是整个拼接系统的核心，负责对摄入的视频图像进行拼 接处理。软件算法原理是，首先对图像进行校正、增强以及去噪等处理；其次对两幅图像的 角点特征进行特征提取；然后对图像的特征进行快速的查找匹配，经过粗配准以及精确的 配准，确定拼接的融合区域；最后对待拼接区域的颜色亮度等信息进行调整融合，并对拼接 后的图像进行压缩存储。然后通过车载显示器将拼接后的视频显示出来，向驾驶员提供宽 视野的视频信息，以扩展驾驶员的视野感知范围，消除驾驶员的视觉盲区。提高驾驶的安全 性，减少交通事故的发生。
权利要求1. 一种基于双摄像机的车载视频拼接装置，其特征是该拼接装置由车载处理器、程 序存储器、数据存储器、硬盘、一号摄像机、二号摄像机、一号视频解码器、二号视频解码器、 现场可编程门阵列、视频编码器组成；一号摄像机的三路模拟信号输出端口与一号视频解码器的三路模拟信号输入端口连 接；二号摄像机的三路模拟信号输出端口与二号视频解码器的三路模拟信号输入端口连 接；一号视频解码器的行同步信号输出端口、场同步信号输出端口、串行数据输出端口、串 行时钟输出端口、片选端口、像素解码数据输出端口都与现场可编程门阵列的第一输入输 出端口连接；二号视频解码器的行同步信号输出端口、场同步信号输出端口、串行数据输出端口、串 行时钟输出端口、片选端口、像素解码数据输出端口都与现场可编程门阵列的第二输入输 出端口连接；车载处理器的一号并行外设接口中的行同步信号输入端口、场同步信号输入端口、串 行数据输入端口、串行时钟输入端口、片选端口、视频数据输入端口都与现场可编程门阵列 的第三输入输出端口连接；车载处理器的二号并行外设接口中的行同步信号输出端口、场同步信号输出端口、串 行数据输出端口、串行时钟输出端口、片选端口、视频数据输出端口分别与视频编码器的行 同步信号输入端口、场同步信号输入端口、串行数据输入端口、串行时钟输入端口、片选端 口、像素编码数据输入端口连接；视频编码器的三路模拟信号输出端口与显示器连接；车载处理器的外部总线接口包括异步存储器接口和同步存储器接口，其中异步存储 器接口中的输出使能端、读使能端、写使能端、字节使能端、片选端分别与程序存储器的输 出使能端、读使能端、写使能端、字节使能端、片选端连接；同步存储器接口中的行地址选通 端、列地址选通端、写使能端、片选端、时钟使能端、时钟端分别与数据存储器的行地址选通 端、列地址选通端、写使能端、片选端、时钟使能端、时钟端连接；车载处理器的数据端口分三路输出，第一路经过数据总线与数据存储器的数据端口连 接，第二路经过数据总线与程序存储器的数据端口连接，第三路经过数据总线与数据总线 驱动器连接，数据总线驱动器与硬盘的数据端口连接；车载处理器的地址端口分三路输出，第一路经过地址总线与数据存储器的地址端口连 接，第二路经过地址总线与程序存储器的地址端口连接，第三路经过地址总线与地址总线 驱动器连接，地址总线驱动器与硬盘的地址端口连接。
专利摘要一种基于双摄像机的车载视频拼接装置，由车载处理器、程序存储器、数据存储器、硬盘、摄像机、视频解码器、视频编码器、现场可编程门阵列组成；一号、二号摄像机经过视频解码器与现场可编程门阵列的输入输出端口连接；车载处理器的一号并行外设接口与现场可编程门阵列的输入输出端口连接；车载处理器的二号并行外设接口与视频编码器连接；视频编码器与显示器连接；车载处理器的存储器接口与程序存储器和数据存储器连接，车载处理器的地址和数据端口与数据存储器、程序存储器、硬盘连接，本装置采集双路视频数据，通过视频拼接技术融合成一幅视野范围更宽的视频，从而扩大驾驶员的视觉感知范围，消除驾驶员的视觉盲区，提高驾驶的安全性。
文档编号H04N5/262GK201928358SQ20102065694
公开日2011年8月10日 申请日期2010年12月13日 优先权日2010年12月13日
发明者仲崇波, 孔涛, 张春雨, 张海奇, 李斌, 汪林, 蔡胜昔, 蔡蕾 申请人:交通运输部公路科学研究所