带有运动预测的立体图像编码方法和编码装置的制造方法
【技术领域】
[0001]本发明属于数据处理设备领域，具体涉及一种带有运动预测的立体图像编码方法和编码装置，适用于虚拟现实的头戴显示器中。
【背景技术】
[0002]在虚拟现实技术中，为了高效地进行动态图像数据的传送和蓄积，使用压缩编码技术。现在主流的图像编码都是4k分辨率或者2k (1SOp)的显示技术，在单通道的视频流的数据量可以达到未压缩的单帧图像的数据量要超过每帧30M字节；在头戴显示器的应用中，由于近瞳目镜放大了图像的细节，图像的刷新率最少需要60帧每秒，动态图像将超过
1.SG字节每秒，超过了现在最快的几个通用的数据传输总线如Usb3.0的最大传输速率，在双通道的立体高清视频的传输就更成问题。
[0003]现在所有的高清视频传输都采用了 H.264、H.265的编码，在数据传输的容量上进行了压缩，立体的60p高清图像可以做到30M字节每秒，可以解决传输速率上的问题，但在由于编码的时间一般都在技术标称50毫秒以上，加上传输与解码显示的其他过程实际的延迟达到100ms，使头戴显示器在实时性上产生了新问题一一让视觉神经产生了严重的延迟感，导致人有眩晕感。实验中发现，人的视觉神经的极限感觉为80到100帧每秒，1ms以下的延迟是人类基本无法感知。针对上述技术问题，申请人研制出一种的图像编码方法及该编码装置，可进行运动预测，并将延迟时间降低在1ms以内，从而使人的感觉神经无法感知；这样，现实世界进行立体数字化与虚拟化视觉混合后的图像融合表现为连续性的，避免产生眩晕感。
【发明内容】
[0004]针对现有技术存在的问题，本发明要解决的技术问题是提供一种基于虚拟化技术且具有高速压缩功能、带有运动预测的新型立体图像编码方法，该编码方法解决了虚拟现实技术中图像延迟产生的眩晕问题。本发明另一方面还提供运用该编码方法的编码装置，其结构紧凑、成本低廉、适用范围广、基于虚拟化技术防眩晕且具有高数据压缩能力。
[0005]为解决上述技术问题，本发明包括以下的技术方案:
[0006]一种带有运动预测的立体图像编码方法，用于虚拟现实的头戴显示器中，方法包括以下步骤，
[0007]步骤101编码单元对现实世界划分并建立立体空间存储表格；
[0008]步骤201对摄像头拍摄范围的图像实时编码并存储格子，同时随头部运动轨迹的变化，不断更新每个存储格子中的内容；
[0009]步骤301获取头部运动轨迹曲线并分析下一个视觉窗口将要更新的小格位置；
[0010]步骤401将要更新的小格位置从存储格子中取出所有数据，进行压缩编码并存在高速内存装置中；
[0011]步骤501根据当前运动轨迹位置，将虚拟场景和真实世界输入应用处理器中的视觉数据整体融合显示。
[0012]本发明的步骤201具体为:通过头戴显示器的高清摄像头代替人眼位置，实时拍摄大于人眼20°的视觉范围的图像；编码单元进行实时编码，按预定空间的格子尺寸格式存储格子，并随着头部位置的不断变化进行每个存储格子内容的更新。
[0013]步骤301具体为:通过头部位置计算双眼视觉窗口位置，得到视觉窗口左上、右下两个格子的位置，同时编码单元从定位与运动传感装置中获取头部运动曲线，并分析下一个视觉窗口中将要更新的小格位置。
[0014]其中定位与运动传感装置包括电子陀螺仪和电子加速度传感器。
[0015]编码方法中的下一个视觉窗口为沿当前头部运动轨迹走向，下一个10毫秒将要到达的空间坐标轨迹所在的视觉窗口。
[0016]步骤401具体为:编码单元内的Dsp或多路编码芯片按小格的分辨率数据，根据头部运动轨迹顺序进行压缩编码，将根据动作预测到要更新的小格位置的数据取出，优先编码；随后按应用处理器的运动坐标规划，将每一个视频小格视频流数据存取于高速内存装置。
[0017]通常人的双眼在一个瞬间只能看到现实世界的一个小的部分，依靠头部的转动来实现环顾360°空间。本发明的编码方法中，利用目前的3轴陀螺仪技术计算出人头部的位置，利用3轴加速度传感器追踪人头部的运动，对人头部位置和运动的计算，根据运动惯性的原理，提前预测出头部的运动轨迹，即可以知道人的双眼下一个视觉窗口所在的位置。
[0018]由上述方法介绍可知，本发明编码方法的具体原理为:对现实空间进行格子化划分，根据采样原理，将每个格子的尺寸小于1/4个视场，对每个视场的数据进行预先的存储，在我们的视场在移动到位之前将数据准备好，在视场移动到位后马上就显示，就不会有延迟产生。以现在的显示技术，这个过程远小于I毫秒，这样人的视觉神经就没有感觉，整个现实世界进行立体数字化编码与虚拟化视觉混合后的图像就是连续的。
[0019]本发明还提供了一种带有运动预测的立体图像编码装置，装置包括从阵列摄像头中获取视频图像的多媒体接口单元、从定位与运动传感装置中获取空间坐标轨迹的传感器接口单元、以及连接所述多媒体接口单元和传感器接口单元的编码单元以及连接于编码单元的通讯单元；所述编码单元用于将编码对象的图像分割成多个处理块，参照传感器上传的运动轨迹预测下一个坐标轨迹并进行预测编码。
[0020]进一步地，编码单元包括预处理部、预测部和编码部；
[0021]其中预处理部用于接入多媒体接口单元，将摄像头阵列获取的视频图像按小格设定分辨率，进行分割组包；
[0022]预测部用于接入传感器接口单元，获取传感数据并进行预测下一个视觉窗口的空间坐标轨迹；
[0023]编码部与预处理部和预测部连接，其按照分辨率每格数据，根据需求顺序对图像进行编码，且将预测单元预测到的轨迹图像优先编码。
[0024]本发明的通讯单元上还设有串口或Usb接口，用于接入应用处理器和高速存储装置。
[0025]本发明的编码方法和装置优化了编码的应用空间，通过获取阵列摄像头的视频图像实现更多的视觉范围空间(fov)输数据源，便于这些视觉范围的画面还没进入人眼的视线范围内即可提前开始画面编码。此外，该编码模块增加了运动预测部，可以将计算出真实的下几帧(10-100毫秒)眼睛视线边缘的运动方向和位移(等效人体视觉窗口的更新方向和距离)，让编码单元在视线还没有移动到这个位置的时候就预先编码存储好这个位置的画面，当头部运动按预测动作后，应用处理器只需要到高速内存取出画面显示，该过程中没有编码和数据处理的延迟，可以在10毫秒以下完成到液晶屏的显示。
【附图说明】
[0026]上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与【具体实施方式】对本发明作进一步的详细说明。
[0027]图1为实施例的立体图像编码方法示意图；
[0028]图2为实施例的立体图像编码方法中摄像头阵列的示意图；
[0029]图3为实施例的立体图像编码装置结构示意图；
[0030]图4为实施例的头戴显示器的结构示意图。
【具体实施方式】
[0031]为使本发明实施方式的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明实施方式再作进一步详细的说明。
[0032]实施例
[0033]图1为根据本发明实施方式的带有运动预测的立体图像编码方法的步骤示意图。
[0034]一种带有运动预测的立体图像编码方法，该方法用于执行虚拟现实技术的图像编码，包括以下步骤，
[0035]步骤101初始化系统各模块，编码单元对现实世界划分并建立立体空间存储表格；
[0036]步骤201对摄像头拍摄范围的图像实时编码并存储格子，同时随头部运动轨迹的变化，不断更新每个存储格子中的内容；
[0037]具体地，通过头戴显示器的高清摄像头代替人眼位置，实时拍摄大于人眼20°的视觉范围的图像；编码单元进行实时编码，按预定空间的格子尺寸格式存储在内存格子Mij中，并随着头部位置的不断变化进行每个存储格子Mij中的内容进行更新。
[0038]其中高清摄像头为多个，内部感光器件呈阵列组合，如图2所示；由于每个人的眼睛的有效视场角在水平160左右，垂直90°左右，每个摄像机在画面基本不发生失真的视场角在60-90°左右。本发明方法中，通过把多个摄像头的视觉范围角(视场fov)叠加起来，从而可以看到更大的范围，等效于将多个corns或者ccd的感光元件组成了阵列，提供了更多的视觉范围空间数据源