辨识二维影像产生三维信息的方法
【技术领域】
[0001 ]本发明关于一种辨识二维影像产生三维信息的方法。
【背景技术】
[0002]物体的运动轨迹有二维平面运动轨迹也有三维立体运动轨迹。单一物体的运动轨迹可作为运动效能的观察指针，而多个物体的运动轨迹则可进而作为交互作用程度的观察指标。
[0003]吾人多透过视觉观察来分辨不同的运动行为会产生甚么样的效果，以决定对策。然而，即使可从二维动态影片目视观查及辨识单一物体的运动轨迹，但却难以分辨其细部的变化。例如运动员在竞逐争胜时极为关切的一个击球效能的问题是:以不旋转的寻常方式掷球时，不难观察球以抛物线的轨迹行进的路径和速度。但如改以不同的角度掷球或增加左、右旋转掷球的力道时，球的运动轨迹便与寻常掷球有很大的不同，然而究竟有何差异呢?遗憾的是:即使科技发达的今日也不能轻易解决这个简单的问题！如果要剖析、分辨其间的差异，这就需要仰赖两种辅助观察的技巧:将球的分时、连续多张的运动轨迹用具体的路线陈现在单一张图上，以及并列陈现寻常掷球的参考轨迹以供对照比对。因此，显然单凭目视而无辅助工具来分辨物体的运动轨迹和现象是颇为困难的，而欲凭借现有的解决方法也有相当窒碍之处，阐释如下:
[0004]摄录像技术进步一日千里:高速摄录像机每秒可拍摄上千张影片，也能以慢速重复播放让人有充裕时间检视细节，但欲肉眼观察以发现细部动作或关键技术仍是缘木求鱼。例如棒球投手可运用手腕、手肘、腰部的转动和手指勾勒以投掷变化球，但即使用慢动作重复播放其投掷动作，多数人还是无法察觉其技巧的细节，自亦当无法揣摩、学习。再如，以摩擦击打网球上缘使球产生上旋行进，对球的运行轨迹会有甚么样的变化又会产生什么效果呢?答案是:除了会改变球的运动轨迹外，还会在球落地后产生加速、偏移、增高弹跳及弧形投影的弯曲球路等偏移效应，因而让对手难于应对而产生失误。但要使上旋球产生足够的偏移效应以压迫对手时，旋转圈数要达到多少RPM(每分钟旋转圈数，以下简称转速)，同时球的运动轨迹要产生什么样的变化才足以让对手判断错误?也就是:欲获得该旋转圈数的临界点和产生运动轨迹的变化就很重要了。再如:越来越多的各类重要运动竞赛，如篮球、足球、棒球等等，都配置了多个高速摄影机以对一连串的运动动作摄制影片，以避免遗漏任何信息造成误判。这种用配置越来越多的摄影机来减少观测死角的方式，究竟是一种防标之策，因为越来越专业、激烈的运动竞赛中总会有被遗漏的角度导致无法确知所获影片是否足够做判决用。因此，上述这大型且正式运动要比较多角度观察的需求，以及适合个人或小团体欲进行运动效能的研究，便需要足资信赖、更为周全，且需能轻易获得运动信息，以便设法改善、增进运动的效能。然而，现有的技术及设施显然是无法达成的。
[0005]往昔物体的运动轨迹多使用单一或多个硬件感应装置，诸如各式摄录像机、侦测器材以进行追踪、记录及计算获得。近来则有使用软件辅助感应装置或摄录像机等装置以追踪、记录。然而无论采用何种方式，除都需仰赖硬件、投入人力及支出庞大费用外，还需从各种观测角度规画适当位置来配置多个硬件感应装置或摄录像机，才能有效的记录、推算运动轨迹。因此，硬件配置相对困难、耗费资源也需要广阔的配置空间，更不便于记录实时、迅速移动或无特定活动区间的物体的运动轨迹及信息，便使得各项科技、学术、运动的研究和应用无法普及和深化。
[0006]鉴于传统获取物体的运动信息方法的诸多缺失，发明人乃亟思改善对策:为何不利用人手一机且未来发展无穷的行动装置来解决这个问题呢?而这个关键因素却是唯一解决途径:需能透过逻辑算法将二维信息实时转换成在三维空间能实时呈现的三维信息，也能对照参考物体的运动轨迹。经长年的研究、验证终能完成本发明。
【发明内容】
[0007]本发明的主要目的为辨识二维影像产生三维信息的方法，其中三维运动信息包括物体的运动轨迹、角度、旋转角度、速度、落点等，但不限于所列举的项目。该运动轨迹且可供三维浏览器进行细部观察。本发明乃应用在一计算机系统上，该计算机系统包含一主机、一链接该主机的用户接口及一链接该主机的显示器。其中，上述主机中储存含有许多人员、物体的运动过程的二维动态影片档案。该主机可包括但不限于与摄录像机、感测装置、景深装置耦合的个人计算机、笔记本电脑;亦可包括但不限于独立运作的内建摄录像机、感测装置、景深装置的手机、平板计算机等行动装置。
[0008]本发明辨识二维影像产生三维信息的方法包括以下的步骤:(A)主机开启、读取或使用摄录像机摄录像及显示二维动态影片。(B)用户从该二维动态影片或其他图片择一张选定一或多个欲追踪物体、轨迹点、开始追踪图片、结束追踪图片及筛选条件。(C)主机自动设定一虚拟3D空间及其坐标系。(D)搜寻全部二维动态影片，如有场地信息便定位场地及人员在虚拟3D空间的坐标。(E)主机依照欲追踪物体的形态、筛选条件，从首张追踪图片进行顺向/逆向追踪。(F)从该追踪图片的焦距、光圈，及镜头透光率计算该图片的景深或直接撷取景深信息，以定位该图片在虚拟3D空间的坐标。(G)主机从该追踪图片比对、辨识欲追踪物体。(H)如找到欲追踪物体，便从追踪到的物体图片计算景深，或直接撷取景深信息以决定其轨迹点位置及轨迹点在虚拟3D空间中的坐标。(I)如未找到欲追踪物体，就推定欲追踪物体的轨迹点及其3D坐标和景深。(J)如顺向追踪完成且已经完成全部追踪图片便储存虚拟3D空间及其各追踪到的物体的三维坐标，否则选定下一张欲追踪图片回步骤(F)进行下一张欲追踪物体的比对;如是逆向追踪完成亦储存虚拟3D空间及其各追踪到的物体的三维坐标，否则选定下一张欲追踪图片回步骤(F)进行下一张欲追踪图片的比对。(K)显示链接序列图片中运动物体的轨迹点所成的三维运动轨迹及该组二维动态影片;多个欲追踪物体相互作用的效果和对照信息;如有场地信息一并显示之。
[0009]该主机可以使用软件从读取的二维动态影片进行追踪;也可以直接从摄影作业中逐张产生的二维动态影片来逐张、实时的进行影像分析;也可以将包括摄影日期、镜头透光率，及每张影像的光圈、焦距、摄影机位置及追踪到的物体的影像等摄影信息记录于档案。
[0010]藉此，本发明辨识二维影像产生三维信息的方法，无需人为配置多个感测组件或摄录像装置，而仅需单一摄录像装置配置单一或多个摄录像镜头进行摄录像，便可实时的从摄录像中直接从摄录像机所截取的单一角度或多角度的多个二维动态影片连续单张进行分析、计算并产生运动轨迹和相关的运动信息。也可以产生动态影像纪录片，再实时或事后凭以进行分析、计算并产生三维运动轨迹和相关信息。若进一步记录多个运动物体的交互作用运动过程，便可因两物体运动程度的差异而产生不同受力程度的运动轨迹和相关信息。若再进一步摄录记录场地的信息，便可以进一步产生三维运动轨迹和相关信息，及其与场地相对位置的相关信息。
[0011 ]此外，该主机依照该组二维动态影片的标头信息来区分影像属性，该影像属性可包含影像类型、影像描述以及影像张数，该组标头信息依照摄录像机的储存影片格式编码。
[0012]再者，该主机可以从读取的二维动态影片进行追踪，也可以直接从摄影作业中逐张产生的二维动态影片来逐张、实时的进行影像分析。
[0013]再者，该摄录像机可为单镜头数字摄录像机以摄录单一组二维动态影片，亦可为双镜头数字摄录像机以摄录不同角度的多组二维动态影片，亦可为双镜头数字摄录像机，其一为摄录像镜头另一为景深镜头，只摄录单一角度单组二维动态影片。亦可为上述装置的组合。
[0014]再者，该影像类型包含二维静态图片和二维动态影片。
[0015]再者，该轨迹点是用户所指定欲追踪物体上的一点以供决定运动轨迹上的一点。用户须自既有影片文件选定欲追踪物体、开始追踪图片及结束追踪图片。惟系统实际追踪欲追踪物体的首张图片则为所选定欲追踪物体的该张图片，进行以影片祯数递增(顺向)或递减(逆向)来比对。若从摄影中直接进行比对者，用户亦可从其他图片来选定欲追踪物体及轨迹点，此时，实际追踪的首张图片便是开始追踪图片，需进行顺向追踪直到该序列欲追踪图片追踪完为止。
[0016]再者，该筛选条件是使用者画定概略的欲追踪的物体图片区块，或选定物体的行进速度、转速、颜色、文字描述的物体特征等及其他可追踪物体的特征。系统会自动将选定区块进行二值化、判定阀值(thresh)及分割获取欲追踪物体的图像(排除多余的背