基于视觉的飞机降落辅助装置制造方法
【专利摘要】本发明提出了一种基于视觉的飞机降落辅助装置。该装置获取一系列跑道图像，然后对原始跑道图像进行倾侧角(γ)校正，并根据γ校正后的跑道图像和跑道宽度(W)计算飞机高度(A)。该装置还可以含有一传感器，它测量至少一个姿态角，并利用该姿态角加速图像处理。智能手机非常适合作为飞机降落辅助装置。
【专利说明】基于视觉的飞机降落辅助装置
[0001]本申请要求申请号为61/767，792、申请日为2013年2月21日的美国专利申请的优先权。
【技术领域】
[0002]本发明涉及航空领域，更确切地说，涉及飞机的降落辅助装置。
【背景技术】
[0003]着陆是飞行中最具挑战性的部分。当飞机进入地面效应区域时，飞行员将机头拉起，以降低飞机的下降速度。该操作称为拉平，开始拉平操作的时刻和高度分别称为拉平时刻和拉平高度。对于小型飞机，拉平高度一般为地面上5m到IOm以内。由于飞行学员通常较难判断拉平高度，他们需要练习几百次降落才能掌握拉平高度。如此大量的降落练习增加了训练时间，浪费大量的燃料，且对环境有负面影响。尽管雷达测高仪或者激光测高仪可以用来帮助拉平，但它们比较昂贵。最好用低成本的降落辅助装置来帮助飞行学员掌握降落技巧。
[0004]以往技术也采用计算机视觉来辅助飞机降落。美国专利8，315，748(发明人:Lee，授权日:2012年11月20日)提出了一种基于视觉的高度测量方法。它使用一种圆形标志作为垂直起降飞机(VTOL)垂直起降时的参考物。飞机中的相机首先获取圆形标志的图像，然后测量该图像中圆形标志的水平直径和竖直直径，最后飞机高度可以通过这些直径数据、圆形标志的实际直径、圆形标志和飞机起降点之间的距离，以及飞机的航向姿态(即航向角、俯仰角和倾侧角)计算出来。对于固定翼飞机来说，圆形标志与飞机在地面投影点之间的距离是变化的，因此这种方法不适用。
【发明内容】
[0005]本发明的主要目的是提供一种低成本的飞机降落辅助装置。
[0006]本发明的另一目的是帮助飞行学员掌握降落技巧。
[0007]本发明的另一目的是节约能源资源，并提高环境质量。
[0008]为了实现上述目的，本发明提出了一种基于视觉的飞机降落辅助装置。它由一个相机和一个处理器组成。相机安装在飞机前端，面向跑道并获取一系列原始跑道图像。处理器从原始跑道图像提取倾侧角Y。在得到Y后，将原始跑道图像围绕其光学原点旋转-Y以进行Y校正，校正后的跑道图像(校正跑道图像)的地平线变为水平(如果能够看见其地平线的话)。在此之后的图像处理均在校正跑道图像中进行。其通过光学原点的水平线被称为主水平线H，通过光学原点的垂直线被称为主垂直线V。同时，跑道左右边缘延长线的交点标记为P，其坐标XP(即交点P与主水平线H的距离)可以用来计算俯仰角P =atan (Xp/f)，其坐标Yp(即交点P与主垂直线V的距离)可以用来计算航向角a =atan[(YP/f)*cos(p )]。这里，f为相机的焦距。最后，跑道左右边缘延长线与主水平线H交点A、B的距离Λ可以用来计算飞机的高度A=W*sin(p )/cos( a )/( Δ/f),其中W为跑道宽度。此外,跑道左右边缘延长线与主水平线H之间的夹角04和θ B也可以用来计算A=W*cos ( P )/cos ( α )/[cot( Θ A)- cot( Θ B)]。
[0009]飞机降落辅助装置还可以包括一个传感器，如一个惯性传感器(如陀螺仪)或者一个磁场传感器(如磁场仪)。它可以用来测量姿态角(如俯仰角P、航向角α、倾侧角Υ)。直接采用传感器测量的姿态角可以简化高度计算。例如说，测量的倾侧角Y可直接用来转动原始跑道图像；测量的俯仰角P和航向角α可之间用来计算高度。使用传感器数据可以减少处理器的工作量，加速图像处理。
[0010]基于视觉的高度测量尤其适合作为应用软件(app)安装在智能手机上。智能手机含有所有该高度测量所需的部件(包括相机、传感器和处理器)。由于智能手机无处不在，基于视觉的飞机降落辅助装置不需要增加硬件，仅需在智能手机上安装一个“降落辅助” app即可。这种基于软件的飞机降落辅助装置具有最低成本。
[0011]相应地，本发明提出一种基于视觉的飞机降落辅助装置，包括:一图像单元，该图像单元获取至少一原始跑道图像；一处理单元，该处理单元从校正跑道图像中测量跑道左右边缘延长线的特性，并根据所述特性和跑道宽度(W)计算飞机高度(A)，该校正跑道图像由该原始跑道图像转动得到。
【专利附图】
【附图说明】
[0012]图1显示一架飞机和一条跑道的相对位置。
[0013]图2A —图2C为三个基于视觉的飞机降落辅助装置的功能框图。
[0014]图3说明倾侧角(Y )的定义。
[0015]图4为一个原始跑道图像。
[0016]图5为一个校正跑道图像。
[0017]图6说明俯仰角(P )的定义。
[0018]图7说明航向角(α )的定义。
[0019]图8表示一种基于视觉的高度测量方法。
[0020]图9Α —图9Β为具有定向功能的飞机降落辅助装置。
[0021]注意到，这些附图仅是概要图，它们不按比例绘图。为了显眼和方便起见，图中的部分尺寸和结构可能做了放大或缩小。在不同实施例中，相同的符号一般表示对应或类似的结构。
【具体实施方式】
[0022]在图1的实施例中，飞机10装有一台基于视觉的降落辅助装置20。该装置20安装在飞机10挡风玻璃的后面，面向前方。它可以是相机、带相机功能的计算机或类计算机装置、或智能手机。其光学原点标记为O’。降落辅助装置20利用计算机视觉测量它到地面O的高度Α。跑道100位于地面O上并处于飞机前方。其长度为L,宽度为W。此处,地面坐标定义为:其原点ο为O’在地面O上的投影，其X轴平行于跑道100的纵轴(跑道长度方向)，y轴平行于跑道的横轴(跑道宽度方向)，z轴垂直于x-y平面。z轴单独由跑道表面来定义，它被本说明书中许多坐标共用。
[0023]图2A —图2C表示三种基于视觉的飞机降落辅助装置20。图2A中的实施例含有一个相机30和一个处理器70。它利用跑道宽度W和相机30获取的跑道图像来计算高度A。用户可以从机场信息表(Airport Directory)中获取跑道宽度W，并手动输入；降落辅助装置20也可以直接从机场数据库通过电子检索获得跑道宽度W。该飞机降落辅助装置20可以测量高度，预测飞机的未来高度，并在决策点之前为飞行员提供指示(如视觉和/或声音指示)。比如，在飞机降落操作(如拉平或预着陆操作)前两秒，发出两个短哔声和一个长哔声。飞行员应该在前两次短哔声时做好准备，在最后的长哔声时进行操作。
[0024]与图2A相比，图2B中的实施例还包括一个传感器40，如一个惯性传感器(如陀螺仪)或者一个磁场传感器(如磁场仪)。它可以用来测量姿态角(如俯仰角P、航向角α、倾侧角Y)。直接采用传感器测量的姿态角可以简化高度计算。例如说，测量的倾侧角Y可直接用来转动原始跑道图像；测量的俯仰角P和航向角α可之间用来计算高度(参见图8)。使用传感器数据可以减少处理器的工作量，加速图像处理。
[0025]图2C中的实施例为一台智能手机80。它还包括一存储器50，该存储器50存储“飞机降落”应用软件(app) 60。通过运行“飞机降落” app 60，智能手机80可以测量高度，预测飞机的未来高度，并在决策点之前为飞行员提供指示。智能手机含有所有高度测量所需的部件(包括相机、传感器和处理器)，它可以容易地辅助飞机降落。由于智能手机无处不在，基于视觉的飞机降落辅助装置不需要增加硬件，仅需在智能手机上安装一个“降落辅助” app即可。这种基于软件的飞机降落辅助装置具有最低成本。
[0026]图3 —图5描述了一种获取倾侧角(Y )的方法。图3定义了相机30的倾侧角(Y )。由于相机30的图像传感器32 (如CXD传感器或者CMOS传感器)在图像平面36中为长方形，原始图像坐标XYZ可以定义如下:，原点O为图像传感器32的光学原点，X、Y轴为长方形的两条中心线，Z轴垂直于X-Y平面。这里直线N同时垂直于ζ和Z轴，且总是平行于跑道平面。倾侧角 (Y)定义为Y轴与直线N之间的夹角。图像坐标XYZ围绕Z轴旋转-Y后形成校正后的图像坐标(校正图像坐标)Χ**yζ*。这里,直线N也为校正图像坐标的Y*轴。
[0027]图4为相机30获取的原始跑道图像100i。由于相机30有倾侧角Y，地平线的图像120i是倾斜的，它与Y轴之间的夹角为Y。将图像IOOi围绕原点O旋转-Y，可以对它进行Y校正。图5为Y校正后的跑道图像(校正跑道图像)100*，其地平线120*水平，SP平行于Y*轴。在校正跑道图像100*中，通过其光学原点O的水平线(即Y*轴)被称为主水平线H，通过其光学原点O的垂直线(即X*轴)被称为主垂直线V。图6 —图8将对校正跑道图像100*做进一步分析。
[0028]图6定义了相机30的俯仰角(P )。光学坐标V Y’ V为校正图像坐标X*Y*Z*沿着Ζ*轴平移距离f形成的。这里，f为透镜38的焦距。这里还定义了一个α校正后(参见图7)的地面坐标(校正地面坐标)x*y*z*,其原点ο*和ζ*轴与地面坐标xyz相同，x*轴与X’轴在相同平面内。透镜的光学原点O’到地面(即原点ο*)的距离为高度A。俯仰角(P )为Z’轴与X*轴的夹角。对于一在地面O上、坐标为(X*，y*，0)的点R (在校正地面坐标x*y*z*中),其在图像传感器32上形成的图像的坐标(X*，Y*, 0)(在校正图像坐标X*Y*Z* 中)可以表达为:δ=ρ -atan(A/x*), X*=-f*tan( δ ), Y*=f*y*/sqrt (χ*~2+Α~2)/cos ( δ)。
[0029]图7定义了相机30的航向角(α)。该图显示了地面坐标xyz和校正地面坐标x*y*z*。它们之间沿z轴旋转了 α。注意α是相对于跑道100的纵轴(长度方向)定义的。尽管X轴平行于跑道100的纵轴，采用校正地面坐标x*y*z*在计算上更高效，因此本说明书在该坐标中分析跑道图像。
[0030]图8展示了一种高度测量的步骤。首先，从原始跑道图像的地平线120i中提取倾侧角Y (图4，步骤210)。在获得Y后，将原始跑道图像围绕光学原点旋转-Y以进行Y校正(图5，步骤220)。在校正跑道图像100*中，跑道左右边缘延长线160*、180*的交点标记为P，其坐标(XP，Yp) (Xp为交点P与主水平线H之间的距离；Yp为交点P与主垂直线V之间的距离)可以分别表达为:XP=f*tan(p )，Yp=f*tan(a )/cos(p )，由此可以计算出俯仰角 P =atan (XP/f)(图 5,步骤 230),以及航向角 a =atan [ (Yp/f) *cos ( P )](图 5，步骤240)。
[0031]最后，测量跑道左右边缘延长线160*、180*与主水平线H之间交点A和B的距离Λ，(图5，步骤250)，并用此来计算飞机高度A=W*sin(P)/cos(a)/(A/f)。此外，跑道左右边缘延长线与主水平线H之间的夹角04和Θ 可以用来计算A=W*cos(p )/cos(a )/[cot( Θ A)- cot( θ B)]。
[0032]对于熟悉本领域的技术人员来说，图8中的步骤可以跳过或调换顺序。比如，当传感器40用于测量至少一个姿态角(如俯仰角P、航向角a、倾侧角Y)时，测量的倾侧角Y可直接用来转动原始跑道图像(跳过步骤210);测量的俯仰角P和航向角a可之间用来计算高度(跳过步骤230，240)。使用传感器数据可以减少处理器的工作量，加速图像处理。
[0033]图9A —图9B为具有定向功能的飞机降落辅助装置20。它保证跑道图像中的地平线始终水平，从而不需要对跑道图像进行Y校正，这能简化高度计算。具体来说，飞机降落辅助装置(如手机)20放置在一个定向器19中。该定向器19由摇篮18、重块(weight)14和手机底座12组成。支架17固定在飞机10上，摇篮18由球轴承16支撑在支架17上。无论飞机10是在水平方向(图9A)还是有一个俯仰角P (图9B)，重块14可以保证手机20的纵轴总是沿着重力ζ的方向。重块14最好含有金属材料，以与磁铁15形成一对阻尼器，从而帮助稳定摇篮18。
[0034]应该了解，在不远离本发明的精神和范围的前提下，可以对本发明的形式和细节进行改动，这并不妨碍它们应用本发明的精神。例如说，本发明中的实施例均应用在固定翼飞机中，它也可以用在旋转翼飞机(如直升飞机)或无人飞行器(UAV)中。因此，除了根据附加的权利要求书的精神，本发明不应受到任何限制。
【权利要求】
1.一种基于视觉的飞机降落辅助装置，其特征在于含有: 一图像单元，该图像单元获取至少一原始跑道图像； 一处理单元，该处理单元从校正跑道图像中测量跑道左右边缘延长线的特性，并根据所述特性和跑道宽度(W)计算飞机高度(A)，该校正跑道图像由该原始跑道图像转动得到。
2.根据权利要求1所述的装置，其特征还在于:所述特性包括跑道左右边缘延长线与主水平线交点之间的距离(Δ)，且高度⑷由下述公式计算A=W*sin(p )/cos(a )/(Δ//)，其中，/是该图像单元透镜的焦距，P是俯仰角，a是航向角。
3.根据权利要求1所述的装置，其特征还在于:所述特性包括跑道左右边缘延长线与主水平线交点之间的夹角(θ Α, ΘΒ)，且高度(A)由下述公式计算A=W*cos(p )/cos(a )/[cot ( θ A) - cot (ΘΒ)]，其中，ρ是俯仰角，a是航向角。
4.根据权利要求1所述的装置，其特征还在于:所述特性包括跑道左右边缘延长线的交点与该转动后跑道图像的主水平线之间的距离(Xp)，且俯仰角(P)由下述公式计算P =atan (XP/f)，其中，/是该图像单元透镜的焦距。
5.根据权利要求1所述的装置，其特征还在于:所述特性包括跑道左右边缘延长线的交点与该转动后跑道图像的主垂直线的之间距离(Yp)，且航向角(α)由下述公式计算a =atan[(YP/f)*cos(p )],其中，/是该图像单元的透镜焦距，P是俯仰角。
6.根据权利要求1所述的装置，其特征还在于:在该原始跑道图像地平线不水平的情况下，所述处理单元转动该原始跑道图像获得该校正跑道图像，该校正跑道图像的地平线水平。
7.根据权利要求1所述的装置，其特征还在于含有:一传感器，该传感器测量至少一姿态角。
8.根据权利要求1所述的装置，其特征还在于含有:一定向单元，该定向单元保证该原始跑道图像无倾侧角。
9.根据权利要求1所述的装置，其特征还在于:该飞机是一固定翼飞机、旋转翼飞机或无人飞行器。
10.根据权利要求1所述的装置，其特征还在于:该装置是一智能手机。
【文档编号】G01C5/00GK104006790SQ201310247045
【公开日】2014年8月27日 申请日期:2013年6月21日 优先权日:2013年2月21日
【发明者】张国飙 申请人:成都海存艾匹科技有限公司