专利名称：用于车辆gps数据分析与异常监测的可视挖掘方法
技术领域：
本发明涉及一种利用可视化技术来实现对车辆GPS数据分析与异常监测的方法。该方法能支持流数据在实时显示监控的同时，以可视数据模型“指纹印”来将车辆GPS数据中存在的一些抽象概念，如频繁规律和周期规律，以一种分析者容易理解的方式来显示，降低分析门槛，扩大应用范围，提高分析效率。
背景技术：
经过20余年的实践证明，GPS系统是一个高精度、全天候和全球性的无线电导航、定位和定时的多功能系统。GPS相关系统广泛应用于公安，医疗，消防，交通，物流等领域。近年来，GPS设备、移动通信设备以及各类传感器设备在全球范围的广泛使用，产生了大量包含空间地理位置信息、时间信息及其它相关信息的轨迹数据，其数据量往往能达到TB级甚至PB级。由于这类数据的规模庞大，超过了传统数据处理技术能够有效处理的范围，因此，对以交通数据与车辆轨迹为代表的GPS数据进行高效分析与深度挖掘，已成为目前IT领域中的研究热点之一。对GPS数据进行数据挖掘与知识发现具有重要的社会效益与经济效益，是目前各国政府、企业和研究机构极为重视的科研方向。经过挖掘分析后，从车辆GPS数据中获取的知识具有十分广阔的应用前景，例如，交通数据能应用于城市管理、道路规划、交通控制、出行规划等多个领域。但是GPS采集到的数据同时包含有时间、空间特征，可以归类为时空数据。而近年来随着数据规模的不断扩大，对时空数据的分析提出了严峻的挑战。首先，由于地理空间的复杂性，数据中涉及到空间相关的特征时，传统的方法如统计、数据挖掘和机器学习不能够通过全自动的方法进行完整的分析，整个过程需要专家的全程参与，利用人对空间和区域相关的认识，对空间相关固有的属性和关系的隐性知识。其次，时间相关特征也是一个复杂的现象。时间本身以线性的方式进行变化，但随着时间的推移事件的产生规律，却可以是周期性重复，多次循环重复；整个形成层次结构，甚至事件与事件之间的时间属性上具有重叠和互相关联的特性。并且时间特征也具有异构的特点，因此，我们得区分白天和晚上，工作日和周末，假期和正常工作期间。对这些知识专家们或者参与分析的用户有很深刻的理解，但这却是需要意会而难以传达给机器的一种感觉。因此，具有时间特征的数据在分析中也需要专家的大量参与，通过使用恰当的表达形式来分析和挖掘数据中相关的规律。近年来种类繁多的信息源产生的大量数据，远远超出了人脑分析解释这些数据的能力，由于缺乏大量数据的有效分析手段，大量的计算资源被浪费，这严重阻碍了科学研究的进展，可视化(Visualization)技术由此提出。现代的数据可视化(Data Visualization)技术指的是运用计算机图形学和图像处理技术，将数据换为图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。它涉及到计算机图形学、图像处理、计算机辅助设计、计算机视觉及人机交互技术等多个领域。数据可视化概念首先来自科学计算可视化(Visualization in Scientific Computing),科学家们不仅需要通过图形图像来分析由计算机算出的数据，而且需要了解在计算过程中数据的变化。近年来，随着网络技术和电子商务的发展，提出了信息可视化(Information Visualization)的要求。我们可以通过数据可视化技术，发现大量金融、通信和商业数据中隐含的规律，从而为决策提供依据。这已成为数据可视化技术中新的热点。可视化数据分析技术拓宽了传统的图表功能，使用户对数据的剖析更清楚。例如把数据库中的多维数据变成多种图形，这对提示数据的状况、内在本质及规律性起到了很强的作用。当显示发现的结果时，将地图同时显示作为背景。一方面能够显示其知识特征的分布规律；另一方面也可对挖掘出的结果进行可视化解释，从而达到最佳的分析效果。可视化技术使用户看到数据处理的全过程、监测并控制数据分析过程。而相对应地是，传统处理分析方法只能适用于较小规模数据，不能很好的表示数据分析中的存在的一些抽象概念，并且很难以一种人容易理解的方式显示大数据，不能支持流数据的实时显示。经检索发现，目前利用车载GPS设备的系统和公司，各种GPS/GIS/GSM/GPRS车辆监控系统软件、GSM和GPRS移动智能车载终端、系统的二次开发车辆监控系统整体搭建方案，都没有针对在对车辆GPS数据监测的同时进行分析的挖掘方法。在异常发生的情况下，用户将需要耗费更多的时间和资源，才能够做出决策。本发明填补了这个技术空白，将有效解决大规模车辆GPS数据带来的显示分析问题。
发明内容
本发明要解决的技术问题是，在大规模实时数据流的情况下，对收集到的高维时空数据，为用户提供基于密度的城市热图侦测和基于历史数据的交通轨迹异常实时监控，并辅以历史数据和统计信息，有效分析数据中的频繁规律和周期规律，找出隐藏的规律和错误，以一种分析者容易理解的方式来显示，降低分析门槛，扩大应用范围，提高分析效率。本发明旨在提出一种用于车辆GPS数据分析与异常监测的可视挖掘方法，使用户能够在大规模时空数据流的情况下监控并且实时分析检测到结果的具体情况，发现隐藏的不能被传统统计和数据挖掘算法检测出来的异常或者错误信息，并通过一种可视化数据模型“指纹印”将这些抽象概念以分析者容易理解的方式来展示，从而降低分析门槛，扩大应用范围，提高分析效率。为实现上述目的所采用的技术方案包含数据转换模块、可视化模块、用户交互模块设计，通过数据转换模块将原始车辆GPS数据处理转换为可视化“指纹印”数据模型，使数值数据变为易读的可视元素(形状，颜色，大小等)，并提供能够实时响应用户交互的数据索引，辅助用户分析数据；通过可视化模块将车辆可视数据模型处理为基于热分布图和基于轨迹的显示，让用户对数据有直观感受；通过用户交互模块实现丰富的交互操作，使用户能够进行监测和分析，从而为用户的决策提供分析与支持。本发明通过一种可视化数据模型“指纹印”来监测并分析比较大规模车辆GPS数据，并对其中存在的异常以人易读的形式直观展示给分析者或者专家。该可视数据模型旨在利用先进的可视化技术把人的智能嵌入到大数据分析的过程中，拉近分析者和大规模车辆GPS数据间的距离，降低由大规模数据带来的分析门槛，提供应用的适用范围。可视“指纹印”模型提供了一种容易理解的方式显示大规模GPS数据，并且支持流数据的实时显示。整个模型用来监测并分析比较大规模车辆GPS数据，因此设计为空间(S)、时间(T)，和属性(A)到指纹印模型(Fingerprint)的一个映射SXTXA — Fingerprint。“指纹印”数据模型(Fingerprint)有别于传统数据模型,具有两个数据结构,抽象数据结构(Abstract Form)对应原始数据处理后的数值数据，可视数据结构(Visual Form)对应数据在屏幕上显示的几何信息。按照定义，首先选择一定空间范围(S)，在指纹印模型(F)中记录选定区域的坐标信息及大小，在该范围(S)内按照按照时间(T)以行与列的关系组织原始GPS数据，表中的一行代表一个完整的时间段，比如一天，完整的时间段每一个固定长度的分片都对应一列，比如每一列对应一天的一个小时，最后表中的每个字段都代表了属性(A)的对应值，比如一小时内的统计值。之后指纹印模型会按照定义好的抽象数据结构来为每条属性添加相应的几何信息域以生成可视数据模型(Visual Form),内置的布局算法会生成对应的几何信息，如可视化元素边界矩形的大小、形状类型、坐标信息等。本发明的指纹印数据模型采用了基于地图的环状嵌套结构的布局算法来实现SXTXA — Fingerprint的显示,地图上对应指纹印的位置代表了该可视结构分析的空间信息(S);结构中采用多环嵌套布局对应时间属性显示(T)，每一个环对应一个完整的时间段，如一天，环上每一个扇形分片对应一个时间分片如一天中的一小时；扇形分片以颜色来对应属性(A)显示。该种基于表的抽象数据结构实现，可以产生对应的索引，能够大大提高数据的查询速率，从而达到优化系统性能支持实时数据查询分析。指纹印可视结构非常适合用于频繁规律(Frequent Pattern)和周期规律(Periodic Pattern)的检测、分析和比较。首先,多环嵌套布局中每一个环代表一个完整的时间段，布局中的每个环都拥有相同的开始时间和结束时间，每一个时间分片以一个环上的扇形分片对应，多环嵌套使得每个环上的代表相同时间分片的扇形分片的位置都会显示在相邻的位置上，如一个指纹印代表一周的数据(有7个环)，一个环代表一天，一个扇形分片代表对应的一小时(环上有24个扇形分片)，那么所有代表8pm的扇形片在对应环上的位置都在顺时针转过270度的位置附近；同时扇形分片的颜色又代表了对应的属性值。因此，只要观察颜色在指纹印上的变化是否具有周期性，如类似颜色扇形分片在环上分布相似；变化是否有频繁规律，比如某些相似颜色重复或者集中在环上某一段区域出现。这样抽象概念转变为易于分析者理解的可视信息。当数据转换模块收到车辆GPS轨迹数据作为输入后，会首先对收集到的GPS原始数据进行处理修正，主要通过地图匹配算法来对数据收集中存在的GPS定位误差、数字地图误差和坐标投影变换误差进行修正，将车辆定位轨迹与数字地图中的道路网信息联系起来，并由此确定移动目标相对于地图的位置产生以减少分析中的不确定性因素。然后将修正过后的GPS数值数据转换为可视化“指纹印”数据模型，同时生成一系列数据索引，用于在线(Online)实时响应用户交互。当可视化模块收到生成的数据索引和车辆可视数据模型后，将把这些去除了原始数据中噪声转化成的抽象数据，通过内置的布局算法转化成数据的可视化形式，最后再将其渲染在屏幕之上。布局算法提供了两种类型的视图供用户选择和切换，分别为基于密度的城市热图侦测和基于历史数据的交通轨迹异常实时监控。该模块通过将抽象数据模型和关系映射到分析系统上地图的显示，增强数据可视化显示的可读性，利于用户比对结合地图信息分析。因此对处理后的数据进行可视化，用户能够对收集到的数据的变化进行实时监测。通过提供给用户基于热分布图的和基于轨迹的两种不同类型的显示，和一种新颖的可视化数据“指纹印”来显示历史数据，在保证监测效果的同时，辅助用户分析。基于密度的城市热图侦测以地理地图显示为背景，然后辅以热分布图和各个区域对应的“指纹印”模型来对应显示。先将城市地图栅格化为像素，然后我们对每一个像素计算离开或到达的车辆总数并记录。然后，我们使用热分布图在2D地图上来显示那些热点很高(即总的车辆数)的像素组成的区域。之后再根据热分布图的情况，选出那些对应热点很高区域的指纹印进行分析和比较。基于历史数据的交通轨迹异常实时监控以实时显示车辆GPS轨迹到地图上，同时按照定义好的区域划分来生成对应的“指纹印”，以将历史数据转换为容易可视元素，方便分析者快速理解和发现规律，从而分析异常，提高分析效率。在提供用户数据显示的同时，通过用户交互模块实现丰富的交互，并将这些操作反馈到的数据转换和可视化模块，让用户及时对处理后的数据进行空间属性分析和时序分析。在分析过程中，用户可以对感兴趣或者觉得有价值的区域，通过对选定区域的可视化结构进行交互，从而进一步了解该地区数据的时空特征。完成后，用户可以对原始数据进行复核或者根据已有的分析结果进行关联查询，从而对研究结果进行比较和整理，最终为用户的决策提供分析与支持。本发明利用基于可视化技术的时空数据监测可视挖掘方法，能达到的有益效果如下
1)基于可视化技术的直观异常检测；
2)动态的高维时空数据特征分析，并具有良好的可延展性；
3)丰富的专家互动。它可以提供更多的统计信息，将历史数据从数值知识转换为易读的视觉线索，如形状，颜色，大小等。这种做法的目的是保持分析者始终参与到整个分析的过程中，并利用他们的分析能力来调整参数和总结研究。4)用户可以觉察到不同属性之间的相关性，并能通过噪音数据过滤和不相关的轨迹排除，进而对感兴趣的情况作进一步研究分析。同时该结构支持交互方式，从而让用户能够逐步细化修改分析的参数，最终得到更好的分析结果。
下面结合附图和实施例对本发明进一步说明。图1为车辆GPS数据处理和监测的流程图。图2为可视化数据结构“指纹印”示意图。图3为数据可视分析流程示意图。图4为基于热分布图显示生成过程示意图。图5为基于轨迹显示生成过程示意图。
具体实施例方式如图1所示，数据转换模块定义了应用于车辆GPS数据分析与异常监测中的可视化数据结构“指纹印”及相应接口，同时还提供了必要的I/o操作接口，用户可以方便的从文件、数据库以及网络流当中读取原始GPS数据，并转化为表、图、树等抽象结构。可视化模块中包含了两部分内容，可视化数据处理和布局处理。可视化数据处理将从数据转换模块中定义的抽象数据元素添加相应的几何信息域，以维护可视化元素的大小，位置等信息；布局处理运用布局算法，生成几何信息，并将其设置到可视化数据的几何信息域。如图1所示本发明提供基于密度的城市热图侦测和基于历史数据的交通轨迹异常实时监控的两种不同类型的布局算法给用户。交互模块中也包含两个部分，渲染处理和交互处理。渲染处理利用从可视化模块中得到的几何信息生成图形元素，并最终将其展现在用户面前；交互处理贯穿于各个模块之中，收集并处理各种交互事件，并将处理结果反作用与各个模块的数据之上。如图1所示，我们定义的辅助分析的可视化数据结构“指纹印”，在数据转换模块对最基本的数据机构做了定义，按照行与列的关系组织原始GPS数据，每一条原始数据作为表中的一行，数据中的每一个属性都对应这相应行中的一列。该种基于表的抽象数据结构实现，可以产生对应的索引，能够大大提高数据的查询速率，从而达到优化系统性能支持实时数据查询分析。同时在可视化模块中的可视数据处理部分，通过在数据转换模块中对可视结构“指纹印”的定义，提取出相应的几何信息记录，包括可视化元素边界矩形的大小、形状类型、坐标信息等。数据转换模块中的任何数据元素及数据结构，均存在这对应的可视化副本。可视化模块通过该机制维护了抽象数据元素与可视化数据元素直接的双向映射，为交互过程中的数据修改提供了便捷，使得抽象数据元素或可视化数据元素的变更能够迅速的反映到另一方数据元素上。如图2所示，可视结构“指纹印”具体设计采用了以环形地图为基础的放射状布局设计，帮助用户分析历史数据或者统计信息。该设计可以使用不同的颜色编码方案来分布表示密度、速度等其它属性。结构上的每个环上代表一天时间，可以根据需要来选择是显示一周的7个环设计或者是显示一个月的31个环的设计。环内每个扇区代表一小时，时间增长方向沿着顺时针方向。整个布局就像一个时钟一样，午夜12点在最顶部，整个时间沿顺时针增长，最底部位置代表中午12点，最后回到最顶部的午夜12点。日期的增长按着结构的半径增长方向，最内圈的环代表着最早的日期，最外圈为最近的日期。比如显示I月18日到I月24日的记录，那么18日的记录最后位于最内圈的位置，24日则是最外围处。可视结构“指纹印”代表的区域的各项属性如密度、速度等均由颜色编码来直观地展示，比如上下客行为热点的分析设计可以是颜色越亮的扇形块，密度越低，颜色越深的扇形块表示该地区上下客活动很频繁。“指纹印”结构的大小与所选区域的数据总数成正比，数据记录越多尺寸越大，反之数据少则结构小。如图3所示，对车辆GPS数据分析的目的是为了研究清楚的数据维度之间的相互关系，特别是在空间(S)，时间(T)和属性(A)之间，从而。在区分开独立的维度和属性的依赖基础上，车辆GPS数据分析可以被看作是类似于一个数学函数的行为，即从属变量的值相对于独立变量的变化。对于车辆GPS数据，主要目的是要了解函数依赖SXT — A，即相对于空间和时间的行为属性。因此先就使用数据转换模块处理过后的车辆数据，对收集到的所有数据生成基于热分布图的城市热点区域和基于历史数据的交通轨迹的两种不同类型概览，并结合可视数据“指纹印”来进一步显示城市总体的数据分布，包含各地区的统计信息或者历史数据。该可视化能够结合地理信息和统计数据来显示选定地区的相对于空间和时间的行为属性，如分析相同地区的交通情况随时间的变化，相同属性变量在空间上的变化。接着对数据分别进行空间属性分析和时序分析，主要关注(I)随时间变化的空间分布(情况)和(2)局部时间相关变量在空间上分布的情况及发展。我们把(I)称为空间分析(Spatial Analysis),(2)命名为局部时序分析(Local Temporal Analysis)。在分析过程中,用户可以自由探索任何有趣的地方，并检查任何生成的可视结构“指纹印”的细节。在此之后，用户可以对感兴趣或者觉得有价值的区域，截取任意时间长度的片段作进一步调查研究。比如用户可选择恒定大小的区域研究，或离散但是每一块大小都一致；或是一段固定的时间区间，或在时间上具有渐变或突变特性；分析时间或空间的趋势，或者数据在空间和时间上的重复的规律，如时间的周期性，检测局部或全局异常值，等等。一个例子是沿公路的车速超过限定值，比如60公里每小时，所有车辆在一天中的的行为特征。完成后，用户可以对原始数据进行复核或者根据已有的分析结果进行关联查询，从而对研究结果进行比较和整理。如图4所示，我们需要识别出城市中车辆来往比例较高的热点地区。图中背景地图上的热分布图以深色区域表示车辆的高密度区域，而白色区域表示相对低的密度的区域与。用户可以使用热图来选择一些有趣的地方，作进一步的分析。而图中的指纹印结构中的扇形分片则是颜色越浅越亮，说明对应时间内的车辆来往数目越高，颜色越深越暗说明数目越少。如小区、医院、学校、商场、电影院、地铁站口、游乐场、广场等，在不同时间段有不同车辆来往的流量，可为交通线路与站台的设置，红路灯的长短等其他配套服务设施，提供数据支持。如图5所示，轨迹信息通过连接每部车在地图上出发地和目的地的位置，并使用贝塞尔夫曲线来渲染GPS采样点两两之间的轨迹。曲线的长度与车辆记录的轨迹距离成正t匕。曲线的颜色深浅代表该路径车辆的数目，越深表示通过路径的车辆越频繁。多部车辆经过相同的路径会留下相似的轨迹，我们会根据相同路径的数量来对轨迹中的一部分子集进行合并。而图中的指纹印结构中的扇形分片则是颜色越浅越亮，说明对应时间内的车辆平均速度越快，颜色越深越暗说明平均速度越慢。
权利要求
1.一种用于车辆GPS数据分析与异常监测的可视挖掘方法，其特征是基于可视化技术的数据可视挖掘，在大规模实时数据流的情况下，通过数据转换模块将原始车辆GPS数据转换为可视化“指纹印”数据模型，即对GPS原始数据进行处理修正，将车辆定位轨迹与数字地图中的道路网信息联系起来，并由此确定移动目标相对于地图的位置产生以减少分析中的不确定性因素，然后将修正过后的GPS数值数据转换为可视化“指纹印”数据模型，同时生成一系列数据索引，用于在线实时响应用户交互；通过可视化模块收到生成的数据索引和车辆可视数据模型后，将把这些去除了原始数据中噪声转化成的抽象数据，通过内置的布局算法转化成数据的可视化形式，最后再将其渲染在屏幕之上；通过用户交互模块实现丰富的交互操作，让用户及时对处理后的数据进行空间属性分析和时序分析，从而为用户提供基于密度的城市热图侦测和基于历史数据的交通轨迹异常实时监控，并辅以历史数据和统计信息，有效分析数据中的频繁规律和周期规律，找出隐藏的规律和错误，从而为用户的决策提供分析与支持的可视监测挖掘方法。
2.根据权利要求1所述的用于车辆GPS数据分析与异常监测的可视挖掘方法，其特征是基于可视化技术，适用于可视化技术应用于同时包含有时间、空间特征的高维时空数据检测分析。
3.根据权利要求1所述的用于车辆GPS数据分析与异常监测的可视挖掘方法，其特征是数据转换模块通过地图匹配算法来对GPS定位误差、数字地图误差和坐标投影变换误差进行修正。
4.根据权利要求1所述的用于车辆GPS数据分析与异常监测的可视挖掘方法，其特征是通过一种可视化数据模型“指纹印”将抽象概念以分析者容易理解的方式来展示，即使数值数据变为易读的可视元素，如形状，颜色，大小等。
5.根据权利要求4所述的用于车辆GPS数据分析与异常监测的可视挖掘方法，其特征是“指纹印”模型用来监测并分析比较大规模车辆GPS数据，因此设计为空间(S)、时间(T),和属性(A)到指纹印模型(Fingerprint)的一个映射SXTXA — Fingerprint ;而“指纹印”数据模型有别于传统数据模型，具有两个数据结构，抽象数据结构(Abstract Form)对应原始数据处理后的数值数据，可视数据结构(Visual Form)对应数据在屏幕上显示的几何信息。
6.根据权利要求4所述的用于车辆GPS数据分析与异常监测的可视挖掘方法，其特征是“指纹印”模型首先选择一定空间范围(S)，在指纹印模型(F)中记录选定区域的坐标信息及大小，在该范围(S)内按照按照时间(T)以行与列的关系组织原始GPS数据，表中的一行代表一个完整的时间段；之后指纹印模型会按照定义好的抽象数据结构来为每条属性添加相应的几何信息域以生成可视数据模型(Visual Form),内置的布局算法会生成对应的几何信息，如可视化元素边界矩形的大小、形状类型、坐标信息等。
7.根据权利要求4所述的用于车辆GPS数据分析与异常监测的可视挖掘方法，其特征是指纹印数据模型采用了基于地图的环状嵌套结构的布局算法来实现SXTXA — Fingerprint的显示,地图上的对应指纹印位置代表了该可视结构分析的空间(S);结构中用多环嵌套布局对应时间属性显不(T),每一个环对应一个完整的时间段,多环拥有相同的开始时间和结束时间，每一个时间分片以扇形分片对应，多环嵌套使得每个环上的扇形分片都会显示在相邻的位置上，扇形分片的颜色又代表了对应的属性值。
8.根据权利要求1所述的用于车辆GPS数据分析与异常监测的可视挖掘方法，其特征是可视化模块的布局算法提供了两种类型的视图供用户选择和切换，分别为基于密度的城市热图侦测和基于历史数据的交通轨迹异常实时监控，其中基于密度的城市热图侦测以地理地图显示为背景，然后辅以热分布图和各个区域对应的“指纹印”模型来对应显示；基于历史数据的交通轨迹异常实时监控以实时显示车辆GPS轨迹到地图上，同时按照定义好的区域划分来生成对应的“指纹印”，以将历史数据转换为容易可视元素。
9.根据权利要求1所述的用于车辆GPS数据分析与异常监测的可视挖掘方法，其特征是可视化模块通过将抽象数据模型和关系映射到分析系统上地图的显示，增强数据可视化显示的可读性，利于用户比对并结合地图信息分析。
全文摘要
本发明涉及一种基于可视化技术，用于车辆GPS数据分析与异常监测的可视挖掘方法。本发明通过数据转换模块将原始车辆GPS数据转换为独特的可视化“指纹印”数据模型，同时并提供能够实时响应用户交互的数据索引，辅助用户分析数据；通过可视化模块将车辆可视数据模型结合基于热分布图和基于轨迹的显示，提供城市热点区域侦测和基于历史数据的交通轨迹异常监测，从而把数据中存在的一些抽象概念，如频繁规律和周期规律，以一种分析者容易理解的方式来显示，降低分析门槛，扩大应用范围，提高分析效率；通过用户交互模块实现丰富的交互操作，使用户能够进行监测和分析，从而为用户的决策提供分析与支持。
文档编号G06F17/30GK103020222SQ201210536118
公开日2013年4月3日 申请日期2012年12月13日 优先权日2012年12月13日
发明者蒲剑苏, 屈华民, 倪明选 申请人:广州市香港科大霍英东研究院