一种基于adl的监测分析方法、装置的制造方法

一种基于adl的监测分析方法、装置的制造方法
【专利摘要】本发明公开了基于ADL的监测分析方法、装置，方法包括：获取移动智能终端中的无线信号接收的信号强度指示；以及通过终端的传感器得到光强度，光强度为终端所在位置处的环境光强；通过终端中的声音采集装置采集声音信号，声音信号为所述终端所处的环境声；通过环境光强和信号强度指示得到用户位置信息；通过环境声得到用户情景和关键ADL信息，进行初步行为估计；通过传感器中得到方向、时间、GPS信息，结合初步行为得出行为分析结果。装置包括，智能移动终端，设置于终端内部的麦克风、与终端相连的传感器。本发明采用智能终端+感应器的方式，最大限度的降低硬件成本，也提高了ADL检测的全天候覆盖，包括室内，室外以及日间，夜间状态。
【专利说明】
一种基于ADL的监测分析方法、装置
技术领域
[0001] 本发明涉及信号和数据处理领域，特别涉及一种基于ADL的监测分析方法、装置。
【背景技术】
[0002] 日常生活活动(ADLActivities of Daily Living)本是在临床医学领域，指人们 在每日生活中，为了照顾自己的衣、食、住、行，保持个人卫生整洁和进行独立的社区活动所 必须的一系列的基本活动。是人们为了维持生存及适应生存环境而每天必须反复进行的、 最基本的、最具有共性的活动。范围包括运动、自理、交流、家务活动。同时，日常生活活动 ADL的识别也是智能家居的一个服务目标之一。
[0003] 目前，通常在医疗中心为了得到居民的ADL，一方面可以在室内布置很多不同种类 的传感器，如洗手间脚垫里安置压力传感器，但是这会带来大量的硬件安装和安置成本，并 且监控类别有限，也不容易扩展;另一方面可以在用户身上布置贴身传感器，但大大增加了 用户的不舒适程度。

【发明内容】

[0004] 本发明要解决的技术问题是，提供对于日常生活活动监测的方法及装置，解决远 程检测、识别、记录日常生活活动的一系列问题。
[0005] 解决上述技术问题，本发明提供了基于ADL的位置定位方法，包括步骤：
[0006] 在智能移动终端，
[0007] 获取所述终端中无线信号接收的信号强度指示；
[0008]以及通过传感器得到光强度，所述光强度为所述终端所在位置处的环境光强； [0009]根据所述信号强度指示和/或环境光强对智能移动终端的位置定位。
[0010]更进一步，根据所述终端中无线信号接收的信号强度指示进行位置判断方法为：
[0011] 2-1)判断无线信号类型；
[0012] 2-2)若为无线信号类型为Wi-Fi信号，则在单个Wi-Fi接入端的区域，若不能从单 个的Wi-Fi接入端的RSSI推断出用户的位置信息，则通过搜索并收集所有本地的Wi-Fi接入 端的RSSI后，进入2-3);
[0013] 2-3)在多个Wi-Fi接入端的区域，若有多个Wi-Fi接入端，则可通过RSSI的组合信 息推断出用户的区域。
[0014] 更进一步，通过传感器得到光强度进行室内位置判断方法为：
[0015] 通过所述传感器中的磁场、陀螺仪、加速度信息，推断出智能移动终端的三维摆放 状态，以及终端的运动趋势；
[0016] 通过所述智能移动终端中前面板的光强度数值、终端的陀螺仪状态、加速度信息， 推断出用户的精确室内位置，同时通过所述终端的状态信息推断出用户的室内移动信息。 所述前面板，是指光传感器器件的窗口方向。
[0017] 更进一步，通过所述智能移动终端在不同区域中环境光强度，基于二维的室内家 居摆放图，对每个终端上ADL发生频率高的关键区域输出三维各个角度的光强度场图。
[0018] 更进一步，通过智能移动终端中的GPS得到用户的具体位置;或者通过智能移动终 端中的GSM无线信号的基站信息得到用户的大体位置。
[0019] 本发明还提供了基于ADL的行为分析方法，包括步骤如下：
[0020] 获取移动智能终端中的无线信号接收的信号强度指示；
[0021] 以及通过所述终端的传感器得到光强度，所述光强度为所述终端所在位置处的环 境光强；
[0022] 通过所述终端中的声音采集装置采集声音信号，所述声音信号为所述终端所处的 环境声；
[0023] 通过所述环境光强和所述信号强度指示得到用户位置信息；
[0024] 通过环境声得到用户情景和关键ADL信息，进行初步行为估计；
[0025] 通过传感器中得到方向、时间、GPS信息，结合初步行为得出行为分析结果。
[0026]更进一步，所述时间，通过GPS/GSM基站，网络服务运营商以及终端自身产生；
[0027]所述GPS信息，通过终端进行定位；
[0028]所述方向，通过水平、垂直、纵深三个轴线的加速度信息以及陀螺仪状态信息判断 得出。
[0029]更进一步，初步行为估计包括:对用户的地理位置进行推测，
[0030]根据当前提供的数据将地理位置推测精确程度分为:室外城市区域，近建筑物区 域，室内房间区域和房间内活跃活动区域几个级别类型。
[0031] 更进一步，通过所述终端中的声音采集装置采集声音信号进行如下处理：
[0032] 选用梅尔频率倒谱系数MFCC代表声音的关键特征；
[0033]使用MFCC的第一维向量在时间上的变化，分离出环境背景声，并监测出关键事件 声；
[0034]在检测到关键事件声的发生后，通过检测关键事件声的尾部衰减来分离出一次关 键事件声片段；
[0035]对所述环境背景声，采用声音指纹来代表每个声音片段;对于每个声音片段的在 每个频率范围的峰值幅度的时间差特征，并和历史标准环境背景声音的特征库进行比对， 得到最接近标准声音的标签作为判断结果；
[0036] 对所述关键事件声，再次采用MFCC的第一维向量在时间上的变化，按照每一次峰 值对其进行精度的事件分割，根据所述每个关键事件声片段得到至少一个关键动作声；
[0037] 对上述每个关键动作声进行快速傅氏变换，得突出频率值，再利用高斯混合模型 GMM对关键动作声进行抽象；
[0038] 得到对关键动作声GMM抽象模型，进一步得到各个关键动作声的训练模型；
[0039] 应用上述的训练模型对每次目标的关键动作声进行识别，在每个关键事件声的关 键动作声的识别结果进行按照关键动作声时长的加权投票，得到关键事件声的识别结果。
[0040] 本发明还提供了基于ADL的分析装置，包括智能移动终端，设置于终端内部的麦克 风、与终端相连的传感器；
[0041] 所述智能移动终端，用以获取所述终端中无线信号接收的信号强度指示；
[0042] 所述传感器，采集得到所述终端的GPS信息，三轴方向上的加速度信息，陀螺仪状 态信息，终端前面板的光强度数值，当前时间，用户步伐信息，终端GSM无线信号的基站信 息;所述终端的GPS信息，用以对所述终端进行初步定位;所述陀螺仪状态信息和三轴方向 上的加速度信息，用以收集并推断出用户完成ADL时，判断终端的摆放状态;所述当前时间， 通过GPS/GSM基站，网络服务运营商以及终端自身产生;所述用户步伐信息，通过传感器获 得步数信息;通过上述的前面板的光强度数值、陀螺仪状态信息，三轴方向上的加速度信息 推断出用户的精确室内位置，以及用户的室内移动信息；
[0043] 所述麦克风，用以采集音频数据中的环境声。
[0044] 本发明的有益效果：
[0045] 1)本发明中的基于ADL的位置定位方法，由于在智能移动终端，获取所述终端中无 线信号接收的信号强度指示；以及通过传感器得到光强度，所述光强度为所述终端所在位 置处的环境光强;根据所述信号强度指示和/或环境光强对智能移动终端的位置定位。通过 信号强度指示和环境光强，能够实现对于智能移动终端的的位置定位，而智能移动终端为 用户随身携带，所以能够对用户的位置进行定位。相对于现有技术中在室内布置很多不同 种类的传感器，减少了硬件安装成本，且能够监控各种类别的行为；同时不用采用在用户身 上布置贴身传感器，只要用户随身携带手机，即可实现位置定位的功能，增加了用户的舒适 程度。
[0046] 2)本发明中的基于ADL的行为分析方法，包括步骤如下:获取移动智能终端中的无 线信号接收的信号强度指示；以及通过所述终端的传感器得到光强度，所述光强度为所述 终端所在位置处的环境光强;通过所述终端中的声音采集装置采集声音信号，所述声音信 号为所述终端所处的环境声;通过所述环境光强和所述信号强度指示得到用户位置信息； 通过环境声得到用户情景和关键ADL信息，进行初步行为估计;通过传感器中得到方向、时 间、GPS信息，结合初步行为得出行为分析结果，通过信号强度指示和环境光强进行位置定 位，通过环境声得到用户情景和关键ADL信息，进行初步行为估计，再通过传感器中得到方 向、时间、GPS信息，并结合上述的初步行为得出行为分析结果。本发明中的行为分析方法， 经过实时数据采集和后台对数据的机器学习，检测并识别出用户的ADL信息，最大限度的降 低硬件成本，也提高了ADL检测的全天候覆盖，包括室内，室外以及日间，夜间状态。
[0047] 3)本发明中的基于ADL的分析装置，包括智能移动终端，设置于终端内部的麦克 风、与终端相连的传感器;本发明采用智能移动终端和/或其内置传感器，或者采用可穿戴 智能硬件及其内置传感器，经过实时数据采集和后台对数据的机器学习，检测并识别出用 户的ADL，形成分析装置。更进一步，可以通过智能移动终端的加速度传感器检测用户步伐 信息，从而推断用户的行动和静止状态。
[0048] 4)本发明中的行为分析方法，解决了远程检测，识别，记录日常生活活动的问题， 能够实现简单、准确的ADL检测。
【附图说明】
[0049] 图1是本发明一实施例中的基于ADL的位置定位方法流程示意图。
[0050] 图2是图1中的信号强度指示进行位置判断的方法流程示意图。
[0051] 图3是通过图1中传感器采集得到的信息进行位置判断的流程示意图。
[0052]图4是通过图1中的光强度进行位置判断的流程示意图。
[0053]图5是图1中的位置定位方法的一种判断方式流程图。
[0054]图6是本发明一实施例中的基于ADL的行为监测分析方法流程示意图。
[0055]图7是图6中的传感器检测的关键要素示意图。
[0056]图8是图6中对初步行为估计的用户地理位置进行推测的分类示意图。
[0057]图9是图6中通过所述终端中的声音采集装置采集声音信号的具体方法示意图。 [0058]图10是本发明一实施例中的基于ADL的分析装置结构、采集数据方式示意图。
[0059]图11是本发明一优选实施例中的基于ADL的分析的行为分析方法流程示意图。 [0060]图12是图4中的二维的室内家居摆放图与待检测者的关系示意图。
【具体实施方式】
[0061]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。
[0062]请参考图1是本发明一实施例中的基于ADL的位置定位方法流程示意图。
[0063]本实施例中的基于ADL的位置定位方法，包括步骤：
[0064] S1在智能移动终端，用户需要持有个人智能手机或可穿戴智能硬件，就能够收集 到内置的传感器实时产生的伴随当前ADL的数据。比如，采用智能手机和其内置传感器，或 者采用可穿戴智能硬件及其内置传感器。比如，用户佩戴智能手表，则根据可以通过所述智 能手表进行信息采集。为了增加采集方式，还可以通过在室内设置射频发射器或者基于蓝 牙4.0的无线发射器，从而可以对位置信息进行采集。
[0065] S2获取所述终端中无线信号接收的信号强度指示;在本实施例中所述无线信号包 括但不限于，蓝牙、Wi-Fi、ZigBee、NFC。所述信号强度是指通过RSSI (Received Signal Strength Indicator)接收的信号强度指示。具体地，可以通过接收到的信号强弱测定信号 点与接收点的距离，进而根据相应数据进行定位计算的一种定位技术，比如无线传感的 ZigBee网络CC2431芯片的定位引擎就采用的这种技术、算法。
[0066] S3通过传感器得到光强度，所述光强度为所述终端所在位置处的环境光强；由于 当在经常生活的熟悉区域，每个区域的环境光强度都不同。经过不断的数据积累，在本实施 例中可以合成出整个区域的环境光强度场图。并在二维的室内家居摆放图的基础上，对每 个ADL经常发生的关键区域给出三维各个角度的光强度场图。
[0067] S4根据所述信号强度指示和/或环境光强对智能移动终端的位置定位。
[0068] 在一些实施例中，当信号强度指示足以判断智能移动终端的位置，则可直接通过 信号强度指示进行位置判断，比如通过Wi-Fi接入端的RSSI，进行室内的位置信息判断。
[0069] 在一些实施例中，当环境光强足以判断智能移动终端的位置，比如根据光强度对 应的不同场景以及时间，在对应的数据库中进行查询，找到匹配的相应时间上的场景，进行 室内的位置信息判断。
[0070] 在一些实施例中，通过信号强度指示和环境光强，判断智能移动终端的位置，比 如，当在经常生活的熟悉区域，每个区域的环境光强度都不同。经过不断的数据积累，可以 合成出整个区域的环境光强度场图。在二维的室内家居摆放图的基础上，对每个ADL经常发 生的关键区域给出三维各个角度的光强度场图。在计算过程中，可以随着数据量的增加不 断的学习，进步，提高分析准确性，并联合无线信号强度，分析出更准确的结果。
[0071] 作为本实施例中的优选，可联合基于GPS信号或者Wi-Fi无线信号的地理推断，分 析出更准确的结果。
[0072] 请参考图2是图1中的信号强度指示进行位置判断的方法流程示意图。
[0073] 在本实施例中，根据所述终端中无线信号接收的信号强度指示进行位置判断方法 为：
[0074] S21判断无线信号类型，根据不同的无线信号类型，可进行不同的无线信号类型分 析，包括但不限于Wi-Fi、蓝牙或者NFC等；
[0075] S22若为无线信号类型为Wi-Fi信号，则在单个Wi-Fi接入端的区域，
[0076] S23若不能从单个的Wi-Fi接入端的RSSI推断出用户的位置信息，则通过搜索并收 集所有本地的Wi-Fi接入端的RSSI后，进入S24;
[0077] S24在多个Wi-Fi接入端的区域，若有多个Wi-Fi接入端，则可通过RSSI的组合信息 推断出用户的区域。
[0078]在本实施例中，可通过公知的机器学习的算法对多个Wi-Fi接入端的信号强度的 组合信息进行分类、聚类以及推断。具体算法包括但不限于，支持多向量机的分层算法、决 策树算法等。
[0079]在一些实施例中，利用GPS得知用户的具体位置，在没用GPS信号的情况在，可以通 过GSM无线信号的基站信息得到用户的大体位置，能够判断出的是室外城市区域级别。
[0080]基于Wi-Fi的位置推断：一般而言，很多Wi-Fi接入端的RSSI名字已代表了地址描 述信息。
[0081 ] 在一些实施例中，在室内若有Wi-Fi信号覆盖的区域，可以通过Wi-FiRSSI的组合 信息推断出用户的位置，能够判断出的是近建筑物区域级别。
[0082]在一些实施例中，如果不能从个别的Wi-Fi接入端的RSSI推断出地址信息，则可以 搜索并收集到所有当地的Wi-Fi接入端的RSSI。对于本领域技术人员而言，这个信息是公开 的。
[0083]在一些实施例中，通过长期的不同用户的共享信息，即可推断出此目标用户的大 体地理位置，能够判断出的是近建筑物区域级别。
[0084]在一些实施例中，在有这种多个Wi-Fi接入端的区域，可以通过信号强度的组合信 息推断出用户的区域，能够判断出的是室内房间区域级别。
[0085]在一些实施例中，若对于多Wi-Fi接入点，多室内承重墙的楼宇，每个区域的信号 强度的组合信息差异性更大，将会得到更准确的推断结果。
[0086]请参考图3是通过图1中传感器采集得到的信息进行位置判断的流程示意图。
[0087] S31通过所述传感器中的磁场、陀螺仪、加速度信息，推断出智能移动终端的三维 摆放状态，以及终端的运动趋势;本领域技术人员能够明了，通过磁场，陀螺，加速度信息， 可以推断出手机或可穿戴智能硬件的三维摆放状态，手机或可穿戴智能硬件顶部的朝向， 以及其运动趋势（下降、上升、移动、静止）。
[0088] S32通过所述智能移动终端中前面板的光强度数值、终端的陀螺仪状态、加速度信 息，推断出用户的精确室内位置；由于每个区域的环境光强度都不同，经过不断的数据积 累，可以合成出整个区域的环境光强度场图。在二维的室内家居摆放图的基础上，对每个 ADL经常发生的关键区域给出三维各个角度的光强度场图。所述终端的陀螺仪状态原理为： 角动量守恒，一个正在高速旋转的物体(陀螺），它的旋转轴没有受到外力影响时，旋转轴的 指向是不会有任何改变的。陀螺仪就是以这个原理作为依据，用它来保持一定的方向。更进 一步的，三轴陀螺仪可以替代三个单轴陀螺仪，可同时测定6个方向的位置、移动轨迹及加 速度。在本实施例中，所述陀螺仪的状态包括但不限于:体感、摇一摇(比如晃动手机实现一 些功能）、平移/转动/移动手机可在游戏中控制视角、VR虚拟现实、在GPS没有信号时（如隧 道中）根据物体运动状态实现惯性导航等。所述加速度信息通过加速度传感器进行检测，原 理:与重力传感器相同，也是压电效应，通过三个维度确定加速度方向，但功耗更小，但精度 低。作为本实施例中的优选，记录用户携带手机时:计步、手机摆放位置朝向角度。
[0089] S33同时通过所述终端的状态信息推断出用户的室内移动信息。在一些实施例中， 可以通过智能移动终端中的用户步伐信息内置的加速度传感器推断用户的行动和静止状 ??τ 〇
[0090] 请参考图4是通过图1中的光强度进行位置判断的流程示意图。
[0091] 在本实施例中的光强度进行位置判断的流程为：
[0092] S41通过所述智能移动终端在不同区域中环境光强度，具体包括但不限于：当在经 常生活的熟悉区域，每个区域的环境光强度都不同，可以进行熟悉区域的环境光强度记录， 经过不断的数据积累，可以合成出整个区域的环境光强度场图。在采集和建立环境光强度 场图过程中，可以联合基于GPS和Wi-Fi的地理推断，分析出更准确的结果。
[0093] S42基于二维的室内家居摆放图，如图12是图4中的二维的室内家居摆放图与待检 测者的关系示意图。基于图12中的家居摆放图，能够基于光强度实现对用户位置的定位。 [0094] S43对每个终端上ADL发生频率高的关键区域输出三维各个角度的光强度场图，所 述ADL是指，为了维持生存及适应生存环境而每天必须反复进行的、最基本的、最具有共性 的活动。范围包括运动、自理、交流、家务活动等。频率高的关键区，通过设置的频率阈值获 得。
[0095]请参考图5是图1中的位置定位方法的一种判断方式流程图。
[0096]本实施例中的基于ADL的位置定位方法，包括步骤：
[0097] S1在智能移动终端，
[0098] S2获取所述终端中无线信号接收的信号强度指示；
[0099] S3以及通过传感器得到光强度，所述光强度为所述终端所在位置处的环境光强； [0100] S4根据所述信号强度指示和/或环境光强对智能移动终端的位置定位。
[0101 ]作为本实施例中的优选，位置定位包括S51通过智能移动终端中的GPS得到用户的 具体位置，本领域技术人员能够明了，通过GPS进行移动终端位置定位的方式基于位置定位 坐标系统。或者S52通过智能移动终端中的GSM无线信号的基站信息得到用户的大体位置。 本实施例能够满足BLS(Based Location Service，基于位置的服务）的需求，比如基于GSM 蜂窝基站定位，以其定位速度快、成本低(不需要移动终端上添加额外的硬件）、耗电少、室 内可用等。当采用T0A、TD0A进行定位，T0A(Time of Arrival，到达时间）、TD0A(Time Difference of Arriva 1，到达时间差）都是基于电波传播时间的定位方法。二者的定位都 需要同时有三个位置已知的基站合作才能进行。或者采用A0A(Angle of Arrival，到达角 度)进行定位，Α0Α定位是一种两基站定位方法，基于信号的入射角度进行定位。
[0102]请参考图6是本发明一实施例中的基于ADL的行为监测分析方法流程示意图。
[0103] 在本实施例中的基于ADL的行为监测分析方法，包括步骤如下：
[0104] S51获取移动智能终端中的无线信号接收的信号强度指示;优选地，无线信号接收 的信号强度指示的方法包括:判断无线信号类型;若为无线信号类型为Wi-Fi信号，则在单 个Wi-Fi接入端的区域，若不能从单个的Wi-Fi接入端的RSSI推断出用户的位置信息，则通 过搜索并收集所有本地的Wi-Fi接入端的RSSI后进入下一步;在多个Wi-Fi接入端的区域， 若有多个Wi-Fi接入端，则可通过RSSI的组合信息推断出用户的区域。
[0105] S52通过所述终端的传感器得到光强度，所述光强度为所述终端所在位置处的环 境光强;优选地，通过所述智能移动终端在不同区域中环境光强度，基于二维的室内家居摆 放图，对每个终端上ADL发生频率高的关键区域输出三维各个角度的光强度场图。
[0106] S53通过所述终端中的声音采集装置采集声音信号，所述声音信号为所述终端所 处的环境声;通过声音亦可推断出用户所在情景和关键ADL信息。采用声音信号采集，可以 以大大降低系统对ADL的学习时间并提高对ADL的识别率。在针对老人和病人的应用中，为 了保护用户的言语隐私，本发明限制了声音采集的长度，并经过过滤，只保留环境声。所述 声音信号可以包括但不限于:洗碗的声音、洗澡的声音、炒菜的声音、开/闭窗户的声音、开/ 闭门的声音、走路的声音、跑动的声音，以及在固定位置的声音，比如客厅、厨房、卧室、厕 所、书房等中的声音。
[0107] S54通过所述环境光强和所述信号强度指示得到用户位置信息；比如可以通过磁 场，陀螺，加速度信息，可以推断出手机或可穿戴智能硬件的三维摆放状态，手机或可穿戴 智能硬件顶部的朝向，以及其运动趋势。或者，还可以通过手机或可穿戴智能硬件的前面板 的光强度数值，手机的陀螺状态，加速度信息推断出用户的精确室内位置(房间内活跃活动 区域级别），同时可以通过设备的状态信息推断出用户的室内移动信息。
[0108] S55通过环境声得到用户情景和关键ADL信息，进行初步行为估计；比如用户正在 卧室睡觉，环境声记录包括但不限于，打鼾声、轻微的呼吸声。比如用户在客厅看电视，环境 声记录包括但不限于，电视播放的声音、间隔时间换台声音。又比如用户在厨房洗碗，环境 声记录包括但不限于，流水的声音、瓷器碰撞的声音。再比如用户在厕所洗手，环境声记录 包括但不限于，流水的声音、开关水龙头的声音。再比如用户在书房看书，环境声记录包括 但不限于，间隔翻书声音、风扇或空调声。
[0109] S56通过传感器中得到方向、时间、GPS信息，结合初步行为得出行为分析结果。优 选地，在本实施例中通过所述传感器中的磁场、陀螺仪、加速度信息，推断出智能移动终端 的三维摆放状态，以及终端的运动趋势;通过所述智能移动终端中前面板的光强度数值、终 端的陀螺仪状态、加速度信息，推断出用户的精确室内位置，同时通过所述终端的状态信息 推断出用户的室内移动信息。所述行为分析结果可按照下表进行分析：
[0110]下表以室内为例，其中"X"为考虑因素，"?"为不考虑因素。
[0111]
[0112] 请参考图7是图6中的传感器检测的关键要素示意图。
[0113] 所述时间71，通过GPS/GSM基站，网络服务运营商以及终端自身产生，所述终端包 括但不限于，
[0114] 所述GPS信息72，通过终端进行定位；
[0115] 所述方向73,通过水平、垂直、纵深三个轴线的加速度信息以及陀螺仪状态信息判 断得出。
[0116] 在一些实施例中，智能移动终端中至少可包括以下的传感器：
[0117]比如，光线传感器，通常用于调节屏幕自动背光的亮度，白天提高屏幕亮度，夜晚 降低屏幕亮度，使得屏幕看得更清楚，并且不刺眼。还可以配合距离传感器检测手机是否在 口袋里防止误触。比如，距离传感器，用以检测手机是否贴在耳朵上正在打电话，以便自动 熄灭屏幕达到省电的目的。也可用于皮套、口袋模式下自动实现解锁与锁屏动作。比如，重 力传感器，用以检测手机横竖屏智能切换、拍照照片朝向、重力感应类游戏(如滚钢珠）。比 如，加速度传感器，用以智能移动终端的用户计步、手机摆放位置朝向角度。再比如，磁场传 感器，用以进行指南针、地图导航方向、金属探测应用程序等。再比如，陀螺仪，用以检测体 感、摇一摇(晃动手机实现一些功能）、平移/转动/移动手机可在游戏中控制视角、VR虚拟现 实、在GPS没有信号时(如隧道中）根据物体运动状态实现惯性导航。比如，GPS，用以进行地 图、导航、测速、测距。比如，指纹传感器，包括电容指纹传感器和超声波指纹传感器，用以加 密、解锁、支付以及生物特征识别等。比如，霍尔感应器，用以检测翻盖自动解锁、合盖自动 锁屏。比如，气压传感器，用以在GPS计算海拔会有十米左右的误差时，气压传感器主要用于 修正海拔误差（将至1米左右），也能用来辅助GPS定位立交桥或楼层位置。比如，心率传感 器，用以检测运动、健康。再比如，血氧传感器，用以检测运动、健康。再比如，紫外线传感器： 用以检测运动、健康。
[0118]请参考图8是图6中对初步行为估计的用户地理位置进行推测的分类示意图。
[0119]本实施例中的基于ADL的行为分析方法，包括步骤为：
[0120] S51获取移动智能终端中的无线信号接收的信号强度指示；
[0121] S52通过所述终端的传感器得到光强度，所述光强度为所述终端所在位置处的环 境光强；
[0122] S53通过所述终端中的声音采集装置采集声音信号，所述声音信号为所述终端所 处的环境声；
[0123] S54通过所述环境光强和所述信号强度指示得到用户位置信息；
[0124] S55通过环境声得到用户情景和关键ADL信息，进行初步行为估计；
[0125] S56通过传感器中得到方向、时间、GPS信息，结合初步行为得出行为分析结果。作 为本实施例中的优选，所述步骤S55初步行为估计包括:对用户的地理位置进行推测，根据 当前提供的数据将地理位置推测精确程度分为:室外城市区域81，近建筑物区域82，室内房 间区域83和房间内活跃活动区域84几个级别类型。
[0126] 请参考图9是图6中通过所述终端中的声音采集装置采集声音信号的具体方法示 意图。
[0127] 在本实施例中通过所述终端中的声音采集装置采集声音信号进行如下处理：
[0128] S91选用梅尔频率倒谱系数MFCC代表声音的关键特征；
[0129 ] S92使用MFCC的第一维向量在时间上的变化，分离出环境背景声，并监测出关键事 件声；
[0130] S93在检测到关键事件声的发生后，通过检测关键事件声的尾部衰减来分离出一 次关键事件声片段；
[0131 ] S94对所述环境背景声，采用声音指纹来代表每个声音片段；
[0132] S95对于每个声音片段的在每个频率范围的峰值幅度的时间差特征，并和历史标 准环境背景声音的特征库进行比对，得到最接近标准声音的标签作为判断结果；
[0133] S96对所述关键事件声，再次采用MFCC的第一维向量在时间上的变化，按照每一次 峰值对其进行精度的事件分割，根据所述每个关键事件声片段得到至少一个关键动作声；
[0134] S97对上述每个关键动作声进行快速傅氏变换，得突出频率值，再利用高斯混合模 型GMM对关键动作声进行抽象；
[0135] S98得到对关键动作声GMM抽象模型，进一步得到各个关键动作声的训练模型；
[0136] S99应用上述的训练模型对每次目标的关键动作声进行识别，在每个关键事件声 的关键动作声的识别结果进行按照关键动作声时长的加权投票，得到关键事件声的识别结 果。
[0137] 具体地，在本实施例中选用梅尔频率倒谱系数（M e 1 F r e q u e n c y Ceps trumCoef f i c i ent，MFCC)来代表声音的关键特征。
[0138] 应用MFCC的第一维向量在时间上的变化，分离出环境背景声，监测出关键事件声。 不同场所的环境背景声有所不同，比如图书馆，飞机场和交通路上的环境背景声各不相同。 关键事件声即为伴随在ADL发生的声音，如切菜声和洗手声等。
[0139] 在检测到关键事件声的发生后，通过检测关键事件声的尾部衰减来分离出一次关 键事件声片段。
[0140] 为了提高判断质量，本算法加重了声音中高频谱的部分。
[0141]针对环境背景声，由于其音频幅度的平稳一致性，可采用声音指纹来代表每个声 音片段。此算法的声音指纹由时间戳，频率和幅度三个基本元素组成。得到每个声音片段的 在每个频率范围的峰值幅度的时间差特征，并和历史标准环境背景声音的特征库进行比 对，得到最接近标准声音的标签作为判断结果。
[0142] 针对环境背景声，也可以通过贝叶斯网络(Bayesian network)分类器对MFCC进行 分类。
[0143] 针对关键事件声，再次应用MFCC的第一维向量在时间上的变化，按每一次峰值对 其进行更高精度的事件分割。即每个关键事件声片段都会得到多于一个的关键动作声。
[0144] 对每个关键动作声进行快速傅氏变换(FFT)，得到3到6个最突出的频率值，利用高 斯混合模型GMM(Gaussian Mixture Model)对关键动作声进行抽象。
[0145] 对关键动作声GMM抽象模型，通过最大期望算法（Expectation-maximization algorithm)，向前-向后(Forward-backward)算法对隐马尔科夫模型(HMM)进行进化学习， 得到各个关键动作声的训练模型。
[0146] 应用训练模型对每次目标的关键动作声进行识别。
[0147] 在每个关键事件声的关键动作声的识别结果进行按照关键动作声时长的加权投 票，得到最大概率的标签即为关键事件声的识别结果。
[0148] 请参考图10是本发明一实施例中的基于ADL的分析装置结构、采集数据方式示意 图。
[0149] 在本实施例中的基于ADL的分析装置，包括智能移动终端，设置于终端内部的麦克 风、与终端相连的传感器；
[0150]所述智能移动终端，用以获取所述终端中无线信号接收的信号强度指示；
[0151]所述传感器，采集得到所述终端的GPS信息，三轴方向上的加速度信息，陀螺仪状 态信息，终端前面板的光强度数值，当前时间，用户步伐信息，终端GSM无线信号的基站信 息;所述终端的GPS信息，用以对所述终端进行初步定位;所述陀螺仪状态信息和三轴方向 上的加速度信息，用以收集并推断出用户完成ADL时，判断终端的摆放状态;所述当前时间， 通过GPS/GSM基站，网络服务运营商以及终端自身产生;所述用户步伐信息，通过传感器获 得步数信息;通过上述的前面板的光强度数值、陀螺仪状态信息，三轴方向上的加速度信息 推断出用户的精确室内位置，以及用户的室内移动信息；
[0152] 所述麦克风，用以采集音频数据中的环境声。
[0153] 请参考图11是本发明一优选实施例中的基于ADL的分析的行为分析方法流程示意 图。
[0154] 所述数据采集端，包括但不限于手机或智能穿戴设备，Wi-Fi接收的信号强度指 示、传感器记录、音频文件。
[0155] 分析的行为分析方法流程包括:获取移动智能终端中的无线信号接收的信号强度 指示；以及通过所述终端的传感器得到光强度，所述光强度为所述终端所在位置处的环境 光强;通过所述终端中的声音采集装置采集声音信号，所述声音信号为所述终端所处的环 境声;通过所述环境光强和所述信号强度指示得到用户位置信息;通过环境声得到用户情 景和关键ADL信息，进行初步行为估计;通过传感器中得到方向、时间、GPS信息，结合初步行 为得出行为分析结果。具体地，所述所述传感器用以，采集得到所述终端的GPS信息，三轴方 向上的加速度信息，陀螺仪状态信息，终端前面板的光强度数值，当前时间，用户步伐信息， 终端GSM无线信号的基站信息;所述终端的GPS信息，用以对所述终端进行初步定位;所述陀 螺仪状态信息和三轴方向上的加速度信息，用以收集并推断出用户完成ADL时，判断终端的 摆放状态;所述当前时间，通过GPS/GSM基站，网络服务运营商以及终端自身产生;所述用户 步伐信息，通过传感器获得步数信息;通过上述的前面板的光强度数值、陀螺仪状态信息， 三轴方向上的加速度信息推断出用户的精确室内位置，以及用户的室内移动信息；
[0156] 在一些实施例中，可以通过智能手机的用户步伐信息内置传感器推断用户的行动 和静止状态。
[0157] 在一些实施例中，可利用GPS得知用户的具体位置，在没用GPS信号的情况在，可以 通过GSM无线信号的基站信息得到用户的大体位置(室外城市区域级别）。
[0158] 其它特征包括但不限于上述智能移动终端中设置的不同感应器。
[0159]用户需要持有个人智能手机，或可穿戴智能硬件，就能收集到内置传感器实时产 生的伴随当前ADL的数据。其数据包括此设备当时所处的GPS信息，Wi-Fi RSSKReceived Signal Strength Indicator即接收的信号强度指示)信息，水平，垂直，纵深三个轴线的加 速度信息，陀螺状态信息，大气压数值，前面板的光强度数值，当前时间，用户步伐信息，手 机GSM无线信号的基站信息，以及伴随当前ADL的声音信息等(将随同智能手机或可穿戴智 能硬件的功能进化有更多的数据类型增加）。当前时间可以来自GPS，GSM基站，网络服务和 本机产生。在数据初期分析阶段，对用户的地理位置进行推测，根据当前提供的数据可将地 理位置推测精确程度分为，室外城市区域，近建筑物区域，室内房间区域和房间内活跃活动 几个区域级别。
[0160]在一些实施例中，通过陀螺仪的信息收集并推断用户完成某种ADL时，智能手机或 可穿戴智能硬件经常摆放状态，如手机顶部的方向。
[0161] 在一些实施例中，通过声音亦可推断出用户所在情景和关键ADL信息。
[0162] 在一些实施例中，通过数据在初期分析阶段得到的结果，进行二次数据分析得到 最终的ADL识别分析结果。
[0163] 所属领域的普通技术人员应当理解：以上，所述仅为本发明的具体实施例而已，并 不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均 应包含在本发明的保护范围之内。
【主权项】
1. 基于ADL的位置定位方法，其特征在于，包括步骤： 在智能移动终立而， 获取所述终端中无线信号接收的信号强度指示； 以及通过传感器得到光强度，所述光强度为所述终端所在位置处的环境光强； 根据所述信号强度指示和/或环境光强对智能移动终端的位置定位。2. 根据权利要求1所述的位置定位方法，其特征在于，根据所述终端中无线信号接收的 信号强度指示进行位置判断方法为： 2-1)判断无线信号类型； 2-2)若为无线信号类型为Wi-Fi信号，则在单个Wi-Fi接入端的区域，若不能从单个的 Wi-Fi接入端的RSSI推断出用户的位置信息，则通过搜索并收集所有本地的Wi-Fi接入端的 RSSI 后，进入 2-3); 2-3)在多个Wi -Fi接入端的区域，若有多个Wi -Fi接入端，则可通过RSSI的组合信息推 断出用户的区域。3. 根据权利要求1所述的位置定位方法，其特征在于， 通过所述传感器中的磁场、陀螺仪、加速度信息，推断出智能移动终端的三维摆放状 态，以及终端的运动趋势； 通过所述智能移动终端中前面板的光强度数值、终端的陀螺仪状态、加速度信息，推断 出用户的精确室内位置，同时通过所述终端的状态信息推断出用户的室内移动信息。4. 根据权利要求1所述的位置定位方法，其特征在于，通过所述智能移动终端在不同区 域中环境光强度，基于二维的室内家居摆放图，对每个终端上ADL发生频率高的关键区域输 出三维各个角度的光强度场图。5. 根据权利要求1所述的位置定位方法，其特征在于，通过智能移动终端中的GPS得到 用户的具体位置;或者通过智能移动终端中的GSM无线信号的基站信息得到用户的大体位 置。6. 基于ADL的行为监测分析方法，其特征在于，包括步骤如下： 获取移动智能终端中的无线信号接收的信号强度指示； 以及通过所述终端的传感器得到光强度，所述光强度为所述终端所在位置处的环境光 强； 通过所述终端中的声音采集装置采集声音信号，所述声音信号为所述终端所处的环境 声； 通过所述环境光强和所述信号强度指示得到用户位置信息； 通过环境声得到用户情景和关键ADL信息，进行初步行为估计； 通过传感器中得到方向、时间、GPS信息，结合初步行为得出行为分析结果。7. 根据权利要求6所述的行为监测分析方法，其特征在于， 所述时间，通过GPS/GSM基站，网络服务运营商以及终端自身产生； 所述GPS信息，通过终端进行定位； 所述方向，通过水平、垂直、纵深三个轴线的加速度信息以及陀螺仪状态信息判断得 出。8. 根据权利要求6所述的行为监测分析方法，其特征在于，初步行为估计包括:对用户 的地理位置进行推测， 根据当前提供的数据将地理位置推测精确程度分为:室外城市区域，近建筑物区域，室 内房间区域和房间内活跃活动区域几个级别类型。9. 根据权利要求6所述的行为监测分析方法，其特征在于，通过所述终端中的声音采集 装置采集声音信号进行如下处理： 选用梅尔频率倒谱系数MFCC代表声音的关键特征； 使用MFCC的第一维向量在时间上的变化，分离出环境背景声，并监测出关键事件声； 在检测到关键事件声的发生后，通过检测关键事件声的尾部衰减来分离出一次关键事 件声片段； 对所述环境背景声，采用声音指纹来代表每个声音片段;对于每个声音片段的在每个 频率范围的峰值幅度的时间差特征，并和历史标准环境背景声音的特征库进行比对，得到 最接近标准声音的标签作为判断结果； 对所述关键事件声，再次采用MFCC的第一维向量在时间上的变化，按照每一次峰值对 其进行精度的事件分割，根据所述每个关键事件声片段得到至少一个关键动作声； 对上述每个关键动作声进行快速傅氏变换，得突出频率值，再利用高斯混合模型GMM对 关键动作声进行抽象； 得到对关键动作声GMM抽象模型，进一步得到各个关键动作声的训练模型； 应用上述的训练模型对每次目标的关键动作声进行识别，在每个关键事件声的关键动 作声的识别结果进行按照关键动作声时长的加权投票，得到关键事件声的识别结果。10. 基于ADL的监测分析装置，其特征在于，包括智能移动终端，设置于终端内部的麦克 风、与终端相连的传感器； 所述智能移动终端，用以获取所述终端中无线信号接收的信号强度指示； 所述传感器，采集得到所述终端的GPS信息，三轴方向上的加速度信息，陀螺仪状态信 息，终端前面板的光强度数值，当前时间，用户步伐信息，终端GSM无线信号的基站信息;所 述终端的GPS信息，用以对所述终端进行初步定位;所述陀螺仪状态信息和三轴方向上的加 速度信息，用以收集并推断出用户完成ADL时，判断终端的摆放状态;所述当前时间，通过 GPS/GSM基站，网络服务运营商以及终端自身产生;所述用户步伐信息，通过传感器获得步 数信息;通过上述的前面板的光强度数值、陀螺仪状态信息，三轴方向上的加速度信息推断 出用户的精确室内位置，以及用户的室内移动信息； 所述麦克风，用以采集音频数据中的环境声。
【文档编号】G01S5/16GK105974360SQ201610272163
【公开日】2016年9月28日
【申请日】2016年4月27日
【发明人】冯云飞
【申请人】沈阳云飞科技有限公司