一种基于可穿戴传感器的活动预测系统，以促进智能医疗系统中的边缘计算

摘要

全球人口增长以及老年人口的增加正导致医疗成本迅速上升。医疗系统中的技术（如物联网、物之边缘和物之云）正在经历变革，使得人们无需住院即可实现健康监测。传感技术的进步使得开发能够持续监测人类行为的智能系统成为可能。本文提出了一种基于可穿戴传感器的系统，利用边缘设备（即个人计算机或笔记本电脑）上的循环神经网络（RNN）进行活动预测。该系统的输入数据来自多种可穿戴医疗传感器，如心电图（ECG）、磁力计、加速度计和陀螺仪传感器。随后，基于提取的特征训练RNN模型，并利用训练好的循环神经网络（RNN）对活动进行预测。该系统在公开的标准数据集上与传统方法进行了比较。实验结果表明，所提出的方法优于其他传统方法。此外，边缘设备中的图形处理单元（GPU）被用于加快实验数据的快速计算。

1. 引言

最近，技术（即物联网（IoT）和物之云（CoT））已开始在医疗领域发挥作用[27]。目前，这些技术正在为开发智能家居、办公室和医院等不同环境中的智能医疗服务提供诸多机遇。在这种庞大的系统中，将存在大量物联网设备和传感器。为了处理来自设备和传感器的海量数据，这些数据会被传输到云端进行高性能计算和大规模数据存储。这种云与物联网的结合（云‐物联网）可使医疗系统适用于实时应用。然而，应对不断增长的医疗所获得的海量数据仍然是一个巨大挑战。

设备和传感器。为了减轻云的负担，最近提出了物联网边缘计算（EoT），在传感器和云之间发挥作用。在这种系统中，传感器数据的计算从云端转移到边缘设备，如本地计算机、智能手机和智能路由器。边缘设备主要提供小规模的实时计算和存储能力。本工作主要关注在笔记本电脑或个人计算机等边缘设备上的传感器数据处理。

可穿戴传感器在娱乐、安全和医疗领域等多种实际应用中非常流行。它们可以被积极用于准确识别人们的行为。因此，可以通过安装和探索这些传感器来确保良好的生活环境。这样一来，可穿戴传感器有望像个人计算机一样极大地改变我们的生活。在商业应用中，可穿戴传感器已被采用为紧急按钮的形式以寻求紧急帮助，并且可以被视为商业上的成功[21]。为了正确使用该按钮，用户应保持警觉并具备足够的能力来操作按钮。此外，按钮应轻便且佩戴舒适。近年来，可穿戴传感器吸引了众多研究人员的关注，尤其是在医学科学领域用于监测生理活动。在医疗应用中，会监测患者的生命体征，如体温和心率[21]。可穿戴传感器应足够轻便，以便于佩戴在身上进行常规的医疗监测。

可穿戴传感器可用于心脏病和帕金森病等疾病患者在家接受必要治疗。手术后，患者通常需要经历康复过程，在此期间遵循严格的日常程序。借助可穿戴传感器，可以监测患者的所有生理信号以及行为。在康复阶段，可穿戴传感器可提供音频反馈或其他康复服务。该系统可根据每位患者的个体需求进行调整。医生或护理人员可远程观察患者的健康状态和行为[5,14,8]。

关于使用可穿戴传感器进行行为监测，目前正在进行大量研究以开发智能系统，特别是用于家庭环境中老年人的跌倒检测[32,15,18]。可穿戴设备正受到商业领域的关注。例如，心率监测仪、智能手表和谷歌智能眼镜等设备中的传感器正在迅速发展。可穿戴技术似乎将对未来医疗技术产生影响，例如重新定义医患关系并降低医疗成本。鉴于可穿戴技术的快速发展，其在医疗保健等多个领域的应用将持续扩大。

关于情境感知系统中不同领域应用的活动研究的好奇心正在不断增长[2,23,13]。它涉及传感与推理的整合，以更好地理解人们的行为。与人类行为分析相关的研究在普适与移动计算、基于监控的安全、情境感知计算、健康和环境辅助生活等领域正变得越来越重要。识别身体姿势和动作对于辅助和改善健康系统尤为重要。阿夫奇等人综述了活动模式识别在医疗保健、福祉和运动系统中的多种医学应用[2]。关于使用可穿戴传感器进行人体活动识别的医学应用，作者报告了文献中的若干实例，包括医疗监测与诊断系统、康复系统、获取动作与情绪之间关联的系统，以及儿童与老年人护理系统。此外，他们还回顾了辅助生活和家庭监护系统，这些系统有助于提高生活质量，并确保儿童、老年人及认知障碍个体的医疗、安全与福祉。普里斯等人报告了活动分类系统，用于建立常见疾病与身体活动程度之间的关联[23]。作者还回顾了日常活动模式分析系统，以改进神经系统疾病和呼吸系统疾病的诊疗过程。其他被报道的系统则量化体育锻炼的程度，提供反馈并激励个人实现体育锻炼目标。吉杜等[13]提出了一种基于智能手机传感器的方法，用于在自由生活条件下通过识别身体活动来估算能量消耗。总之，健康系统和辅助技术可以利用活动预测功能，提供个性化服务。

迄今为止，通常采用两种主要方法来进行活动模式分析：视频和其他传感器。基于视频的方法主要建立在摄像头捕获的图像序列基础上[25,28,30]。这类系统的性能主要取决于图像质量。更重要的是，视频监控经常引发用户的隐私问题。

其他基于传感器的方法通常不会出现此类问题[6,29,20,10,24,22]。然而，这些方法也存在一些缺点。例如，长时间佩戴传感器会带来不便。此外，这类传感器还存在电池功耗问题。然而，可穿戴传感器的主要问题在于由于传感器错误或嘈杂环境导致输入数据中存在噪声。数据中的噪声会影响人类行为分析过程。从传感器数据中进行人体活动识别或预测时，所采用的机器学习技术必须足够鲁棒，以应对带有噪声的传感器数据。传感器特性可能因不同个体或同一人而异。因此，为了构建一个成功的活动预测系统，有必要采用稳定且鲁棒的机器学习技术来处理噪声数据。

为了对输入数据中的时间序列模式进行建模，隐马尔可夫模型（HMM）已被广泛使用[7]。近年来，深度学习技术受到了模式识别研究人员的广泛关注[19,16,9]。深度置信网络（DBN）是首个成功用于模式识别的深度学习技术[19]。使用受限玻尔兹曼机（RBM）使得DBN的训练速度明显快于典型的大规模人工神经网络。此外，卷积神经网络（CNN）由于其相较于DBN更强的判别能力而变得流行。本质上，CNN是一种深度学习方法，包含特征提取以及一些卷积层堆叠，以构建逐步抽象的特征层次结构。CNN的不同必要组成部分包括卷积、池化、切向压缩、整流器和归一化[9]。基于CNN的深度学习主要用于高效识别视觉场景中的模式，例如在大规模图像库中进行目标检测。CNN主要适用于基于单幅图像的模式识别，而非时间信息解码，因此在时间序列输入数据上的应用较少。然而，循环神经网络（RNN）是比DBN和CNN更优的选择，因为它能够更好地编码或学习时间序列信息，从而提供更强的判别能力[12,17,31,11,26]。因此，本研究采用RNN对可穿戴传感器数据中的不同活动进行建模。

图1展示了基于云的医疗服务的典型架构示意图。在该系统中，边缘或汇聚设备收集体感传感器信息，并将其传输给健康服务代理。健康服务代理通过医院验证用户的认证信息，并从传感器数据中进行特征提取。然后，利用训练好的深度学习模型对这些特征进行分析，并将健康状态与用户关联起来。最后，健康服务代理向用户及其他相关方（如家庭医生、亲属和紧急情况处理部门）发出建议（必要时）。整个过程涉及多个部门。因此，计算能力强的边缘设备可以进行数据处理并做出部分决策，而不仅仅是将数据传递给代理机器[1]。这样，整个流程可能比传统方式更快，特别是在日常活动识别或跌倒检测等有限的医疗服务场景中。此外，它还可以减少在医疗过程中用户数据在多个云之间传输时的相关风险。

本研究重点是在智能家居环境中，利用快速边缘设备（如带GPU的笔记本电脑）处理医疗传感器数据、特征提取以及活动预测。

图2展示了智能房间中基于可穿戴传感器的人类活动预测系统的示意设置，其中用户在胸部、右手腕和左脚踝等不同身体部位佩戴了医疗传感器。边缘设备（例如带GPU的笔记本电脑）通过无线介质获取多模态传感器数据，然后基于特征和深度学习技术执行后续的活动建模和预测过程。图3描绘了所提出系统的基本架构，包括训练和测试过程如下：首先，从可穿戴医疗传感器（如心电图（ECG）、磁力计、加速度计和陀螺仪）获取数据。然后，对数据进行归一化处理，以训练适用于所有活动的循环神经网络。

2. 传感器数据采集和处理

本研究采用MHEALTH公共数据集进行活动训练与预测分析[3,4]。传感器分别放置于受试者胸部、右手腕和左脚踝，并使用弹性带固定。胸部的心电图医疗传感器提供双导联心电图测量，用于心脏数据测量。系统中的其他传感器提供不同身体部位的运动相关体验，即加速度计测量的加速度、陀螺仪测量的旋转速率以及磁力计测量的磁场方向动态。所有传感器信号均以50赫兹采样率进行记录。来自不同传感器的组织方式如下。从胸部传感器获取加速度数据
AC=(Cx, Cy, Cz). (1)
来自心电图传感器导联1和2的心电图信号被获取为
E= G1 ∥ G2. (2)
从左脚踝加速度计获得的加速度为
ALA=(Lx, Ly, Lz). (3)
从左脚踝陀螺仪传感器获得的陀螺仪传感器数据为
YLA=(Rx, Ry, Rz). (4)
从左脚踝磁力计传感器获得的传感器数据为
MLA=(Tx, Ty, Tz). (5)
右手腕加速度计的加速度为
ARW=(Ix, Iy , Iz). (6)
从左手腕陀螺仪获得的陀螺数据为
YLW=(Sx, Sy , Sz). (7)
从右手腕陀螺仪传感器获得的为
YRW =(Wx, Wy , Wz). (8)
从右手腕磁力计传感器获得的传感器数据为
MRW =(Ex , Ey , Ez). (9)
此外，从特定时间段内某项活动的信号中获得的所有特征都会被增强。
所有活动的特征被收集并表示为
L= A C ∥ E ∥ALA ∥ Y LA ∥ M LA ∥ A RW ∥YLW ∥YRW ∥MRW . (10)

然后，我们使用Z分数值对特征L进行归一化处理
Z= (L −L)/D. (11)
其中L表示特征的平均值，D表示特征的标准差。

3. 用于序列建模的循环神经网络（RNN）

人类活动表现为传感器数据的时间序列变化。因此，能够编码时间序列信息的机器学习模型适用于此项工作。因此，此处应用了循环神经网络（RNN）。RNN是建模时间序列信息最有前景的深度学习方法之一[12]。RNN在隐藏单元之间具有循环连接，将历史与当前状态连接起来，这正是神经网络中记忆的作用。通常情况下，基本RNN存在梯度消失问题，因而难以处理长期信息，这就是所谓的长期依赖问题。为解决这一梯度消失问题，提出了长短期记忆（LSTM）[17]。

图4展示了一个包含20个LSTM单元的深度RNN示例。
每个LSTM块包含一个细胞状态和三个门：即输入门、遗忘门和输出门。输入门I t被确定为
I t = β(WPI P t + WHI H t − 1 + b I) (12)
其中W是权重矩阵，b是偏置向量， β为逻辑Sigmoid函数。遗忘门F可表示为
Ft= β(WPFPt+ WHFHt−1 + bF). (13)
长期记忆存储在细胞状态向量S中，如所述
St= FtSt−1 + It tanh(WPSPt+ WHSHt−1 + bS). (14)
输出门O决定将要输出的内容，其表达式为
Ot= β(WPOPt+ WHOHt−1 + bO). (15)
隐藏状态H表示为
Ht= Ot tanh(St). (16)
最后，可以确定输出U
U= softmax(WUHl + bU) (17)
其中l表示循环神经网络的最后一个LSTM编号。

图5和6分别展示了通过循环神经网络进行训练和活动预测的算法。

4. 实验结果

实验中，收集了MHEALTH公共数据集[3,4]。该数据集包含生命体征和身体运动记录，十名具有不同背景的志愿者在执行12种身体活动时的数据。这些活动包括：静止站立（V1）、坐着放松（V2）、躺下（V3）、行走（V4）、爬楼梯（V5）、腰部前屈（V6）、手臂前举（V7）、膝盖弯曲（V8）、骑自行车（V9）、慢跑（V10）、跑步（V11）和前后跳跃（V12）。在数据库采集中，传感器被放置在受试者胸部、右手腕和左脚踝。使用多个传感器可以测量生命体征，例如通过2个心电图传感器获取心电信号、通过加速度计测量加速度、通过陀螺仪测量旋转速率，以及通过磁力计测量磁场方向。传感器的各模态数据以50赫兹采样率进行记录。

图7展示了来自受试者1数据集的四种活动在10秒内的一个心电信号模式示例。从图中可以看出，行走信号具有更频繁的心电图模式，表示行走时的心跳次数更多。

个体受试者专注于数据采集和数据中的活动预测。对于受试者1，提出的基于RNN的方法实现了平均预测性能为99.52%。

表1 使用提出的基于RNN的方法在受试者1上的混淆矩阵（%）。
| 活动 | V1 | V2 | V3 | V4 | V5 | V6 | V7 | V8 | V9 | V10 | V11 | V12 | Mean |
|------|------|------|------|------|--------|------|------|--------|------|--------|--------|--------|--------|
| V1 | 100 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | |
| V2 | 0 | 100 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | |
| V3 | 0 | 0 | 100 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | |
| V4 | 0 | 0 | 0 | 100 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | |
| V5 | 0 | 0 | 0 | 0 | 99.87 | 0 | 0.07 | 0.07 | 0 | 0 | 0 | 0 | |
| V6 | 0 | 0 | 0 | 0 | 0 | 100 | 0 | 0 | 0 | 0 | 0 | 0 | |
| V7 | 0 | 0 | 0 | 0 | 0 | 0 | 100 | 0 | 0 | 0 | 0 | 0 | |
| V8 | 0 | 0 | 0 | 0 | 0 | 0 | 0.24 | 99.76 | 0 | 0 | 0 | 0 | |
| V9 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 100 | 0 | 0 | 0 | |
| V10 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.07 | 0 | 98.96 | 0.65 | 0.33 | |
| V11 | 0 | 0 | 0 | 0.07 | 0 | 0 | 0 | 0 | 0 | 0.85 | 98.11 | 0.98 | |
| V12 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.12 | 1.30 | 97.58 | 99.52 |

同样，对于受试者2至10，其预测率分别为98.31%、99.85%、99.71%、99.90%、99.91%、99.95%、99.91%、99.89%和99.99%。各表1–10中报告了每个个体受试者的实验结果。综合所有受试者，所达到的平均预测率为99.69%，如表11所示，结果相当令人满意。为了将所提出的方法与其它传统方法进行比较，进行了基于HMM和深度置信网络的实验，结果如表12所示。基于HMM的实验产生的平均预测率为89.98%。另一方面，基于深度置信网络的实验表现优于基于HMM的方法，达到了92.01%的平均预测性能，但其性能仍显著低于所提出的基于循环神经网络的预测方法。

图8也表明了所提出的方法相较于传统方法的优越性。此外，还在数据库上尝试了其他方法，例如传统的多类支持向量机，但这些方法未能产生显著的预测性能（即对个体及所有受试者的平均预测率均低于85%）。

表11 使用提出的基于RNN的方法在所有受试者上的混淆矩阵（%）。
| 活动 | V1 | V2 | V3 | V4 | V5 | V6 | V7 | V8 | V9 | V10 | V11 | V12 | Mean |
|------|------|------|------|--------|--------|--------|--------|--------|--------|--------|--------|--------|--------|
| V1 | 100 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | |
| V2 | 0 | 100 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | |
| V3 | 0 | 0 | 100 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | |
| V4 | 0 | 0 | 0 | 99.97 | 0.02 | 0 | 0 | 0.01 | 0 | 0.01 | 0 | 0 | |
| V5 | 0 | 0 | 0 | 0.03 | 99.84 | 0.02 | 0.04 | 0.07 | 0 | 0 | 0.01 | 0.01 | |
| V6 | 0 | 0 | 0 | 0 | 0.01 | 99.99 | 0 | 0 | 0 | 0 | 0 | 0 | |
| V7 | 0 | 0 | 0 | 0 | 0 | 0.01 | 99.96 | 0.03 | 0 | 0 | 0 | 0 | |
| V8 | 0 | 0 | 0 | 0 | 0.01 | 0.01 | 0.03 | 99.95 | 0 | 0 | 0 | 0 | |
| V9 | 0 | 0 | 0 | 0 | 0.01 | 0 | 0 | 0 | 99.99 | 0 | 0 | 0 | |
| V10 | 0 | 0 | 0 | 0.03 | 0 | 0.01 | 0 | 0.01 | 0.01 | 98.98 | 0.91 | 0.05 | |
| V11 | 0 | 0 | 0.01 | 0.04 | 0.03 | 0 | 0.01 | 0 | 0.01 | 1.07 | 98.74 | 0.10 | |
| V12 | 0 | 0 | 0 | 0.04 | 0.37 | 0.04 | 0.10 | 0.04 | 0 | 0.29 | 0.21 | 98.92 | 99.69 |

表12 使用不同方法对所有受试者的预测准确率（%）。
| 活动 | 基于隐马尔可夫模型的方法 | 基于DBN的方法 | 提出的基于RNN的方法 |
|------|--------------------------|---------------|------------------------|
| V1 | 89.84 | 92.84 | 100 |
| V2 | 95.23 | 93.78 | 100 |
| V3 | 86.69 | 92.73 | 100 |
| V4 | 91.78 | 94.27 | 99.97 |
| V5 | 87.53 | 89.93 | 99.84 |
| V6 | 92.93 | 93.45 | 99.99 |
| V7 | 86.56 | 88.96 | 99.96 |
| V8 | 88.74 | 93.58 | 99.95 |
| V9 | 94.28 | 92.64 | 99.99 |
| V10 | 89.24 | 90.37 | 98.98 |
| V11 | 91.53 | 92.43 | 98.74 |
| V12 | 85.47 | 89.18 | 98.92 |
| Mean | 89.98 | 92.01 | 99.69 |

5. 结论

在此工作中，基于多种可穿戴医疗设备的多模态人体活动预测系统已被研究，传感器（即心电图、磁力计、加速度计和陀螺仪）以及鲁棒的深度学习方法——循环神经网络。传感器数据已通过边缘设备（例如笔记本电脑）获取，并用于训练分析一种深度RNN，用于从名为MHEALTH的公开数据集中建模十二种不同的人类活动。最后，训练好的RNN被用于预测未知传感器数据中的潜在活动。使用所提出的方法，在该公开数据集上实现了最高达99.69%的平均预测性能。而传统方法（即HMM和深度置信网络）的最高平均识别性能仅为92.01%，表明所提出的方法具有更强的鲁棒性。边缘设备的图形处理单元（GPU）被用于加速计算速度。基于RNN的多模态系统可能是应用于任何医疗服务中进行实时分析和预测人类活动的更优选择。

智能控制的环境结合了最新技术物联网、物之边缘和物之云。