1.作品参赛类别

人工智能与大数据技术与应用

2.作者

黄子特、蔡俊鑫、董飞航、郑洁、郑榆达

3.指导老师

何文锋、邹永攀

4.单位名称

深圳大学

5.作品简介

从政治环境来看，我国政策上对于发展物联网+医疗的重视程度不断上升。自2016 年起，国务院开始更加频繁出台有关助力移动医疗中可穿戴式设备发展的相关政策以促进医疗信息化建设。2022年，国家卫健委在《“十四五 ”全民健康信息化规划》的专栏三中明确提出要推进医疗物联网应用试点并重点推进智能个人定位、个人可穿戴健康智能监测、具备医疗诊断级性能的生命体征感知等终端设备应用。从社会环境来看，目前抑郁症的患者数量正在持续上涨。根据世界卫生组织(World Health Organization，WHO)近期报告^[1]，全世界有超过 2.64 亿人受到抑郁症的困扰，且呈现增长态势。

然而，抑郁症的反复出现特性使得监护成为治疗中的一大难题。抑郁症的发生与脑神经异常有关，虽然经过药物治疗后患者外在状态可能改善，但脑神经仍可能异常，导致再次发作。实时监测患者状况，并及时与医疗专业人员沟通，能显著提高获得必要护理的可能性，有助于防止不良事件的发生并改善心理健康管理。

基于上述问题，本项目设计了一种基于生理信号的多模态可穿戴设备的抑郁症监测软硬件系统，专注与抑郁症的识别和发作检测。该系统通过手腕带式采集设备，将人体的体温、血氧、心率以及皮肤电数据通过低功耗蓝牙通信的方式传至移动端，移动端再对数据进行存储和处理，将结果反馈给用户。创新性地基于生理信号与情绪的潜在关联性，提出基于低成本、普适易用可穿戴硬件的识别技术，借助多模态数据融合对不同类型数据进行有效利用，既减少了数据冗余又有效提升了系统性能。该系统能够实现生理数据可视化、抑郁症识别、实时检测抑郁症发作，帮助用户实时了解自身心理健康状况，实现全天候的抑郁症发作监测，并在患者发作时发出警报，提供了有效的监护支持。

图1  系统整体架构

6.作品设计思路

该项目是基于情感计算的应用。情感计算是一种通过分析文本、语音、图像、生理数据或其他数据来识别人类情感或情感状态的计算机技术。区别于其他数据，生理数据难受主观因素影响较小，因此基于生理数据的情绪计算常常具有更高的准确性和鲁棒性。

本项目设计了一套名为“心晴Psychosiol-基于可穿戴设备的抑郁症监测系统”的软硬件系统，专注于医药卫生领域，旨在有效解决抑郁症患者的监护难题。该系统利用情感计算技术，通过分析用户的多模态生理信号（心率、血氧、皮肤电和体温）来准确识别其情绪状态。本项目系统基本架构如图4所示，通过使用可穿戴手部采集设备获取用户的生理数据，并通过低功耗蓝牙将数据传输至手机端。在手机上，这些数据不仅实现可视化，还支持抑郁症发作检测等功能。此外，APP还提供心情日记、量表调查和管理者模块，进一步增强用户的心理健康管理。

图2   系统整体架构

在硬件方面，本项目的硬件设计一款手腕佩戴的智能设备，集成温度、血氧、心率和皮肤电传感器，能够实时采集生理信号并通过低功耗蓝牙进行安全稳定的数据传输。该设备的创新设计涵盖三个关键部分：首先，专门的电源管理电路确保高效供电，遵循“用时供电，不用休眠”的原则，显著提高续航能力；其次，出色的数据整合能力使各传感器的数据在主控芯片处理后合成信号并加密，提高集成度和安全性；最后，采用模块化PCB设计，叠层的主控板与底板缩小了设备体积，降低了模块间的干扰，提升了舒适性和耐用性，以适应日常使用需求。同时，内置微处理器进行初步数据处理，并提供简洁的用户界面，方便用户查看心理健康状态。

图3  硬件整体框架图

在软件方面，Psychosiol APP 是本项目的移动端安卓软件，主要服务于患者和医生两类用户。患者端的功能包括抑郁症发作监测与求助、生理数据与情绪监测、实时生理图表查看，以及心情日记记录和量表测评。医生端则可查看和管理患者的实时数据，并接受患者的求助信息。软件基于 Android Jetpack 实现 MVVM 架构，使用协程提升并发效率，通信方面采用 HTTP 和 UDP 协议。APP核心算法包括信号处理、时频变换和深度学习，利用 LSTM 模型与 transformer 注意力机制融合多通道信息，以实现高效精准的情绪识别。这一多模态生理数据融合模型能及时分析生理信号变化，在患者发作时迅速发出警报，同时还提供情绪记录等服务，致力于为用户提供一站式心理健康监测体验。

图4  软件功能实现整体框架图

7.作品创意特色

（1）应用了基于LSTM的多模态生理数据融合框架

本系统抑郁症识别算法训练使用四种生理信号，主要是皮肤电和体温。单一生理数据难以全面反映抑郁症，皮肤电信号反映情绪激活程度，而体温信号则反映情绪下的生理变化。将这些信号结合有助于提高识别的准确性。因此，我们采用了综合四种信号的识别算法。

然而，使用多种信号识别面临生理数据差异性的问题。为此，我们利用深度模型框架挖掘不同维度的特征信息和模态间的互补信息，从而提升数据利用率。基于此，我们提出了基于LSTM的多模态生理数据融合抑郁症识别模型LMFN（LSTM Multimodal Fusion Network）。该模型包含单模态及多模态融合的特征提取器，利用LSTM提取低维特征，并设计LSTM-Fusion框架挖掘高维度及维度间的交互信息，展示不同信号对抑郁症的表征。

（2）使用跨个体抑郁症识别模型

本系统中的抑郁症识别算法训练时使用的数据为医院中采集的患者数据，采集难度大且数量有限。为了解决在生理信号抑郁症识别中存在的样本量不足、样本类别不平衡以及跨被试识别准确率低的问题，我们提出了一种用于抑郁症识别的无监督领域适应（UDA-DR）方法。该方法通过预训练和微调的两阶段训练策略，有效提升模型对新个体的适应能力，从而改善模型的泛化能力和减少过拟合现象。这种方式不仅解决了生理信号样本稀少和类别不平衡的问题，还显著提高了跨被试抑郁症识别的准确率，并增强了算法的鲁棒性。

（3）抑郁症发作监测算法的自适应模型

针对抑郁症发作监测，我们提出了一种适用于抑郁症发作监测的小样本学习方法（FSL-DEM），包括任务生成器、元学习、知识蒸馏和微调四个模块。通过基于个体的任务生成策略，为每个个体创建代表性元任务，确保模型能在有限标注样本下快速适应新数据特征。在元学习阶段，高效的参数初始化使模型迅速应对变化。知识蒸馏进一步提升了实时性能，确保在动态监测中准确识别抑郁症发作并及时干预，增强了系统的实用性和有效性。

（4）设备普适易用，成本低廉

表1  竞品对比

现有的一些可穿戴设备（表2）虽然能提供基本的生理信号监测，但它们对抑郁症的识别与监测效果有限，通常侧重于一般健康管理，缺乏针对性且价格较高。相比之下，我们的系统专注于抑郁症，通过整合平价商用传感器和易用的手腕式穿戴设备，实现精准的抑郁症识别和监测。这种设计不仅降低了成本，还提升了对抑郁症患者的监测能力，使我们的解决方案在市场中独树一帜，更好地满足了抑郁症患者的需求。

（5）新颖的抑郁症监测系统

本系统由软硬件两部分组成，构建了创新的抑郁症监测解决方案。手部设备集成高精度传感器（体温、血氧、心率、皮肤电），同步采集和处理数据，通过蓝牙实时上传至手机，确保用户及时获取身体状态。硬件采用低功耗、高稳定性组件，优化电源管理，实现长续航，适合日常使用。我们的APP高度个性化，确保与手部设备稳定连接，利用智能算法分析抑郁症风险，提供实时反馈和个性化建议，具备监测、评估和历史数据可视化功能。系统设计注重用户体验，界面友好、易于操作，帮助用户了解自身抑郁症状态，提升生活质量。

（6）传感器数据精度高

我们的硬件系统对各传感器的通信协议进行了定制化设计，确保在同时传输多种类、大数量的多模态生理数据时保持高精度的数据传输。采用高精度的LMT70温度传感器和Max30102血氧传感器，确保基础数据的准确性。此外，主控模块集成了STM32C8T6微控制器，具备强大的数据处理能力和丰富的外设接口，能够高效管理来自多个传感器的数据流。我们在PCB设计中加入了滤波电路和降压电路，以减小噪声干扰，提升数据的稳定性，并通过光隔离器保护主控芯片免受高频噪声影响，进一步提高数据传输的准确性。这些优化措施确保了抑郁症识别功能的高效和准确，使系统在实际应用中能够提供可靠的心理健康监测服务。

8.作品总结

1）技术特点和技术优势

（1）设备简单易得，低廉轻便

基于视觉的情绪识别，需要依赖摄像头、红外线等高额设备，而基于脑电波的识别需要的设备同样价格不菲，甚至过于笨重，只能在特定场合使用。本系统则仅需使用到几款市面上随处可得的商业传感器，即可实现不亚于其他设备的抑郁症识别功能，此外本系统轻便、易携带，不受环境光照条件影响，适合多种场景下的使用。

（2）跨个体仍有高准确率，运算迅速

在抑郁症识别，本系统采用了无监督领域适应（UDA-DR）方法，旨在有效提升模型对新个体的适应能力，从而确保跨个体的高准确率。这种方法允许系统在未见数据上进行学习，减少了个体生理信号差异带来的挑战。此外，为了进一步提高监测的灵活性和响应速度，我们还引入了小样本学习方法（FSL-DEM）。该方法使系统能够在有限的标注样本下，快速学习并识别特定模式，确保在不同个体间的准确性和高效运算。整体设计优化了监测体验，使得系统不仅具备高准确性，还能够迅速作出反应，为抑郁症的早期识别和持续监测提供了坚实的基础。

在真机进行实际的测试时，从点击分析按钮到展示结果，其时间均不超过6s，且结果仍能保持准确。

（3）功耗较低，续航时间长

便携的设备中比较常见的是基于视觉的系统，然而，无论是摄像头的能耗还是处理图像信息的能耗都是比较高的。本系统的蓝牙协议采用低功耗蓝牙协议，在保证数据正常传输的情况下使其功耗尽可能降低。

（4）优秀的算法

在安卓APP中搭载的算法模型不仅能够提供基础的生理信息进行精确的情感计算，包括喜、怒、哀、惧、反感、中立等6种情绪，覆盖日常生活的大部分情绪，更重要的是，它还专注于抑郁症的识别和发作监测。这一功能确保系统能够及时捕捉情感波动，为用户提供有效的心理健康管理和支持。

（5）与医院的直接合作

即时数据获取和验证：与医院直接合作可以获得医疗领域中的真实数据，这些数据对于开发和验证项目的有效性和可行性至关重要并且有医院可以提供丰富的临床数据、病例信息和医疗记录。建立实时的反馈和验证机制：医院团队可以参与项目的开发和测试过程，并提供及时的反馈和建议，以确保项目在实际医疗环境中的可行性和有效性。

2）商业分析

（1）成本低，市场范围广

本系统不需要昂贵的硬件设备，仅需使用几款常见的平价传感器和便携移动设备即可实现抑郁症识别。通过这一简易系统，用户不仅能进行高准确度的抑郁症监测，成本低廉使其更易被大众接受，因此本系统具有广阔的市场潜力。

（2）方便携带，适用多种场景

本系统的硬件设计为轻便的手环，体积小重量轻，依靠接触皮肤的传感器进行数据采集。不仅适用于绝大多数场景，还便于携带且不易受环境影响，能随时随地提供抑郁症的识别和监测服务。这种便捷性让用户在日常生活中轻松监控自身的心理状态，增强了系统的市场竞争力。

（3）暂时缺少同类竞争对手，市场需求日益上升

当前市场上能够进行抑郁症识别的系统往往未成熟或成本过高，缺乏有力竞争对手。相比之下，本系统以广泛的适用范围、简单的操作和低廉的成本，展现出强劲市场竞争力，预计将获得良好的市场占有率。随着公众对抑郁症及心理健康问题的关注不断上升，对能够有效监测和识别抑郁症状的设备需求愈发迫切，未来的市场需求预计将持续增长。

（4）科技进步与用户教育的结合

本系统的成功不仅依赖于其技术优势，还将通过用户教育来进一步扩大市场影响力。通过普及关于抑郁症的知识，帮助用户理解和管理自身的心理健康，系统能够建立良好的品牌形象和用户忠诚度。此外，结合移动互联网和社交媒体的推广，将有助于提升用户参与度，增强系统在抑郁症识别领域的市场认可度。

3）应用前景

抑郁症已成为全球范围内一项严峻的心理健康挑战，影响着数百万人的生活和工作。本系统不仅旨在为医院精神科的抑郁症患者提供住院期间的监测，还着眼于患者的日常生活。其低成本特性降低了普及的难度，使其成为居家型患者的重要监护工具，帮助他们在日常生活中管理和识别抑郁症状。此外，系统集成的生理曲线监测、情绪日记记录和心理健康问卷等功能，使其能够为普通人群提供潜在抑郁症的监测。这意味着，普通用户也可以利用这一工具及时识别和应对心理健康问题，从而进行早期干预和自我调节。这种全面的监测能力将促进人们对自身心理健康的关注，提升整体生活质量。随着社会对心理健康问题的重视加深，本系统的应用前景愈加广阔，为促进社会心理健康贡献一份力量。

“心晴Psychosiol”演示视频