论文标题：
-
中文：《Tiny Machine Learning在人类行为分析中的全面综述》
-
英文：A Comprehensive Survey on Tiny Machine Learning for Human Behavior Analysis
作者信息： Ismail Lamaakal, Student Member, IEEE, Siham Essahraui, Student Member, IEEE, Yassine Maleh, Senior Member, IEEE, Khalid El Makkaoui, Senior Member, IEEE, Ibrahim Ouahbi, Mouncef Filali Bouami, Ahmed A. Abd El-Latif, Senior Member, IEEE, May Almousa, Jialiang Peng, Dusit Niyato, Fellow, IEEE
论文出处： IEEE Internet of Things Journal, VOL. XX, NO. X, XX QUARTER XXXX
摘要： 本文首次全面综述了Tiny Machine Learning（TinyML）与人类行为分析（Human Behavior Analysis, HBA）的结合，这种结合是人工智能领域的重要进展，能够在资源受限的设备上实现实时、高效且保护隐私的分析。文章详细介绍了TinyML的定义、关键概念和优势，并提出了一个系统性的分类体系，将TinyML在HBA中的应用按用例和具体方法进行分类。此外，文章深入讨论了将TinyML整合到HBA中的挑战和限制，包括技术约束、数据质量问题和伦理考量，并概述了未来研究方向和开放性问题，为研究人员和从业者提供了利用TinyML推进HBA的基础资源。
关键词： Constrained Devices（受限设备）、Edge AI（边缘人工智能）、Embedded Systems（嵌入式系统）、Human Behavior Analysis（人类行为分析）、Internet of Things（物联网）、TinyML（Tiny机器学习）
引言： 机器学习（ML）在许多领域都已成为不可或缺的技术，从医疗保健和教育到金融和工业自动化。随着物联网（IoT）的持续增长，将ML能力直接部署在边缘设备（如微控制器、可穿戴设备和传感器）上的需求日益突出。TinyML应运而生，它专注于在计算和能源资源受限的设备上实现高效、轻量级的ML模型。TinyML的发展得益于硬件和软件的进步，包括为支持ML工作负载而设计的专用微控制器和嵌入式系统，以及优化的框架（如TensorFlow Lite for Microcontrollers和Edge Impulse）和模型压缩技术（如剪枝和量化）。TinyML在人类行为分析（HBA）领域具有巨大潜力，HBA涉及收集和解释数据以理解人类行为、互动和情感，广泛应用于医疗、教育和智能环境等领域。文章还展示了TinyML相关出版物的快速增长，从2019年的13篇论文增加到2024年的1996篇，突显了TinyML在各个研究领域的日益重要性和广泛采用。
相关工作和贡献： 文章回顾了与TinyML相关的多项调查，这些调查涵盖了TinyML的不同方面，包括应用、框架以及在资源受限设备上部署ML的挑战。这些研究为理解TinyML提供了重要基础，但大多数研究并未深入探讨实时、隐私保护应用所需的资源优化。与这些现有工作相比，本文特别关注TinyML与人类行为分析的整合，填补了当前文献中的关键空白，强调了TinyML在HBA应用中的潜力。
调查结构： 本文的结构如下：第一部分介绍了TinyML和HBA的背景、本文的主要贡献；第三部分介绍了TinyML的概述；第四部分回顾了TinyML在HBA中的最新应用；第五部分讨论了TinyML在HBA中的挑战和限制；第六部分探讨了TinyML在HBA中的未来推荐和趋势；最后，第七部分给出了总结。
综述方法论： 为了识别与TinyML在HBA中相关的文献，作者使用了包括“TinyML”、“Human Behavior Analysis”等关键词在主要学术数据库中进行搜索。研究选择过程遵循了严格的纳入/排除标准，以确保所选研究的相关性和质量。纳入标准包括直接探索TinyML在HBA中的应用并具有实际实施的研究，而排除标准则包括未在HBA中直接应用TinyML的研究以及缺乏实验验证的研究。通过对约781篇论文的筛选，最终选择了100篇与HBA直接相关的论文，涵盖了人类活动识别、医疗保健和心理健康、交通和移动性等八个关键领域。
TinyML概述： TinyML是一个跨学科领域，结合了机器学习和嵌入式系统工程的原理，使智能模型能够在资源受限的设备上部署。这些设备通常包括微控制器、传感器和其他嵌入式系统，它们的处理能力、内存和能源资源都非常有限。TinyML的核心是开发小型、高效的ML模型，这些模型可以在计算能力极低的设备上运行。例如，MobileNetV2和EfficientNet-Lite是为图像分类任务优化的模型，它们的参数少于100万。此外，Google的语音识别模型设计得非常紧凑，参数少于10万。这些模型通过模型量化（将精度从32位降低到8位）、剪枝（移除不必要的权重）和知识蒸馏（将大型模型的知识转移到小型模型）等技术实现，能够执行分类、回归和异常检测等任务。
TinyML的技术基础： TinyML的技术基础依赖于硬件和软件的进步，这些进步使得在资源受限的设备上高效地进行ML操作成为可能。软件工具包括uTVM、TFL Lite Micro、CMSIS-NN等，这些工具通过代码生成优化、内存优化和硬件特定优化等技术，使得ML模型能够在资源受限的设备上高效运行。硬件架构则包括Arduino Nano 33 BLE Sense、Jetson Nano、Adafruit Feather M0等，这些平台为传感器丰富的应用、AI密集型任务和低功耗IoT应用提供了支持。模型压缩技术如量化、剪枝和知识蒸馏等，对于优化ML模型以适应TinyML设备至关重要，这些技术可以减少模型的大小和计算需求，同时保持性能。
TinyML、传统ML和大型语言模型的比较： ML已经发展出不同的范式，每个范式都有其独特的权衡，涉及效率、可扩展性和计算需求。TinyML、传统ML和大型语言模型（LLMs）是其中的三种不同方法。TinyML专为超低功耗设备设计，运行在微控制器和边缘硬件上的紧凑型机器学习模型，具有极低的计算能力。它在实时、节能应用中表现出色，例如预测性维护、环境监测和消费电子设备中的嵌入式人工智能。传统ML则在更强大的计算环境中运行，包括云和本地服务器，利用更大的数据集和更复杂的模型。这种范式允许更灵活的学习算法、更高的推理准确性以及对不同任务的更强适应性，例如图像识别、金融预测和医疗诊断。然而，它需要大量的计算能力，通常涉及硬件和数据传输方面的较高成本。LLMs是传统ML的一个专门类别，其特点是基于大规模文本语料库训练的深度神经网络。这些模型，如GPT和BERT，使用变换器架构，在自然语言处理任务中实现了最先进的性能，包括文本生成、情感分析和问答系统。与TinyML不同，LLMs需要大量的计算资源、高端GPU或TPU以及大量的训练数据。它们的推理延迟通常较高，并且主要部署在基于云的环境中，因为它们的规模和复杂性。
TinyML在HBA中的应用分类： 本文提出了一个系统性的分类体系，将TinyML在HBA中的应用按用例和具体实现进行分类。这些应用涵盖了人类活动识别、医疗保健和心理健康、交通和移动性、工作场所生产力和员工福祉、教育和学习、市场营销和消费者行为、刑事司法和公共安全以及情感分析等多个领域。
人类活动识别： 人类活动识别（HAR）是TinyML在HBA中的核心应用之一，涉及基于各种传感器数据识别和解释个体的身体活动。近年来，TinyML在HAR任务中的应用取得了显著进展，许多研究展示了如何在资源受限的设备上部署优化的算法和传感器数据。例如，Mustapha等人开发了一种事件驱动的深度学习解码器，用于实时手势分类，结合了EMG和EEG生物信号，优化了深度神经网络，通过8位量化实现了高分类精度（超过92%）和低延迟推理（小于10毫秒）。另一项研究中，作者开发了一种基于TinyML的时间卷积网络（TCN），用于使用sEMG数据估计手势动态，优化了模型以处理sEMG信号在不同会话中的变异性，实现了9.58%的平均绝对误差（MAE）和每步更新40.4微焦耳的能耗。此外，还有研究利用ToF传感器实现手势识别，将轻量级TCN优化部署在ARM Cortex-M4微控制器上，实现了96%的手势识别准确率。
医疗保健和心理健康： TinyML在医疗保健领域的应用为心血管健康、神经健康和呼吸健康等提供了资源高效、低能耗的解决方案。例如，在心血管疾病分类方面，有研究提出了一种基于压缩TinyDL模型的单导联心电图（ECG）信号分类方法，通过将ResNet模型从9.71MB压缩到62.3KB，实现了93.7%的分类准确率和92.8%的F1分数。在神经健康方面，有研究开发了一种用于检测脑中风的便携式、低成本微波头成像系统，通过剪枝优化技术将TinyML模型压缩到13.13MB，实现了93%的准确率和0.929的F1分数。此外，还有研究利用TinyML技术实现了对胎儿心率的分类、心电图信号分类以及心律失常的检测等。
交通和移动性： TinyML在交通和移动性领域的应用主要集中在实时驾驶员行为监测和安全系统开发。例如，有研究提出了一种基于TinyML的实时驾驶员行为分析方法，通过ESP32微控制器实现了86.5%的分类准确率。另一项研究开发了一种用于检测酒精损害的系统，通过ATSAMD51微控制器和气体传感器实现了高达99%的分类准确率。此外，还有研究利用MobileNetV2-SSD模型实现了车辆和目标识别，为智能驾驶辅助系统提供了支持。
情感分析： 情感分析是TinyML在HBA中的另一个应用领域，涉及通过语音、面部表情等数据识别和分析人类情感。例如，有研究开发了一种基于CNN的情感识别系统，通过Arduino Nano 33 BLE Sense实现了93%的准确率。另一项研究利用CNN和LSTM模型实现了语音情感识别，分别达到了67%和72%的准确率。此外，还有研究开发了一种基于CNN的音频信号处理系统，用于实时识别和报告紧急信号。
工作场所生产力和员工福祉： 在工作场所生产力和员工福祉领域，TinyML被用于实时监测压力和情绪状态。例如，有研究开发了一种基于LSTM模型的实时压力检测系统，通过STM32H7xx微控制器实现了87.76%的准确率。另一项研究利用CNN模型实现了88%的压力分类准确率和99%的人类活动识别准确率。这些系统通过优化模型和硬件资源，实现了在资源受限的设备上的高效运行。
教育和学习： 在教育和学习领域，TinyML被用于开发自动考勤系统和基于查询的学习应用。例如，有研究开发了一种基于MobileNetV2的自动考勤系统，通过ESP32-CAM微控制器实现了87.5%的准确率。另一项研究利用YOLOv3模型实现了物体识别和分类，为基于查询的学习提供了支持。
市场营销和消费者行为： 在市场营销和消费者行为领域，TinyML被用于产品质量检测和消费者互动。例如，有研究开发了一种基于MobileNetV2和SqueezeNet的自动化视觉检测系统，通过OpenMV Cam H7 Plus微控制器实现了99.5%的准确率。另一项研究利用BERT模型实现了问答服务，通过量化技术优化了模型，使其能够在资源受限的设备上运行。
刑事司法和公共安全： 在刑事司法和公共安全领域，TinyML被用于事故预测和家庭暴力检测。例如，有研究开发了一种基于逻辑回归的事故预测系统，通过ESP32微控制器实现了94.11%的准确率。另一项研究利用CNN模型实现了门撞击检测，通过Arduino Nano BLE 33 Sense微控制器实现了88.89%的准确率。
挑战和限制： 将TinyML整合到HBA中面临着多种挑战和限制，包括技术挑战、伦理和隐私问题、可扩展性问题、用户体验和采用挑战以及跨文化适应性问题。技术挑战主要涉及在资源受限的设备上平衡模型复杂性与计算和内存限制，例如需要通过剪枝、量化和知识蒸馏等技术压缩模型，同时保持准确性。伦理和隐私问题则涉及在收集和处理敏感的生理和行为数据时如何保护用户隐私，例如通过联邦学习和差分隐私等技术。可扩展性问题包括如何确保模型在不同设备上的可靠运行，以及如何在大规模应用中实现模型的更新和维护。用户体验和采用挑战则涉及如何设计易于使用且能够保护用户隐私的系统。跨文化适应性问题则涉及如何确保模型在不同文化背景下的公平性和准确性。
未来推荐和趋势： 未来的研究方向和趋势包括硬件和软件创新、神经形态计算和事件驱动TinyML、跨学科融合、数据隐私和安全以及适应多样化环境。硬件和软件创新将推动TinyML的发展，例如通过开发更高效的微控制器和优化框架。神经形态计算和事件驱动TinyML将为低功耗、实时推理提供新的解决方案。跨学科融合将促进TinyML与边缘人工智能、5G和6G等技术的结合。数据隐私和安全将通过联邦学习、差分隐私和同态加密等技术得到加强。适应多样化环境将通过领域适应和元学习等技术实现模型的跨文化适应性和可扩展性。
总结： 本文提供了TinyML在HBA中的全面综述，涵盖了技术基础、应用和挑战。通过分析现有方法和关键应用，本文强调了TinyML在实时、隐私保护行为分析中的独特优势，并指出了需要解决的关键技术、伦理和可扩展性挑战。未来的研究方向，如跨学科融合和硬件软件创新，被认为是推动TinyML发展的关键。
