通过TinyML为语音助手赋能，推动以用户为中心的创新和现实世界应用

英文标题：Empowering voice assistants with TinyML for user-centric innovations and real-world applications
中文标题：通过TinyML为语音助手赋能，推动以用户为中心的创新和现实世界应用

作者信息

Sireesha Chittepu1, Sheshikala Martha1 & Debajyoty Banik2
1 School of CS & AI, SR University, Warangal, India
2 School of Engineering, Anurag University, Hyderabad, India
*Correspondence: debajyoty.banik@gmail.com

论文出处

Scientific Reports | (2025) 15:15411
Empowering voice assistants with TinyML for user-centric innovations and real-world applications | Scientific Reports
www.nature.com/scientificreports/

研究背景

本文探讨了将基于TinyML（微型机器学习）的语音助手集成到日常生活中的动机，重点关注提升其用户界面（UI）和功能以改善用户体验。研究讨论了语音助手在智能家居自动化、视障辅助技术和医疗健康监测等现实世界应用中的潜力。文章指出，尽管语音助手在提升用户采用率方面受到关注，但其与新兴技术（如智能家居和医疗监测）的集成研究相对较少。TinyML作为一种新兴技术，旨在降低人工智能系统的训练成本、碳足迹和能源消耗，适用于低功耗设备。

研究目的与假设

研究旨在通过分析关键性能指标（包括准确性、计算效率和功耗）来评估基于TinyML的语音助手的有效性。假设是：基于TinyML的语音助手可以在显著降低能耗和增强用户隐私的同时，实现与基于云的系统相当的准确性，使其成为现实世界应用的可行替代方案。

研究问题

研究围绕以下问题展开：

1. 与传统基于云的系统相比，基于TinyML的语音助手的主要实施问题是什么？

2. 基于TinyML的语音助手的性能和部署如何影响不同硬件平台？

3. 环境条件和背景噪声如何影响基于TinyML的语音助手的性能和可靠性？

4. 基于数据集比较，哪种TinyML模型架构在准确性、计算效率和现实可行性之间取得了平衡？

TinyML语音助手的特点

与依赖云计算的传统语音助手相比，TinyML语音助手通过在设备上进行推理，减少了对云的依赖。然而，这种转变也带来了挑战，例如模型复杂度降低和内存资源受限。TinyML在隐私和安全性方面具有优势，因为数据处理在本地进行，无需将数据传输到云端。此外，TinyML设备的功耗极低，适合在资源受限的环境中使用。

实验与分析

传统语音助手与TinyML语音助手的比较

表1提供了TinyML语音助手和传统基于云的语音助手在功耗、延迟、准确性、隐私和可扩展性等关键性能指标上的比较。结果显示，TinyML在能源效率和隐私方面表现出色，但在计算能力和准确性方面存在局限性。

语音助手的市场分布

图1展示了不同设备（如手机、智能音箱、汽车、耳机等）中语音助手的使用分布。例如，Siri主要在手机上使用，Alexa在智能音箱中较为常见，而Google Assistant在汽车中使用频繁。

语音助手的功能与性能

表2列出了Google Assistant、Cortana和Alexa等语音助手的功能质量、正确性、任务时间和情感智能等指标。这些数据显示了不同语音助手在信息质量、响应时间和情感智能方面的差异。

TinyML模型的准确性和工具

表3展示了不同TinyML模型及其软件工具的准确性。例如，ProtoNN在EdgeML上达到了93.58%的准确性，而CNN+GRU在CMIS-NN上达到了85.4%的准确性。这些模型在准确性、计算效率和现实可行性之间取得了平衡。

实施问题与解决方案

实施问题

• 硬件限制：TinyML设备的计算能力、内存和存储有限，限制了可使用的模型复杂度。

• 部署挑战：在微控制器单元（MCU）上部署TinyML模型时，面临处理能力不足和模型复杂度受限的问题。

• 数据隐私与安全：尽管TinyML减少了数据传输，但仍需确保数据安全。

解决方案

• 模型压缩：通过量化感知训练和知识蒸馏等技术，优化模型以适应低功耗设备。

• 硬件优化：采用新的微控制器架构，如ARM Cortex-M55和RISC-V，以提高处理能力和能效。

• 框架支持：TensorFlow Lite Micro（TFLM）等框架通过量化感知训练和硬件加速，优化模型部署。

噪声干扰与环境适应性

噪声对性能的影响

背景噪声显著影响语音助手的性能，导致语音识别准确率降低和误解。研究表明，不同的噪声抑制技术在不同条件下效果各异。

噪声抑制技术

表5比较了基于自动语音识别（ASR）的模型、频谱减法和基于深度学习的去噪方法。结果显示，ASR模型在36种噪声背景下表现出更高的语音识别准确性，而深度学习方法（如SEGAN和CNN）在噪声环境中表现更好，但计算成本较高。

基于TinyML的语音助手模型比较

数据集与模型架构

研究比较了不同数据集（如智能家居、智能手表、车辆等）上的TinyML模型架构。例如，在MUSAN数据集上，RNN架构的精度较高，而在AudioSet数据集上，由于TinyML的计算能力有限，决策树模型更为适用。

模型性能

表8和表9展示了不同模型在不同数据集上的性能。例如，CNN模型在UrbanSound8K数据集上达到了94%的准确性，而决策树模型在ESC-50数据集上表现出色，功耗极低。

现实世界应用

智能家居自动化

TinyML语音助手被集成到智能家居设备中，如Amazon Echo Flex和Google Nest Hub，提供实时命令处理，无需云连接，提高了响应速度和隐私保护。

医疗与辅助技术

TinyML模型被用于可穿戴健康监测设备，如Philips Biosensor BX100和智能助听器，通过神经语音增强技术提高语音清晰度。

工业与环境监测

TinyML语音助手被用于工业设备的预测性维护系统，分析振动和声音模式以预测故障。此外，像Elephant AI Initiative这样的保护项目利用TinyML传感器跟踪野生动物行为，识别偷猎活动。

汽车语音助手

汽车制造商如Tesla和BMW正在研究基于TinyML的语音识别模型，以减少对云的依赖，提高导航和信息娱乐系统的响应速度。

案例研究：Google语音命令数据集

研究使用Google语音命令数据集进行了案例研究，该数据集包含65,000个1秒长的音频记录，涵盖30个不同的单词。表10比较了不同TinyML模型在准确性、延迟和功耗方面的表现。CNN模型在准确性（94%）、低延迟（30-70毫秒）和适中的功耗之间取得了平衡，而决策树模型在功耗方面表现最佳。

伦理考量

随着TinyML语音助手在日常生活中的普及，伦理问题变得尤为重要。关键问题包括：

• 数据隐私：尽管TinyML减少了数据传输，但仍需确保数据安全。

• 训练数据中的偏差：AI模型从训练数据中学习，如果数据不具多样性，可能导致偏差结果。

• 潜在的滥用：语音助手可能被用于未经授权的监视或传播虚假信息。

结论与未来研究方向

结论

TinyML为语音助手提供了在设备上进行处理的能力，减少了延迟并增强了隐私。然而，计算限制、噪声干扰和部署挑战必须得到解决，以充分发挥其潜力。研究指出，研究人员可以投入时间来识别TinyML研究中的空白，以便进一步推进该领域的发展。

未来研究方向

• 模型部署与优化：如何通过量化、剪枝和知识蒸馏等模型压缩技术，使Transformer模型更适合TinyML应用？

• 噪声管理与环境适应性：如何使TinyML语音助手在不同噪声水平的各种环境中表现良好？

• 硬件创新与可扩展性：新的微控制器架构（如RISC-V和ARM Cortex-M55）如何增强TinyML语音助手的实施？