摘要：SpatialLM 是一种大型语言模型，旨在处理三维点云数据并生成结构化的三维场景理解输出。这些输出包括建筑元素，如墙壁、门、窗户，以及带有语义类别的定向物体框。与以往利用特定任务网络设计的方法不同，我们的模型遵循标准的多模态大型语言模型（LLM）架构，并直接从开源的大型语言模型进行微调。为了训练 SpatialLM，我们收集了一个大规模、高质量的合成数据集，该数据集包含 12,328 个室内场景（共 54,778 个房间）的点云数据及其真实的三维标注，并对各种建模和训练决策进行了细致的研究。在公共基准测试中，我们的模型在布局估计方面取得了最先进的性能，在三维物体检测方面也取得了具有竞争力的结果。通过这些成果，我们展示了一条可行的路径，以增强现代大型语言模型在增强现实、具身机器人等领域应用中的空间理解能力。Huggingface链接：Paper page，论文链接：2506.07491
研究背景和目的
研究背景：
随着三维室内环境在日常生活中的广泛应用，从智能家居到增强现实（AR）和具身机器人，机器对三维室内场景的理解与交互能力成为人工智能领域的一个重要研究方向。传统的三维室内建模方法往往依赖于特定任务的网络设计，这些方法虽然在一定程度上能够实现场景的理解和重建，但通常缺乏灵活性和通用性，难以适应不同场景和任务的需求。
近年来，大型语言模型（LLMs）在自然语言处理领域取得了显著进展，展示了强大的语言理解和生成能力。然而，将LLMs应用于三维室内建模领域仍面临诸多挑战。一方面，三维点云数据与文本数据之间存在显著差异，如何有效地将点云数据与LLMs结合是一个关键问题；另一方面，现有的三维室内建模数据集规模有限，且标注质量参差不齐，难以满足大规模训练的需求。
研究目的：
本文旨在提出一种名为SpatialLM的大型语言模型，旨在处理三维点云数据并生成结构化的三维场景理解输出。这些输出包括建筑元素（如墙壁、门、窗户）以及带有语义类别的定向物体框。与以往利用特定任务网络设计的方法不同，SpatialLM遵循标准的多模态LLM架构，并直接从开源LLMs进行微调。通过收集大规模、高质量的合成数据集，并对各种建模和训练决策进行细致研究，本文旨在展示一条可行的路径，以增强现代LLMs在增强现实、具身机器人等领域应用中的空间理解能力。
研究方法
1. 数据集构建：
为了训练SpatialLM，本文构建了一个大规模、高质量的合成数据集。该数据集包含12,328个室内场景（共54,778个房间）的点云数据及其真实的三维标注。这些场景主要来源于室内设计行业的在线平台，由专业设计师创建并用于实际生产。通过解析每个三维房屋并应用一系列规则过滤房间，最终得到了包含丰富多样室内场景的数据集。
在数据集构建过程中，本文采用了先进的渲染引擎生成逼真的RGBD图像，并模拟相机轨迹在每个房间内进行遍历，以0.5米的间隔拍摄图像。此外，还保留了59个常见物体类别的标注，并过滤掉了尺寸小于15厘米的小物体。最终的数据集被分为训练集、验证集和测试集，分别包含11,328、500和500个场景。
2. 模型设计：
SpatialLM的设计遵循标准的多模态LLM架构，包括点云编码器、多层感知机（MLP）投影层和LLM主体。点云编码器负责将不规则的点云数据转换为特征嵌入，MLP投影层则将这些特征嵌入映射到LLM可接受的输入维度。LLM主体则基于开源的预训练LLM进行微调，以适应三维室内建模任务。
在点云编码器的选择上，本文比较了多种方法，包括基于映射的方法、基于体素的方法和基于点的方法。最终选择了Sonata编码器，它是一种Point Transformer V3的变体，去除了解码器并专注于自监督学习，表现出色且便于适应LLMs。
3. 训练策略：
在训练过程中，本文采用了单阶段微调策略，即同时训练点云编码器、MLP投影层和LLM主体。这与许多现有的多模态LLMs采用的两阶段或三阶段训练策略不同。通过实验发现，单阶段微调策略能够取得更好的性能，尤其是在三维物体检测任务上。此外，还尝试了不同的空间分辨率和训练阶段配置，以找到最优的训练参数。
研究结果
1. 布局估计：
在布局估计任务上，SpatialLM在Structured3D基准测试集上取得了显著的性能提升。通过首先在我们的合成数据集上进行训练，然后在Structured3D上进行微调，SpatialLM的F1分数达到了86.5%，显著优于现有的基线模型（如RoomFormer和SceneScript）。这表明我们的数据集和训练策略对于提高布局估计性能是有效的。
2. 三维物体检测：
在三维物体检测任务上，SpatialLM同样展现出了竞争力。通过首先在我们的合成数据集上进行训练，然后在ScanNet数据集上进行微调，SpatialLM在F1分数上达到了65.6%，接近于最先进的专用模型V-DETR（65.1%），并显著优于SceneScript（49.1%）。这表明SpatialLM不仅能够在布局估计任务上取得优异性能，还能在三维物体检测任务上表现出色。
3. 零样本检测：
为了验证SpatialLM的泛化能力，本文还在从视频重建的点云上进行了零样本检测实验。实验结果表明，即使在没有针对视频数据进行微调的情况下，SpatialLM仍然能够保持一致的布局和物体级预测，展示了强大的鲁棒性。
研究局限
尽管SpatialLM在三维室内建模任务上取得了显著进展，但仍存在一些局限性：
1. 数据集多样性：
虽然我们的合成数据集规模庞大且质量较高，但仍可能无法覆盖所有可能的室内场景和物体类别。未来需要进一步扩展数据集，以提高模型的泛化能力。
2. 模型复杂性：
SpatialLM作为一个大型语言模型，其计算复杂度和内存需求相对较高。这可能限制了其在资源受限设备上的应用。未来需要探索更高效的模型架构和训练策略，以降低计算成本。
3. 开放词汇物体检测：
目前，SpatialLM主要关注于预定义物体类别的检测。然而，在实际应用中，用户可能希望检测任意类别的物体。未来需要扩展模型以支持开放词汇物体检测，提高模型的灵活性和通用性。
未来研究方向
针对SpatialLM的局限性和潜在的应用需求，未来研究可以关注以下几个方面：
1. 扩展数据集：
进一步扩展合成数据集的规模和多样性，包括更多的室内场景、物体类别和复杂的空间关系。同时，探索利用真实世界数据进行数据增强和迁移学习的方法，以提高模型的泛化能力。
2. 优化模型架构：
探索更高效的模型架构和训练策略，以降低计算成本和内存需求。例如，可以尝试使用轻量级编码器、模型剪枝和量化等技术来减小模型大小。此外，还可以研究多任务学习和知识蒸馏等方法，以提高模型的性能和效率。
3. 支持开放词汇物体检测：
扩展SpatialLM以支持开放词汇物体检测，使其能够检测任意类别的物体。这可以通过引入零样本学习、少样本学习或生成式模型等技术来实现。同时，还可以研究如何利用语言模型的生成能力来辅助物体检测和场景理解。
4. 探索跨模态学习：
研究如何将SpatialLM与其他模态的数据（如图像、文本、语音等）相结合，以实现更全面的场景理解和交互。例如，可以探索将SpatialLM与视觉语言模型（VLM）相结合，以实现基于自然语言的场景编辑和生成。
5. 提高可解释性和透明度：
研究如何提高SpatialLM的可解释性和透明度，使其决策过程更加直观和可信。这可以通过可视化技术、注意力机制分析和因果推理等方法来实现。同时，还可以探索如何利用用户反馈来不断优化模型性能。
