“物理AI”这三个字最近出镜率很高但真正让机器人从“能看”变成“能干”的不是某个炫酷demo而是VLM、VLA、WAM这三类模型各自承担的数学任务。这篇文章干脆把这层窗户纸捅破VLM负责把图像和文字放进同一套数学空间VLA负责把这份理解换算成电机能执行的动作分布WAM负责在动作落地前先在模型内部做一次世界推演。读完之后你再去看RT-2、OpenVLA、Dreamer这些模型会清楚很多。本文主要面向三类读者正在做多模态模型部署的算法工程师想从CLIP/LLaVA转向具身智能方向的研究生以及准备把VLA接到真实机器人或仿真环境中的开发同学。文章不会复述论文里的漂亮话而是把对比学习、自回归生成、扩散策略、状态空间模型、变分推断这些数学骨架单独拎出来讲清楚它们各自解决什么问题、怎么组合、训练和部署时最容易在哪一步出问题。1. 核心能力速览VLM、VLA、WAM在物理AI里各管一段先给一张速览表后面逐层拆数学。能力项VLMVLAWAM全称Vision-Language ModelVision-Language-Action ModelWorld Action Model / World Model核心任务图文对齐、视觉问答、视觉推理从视觉和语言指令生成动作预测环境动态为规划提供内部模拟典型结构双塔对比 多模态融合视觉编码 语言模型 动作头状态空间模型 / 潜在动态模型 / 视频预测模型输入图像、文本图像、文本指令、机器人状态历史观测、动作序列、可能包含文本指令输出文本或视觉特征动作序列 / 动作token / 动作分布下一帧预测 / 潜在状态 / 奖励预期在物理AI中的角色感知与理解决策与操作预测与规划数学核心对比学习、交叉注意力自回归生成、扩散/流匹配变分推断、状态空间建模、预测编码典型代表CLIP、LLaVA、Qwen-VLRT-2、OpenVLA、π0Dreamer、IRL、JEPA系列视具体定义训练数据大规模图文对机器人遥操作数据 图文对视频、仿真轨迹、交互数据硬件门槛单卡可微调视规模通常需要多卡或大显存视频预测类更吃显存潜在动态类相对轻表格里的代表性项目均为公开学术或开源工作具体版本、权重和推理资源需要按官方仓库获取。物理AI场景下WAM的定义还没有VLM、VLA那么统一有人把World Model直接称为WAM也有人强调WAM是能输出动作的世界动作模型。本文按“世界模型/世界动作模型”这个更宽泛的定义展开重点讲清楚它对环境动态进行数学建模的那部分。2. 适用场景与使用边界物理AI并不是一个单模型就能解决的命题。VLM解决的是“这里有什么、处于什么状态、用户想要什么”等语义理解问题适合用在视觉问答、目标定位、状态判断、任务分解这些环节VLA解决的是“既然知道了下一步关节怎么动”的问题适合用在机械臂抓取、移动操作、任务指令跟随等需要输出连续动作控制的场景WAM解决的是“如果我执行这个动作环境会变成什么样”的问题适合用在模型预测控制、离线强化学习、数据增强、策略预训练等环节。但三者的边界必须说清楚。VLM本身不输出动作强行让VLM输出电机位置等于把回归问题当成文本生成问题精度和安全性都不够。VLA如果缺少高质量的遥操作数据动作分布会非常不稳定仿真里表现好不代表真机能复现因为仿真物理引擎和真实摩擦、延迟、噪声存在差异。WAM则适合做“多步推演”和“候选动作评估”不适合直接当控制器使用因为预测模型一定有误差误差会随时间步累积。还有一个容易被忽略的边界数据合规。机器人操作数据如果来自真实设备或人工遥操作采集前必须确认设备授权、场景隐私和操作者知情同意。使用真人演示视频训练VLA或WAM要注意肖像权和场景版权。仿真数据相对安全但迁移到真机前必须做系统辨识和安全测试。动辄上千小时的操作数据也不要盲目相信来源数据清洗、去标识化和质量抽检是上线前的基本动作。3. 三条技术路线的定位感知、操作、预测把VLM、VLA、WAM放在同一个物理AI系统里看三者不是竞争关系而是流水线上的三段。VLM在流水线最前面负责把高维像素变成有语义的表示。一张桌子、一个杯子、一条“把杯子放到桌角”的指令经过视觉编码器和文本编码器后会落到同一个向量空间里模型才能判断杯子和桌角分别在哪、指令和画面是否匹配。VLM的输出不一定是完整句子也可能是视觉token序列或对齐好的特征。VLA在中间接收VLM给出的视觉语言特征再输出动作序列。VLA和VLM的区别在于动作头的设计VLM输出的是词汇表上的概率分布VLA输出的是动作空间上的概率分布。动作可能是离散的关节角token也可能是连续的分布参数还可能是扩散模型去噪后得到的一串轨迹点。WAM可以放在VLA前后也可以独立存在。它可以作为VLA的“虚拟训练场”让策略先在模型预测出的下一帧状态上学习而不必每次都在真实环境里试错也可以作为规划器在推理阶段用模型预测控制MPC的方式评估多条候选动作轨迹选一条预测结果最好的执行。理解这个分工之后再看单个模型的数学逻辑就不会迷路。4. VLM底层数学图文对齐不是“看图说话”VLM的数学起点是图文对齐。所谓“看懂图片”本质是把图像和文本映射到同一个向量空间让匹配的图文对距离更近不匹配的图文对距离更远。4.1 双塔结构与对比学习CLIP这类双塔模型的做法很直接一个图像编码器 f_θ 把图片 I 映射成向量 z_v一个文本编码器 g_φ 把文本 T 映射成向量 z_t$$ z_v f_\theta(I), \quad z_t g_\varphi(T) $$训练时一个batch里有 N 个图文对。对角线上的图文对是正样本其余 N×N−N 对是负样本。模型要学到的结果是正样本对的余弦相似度尽量高负样本对的尽量低。这就是对比学习的核心思路。为什么不直接用回归损失训练因为图文对齐的目标不是“精确重建某个向量”而是“区分匹配和不匹配”。对比学习天然适合这种度量学习问题而且能利用大规模的弱标注图文对不需要人工逐张标注详细描述。4.2 InfoNCE损失对比学习里最常用的损失是InfoNCE。对第 i 个图像 z_v^{(i)} 和文本 z_t^{(i)}损失定义为$$ \mathcal{L}{\text{InfoNCE}} -\log \frac{\exp\left(\text{sim}(z_v^{(i)}, z_t^{(i)}) / \tau\right)}{\sum{j1}^{N} \exp\left(\text{sim}(z_v^{(i)}, z_t^{(j)}) / \tau\right)} $$其中 sim 是余弦相似度τ 是温度系数。分母对batch内所有文本特征求和等价于在 N 个样本里找出正确匹配的那个。InfoNCE从信息论角度可以理解为最大化正样本对的互信息下界所以它学到的表示不只是在拟合标签而是在保留图文之间共享的那部分信息。温度系数 τ 很关键。τ 太大softmax分布变平模型对正负样本的区分变迟钝τ 太小分布变尖模型会过度关注难负样本训练稳定性下降。常见实现里 τ 是一个可学习参数初始值在 0.01 到 0.1 之间具体要按数据规模调。4.3 交叉注意力融合双塔结构擅长做检索和对齐但要做视觉问答、视觉推理模型还需要把图像信息“融合”进文本生成过程。这就轮到交叉注意力登场。多模态融合的典型结构是视觉编码器输出一组视觉特征序列语言模型每个解码层通过交叉注意力查询视觉特征。计算公式为$$ Q W_Q z_{\text{text}}, \quad K W_K z_{\text{visual}}, \quad V W_V z_{\text{visual}} $$$$ \text{Attention}(Q, K, V) \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V $$每个文本token生成时都能根据语义相关性去“查看”图片不同区域。LLaVA这类模型更进一步用一个投影矩阵把视觉特征从CLIP的向量空间映射到语言模型的embedding空间然后和文本token拼在一起做自回归生成。这个投影矩阵 W 本身也是训练的它的作用是把“CLIP看得懂”的特征翻译成“LLM说得出”的特征。4.4 从对齐到指令跟随有了对齐和融合VLM才能做指令跟随。指令跟随的训练目标通常是标准语言建模损失对每个文本token计算交叉熵$$ \mathcal{L}{\text{LM}} -\frac{1}{n} \sum{t1}^{n} \log p_\theta(y_t \mid y_{t}, z_v) $$也就是说VLM在生成阶段就是“以图像为条件的自回归语言模型”。这里要注意很多物理AI项目直接用现成VLM的视觉编码器而不是从头训一个VLM。因为VLM的图文对齐质量直接决定下游VLA看图片的“感受”用CLIP或SigLIP这类经过大规模对比训练的视觉编码器比随机初始化效果好得多。5. VLA底层数学把动作变成下一个tokenVLA要解决的核心问题是给定当前视觉观测和语言指令输出机器人动作。这个“输出动作”的数学形式决定了整个模型的训练方式和稳定性。5.1 动作表示连续控制 vs 离散token机器人动作本质上是连续向量。一个六自由度机械臂每一步动作可以是六个关节角度移动机器人还要加上线速度和角速度。连续向量不能直接塞进语言模型的softmax输出层所以要先把动作转成模型能处理的表示。RT-2的做法是离散化。它把每个动作维度归一化到固定区间再量化为256或1000个离散token动作序列变成一串token整体上就是一个“动作语言”。这样可以直接复用语言模型的交叉熵损失实现起来最省事。缺点是量化会损失动作精度对于精细操作任务离散粒度不够时动作会很粗糙。OpenVLA也走类似路线但把动作token化做得更细。它用LLaVA作为基座把机器人本体状态、关节位置、语言指令都拼进输入序列输出256个动作token每个token用k-means聚类出来的动作码本表示。本质上还是用自回归方式生成动作。5.2 自回归动作生成动作token化之后VLA就变成一个条件动作生成模型。给定视觉特征 z_v、语言指令 l 和已生成的历史动作 a_t下一个动作token的概率为$$ p_\theta(a_t \mid z_v, l, a_{t}) $$训练目标是最大化动作序列的似然也就是对每个动作token计算交叉熵并求和$$ \mathcal{L}{\text{VLA}} -\sum{t1}^{T} \log p_\theta(a_t \mid z_v, l, a_{t}) $$这套逻辑和VLM生成文本完全同构所以训练VLA时可以复用大量语言模型基础设施权重初始化、分布式训练、低秩微调LoRA都可以直接用。RT-2的关键实验结论是先在大规模图文数据上预训练再用机器人数据微调动作生成能力会显著优于只在机器人数据上训练的模型。这说明VLA的底座仍然是VLM的语义理解能力。5.3 扩散策略更稳的动作分布自回归动作生成的问题是动作token是离散的且误差会逐步累积。生成20步动作token时第15步以后的动作质量经常明显下降。真实机器人控制需要更平滑、更连续的动作输出于是扩散策略Diffusion Policy成为VLA的另一个主流方向。扩散策略的思想很直接把一段动作轨迹看成数据点前向过程逐步加噪到纯高斯噪声反向过程在视觉语言条件 c 的引导下逐步去噪恢复出真实动作轨迹。训练损失是噪声预测误差$$ \mathcal{L}{\text{diff}} \mathbb{E}{\epsilon, t, c} \left[ \left| \epsilon - \epsilon_\theta\left(\sqrt{\bar\alpha_t} a_0 \sqrt{1-\bar\alpha_t} \epsilon, t, c\right) \right|^2 \right] $$其中 a_0 是真实动作轨迹ε 是采样出的高斯噪声t 是扩散时间步c 是视觉语言条件。推理时从随机噪声开始迭代去噪若干步得到动作轨迹。相比自回归token生成扩散策略有三个明显优势一是输出本身是连续轨迹和机器人控制接口天然匹配二是扩散模型能建模多模态动作分布同一个指令可能有多种合理走法扩散模型不会像点预测那样求平均导致动作“瘫软”三是去噪步数可以控制在5到10步推理延迟在可控范围。π0模型用的流匹配Flow Matching进一步简化了扩散过程用线性插值替代加噪过程训练收敛更快推理步数更少。5.4 目标函数与训练流程VLA的完整训练往往不是单一损失。常见做法是从预训练VLM初始化视觉编码器和语言模型。用静态图文数据做对齐和指令微调保持语义能力。加入机器人遥操作数据以动作预测损失为主同时保留文本生成损失防止灾难性遗忘。如果需要策略更平滑再加入动作轨迹的扩散损失或流匹配损失和语言头联合训练。这一步最容易踩的坑是数据分布不匹配。如果机器人数据里只有“拿起”“放下”两类指令模型会把动作和场景强绑定换一个新物体或新背景就失效。VLA的泛化能力很大程度来自图文预训练带来的语义先验微调阶段不能把数据比例做得太极端。6. WAM底层数学在“大脑”里先跑一遍未来WAM也就是世界模型/世界动作模型目标是让模型能够预测环境对动作的响应。如果说VLM回答“现在是什么”VLA回答“下一步做什么”WAM回答的是“如果我这样做会发生什么”。6.1 世界模型要解决什么问题真实环境交互成本高、速度慢、风险大。机器人每试错一次都需要真实物理世界响应。WAM希望在模型内部维护一个环境的动态模型 p(s_{t1} | s_t, a_t)让策略可以在虚拟推演中评估动作好坏再回到真实环境执行。这个想法在控制论里由来已久核心就是状态转移建模。难点在于机器人观测不是完整状态而是高维像素传感器有噪声环境有随机性。WAM的数学设计要同时处理高维观测、状态估计和多步预测误差累积。6.2 状态空间模型最基础的世界模型是状态空间模型。假设真实状态为 s_t观测为 o_t动作为 a_t$$ s_{t1} f(s_t, a_t) w_t $$$$ o_t h(s_t) v_t $$其中 f 是状态转移函数h 是观测函数w_t 和 v_t 是过程噪声与观测噪声。如果 f 和 h 是线性高斯形式可以用卡尔曼滤波做精确推理。但机器人操作场景里状态转移高度非线性观测是高维图像所以必须用神经网络逼近 f 和 h再用变分推断做近似状态估计。6.3 潜在动态模型与变分推断Dreamer系列是潜在动态世界模型的代表。它不直接在像素空间预测下一帧而是把观测压缩成低维潜在状态 z_t然后在潜在空间里学状态转移$$ p_\theta(z_t \mid z_{t-1}, a_{t-1}) \quad \text{先验预测器} $$$$ q_\phi(z_t \mid z_{t-1}, a_{t-1}, o_t) \quad \text{后验编码器} $$训练目标是最小化先验和后验之间的差异同时让潜在状态能重建观测。写成ELBO形式$$ \mathcal{L}{\text{WAM}} \sum_t \left[ \mathbb{E}{q_\phi} \log p_\theta(o_t \mid z_t) - \beta \cdot D_{\text{KL}}\big(q_\phi(z_t \mid z_{t-1}, a_{t-1}, o_t) ,|, p_\theta(z_t \mid z_{t-1}, a_{t-1})\big) \right] $$第一项是重建损失逼着潜在状态保留足够多的观测信息第二项是KL散度逼着先验预测器学会状态转移。这个loss的数学含义是既要让模型能“看懂”当前帧又要让模型在给定历史状态和动作时对未来状态有一个靠谱的猜测。潜在状态相比像素预测有两个好处一是显存和计算量小得多不必生成完整图像二是潜在空间可以手动约束成高斯分布方便采样和规划。缺点是有信息瓶颈如果潜在维度太小细粒度物体位置信息会被丢掉影响下游动作精度。6.4 视频预测与非生成式世界模型另一类WAM直接在像素空间做视频预测输入历史帧和动作输出未来帧$$ p_\theta(o_{t1:T} \mid o_{1:t}, a_{1:T}) $$这类模型的好处是输出直观可以直接观察模型“想象”的画面坏处是像素空间维度极高训练和推理都很重而且均方误差或交叉熵容易让预测结果变模糊——多个可能的未来被平均成一张模糊图。为了解决生成式世界模型的两大问题计算量大、预测模糊JEPA联合嵌入预测架构提供了一条不同的路线不在像素空间生成也不在单一潜在空间里预测而是让两个编码器分别处理输入和预测目标再用能量函数衡量它们的一致性$$ \mathcal{L}{\text{JEPA}} \max\left(0, , s(z{\text{input}}, z_{\text{target}}) - s(z_{\text{input}}, z_{\text{negative}}) m\right) $$这类模型学的是“什么样的未来表示和当前表示是兼容的”而不是“未来像素具体是什么”。它更像人类对物理场景的理解方式不需要精确画出下一秒的每个像素只需要知道物体大致会移动到什么位置、什么关系会保持。缺点是损失函数和训练稳定性比生成式模型更难调目前在机器人控制上的成熟应用还少于Dreamer这类潜在动态模型。7. VLM VLA WAM 如何协同单独看任何一个模型都不完整物理AI系统要把三者串起来。一种常见组合是“VLM理解 WAM预测 VLA执行”。系统先接收语言指令和相机图像VLM把目标物体和操作语义提取出来WAM在当前状态下对多条候选动作轨迹做推演预测每种选择带来的未来观测或状态VLA生成具体动作序列执行器执行后新的观测再回到VLM和WAM形成闭环。数学上这种协同可以写成规划问题。设当前潜在状态为 z_t候选动作序列为 a_{t:tH}WAM给出预测状态 z_{t1:tH1}VLM给出语言奖励或任务完成度估计 R那么模型预测控制要优化的目标是$$ a^* \arg\max_{a_{t:tH}} \sum_{k1}^{H} R\big(z_{tk}, l_{\text{task}}\big) $$这正是MPC的标准形式。WAM负责提供 z_{tk}VLM负责提供任务相关的奖励函数 RVLA负责把选出的动作轨迹转成底层控制信号。这样设计的好处是动作决策不依赖单次VLA输出而是建立在多步推演之上对噪声和干扰更鲁棒。另一种组合是数据闭环。用VLA在仿真和真机上采集大量动作数据把轨迹喂给WAM做预训练WAM再生成虚拟轨迹供VLA训练。这样可以把真实数据量成倍放大但前提是要控制WAM的预测误差否则策略会在幻觉状态上过拟合。更稳妥的做法是用真实数据做校验只有预测误差低于阈值的虚拟轨迹才进入训练集。8. 从论文到工程训练、部署与性能观察这部分不谈具体显卡型号因为不同版本差距很大但工程方法有通用性。8.1 训练阶段的资源策略VLM和VLA的训练没有本质区别都是先加载预训练权重再对特定数据做微调。显存占用主要来自三块模型权重、优化器状态、中间激活值。以常见7B模型FP16推理为例仅权重就约占14GB训练时还要算上梯度、Adam优化器状态和激活很容易超过单卡显存。降低资源占用的通用手段包括用LoRA或QLoRA只训练低秩适配器冻结主干显存可以从“训练整个模型”降到“训练不到1%参数”。使用梯度检查点gradient checkpointing用计算换显存训练速度慢一些但能跑更大的batch。缩短图像token数量。例如对高分辨率输入做分块编码而不是直接把整张大图喂给视觉编码器。混合精度训练FP16或BF16能显著降低显存但要注意损失震荡时切换回FP32做梯度裁剪。8.2 推理阶段的速度瓶颈物理AI对推理延迟很敏感。一个VLA生成20步动作token如果每步需要50毫秒总延迟就是1秒对于实时控制来说太慢。缓解方式有把视觉编码结果缓存下来如果画面没变化就不重新编码。对动作token使用流式解码生成第一批动作就开始执行不需要等完整序列。把扩散策略的推理步数从50步压到5到10步用DDIM或流匹配的少步采样。对WAM减少预测时域长度HH越大越准但越慢实际可以从H4起步观察控制效果再决定是否加长。8.3 性能观察的检查清单在没有成体系监控工具的情况下按下面几个维度观察GPU显存占用用nvidia-smi观察训练和推理的峰值显存记录换batch前后波动。帧率/控制频率记录从图像输入到动作输出的端到端延迟包括前后处理时间。动作平滑度把VLA输出的关节角序列画出来看是否有高频抖动。出现抖动通常说明动作分布过宽或预测步长不匹配。WAM预测误差用真实轨迹和WAM预测轨迹算均方误差按预测步数分桶统计误差随步数增长的速度如果过快说明模型没有学到长期动态。9. 常见问题与排查方法问题现象可能原因排查方式解决方案VLM图文对齐loss不下降正负样本构造错误、温度系数太大检查batch内负样本是否混入正样本打印相似度矩阵分布重新清洗数据调低温度系数增加难负样本VLA动作输出抖动动作token粒度太粗、连续动作被离散化可视化动作序列曲线观察相邻token跳变改用扩散策略或流匹配或加密离散化等级自回归VLA长序列质量下降推理误差累积训练时暴露偏差对比训练和推理时的动作分布差异训练时加入遮蔽噪声或使用并行解码WAM未来帧模糊均方误差回归多个可能未来取平均导致模糊观察预测图像是否偏灰、轮廓不清改潜在动态模型或使用对抗/扩散训练WAM预测误差随步数爆炸模型没有长期记忆条件窗口太短按预测步长统计误差曲线增加条件长度引入动作约束缩短规划时域显存不足模型权重激活优化器状态超限用nvidia-smi确认瓶颈计算各部分显存占比LoRA、梯度检查点、混合精度、减小batch仿真到真机效果退化仿真物理参数和真实环境不一致对比仿真和真实轨迹的运动学差异做系统辨识、域随机化增加真实数据比例API或服务接口超时模型推理延迟过高请求队列堆积查看请求耗时分布区分排队时间和推理时间减少推理步数加缓存异步化任务队列10. 最佳实践与使用建议先给一条总原则第一次跑通用最小模型、最小分辨率、最小规划时域绝不在第一天就追求完整物理AI系统。训练VLM时先验证图文匹配的top-1准确率。如果连“一张桌子配一段桌子描述”都检索不对后续所有下游任务都不会靠谱。训练VLA时先盯动作分布不要只盯任务成功率。成功率80%但动作抖动严重说明模型在靠运气完成任务离真实部署还有距离。训练WAM时先看单步预测误差再看多步累积单步误差小但多步爆炸说明动态建模有问题。工程上建议把模型文件、训练数据、验证数据、输出结果分目录管理每一次实验记录下模型版本、数据版本、参数配置和关键指标。批量训练或批量推理任务要加日志和失败重试单条数据失败不能中断整个任务队列。接口服务部署时默认只绑定内网地址不要直接暴露公网端口调用方需要做鉴权。物理安全永远是第一优先级。VLA输出的动作序列在真实机器人上执行前必须经过关节限位检查、速度限制和急停逻辑。不要直接让未经约束的VLA控制真实机械臂尤其不要在没有安全围栏的环境里测试。涉及真人操作视频、真实场景图像、私有环境数据时必须确认授权、隐私和版权合规。模型商用前要做效果复核和对抗样本测试确认它不会在异常输入下产生危险动作。11. 总结与下一步VLM、VLA、WAM三者最该先验证的都是同一个问题模型是否学到了正确的分布。VLM要验证图文分布是否对齐VLA要验证动作分布是否平滑WAM要验证未来状态分布是否准确。最容易踩的坑是“点预测思维”把VLA当成直接输出唯一动作的分类器把WAM当成直接输出唯一未来帧的回归器。真实物理环境充满多模态可能只有把动作和未来建模成分布才能在部署时具备鲁棒性。建议的下一步实践路径是先选一个开源VLM做图文检索测试确认视觉编码器质量再找一个预训练VLA在仿真环境里跑通“语言指令到动作序列”的闭环最后用仿真轨迹训练一个小规模潜在动态WAM把它接进MPC做候选动作评估。三步都跑通之后再考虑真实硬件迁移。每一步都要记录资源消耗、速度指标和失败样本这些数据比模型本身更宝贵它们决定了一个物理AI系统能不能从演示走向稳定部署。这份内容可以先收藏备用等你要动手做具身智能项目时再翻回来看这三类模型的数学骨架选型会清楚很多。