一句话讲清楚 小米 Robotics 发布 Xiaomi-Robotics-U0 ：它能生成多视角机器人场景、按要求修改场景，并继续预测操作过程；这些生成数据用于训练后，机器人在陌生环境中的完成进度从 36.9% 提升到 63.2%。

• 论文标题：Xiaomi-Robotics-U0: Unified Embodied Synthesis with World Foundation Model

• 论文链接：https://arxiv.org/abs/2607.11643

• 项目链接：https://robotics.xiaomi.com/xiaomi-robotics-u0.html

机器人做家务时，环境变化常常比任务变化更棘手。

例如，训练时它见过白色桌布和普通顶灯。部署时，桌布换成条纹的，灯光变暗，物体位置没有明显变化，策略仍可能把画面当成一个完全陌生的场景。对策略来说，输入是一整张带有颜色、阴影、材质和反光的图像，而不只是「杯子」这个抽象概念。

解决办法通常是多采数据。每换一种桌布、灯光或背景，都重新让人遥操作一遍机器人。论文把这类带有相机画面、关节状态和动作标签的真实操作记录称为 demonstration 。采集 demonstration 很贵：要摆场、执行任务、检查动作，还要保证多台相机和动作记录全部对齐。

小米 Robotics 这篇论文想做的是另一件事：不改原来的动作，只改机器人看到的场景。

Xiaomi-Robotics-U0 覆盖场景生成、场景迁移、视频预测和通用图像生成。对机器人训练最有价值的是中间两项：生成新场景，并保留原操作记录的动作信息。

它在训练前生成数据

Xiaomi-Robotics-U0 是一个 380 亿参数的生成模型。它在训练前帮数据「换场景」；机器人运行时仍由原来的策略根据实时画面下达动作。

论文里的流程可以用一段真实操作记录来理解：

这样训练出的策略，会看过更多外观变化，但不需要为每一种变化重新录制动作。

这和「生成一段看起来很像机器人操作的视频」不是一回事。视频再逼真，如果手臂在画面中的位置和原动作标签对不上，就不能直接拿来训练策略。论文真正要守住的是：换皮以后，动作还要能用。

它怎样同时学会画图和看懂机器人

模型会把「把桌布换成蓝色」这句文字、相机画面切成的小图块，以及机械臂姿态和相机视角编码后一起输入。它要预测的是符合这些条件的新画面。可以把它想成一本同时收录文字词和图像小块的词典：

训练时，模型持续预测下一个内容。于是，它可以学习文生图、参考图编辑、多视角场景生成、场景迁移和视频预测，而不必为每个任务各做一个完全独立的模型。

灰色是输入，橙色是输出。同一模型既做通用图像任务，也做机器人场景任务。

这么做的理由是：机器人数据很少，互联网图像数据很多。只用机器人视频继续训练，模型容易忘掉原本的图像生成和编辑能力；继续混入通用图像任务，模型更容易理解「木桌」「昏暗灯光」「条纹桌布」这些外观描述。

论文准备了两类数据。一类是单张或少量图像的任务，例如按文字生成场景、修改场景。另一类是连续任务，例如先读到「拿起杯子」，再看到拿起后的多相机画面；或者直接学习一段操纵视频中每个阶段如何变化。

训练数据除了机器人场景，还包含通用图像编辑、深度、边缘和相机条件等信息。它们帮助模型在改外观时保留空间关系。

用深度约束避免换场景后机械臂和物体错位

一张图里最容易被忽略的是深度关系：哪个物体离相机近，哪个物体被机械臂挡住，夹爪到底碰到了哪里。

论文把原始多视角画面先转换成深度图，再把深度图和新的文字描述一起交给模型。深度图像一张标明远近的地图，不负责告诉模型「桌布是什么颜色」，却能防止换背景后桌面、机械臂和物体的位置关系乱掉。

模型还能把场景拆成五部分分别修改：

这意味着，团队可以只换背景，不动目标物体；也可以只改灯光，不碰机械臂和桌面布局。组合这些选项，就能从一段真实操作记录得到许多不同外观的训练样本。

与 GPT-Image-2 的对比。对照模型能生成合理画面，但不同相机视角容易出现位置不一致； U0 更贴合输入深度。

论文在 300 个场景迁移样本上比较了 Xiaomi-Robotics-U0 和 GPT-Image-2 。其中一半是更困难的样本，文字描述故意要求模型生成训练里较少出现的内容。

结果里最值得看的是两项：

场景迁移客观指标。箭头向下表示越低越好，向上表示越高越好。

论文还安排了人评。评审重点看不同相机是否还像在拍同一张桌子、同一只机械臂。项目页给出的迁移胜率为：简单样本 82.0%，困难样本 79.3%。

这里也要保留一个判断： GPT-Image-2 本来不是专门为多视角机器人数据训练的。这个对比能说明 U0 在几何约束任务上更适合，但不能直接推成 U0 在所有图像生成任务上都更强。

从文字直接生成机器人场景，能做什么

除了在已有操作记录上换场景， U0 还能从机械臂类型和文字描述出发，直接生成一组多视角初始画面。

比如，输入「一张木桌、蓝莓、两个勺子和暖色阳光」，模型要同时画出头部相机和手腕相机看到的场景。难点不在单张图好不好看，而在不同相机里的勺子、碗和机械臂要能对应起来。

多视角场景生成对比。单张图再清晰，只要物体在不同视角的位置对不上，就不能直接服务机器人训练。

项目页的人评结果显示，面对常规桌面场景， U0 对 GPT-Image-2 的胜率为 62.0%；面对更开放的场景，胜率为 68.5%。论文认为，优势主要来自跨视角的一致性。

这项能力适合做什么？它可以先造出一个从未见过的开场场景，再让后续的视频模型继续生成机器人操作过程。不过，初始场景生成得合理，不代表整个操作过程的接触物理也正确。两者需要分开看。

视频生成表现领先，仍不能代替真实操作数据

模型还能根据初始画面和文字指令预测后续视频。若有动作信息，论文会额外提供机械臂轮廓提示，告诉模型手臂大致会往哪里移动。

在 World Arena 榜单中， U0 的匿名提交总分为 73.64 ，排名第一。对机器人数据来说，比总分更有用的两个指标是：

World Arena 榜单（ 2026-07-13 ）。 UNIS 是 Xiaomi-Robotics-U0 的匿名代号。

论文还演示了先生成新场景，再续写机器人交互视频的流程。画面中可以看到抓杯、放杯，以及纸张弯曲等效果。

从初始画面和语言指令预测后续交互视频。

但视频的价值要说清楚：它目前更像一份用于扩充数据分布的草稿，尚不能证明可以替代真实操作记录。机械臂是否真的抓稳、接触点是否和动作标签一致、柔软物体会不会按真实物理变化，都不能只靠一段视频判断。

真机结果才是这篇论文最重要的部分

论文最终在真实双臂机器人上测了三件事：收纳耳机、叠毛巾和装箱。

每个任务都有约 40 小时真实操作记录。增强版本再加入约 40 小时由 U0 换场景得到的数据。两种训练数据使用相同的关节和动作标签，差别只在画面外观。

测试分成两组：

任务按步骤给进度分，并非只有「完全成功」才计分。例如收纳耳机时，抓到盒子、放入一个耳机、放入另一个耳机、盖上盖子，都能得到部分分数。

在干扰组中，原始训练数据得到的平均任务进度为 36.9%，加入 U0 增广数据后达到 63.2%。相对于常规组，原策略的表现下降了 44.1 个百分点；增广策略只下降 18.9 个百分点。

真实机器人结果：两组策略在常规环境接近；换桌布和灯光后，加入增广数据的策略更稳定。

这组结果说明的范围其实很明确： U0 帮策略适应了外观变化。它没有在机器人执行时参与决策，也没有证明合成视频能够替代真实操作。模型的作用发生在训练前，作为数据增强工具。

生成够快，数据增强才有意义

如果生成一张图要等很久，再好的增强方法也很难大规模使用。论文为模型加入 FlashAR  推理加速：单张 1024×1024 图像的生成时间从约 450.77 秒降到约 5.44 秒，峰值加速约 82.9 倍。

加速前后的生成质量与时间对比。加速解决的是数据生产效率，不是直接提高机器人控制效果。

论文也检查了模型有没有因为学习机器人场景而失去普通图像能力。在通用图像生成和编辑测试中，它仍保留了大部分常见编辑能力，但复杂物体组合和精确位置关系会弱于专门的图像生成模型。

因此， U0 的通用图像能力并非每项都优于专门模型；论文优先保留的是足以支撑机器人场景编辑和数据增广的视觉能力。

还差哪一步

这篇工作已经证明了一件很实用的事：把真实操作记录的外观做成多样版本，能让机器人更抗桌布和灯光变化。

接下来更难的问题是，怎样判断一段增广数据真的还能训练策略。论文尚未给出这类合成样本的自动验收流程。一个可进一步验证的做法是随机抽样，检查生成画面里夹爪接触物体的位置是否仍与原动作一致。对不上的样本不应进入训练集。

Xiaomi-Robotics-U0 目前最可靠的价值，是让真实操作记录可以覆盖更多视觉环境。它离「用生成视频代替真实机器人采数据」还有距离，论文也没有把这两件事混为一谈。