2026-11-12 11:00:00
把空间理解放进基础模型的持续学习过程，机器人能否更好地应对现实中的变化？
机器人伸手抓取果蔬时，有人把目标挪走了。原本放好的物体，又被扔回桌面。另一组实验里，桌面不断升降，夹爪需要跟上目标的高度变化。同样是抓取和放置，空间关系一变，已经学过的技能还能不能继续用？
图 1 SLA 真机操作视频
香港科技大学（广州）与欧拉万象（OLA Dimensions）联合，围绕这个问题提出了 SLA（Spatial-Language-Action Model，空间 — 语言 — 动作模型）。
先看结果：在 RoboDojo-Real 公开真机评测中，SLA-Preview 以平均得分 42.3 分、完整任务成功率 33.9% 位居榜首；相比 π0.5，成功率提高 21.1 个百分点，约为其 2.6 倍。
图 2 RoboDojo-Real 真机榜单截图，SLA-Preview 平均得分排名第一
在研究团队设置的八类真机测试中，SLA 的平均物体级成功率达到 83.8%，较 π0.5 提高 24.0 个百分点。从公开榜单到动态抓取、桌面升降等测试，SLA 展示了应对真实场景变化的能力。
SLA 的核心思路，是在机器人学习动作时，同步培养支撑动作的空间表征。空间监督从具体任务的后训练阶段，扩展到更大规模的持续预训练，并在下游适配时继续保留。
01 真机榜第一之后
再看机器人如何应对变化
RoboDojo-Real 覆盖 ARX X5、Piper 和 Piper X 三种机器人本体，共 18 项任务。SLA 联合使用三种本体的示范进行后训练，再用同一个模型完成测试。
在相同的公开评测中，π0.5 的平均得分与成功率分别为 22.9 分、12.8%，SLA 对应为 42.3 分、33.9%。得分反映部分任务进展，成功率则衡量完整任务是否完成。
榜单成绩给出了统一参照。要直观看到空间能力的作用，还可以看目标移动、桌面升降这些实验。
在果蔬抓取实验中，研究者先用 100 条基础场景示范完成后训练，再将同一个策略用于基础场景、位置扰动和动态干扰三类条件。测试时，物体可能被重新扔回桌面，抓取中的目标也可能被人移动。
位置与动态干扰条件没有额外采集对应的干扰示范用于后训练。
图 3 基础果蔬操作、位置扰动、动态干扰与少样本跨本体适配。
位置扰动下，SLA 的物体级成功率为 82%，π0.5 为 52%；目标持续移动时，两者分别为 76% 和 42%。在桌面升降、目标高度不断变化的手表抓取条件下，两者分别为 78% 和 44%。
跨本体实验也有一个明确的数据条件：在原有 100 条 Piper 示范之外，额外加入 10 条 Franka 示范联合后训练，Franka 的物体级成功率达到 78%。这项结果检验的是少量目标本体数据下的适配能力。
八类部署条件各评估 50 个物体实例，成功要求完成该物体的完整操作过程。它们共同指向一个实际问题：当观察到的空间关系发生变化，策略能否据此调整动作。
02 空间理解
怎样进入机器人基础模型
视觉 — 语言 — 动作模型（VLA）把图像、指令和动作连接起来，能够利用视觉语言模型预训练获得的知识。但机器人执行操作，还要处理距离、朝向、物体遮挡和夹爪运动之间的关系。
认出一个杯子，与把夹爪准确移动到杯子旁边，需要的能力并不完全相同。物体位置变了，接近路径可能要变；抓取角度变了，手腕朝向也需要随之调整。
一种常见路线是在后训练时引入深度图、点云等几何信息。现实数据却并不总是具备一致的三维标注：深度可能缺失，相机位置和标定状态各不相同，部分公开示范只有 RGB 图像。
如果空间学习只能依赖整齐、完整的几何输入，就很难充分利用已经积累的异构机器人经验。
SLA 选择在训练期间，将空间信息对齐到 VLA 自身的中间视觉表征中。它继承 π0.5 的预训练架构与权重，通过持续预训练学习空间表征，并在后训练适配具体任务时继续使用空间监督。
图 4 SLA 整体框架。统一异构机器人数据，在持续预训练与后训练阶段进行空间对齐。
具体来说，冻结的三维感知模型 OmniVGGT 充当空间教师。它读取多视角 RGB 图像，并利用样本中已有的深度或相机标定信息，提取空间特征。
VLA 在学习预测动作的同时，也让中间视觉特征与教师的空间特征对齐。空间监督由此进入动作生成所依赖的表征，让模型在学习操作时获得几何信息。
面对不同场景、纹理和相机视角，SLA 还会根据输入自适应汇聚多个层次的视觉特征。在 RoboTwin 消融中，多层自适应融合的 Clean2Random 成功率为 72.3%，比最佳固定单层方案高 5.0 个百分点。
另一个设计是训练期的状态丢弃：以一定概率移除部分样本的机器人状态输入，鼓励策略更多利用当前图像，减少对示范轨迹中固定状态模式的依赖。
到了部署阶段，空间教师、对齐投影器和选层门控都被移除，深度与相机标定无需作为新增的策略输入。空间对齐分支不增加策略推理计算。RoboDojo 长时任务则另外使用了历史图像记忆，其榜单结果反映的是包含该机制的完整系统表现。
03 六类机器人数据
先统一动作的物理含义
空间监督要在更大规模上发挥作用，还需要回答一个基础问题：不同机器人的数据，怎样放在一起学习？
SLA 使用 InternData-A1、AgiBotWorld-Beta、RoboCasa365-Pretrain、RoboCOIN、DROID 和 MolmoAct 六类来源，覆盖真实与仿真、单臂与双臂。筛选和处理前，这些来源合计约 171 万条轨迹、14,330 小时示范。
图 5 持续预训练的数据来源。图中为筛选和处理前的规模，任务数按各数据集分别统计后相加。
数据规模之外，控制表示也必须一致。不同机械臂的关节数量和排列不同，同一组关节数值并不具备相同的物理含义，直接混合容易造成学习困难。
团队采用末端执行器位姿描述状态与动作，并统一机器人坐标约定：单臂以臂基座为原点，双臂以两臂基座中点为原点，坐标轴统一指向前、左、上。这样，移动方向、旋转和夹爪动作就有了可比较的物理含义。
旋转表示同样经过处理。直接相减的欧拉角可能在角度环绕边界产生离群值，SLA 通过 SO (3) 复合求相对旋转，再以旋转向量表示，配合逐通道归一化。
对重复度较高的仿真轨迹，团队按来源和任务进行下采样，并过滤不适用或异常的数据。持续预训练阶段也没有使用后训练数据集，以降低下游评测泄漏风险。
这一阶段使用 48 张 NVIDIA H100，耗时约 110 小时。数据处理与空间监督共同构成了持续学习的基础。
04 数据继续增加
空间能力能否一起增长
如果空间理解能够成为基础模型能力，它还需要经得起数据规模实验。
研究者从完整混合数据集中按任务抽样，使用 5%、25%、50% 和 100% 四档持续预训练数据，并分别控制持续预训练、后训练是否采用空间对齐，再在 RoboTwin Clean2Random 设置下比较表现。
两个阶段都采用空间对齐时，成功率随数据规模从 49.2% 提升到 60.5%、67.4%，最终达到 72.3%。在每一档数据规模下，这一组合都优于另外三种设置。
图 6 持续预训练数据规模实验。两个阶段均使用空间对齐的方案，在各档数据规模下表现最好。
在全量数据下，只在持续预训练使用空间对齐，成功率为 63.2%；只在后训练使用，为 57.1%；两个阶段都不使用，为 48.2%。
这组对照支持了 SLA 的技术主张：空间表征可以先在更广泛的机器人经验中学习，再通过下游适配强化。在这一实验范围内，训练目标与数据覆盖共同影响了最终表现。
其他公开评测进一步检验了不同能力。在 RoboTwin 2.0 的 50 个任务中，SLA 使用每项任务 50 条 clean 示范联合后训练，Clean2Clean、Clean2Random 成功率分别为 86.0%、72.3%，平均为 79.2%。其中，Clean2Random 相比 π0.5 提高 26.3 个百分点，体现了随机化场景下的收益。
在 RoboCasa-Panda 的 24 个厨房任务中，每项任务使用 50 条下游示范，SLA 平均成功率为 68.4%。在 LIBERO-Plus 中，模型用标准 LIBERO 示范后训练后，接受相机、语言、光照、背景等扰动测试，加权成功率达到 87.4%。这些结果分别对应不同评测设置，不能简单合并成一个通用成功率。
05 从学会动作
到适应变化
香港科技大学（广州）与欧拉万象团队的 SLA 研究，将空间监督扩展到基础模型的持续预训练阶段，并通过榜单、消融实验和真机操作检验它的效果。空间能力如何形成、如何随机器人经验扩展，由此成为可以逐项测试的问题。
现有结果仍有适用范围：不同任务和本体之间存在明显差异，长程操作、开放任务以及更大规模的真实部署还需要继续验证。SLA 展示的，是一条在继承已有 VLA 能力的基础上，持续培养空间表征的路径。
论文与项目
论文：SLA: Scaling Spatial-Language-Action Model via Continual Pre-training
arXiv 地址：https://arxiv.org/abs/2611.08373
项目主页与动态实验：https://embodiedsla.github.io/
代码仓库：https://github.com/OpenHelix-Team/Spatial-Forcing
RoboDojo 真机榜单：https://robodojo-benchmark.com/leaderboard?bench=realworld
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
2026-11-12 11:00:00
在机器人操作研究中，视觉语言动作模型（Vision-Language-Action，VLA）与世界动作模型（World Action Model，WAM）为机器人提供了不同的动作生成路径。但当任务从一次抓放延伸到连续搭建与双臂协同，决定成败的就不只是眼前这个动作能否完成，还包括此前建立的条件能否一直支撑后续执行。
一个动作明明已经成功，为什么整项任务还是会在下一步失败？机器人真正缺少的，究竟是更强的动作模型，还是组织这些动作的系统？
围绕这一问题，香港中文大学（深圳）联合新加坡 A*STAR、清华大学等机构的研究团队提出 LOGIV，将 Graph Engineering 引入 Agentic Robot 的执行架构。它在已有 VLA 与 WAM 策略之上构建显式任务图，把动作之间的条件依赖和资源顺序转化为可以检查、追踪与修复的执行依据。
LOGIV 将系统的关注点从某个动作是否完成，推进到后续计划是否仍然成立。通过图依赖验证与因果局部修复，机器人可以在发现条件失效后恢复必要支撑，保留仍可使用的计划，再继续向目标推进。无需为这一层增加新的可训练组件，任务图就能真正参与机器人的执行决策。
论文名称：LOGIV: Graph-Verified Execution with Causal Local Repair for Long-Horizon Robot Tasks
论文全文：https://arxiv.org/abs/2610.40016
项目主页：https://enqiao-lu.github.io/logiv-project/
代码与演示：https://github.com/Enqiao-Lu/LOGIV
让机器人搭一座积木桥，听起来并不复杂：摆好两侧支撑，拿起横梁，再把横梁放上去。但如果机器人拿起横梁时，不小心碰歪了刚才摆好的支撑呢？
抓取动作成功了，前面的摆放动作也确实完成过，可接下来那一步，已经没有了成立的条件。继续照着计划走，机器人很可能把横梁放在一个已经不存在的支点上。这正是长程物理交互中的一个隐蔽问题。动作完成是一段历史，动作产生的条件却可能随时失效。如果系统只记录任务进度，而不检查这些条件是否仍然成立，过去的成功就可能掩盖当前的风险。
如果把长任务写成一张待办清单，机器人知道的是先做什么、后做什么。如果把它组织成一张任务图，机器人还能追问，下一步到底依赖什么，哪个条件一旦失效，后面的哪些动作就不能继续？LOGIV 据此将 Graph Engineering 落到执行层，把任务组织成包含两类依赖的有向无环图。
任务节点：对应抓取、放置等高层子任务，也包括任务的起点和最终目标。
条件支撑边：记录哪个动作建立了后续动作需要的条件，例如支撑块到位之后才能安装横梁。
资源顺序边：记录机械臂、夹爪等资源的使用顺序，以及动作之间已建模的冲突。
这张图既连接规划与动作，也为失败恢复提供依据。支撑块移位后，系统可以沿着失效的条件支撑关系追踪后续影响，而不必把整个任务都当成失败。
图 1：支撑块被碰歪后，LOGIV 恢复失效的支撑条件，并保留仍可使用的后续横梁操作。图源为论文 Fig. 1。
如果 Graph Engineering 负责组织长任务，底层动作又由谁来完成？LOGIV 给出了清晰的分工。上层根据当前状态和任务依赖选择子任务，将高层动作转成自然语言指令。底层策略结合指令与视觉观测执行操作，再由上层检查动作效果和剩余计划所需的条件。一次动作的结束，会成为下一轮判断的起点。
论文分别搭配三种执行模型，检验这一架构能否跨越不同策略路线。
π0.5 作为 VLA 执行模型，将视觉观测与任务指令映射为机器人动作。
AHA-WAM 与 Light-WAM 作为两种 WAM 执行模型，在各自的策略架构下完成上层指定的操作。
如图 2 所示，LOGIV 在 VLA 与 WAM 之上构建独立的任务组织与恢复层，使不同执行策略能够接入统一的规划、验证与修复闭环，无需将它们重新训练成一个大模型，也不为框架额外引入可训练组件。该架构已在经过任务微调的 π0.5、AHA-WAM 和 Light-WAM 上得到验证，其依赖检查与局部修复机制可以跨策略复用，接入新任务时则需匹配相应的任务模型、感知信息与执行接口。
图 2：LOGIV 位于底层 VLA 或 WAM 策略之上，在动作执行前后检查状态、节点和图依赖，确认失败后进入修复流程。图中的人工协助属于未来评估方向，论文报告的实验未启用人工协助。图源为论文 Fig. 3。
在具体实现上，LOGIV 将图 2 所示的架构落实为任务图构建、在线验证与局部修复三个相互衔接的环节。
系统首先使用预定义的 PDDL 任务模型描述动作前提、预期效果与可用对象，由 Fast Downward 生成动作序列，再交给独立验证工具 VAL 检查动作参数、前置条件和最终目标，只有通过验证的计划才会被编译成任务图，明确后续动作依赖哪些条件，以及这些条件由哪些动作提供。
进入执行阶段，LOGIV 通过 State Gate、Node Gate 和 Graph Gate 将现场观测与任务图联系起来，其中 State Gate 结合视觉观测、机器人状态和执行器反馈确认当前任务事实，Node Gate 在动作执行前后分别检查前置条件与预期效果，Graph Gate 则进一步核查任务依赖，判断已经完成的动作是否仍为剩余计划提供有效支撑。三者共同构成动作执行前后的验证流程，使系统既能判断当前操作是否成功，也能发现影响后续任务的条件变化。
例如，机器人即使成功抓起横梁，只要此前摆好的支撑块发生移位，Graph Gate 仍会识别出后续安装所需的条件已经失效，并触发修复，而不会仅凭当前动作的成功记录继续执行。对于视觉证据不足、暂时无法确认的状态，系统会通过重新观察或调整视角补充信息，若在观测预算内仍无法确定，就停止执行，避免把不确定的状态误当作满足条件。
当确认失败的时候，LOGIV 沿任务图追踪受影响的依赖，并将受到影响的动作与确实需要替换的动作区分开来，尽量保留仍可使用的未完成计划。以搭桥为例，支撑块移位并不意味着安装横梁这一后续步骤本身有问题，因此系统可以保留相关操作，从最终目标出发，沿保留动作的逆序推导恢复执行前必须满足的条件，再根据当前状态生成相应的修复片段。
生成修复片段后，LOGIV 会将其与保留计划合并，通过 VAL 检查完整的后续计划能否在符号模型下达到最终目标，而不是仅确认眼前的失效条件是否得到恢复。如果验证未通过，系统会根据失败位置在当前范围内重新规划，或扩大需要替换的动作范围，待验证通过后再重建任务图并恢复执行，从而把局部问题的处理与完整任务的推进连接起来。
研究团队在 RoboTwin V2 和 BiCoord 中各选取 10 个双臂任务，共计 20 个任务。每个任务使用 10 个预定义初始状态，并分别评估无人工注入扰动与预定义扰动两种设置。
图 3：不同底层策略与在线纠正方法的实验结果。C 表示无人工注入扰动下的完整任务成功率，P 表示预定义扰动下的完整任务成功率，R 表示有效可恢复事件中的失效条件恢复率，单位均为百分比。图源为论文 Table I。
如图 3 的 C 列所示，在未人工注入扰动的设置中，三种底层策略接入 LOGIV 后，两个基准上的完整任务成功率均有提升。三个模型的平均成功率在 RoboTwin V2 上从 71.67% 提升至 82.33%，在 BiCoord 上从 42.33% 提升至 57.67%，按未取整均值计算，分别增加 10.67 个百分点和 15.33 个百分点。这说明 LOGIV 的作用并不限于应对外部干扰，正常执行中的状态偏差与动作失误，同样可以通过图验证与在线修复得到处理，从而提高完整任务的完成率。
当环境真的偏离计划，LOGIV 能否帮助机器人继续完成任务？研究团队为每个任务固定扰动类型与触发条件，在预定义事件发生时注入可恢复扰动，结果见图 3 的 P 列，其中 π0.5 在 RoboTwin V2 上的成功率从 32% 提升到 60%，增加了 28 个百分点。与 VeriGraph-PDDL、LERa-PDDL 和 VLM-RP-BT 三个适配后的恢复基线相比，LOGIV 在两套基准与三种底层策略的全部组合中，都取得了更高的扰动任务完成率和失效条件恢复率。图 3 的 R 列衡量有效可恢复事件中，失效条件在预算内得到恢复的比例，与 P 列的完整任务成功率分别统计，从局部条件能否修复和最终目标能否完成两个层面检验恢复机制。
这些提升只是来自多做几次检查，还是图结构确实发挥了作用？研究团队进一步拆解了框架中的关键环节。在 RoboTwin V2 的 π0.5 设置下，去掉 Graph Gate 后，扰动任务成功率从 60% 降到 48%。这说明只盯住眼前动作，会漏掉影响后续执行的依赖失效。把局部修复换成对全部剩余动作重新规划后，平均重复执行的有效已完成动作，从 0.2 次增加到 1.6 次，扰动任务成功率则降到 54%。
重做得更多，不一定完成得更好。这组结果支持了 LOGIV 的设计选择，先弄清后续任务依赖什么，再决定应该修哪里。
图 4：图依赖检查、局部修复与计划验证的消融结果。Full 为完整框架，-Graph 表示移除图检查，-Local 表示改为重新规划全部剩余动作。图源为论文 Fig. 5。
研究团队还在 Astribot S1 双臂机器人和由两台 AgileX Piper 机械臂组成的平台上，测试了番茄抓取、双臂搭积木和网线插接等任务，证明 LOGIV 不仅在仿真中有效，在落地的场景下也可以展现出比较好的效果。
先看一段双臂搭积木的真实任务演示。
视频：Astribot S1 双臂搭积木。
搭积木与前面的搭桥例子有相同的难点。后续伸手动作可能碰歪已经摆好的积木，导致接下来需要的支撑条件失效。LOGIV 检查到这类变化后，会修复相应条件，并保留仍然有效的工作。
图 5：真实机器人任务的成功次数对比。每个任务、每种配置进行 10 次试验，合计每种配置 30 次，未人工注入扰动。数据来自论文 Table II。
整体成功率从 40.0% 提升到 56.7%，三个任务均观察到改善。从空抓与提前松手，到积木支撑条件被破坏，真实执行中的偏差也为这套图验证与修复机制提供了检验场景。
由于 VLA 和 WAM 的动作能力不断地被提高，Agentic Robot 的研究有一个无法避开的问题亟待回答，怎么让这些能力在不断变化的环境里，组成一项能够继续推进的完整任务？LOGIV 将 Graph Engineering 从任务表示推进到在线执行。LOGIV 用任务图记录每一步需要哪些条件，并在执行时检查这些条件是否还成立。发现问题后，系统会找出需要修复的地方，保留还能继续用的计划，修复后再接着做。这样可以减少不必要的重做，帮助机器人用现有的动作模型，更可靠地完成长任务。
机器人需要更会做动作的模型，也需要能在变化中把事情接着做完的系统。LOGIV 正在把后一个问题，变成可以构建、验证和评估的图工程。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
2026-11-12 09:30:00
最近刷抖音，很容易刷到这样一类视频：三五分钟，没有真人出镜，也没有实拍镜头，屏幕上都是不断生长、拆解、重组的文字和图形。比如一句家喻户晓的「床前明月光」被用来说明何谓「惊奇」，进而引出「信息论」概念；几个火柴人+几张简笔画，讲清了「为什么明明更努力，结果却更差了？」；一位吸了 96 年烟、活到 122 岁的老人的故事，被用来解读什么是「幸存者偏差」。这些视频用简约明晰的动画解释概念，再配上踩点精准的电子乐。看完既弄懂了一个知识点，又像是看完了一支 MV。
这类内容已有自己的名字：Vibe 知识。截至目前，抖音「#Vibe知识大赏」话题已有 18.6 万人参与、累计播放 43.8 亿次。在 B 站，10 月初才开始投稿的 UP 主「比特新语」半个月涨粉 65 万，10 月 19 日单日涨粉 10.8 万。
Vibe 知识为什么这么火？原因其实很简单。
过去，把抽象知识做成可视化动画需要专业技能，以知识动画团队 PaperClip 早年披露的数据为例，一条 5 分钟左右的视频需要 4 到 5 人花上 2 到 4 周。9 月下旬 Claude Opus 5.5 发布后，用自然语言让大模型写 HTML、JavaScript 代码来生成动画的玩法迅速扩散，知识创作者可以用提示词逐段生成画面、匹配音效，一个人就能从脚本做到成片。
不过，一个人能做≠做起来轻松。从模型写出一段动画代码到一条能直接发布的视频，中间仍有不少手工活。11 月 10 日，即梦上线了「动效工作室（Motion Studio）」，主打「用文字描述创意，通过代码编译视觉画面」，想要填补这段空白。它能不能做出一条像样的 Vibe 知识视频？我们第一时间上手，从 60 秒的物理概念一路试到 4 分钟的人文短片。
上手实测
Vibe 知识视频一句话直出
我们一共做了四组测试，难度逐级往上加：时长从 60 秒拉到 4 分钟，题材从物理概念、科幻设定一路换到 AI 前沿和汉字史；提示词也有长有短，从逐幕写满的分镜脚本到一句话提示词，我们都试了一遍。
第一组选的是一个典型的 Vibe 知识题材：熵增。我们写了一段不算短的提示词，把开场意象、中段比喻、点题公式和结尾金句都交代清楚，还特意要求避开 Vibe 知识最常见的「黑底发光」审美：
用 60 秒讲清楚什么是熵增。开场是一杯加了冰块的水，冰块慢慢融化，水分子从整齐排列变得四处乱跑；接着用一个从整洁变凌乱的房间，引出孤立系统总会自发走向混乱；然后打出公式 S = k·ln W 点题，W 后面的数字不断跳涨；最后一句旁白：「生命，就是一场对抗熵增的局部胜利。」画面用米白底色加橙蓝撞色几何图形，不要黑底发光线。配音用沉稳男声，配乐用轻电子。
点击生成后，动效工作室运行了约 8 分半钟，消耗 82 积分，交出了一条 60 秒的成片。
可以看到，即梦动效工作室首先会分析和理解用户意图，之后进行规划并调用相关技能，再分别生成配音及画面并将它们渲染到一起，最后还会进行核验，确保生成的视频符合要求。
整体来看，冰块融化和房间变乱两个比喻都表现得很到位，公式 S = k·ln W 渲染准确，配色符合要求，配音与画面切换也对得很齐。
从输入提示词到拿到成片，前后不到 10 分钟，画面、配音和配乐一次到位，中间既不需要打开浏览器录屏，也不需要另找音频素材。当然，这样一条 60 秒短片可能还是赶不上专业团队数周打磨的作品，但对于想快速验证一个选题、看看效果的个人创作者来说，这个门槛已经低到可以「想到就做」。
不仅如此，我们还可以直接借用预设的模板，复用已经过即梦官方检验的艺术风格。举个例子，我们这里选择了「发光粒子」风格，并直接复用了上面的提示词，得到了一个更具美感的熵增解说视频：
当然，我们还可以更进一步，对提示词和风格等进行进一步的细化，比如指定内容、增加「机器之心」标识、提供已有素材和旁白等。
进而得到更悦目吸睛的版本：
接下来，我们把时长拉到 3 分钟，题材换成阿西莫夫的「机器人定律」：从 1942 年短篇小说《转圈圈》里首次完整提出的三定律，讲到 1985 年《机器人与帝国》里补上的第零定律。
这一次，我们按照写分镜脚本的思路，把提示词写得非常细：全片分成五幕，每一幕精确到秒，画面元素、旁白原文、配色和音乐都有规定，连三条定律如何像积木一样叠成高塔、机器人在哪一幕绕着硒池原地打转，都显式写了出来。
动效工作室运行约 13 分钟后，我们拿到了第一个版本。
动效工作室的成果符合提示词，但问题也很明显。提示词把每一幕的时长和内容都锁死了，动效工作室能自由发挥的空间很小，基本只能照单执行。结果是这条 3 分钟的成片节奏偏松，几段解说之间留白较长，整体不够紧凑。
好在动效工作室也支持多轮对话。我们在同一个会话里追加了一句修改意见，动效工作室便对整支视频重新做了编排。
更有意思的是它理解这条意见的方式。可以看到，我们原本只要求加快节奏，但它判断，单纯压缩旁白之间的空档还不够，于是在原本留白的地方补上了有信息量的动作和镜头变化，让画面始终在配合讲述推进。这已经不只是在执行指令，更是在理解指令背后的意图。
这一轮也给了我们一个教训：对动效工作室来说，提示词并不是越细越好。把分镜写死，等于把导演的活儿全揽在自己身上；给出主题、要点和风格，把编排的余地留给它，效果反而可能更好。
于是接下来，我们干脆反过来，选了一个「像素冒险」风格模板，并给了一句话：
做一支时长两分半的知识讲解视频，解释什么是 RSI（递归自我改进，Recursive Self-Improvement）。
这句话里没有结构、没有要点、没有配色，只选择了一个预设的模板；RSI 也只给了一个名字和中文译名。选这个题目也是有意为之：递归自我改进是 AI 领域相对前沿、也相对抽象的概念，最能检验动效工作室「理解内容、组织表达」的能力，看它能不能自己把一个概念拆成普通观众听得懂的讲述。
结果可以说大超预期，动效工作室不仅很好地遵照了「像素冒险」模板的风格，也简明清晰地解释了 RSI 的基本概念与逻辑，还展示了 RSI 所面临的现实困难，给出了「分数不等于安全」的理性观点并重点强调了 RSI 的安全边界。
最后一组难度最高：一支 4 分钟的人文短片，以「马」字为线索讲汉字三千多年的演变。这次的提示词介于前两组之间，给出了讲述脉络和风格方向，但没有规定每一幕的时长和画面：
人文题材的考验和前几组不一样。讲熵增、讲 RSI，靠的是把概念讲清楚的能力；讲汉字演变，靠的是对具体知识的掌握，甲骨文、金文、小篆里的「马」各长什么样，错一笔都不行。
结果也印证了这一点。第一版成片中，「馬」字的写法出现了错误。
我们随后向它提供了一些参考素材，动效工作室据此完成了修正。
这个插曲恰好说明了代码驱动的一个特点。文字由代码直接排版渲染，不会出现生成式画面中常见的乱码和糊字；但字形本身写得对不对，仍然取决于模型掌握的知识。好在出错的部分可以被准确定位、单独修改，不必推倒重来。对于严肃的知识内容，创作者的把关依然不可替代。
四组测试下来，我们大致摸清了动效工作室的脾气：
提示词宜给方向，不必写死分镜；
多轮对话是它最实用的能力之一，一句修改意见就能换来整体重排；
涉及专业知识的细节，则需要创作者提供参考、亲自把关。
实测之外，还有两个问题值得追问：Vibe 知识这类视频，为什么天然适合用代码来做？动效工作室又是在补哪一块短板？
Vibe 知识
其实是「编排」出来的视频
仔细看这些视频，会发现它们基本都不是「拍」出来的。画面里的元素是文字、公式、图表和几何图形，它们放在哪里、什么时候出场、以什么节奏运动，本质上都是被设计和编排出来的。
这和视频生成模型擅长的并不一样。视频模型通过生成连续画面，追求的是逼真的光影、材质和自然运动，适合呈现拟真的场景。而知识讲解要的是另一种东西：公式里的符号不能错，流程图的箭头不能乱指，标题上的每个字都得清清楚楚，信息要按讲述的顺序一层层展开。这种对精确和秩序的要求，恰好是代码的长项。每个元素的位置、大小和出场时机都写在代码里，改起来也有迹可循。前面汉字测试中「馬」字的修正之所以能精准到位，靠的正是这一点。
但从「模型写出一段能跑的动画代码」到「一条能发到抖音的视频」，中间还隔着不少手工活。代码要在浏览器里运行，再录屏或导出；旁白要另外配，配乐要另外找，声音和画面的节奏还得手动对齐；改动一处细节，往往又要把整个流程走一遍。
另一个问题是同质化。大量 Vibe 知识视频采用相似的深色背景、发光线条、粒子特效和电子 BGM，彼此越来越难区分。工具降低了制作门槛，却没有顺带提供审美判断。我们在熵增测试里特意要求「不要黑底发光线」，也是出于这个考虑。
换句话说，这股风潮已经证明了需求，接下来需要的是一个把「理解内容、编排画面、配音配乐、导出成片」串在一起的产品，并且能提供更多样的视觉语言。动效工作室瞄准的正是这个位置。
动效工作室
用文字描述创意，用代码编译画面
动效工作室是继 10 月 26 日上线短剧工作室之后，即梦推出的又一个面向具体创作场景的专业工具。
按照即梦的定义，动效工作室向用户提供「用文字描述创意，通过代码编译视觉画面」的视频创作能力，并通过预设模板帮用户快速开启创作。它覆盖的场景比 Vibe 知识更宽，包括标题开场、动态金句这类文字动效，活动预告、促销海报这类活动宣传，卖点展示、品牌短片这类产品介绍，概念图解、流程说明这类知识讲解，以及转场特效、3D 渲染、代码风格等创意效果。
它与即梦已有的视频生成能力是什么关系？据介绍，动效工作室生成的视频以文字、图片和图形的精确编排为核心，强调鲜明的视觉风格、可控的动效与声画配合；Seedance 系列等视频模型则通过生成连续画面，呈现接近实拍的场景、光影、材质与自然运动，更侧重写实质感与影像表现力。
在我们看来，两者是同一个平台上的两条路线：一条往「像真的」走，一条往「讲清楚」走。视频生成解决的是影像表现力，动效工作室展现的则是信息表达力。
从一个想法到一条成片
动效工作室想解决的第一个问题是：很多人有话想说，但不知道怎么讲。
用户提供主题、文案或素材之后，系统会协助梳理内容结构、突出重点、安排讲述节奏，并生成配音。它的目标是先把信息组织成一段连贯的表达。对不少想尝试 Vibe 知识却卡在脚本阶段的创作者来说，这一步可能比画面本身更有用。
比如在前面的 RSI 概念讲解中，我们只给出了一个名词，系统自行决定以实验室记录为背景场景，搭建了「引入→概念→机制→现实→安全→总结」的讲解架构。
第二个问题是可控。动效工作室通过代码编排文字、图片和图形的布局、出场顺序与运动节奏，让画面配合内容展开。由于文字由代码直接排版渲染，而不是由模型逐像素「画」出来，标题、公式和数据标签不会糊成一团，这一点对中文内容尤其重要。不过汉字测试也提醒我们，字「写得清楚」和字「写得正确」是两回事，后者仍取决于模型的知识储备，以及创作者的把关。
第三个问题是风格。动效工作室提供了字符动画、复古像素、几何动画、创意拼贴等预设风格，视觉语言从几何抽象、ASCII 字符一直延伸到波普艺术和 Y2K，配乐也会呼应画面的情绪与节奏。
用户可以在模板基础上融入自己的元素，再通过多轮对话持续调整内容、风格和节奏，逐步打磨作品。这在一定程度上回应了前文提到的同质化问题：当可选的视觉语言足够多，「黑底发光线」就不再是唯一答案。
上手流程并不复杂。在电脑浏览器登录即梦首页，点击左侧的「动效工作室」；在「选择风格快速开启」里挑一张喜欢的风格卡片，点击「使用」，系统会自动填入一段示例提示词；接着修改主题、文案和配色，按需上传素材，设置画面比例和时长；确认估算积分后点击「生成」。成片不满意？你也可以直接在当前会话里描述修改要求再次生成，满意后点击视频上的「下载」即可。
自动填入的示例提示词是个贴心的设计，它让新用户不必面对一个空白输入框，而是可以从一个「能跑通」的样例开始改。
比如这里我们基于上面展示的「Y2K 动漫波普拼贴」风格模板用七张猫片创建了一个动效 MV：
即梦的工具箱
正在拓展场景
把动效工作室放回即梦的产品脉络里看，会更容易理解它的位置。
即梦从 AI 绘画和视频生成起步，陆续加入了智能画布、故事创作、数字人和动作模仿等能力。10 月 26 日上线的短剧工作室则把剧本整理、角色与场景管理、分镜生成、视频制作和后期调整整合进同一个项目，并提供自研剧本模型 DreamScript、图片模型 Anycook 和分镜模型 DreamShot。
短剧工作室和动效工作室放在一起，能看出一条清晰的产品思路：按具体创作场景，把模型、流程和专业工具打包成一间间「工作室」。
短剧工作室服务的是要讲完整故事的创作者，核心是让角色、场景和剧情在几十上百集里保持一致；动效工作室服务的是要把信息讲清楚、讲出设计感的创作者，核心是文字、图形与声音的精确配合。这两类内容的生产方式差异很大，一个平台同时把它们接住，意味着它覆盖的创作者光谱在明显变宽。
下面我们也让动效工作室为自己生成了一段介绍短片：
而这道光谱还在继续延伸。据即梦方面透露，近期即梦还将上线「营销工作室」，面向电商与品牌的营销内容生产。
据了解，营销工作室延续了「描述即创作」的思路：创作区可以添加「商品」和「角色」，可用一句话描述想要的营销视频，并可设置参考内容、风格、画幅和时长。该工作室还将预置一系列面向营销场景的快捷能力，包括视频复刻、商品替换、商品摄影、商品广告、图片多尺寸、视频改画幅、图片翻译和广告海报复刻，覆盖了从商品出图、广告成片，到多尺寸适配、多语种分发的常见环节。
总结起来，短剧工作室解决的是「讲好故事」，动效工作室解决的是「讲清信息」，营销工作室瞄准的则将是「卖出商品」。三间工作室，对应的是三类差异很大的创作需求。
结语
Vibe 知识的走红是一个很好的注脚，其本质上是一次供给的释放：知识类内容的需求一直都在，只是把抽象概念做成好看动画的成本过去太高。当工具把这个门槛压低，大量此前无法进入这条赛道的人涌了进来。
但 Vibe 知识只是其中一种。创作需求本身是多种多样的，比如有人要讲一个连载上百集的故事，有人要把一个概念讲清楚，有人要给一场活动做开场、为一款新品做卖点展示，还有人要在短时间内产出几十条不同尺寸、不同语言的广告素材。这些需求背后的生产方式各不相同，很难靠同一套流程全部满足。
即梦给出的答案是按场景拆开，一间工作室对应一类创作。短剧工作室负责把故事讲完整，动效工作室负责把信息讲清楚、讲出设计感，即将上线的营销工作室则面向商品与广告。模型能力是底座，工作室则把这些能力翻译成每一类创作者熟悉的流程和工具。工具供给越丰富，就有越多原本「想做却做不了」的内容被做出来。
好的工具，是把创作者从繁琐的执行中解放出来，让他们把精力留给真正重要的东西：想法本身。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
2026-11-12 09:30:00
Scaling up 是大模型的标志，也引领了近几年语言模型技术的飞跃。然而实际上，大语言模型架构，作为其最本质的计算基础，也在近年来持续发展。GQA、MLA、各式稀疏注意力模块的提出，或是 Mamba、Gated DeltaNet 之类的线性注意力网络，DeepSeek 的细粒度 MoE，还有多 token 预测和 Looped 架构等等，几乎每一版旗舰模型，都在先前架构的基础上提出了新的架构改进。持续学习、测试时训练等新需求也在推动架构继续演变，像 Ilya 创立的 SSI 正在研发能在推理时更新权重的模型。当前的语言模型架构不是终点，这几乎已是领域共识。
最近，「LSTM 之父」Jürgen Schmidhuber 领衔，来自香港大学、KAUST、华为、香港中文大学、北京大学等机构的研究者合作发布了面向大语言模型架构研究领域的深度技术综述。正文共 84 页，引用文献近 600 篇，时间跨越 1913 到 2026，追问下一代语言模型架构的发展方向。
论文标题：Towards Next-Generation Architectures of Large Language Models: A Survey
论文链接：https://www.preprints.org/manuscript/202610.1532
项目主页：https://surveyllmarch.github.io/
GitHub：https://github.com/SurveyLLMArch/LLMArchitectureSurvey
从 1913 年讲起
语言模型的演变经过了近百年的历史。1913 年，马尔可夫统计了普希金《叶甫盖尼・奥涅金》里元音和辅音的排列，第一次用数据说明语言里存在条件依赖。1948 年，香农把语言看作随机信源。后来，语音识别里的 n-gram 模型、循环网络（1990 年）、LSTM 模型（1991 年）被依次提出。到如今，Transformer 架构支撑起了当前整个大模型领域。
更长的时间跨度让我们可以看到架构技术的交叉演变。比如 1991 年 Schmidhuber 提出的 Fast Weight Programmers 里，有一种加性外积更新规则，其今天可以被称为 “无归一化线性 Transformer”。而 2020 年的核化线性注意力，数学上就等价于给它加上了归一化。此外，LSTM 的乘法门控被 GLU 搬进前馈网络，形成了今天常用的 SwiGLU 网络，而 LSTM 中那条保持误差流的加性通路，也和后来的 Residual Connections 有本质的联系。
模型架构详解
文章先按基础 Transformer 的不同组件，分别总结在其上的相关架构研究工作。囊括了以下方面：高效注意力机制与 KV 缓存管理、线性语言模型、混合专家（MoE）、激活函数、归一化与残差连接、位置编码和分词器。此外，文章还讨论了生成时的计算分配，讨论了多 token 预测、自适应与循环深度等主题。
综述分类树，括号内为章节编号
基础模块一章介绍了经典 Transformer 架构的各个组件。当前大语言模型，本质是同一代架构，因为其核心结构都是基于单解码 Transformer 网络（即 decoder-only Transformer）。Decoder-only Transformer 包括标准的 Pre-RMSNorm、SwiGLU 和 RoPE 等模块。每个 token 在前馈过程中需要经过全部的层，KV 缓存随生成线性增长，每次前向预测确定一个 token。
KV 压缩方法（节选自综述表 2），按作用机制分组、按首次公开年份排序。
高效注意力与 KV 缓存一章，把 KV 缓存拆成 “token”、“注意力头”、“头维度”、“层” 这四个维度来归类。稀疏注意力大多落在 token 维度，比如 StreamingLLM、H2O、SepLLM，以及 NSA、MoBA 这类可训练的块稀疏方法。而 MQA、GQA 在头上做共享，MLA 在特征维度做低秩压缩，MiniCache 等方法则跨层共享。作者也提醒，这些方法主要省的是显存和访存，真正能把平方计算量降下来的方法只占其中一部分。
代表性线性注意力模型的统一形式对比（综述表 4）
线性语言模型一章介绍了当前源于 RNN、Fast Weight Programmers、状态空间模型的不同线性语言模型。虽然有不同的技术起源，这些线性模型本质可以写为同一种形式。文章因此通过两种不同的统一形式，将现今主流的线性模型的核心线性算子进行总结对比。
MoE 一章沿三条交织的脉络梳理其演进：先介绍稀疏门控 FFN 及其大规模训练所需的负载均衡与稳定性技术，再介绍细粒度专家加共享专家的布局，最后介绍在通信和显存约束下重新设计专家的系统级变体。
激活函数一章从 ReLU 讲到如今主流的 GLU 家族（如 SwiGLU）。归一化一章梳理了从 Post-LN 到 Pre-LN、RMSNorm 的演变，并讨论梯度消失与表示坍缩之间的 “跷跷板效应”。位置编码一章覆盖绝对位置编码、RoPE 和 ALiBi 等相对位置编码，以及 YaRN 等上下文扩展方法，也讨论了不用显式位置编码（NoPE）的模型。分词一章比较了字符级、词级和子词级分词器的取舍，并分析词表大小。
最后两章转向生成时的计算分配。多 token 预测一章按未来 token 的建模方式，把方法分为彼此条件独立的并行预测头（如 Medusa）和保留因果链的串行预测器（如 DeepSeek-V3 的 MTP 模块），并单独讨论投机解码中草稿的验证与接受。自适应与循环深度一章覆盖早退、按 token 选择执行哪些层的条件深度（如 Mixture-of-Depths），以及反复调用同一组层的循环 Transformer（如 Huginn、Ouro）。
开源模型的组合
第 14 章全面整理了从 LLaMA、Qwen 到 DeepSeek、Kimi、GLM、MiniMax 等所有主流开源模型的配置表，并归纳四种常见架构设计组合：标准稠密模型、拥有压缩注意力机制的稀疏专家模型（例如 DeepSeek-V2/V3）、注意力层与线性层交错的混合架构（如 Jamba、Qwen3-Next、Kimi Linear），以及拥有多 token 预测能力的模型。
代表性 MoE 大模型的架构配置对比（节选自综述表 14）
开源模型规模与 Humanity's Last Exam 得分，模型标记面积随参数（MoE 模型看激活参数）的增大而增大
结论
从标准解码器（左）出发，综述把近年的架构变化归为四个方向
综述给出三点观察。一，标准 decoder-only Transformer 仍是几乎所有新设计的参照，新工作大多保留这一框架，只改动其中的部分模块或运行方式，可归为四个方向：（1）灵活与条件化处理：避免每个 token 都被同样处理，如 MoE、早退和循环深度算法；（2）精细化的变换动态：保持计算路径不变，改进激活函数、归一化和残差；（3）选择性与灵活的状态管理：用带有压缩、筛选、循环功能的注意力模块，改进或取代原本的 KV 缓存机制；（4）lookahead 机制与延迟提交：将预测与提交解耦，如多 token 预测和投机解码。二，这些改动并不独立，一个模型常改几处，改一处会牵动别处的成本和收益，因此须整体评估。三，负载均衡、算子实现、缓存支持等 infra 实现，和模型设计一样决定能否让新架构落地。
标准 decoder-only Transformer 的默认做法，以及近年架构在四个方向、十个维度上的改动
文章认为，下一代架构的特征，与其说是用某个单一模块取代注意力或稠密前馈网络，不如说是在 token、层和时间上，越来越自适应地分配计算、容量、状态和预测。其中，预测视野、循环深度和状态大小还缺少与 MoE 同等的 scaling law 研究，是待解难题。
此外，条件计算和循环计算在规模扩大后如何保持训练稳定，评测如何同时反映表达力、效率与稳定性之间的权衡，也都有待解决。解决这些问题，需要架构设计、优化方法与系统工程的持续配合。作者希望，这份综述能为此提供一张结构化的设计空间地图。
文章附带项目主页，以及 GitHub 开源项目，邀请社区共建。
作者介绍
本文共同第一作者为香港大学 Yao Teng、Guoxuan Chen，通讯作者为 KAUST 的 Yimeng Chen 与华为的 Han Shi。合作者来自港中文、北大、马普所等，Jürgen Schmidhuber 任职于 KAUST 与 IDSIA。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
2026-11-11 19:00:00
改变 RSI 的基本演化单位，从任务转变为能力，有望从针对具体任务的局部优化，走向跨任务、跨模态的持续演化。
近日，来自深圳的深圳无尽递归智能科技有限公司提出全模态全任务递归自我改进框架 The Trinity，以能力作为基本演化单位，通过 Creator、Explorer 和 Evolver 三个角色的协作，推动环境生成与 Harness 协同进化。
该框架首先将任务分类为 Task Tree，然后根据测试轨迹分析出每个任务所需的能力，依据能力将 Task Tree 转换为 Capability Tree，最后沿着 Capability Tree 进化得到 Harness Tree。
经过四轮 RSI，The Trinity 在 28 个训练基准和 18 个未见基准上的平均得分分别提升 34.1 分和 26.2 分，并初步展现了向真实机器人任务迁移的潜力。
这项工作为 Agent 从任务驱动的局部优化走向能力驱动的跨任务、跨模态持续演化，提供了一条新的探索路径。
在 ARC-AGI-3、buildarena、video mme v2、phyre、SOON、CaP-X 等 28 个跨模态、跨领域训练 Benchmark 上平均提升 34 分，在 18 个 Unseen Benchmark 上平均提升 26 分。
第一轮带来了最大的提升，但后续三轮仍然有收益，未见任务上的成绩也随迭代提高。
当然，不是每个 benchmark 都会持续上涨，部分任务很早达到平台，个别任务还出现了小幅回退。但整体来看，系统能够在固定的能力树上多轮积累改进，并将其迁移到训练之外的任务。
最后，我们把演化后的 Harness 用到了两个真实具身任务中。
一个是 SOON：Unitree G1 需要在办公室中找到风扇旁的目标桌子，并走到可以触及的位置；另一个是 CaP-X：AlohaMini2 需要检查倒扣的杯子，判断其中是否藏有方块，并报告它的颜色与位置。
这两个任务都需要智能体在行动过程中持续获取环境信息，并在证据充分后作出决定。我们将能力树对应节点的演化 Harness 用于这两个任务，并通过重建的模拟环境准备任务 Skill，随后在真实机器人上评估。
最终，SOON 的真实任务成功率从 0% 提升到 60%，CaP-X 也从 0% 提升到 60%。
给智能体一个任务，让它执行、获取反馈、调整策略，再重新执行——这是当前许多 Recursive Self-Improvement（RSI）工作的基本思路。围绕几个 benchmark 建立这样的反馈循环，通过分析失败轨迹，不断优化提示词、工具和执行流程，确实能够带来性能提升。
但当我们试图将这套方法扩展到多模态长程交互任务时，原本相对简单的反馈循环开始面临新的挑战。
1. 首先是环境的规模化构建。从 ARC-AGI-3、交互游戏，到 GUI 操作、机器人导航与操作，不同任务的观察形式、状态空间、动作规则和成功条件各不相同。要让智能体持续接触更多样化的任务，就需要不断构建并验证新的交互环境。依赖人工逐一完成这些工作，成本显然难以随着任务数量持续扩展。
2. Harness 的迭代也面临类似的问题。智能体的表现不仅取决于模型本身，也越来越受到提示词、工具配置和执行流程的影响。随着任务变得更加复杂和多样，人工设计和优化 Harness 的速度，很难跟上任务需求的变化。
一个自然的想法是：既然人工构建环境和优化 Harness 都存在瓶颈，能否将这两个过程也交给智能体自动完成？
我们提出了环境与智能体协同进化的方案，这确实能够缓解规模化的问题，但也带来了更深一层的思考。
假设一个系统已经能够自动生成一百个任务，并为每个任务演化出更好的 Harness。最终，它可能获得了一百套经过优化的解决方案。然而，这一百次改进究竟是在共同推动系统进步，还是仅仅完成了一百次相互独立的局部优化？
这里存在两个相互关联的问题。
1. 经验的组织方式。如果经验始终围绕单个任务积累，优化结果容易局限于特定环境，难以迁移到其他任务；但如果将所有经验都整合进同一个 Harness，不同任务之间的需求又可能相互干扰，反而限制性能。
2. 改进的演化方式。即使每一轮都能够产生更好的策略，系统仍然需要一种机制，让已有改进能够被保留，在后续任务中被继承和复用，并随着不同能力需求逐渐调整、分化，而不是每次都从头开始优化。
由此可见，任务数量的增长，并不意味着改进能够持续积累；局部性能的提升，也不必然带来跨任务的能力增长。
真正值得思考的是：能否找到一种超越具体任务的组织方式，让不同任务中获得的经验相互关联，使一次改进能够成为后续改进的基础，并在持续迭代中不断演化？
这也是我们重新思考 RSI 驱动力的出发点。
我们更愿意把多模态智能的发展理解为一种由人类引导的 Agent 与 World 的协同进化。
World 提供任务与反馈，Agent 通过交互学习如何解决问题。过去，这个循环大部分由人完成：人选择任务、构建环境，再根据失败轨迹修改智能体。
如果希望让这个过程持续进行，至少需要两个机制。
通过智能体与环境的协同进化，让环境根据智能体的表现生成和调整训练挑战，让智能体利用环境反馈持续优化 Harness。两者相互驱动，减少对人工构建环境和迭代 Harness 的依赖，使规模化的递归改进成为可能。
任务在模态、形式和目标上可能截然不同，却可能依赖相同的底层能力。例如，ARC-AGI-3 与 Micromouse 虽然任务形式不同，却都依赖准确的感知与状态追踪。
这意味着，一个任务可能需要多种能力，而同一种能力也可能服务于多个不同任务。如果能够围绕这些共同需求组织经验，原本分散的任务反馈就有机会成为可共享、可迁移的学习信号。
如果能够从不同任务中找到共同的能力需求，就不必再把每个任务当成完全独立的学习目标。我们可以围绕这些共性积累经验，再根据不同任务的需求进行组合和特化。
这也是 Capability-driven RSI 的核心出发点。
基于前面的观察，我们提出了 The Trinity，将环境生成与 Harness 演化放进同一个 RSI 框架。
系统中一个模型包含三个角色：Creator 负责构建世界，Explorer 负责探索世界，Evolver 负责分析反馈并指导两者的改进。三个角色使用固定的基础模型，改进主要发生在 Harness 层面。
但这里最重要的变化，并不是简单地把三个角色组合起来，而是将系统的学习单位从 Task 转向 Capability。
首先，我们收集不同类型的多模态任务，构建 Task Tree，并让初始 Harness 在这些任务上执行，得到可验证的交互轨迹。
Evolver 根据任务定义和实际执行轨迹，分析任务需要哪些能力，以及失败发生在哪些决策环节。
随后，我们不再按照原有任务类别组织这些经验，而是根据共享的能力需求，重新构建一棵 Capability Tree。
同一种能力可以被不同任务共享，而一个任务也可以同时需要多种能力。因此，树上的路径代表的是能力需求的组合，而不是任务类别的从属关系。
这一步的意义在于：原本分散在不同 benchmark 中的经验，现在有了共同的组织依据。
有了 Capability Tree，环境应该怎么生成？
传统的 Real2Sim2Real 往往需要针对特定真实任务构建对应的模拟环境。但如果我们的目标不是复刻任务，而是学习任务背后的共同能力，环境设计就有了另一种可能。
对于 Capability Tree 上的一个节点，Creator 会提取相关任务共同依赖的决策机制，生成更简洁、可验证的模拟世界。
例如，几个任务都需要在行动前验证证据是否充分，那么训练环境就可以围绕这一决策过程设计，而不必完整复制原始任务的所有视觉细节、场景结构和动作规则。
Explorer 在这些模拟环境中学习，而原始 benchmark 用于检验学到的能力能否迁移回去。
这里的关键不是让模拟环境越复杂越好，而是尽可能保留需要学习的决策机制，同时减少与它无关的复杂因素，得到更干净的进化信号。
Harness 可以拆分为 Perception、Memory、Inference、Planning、Orchestration 和 Loop 等不同协议模块。不同能力的提升，可能需要不同模块的配合。
在 The Trinity 中，Explorer 沿着 Capability Tree 逐节点演化 Harness。每个节点既可以选择性继承父节点已经学到的模块，也可以根据本节点的失败轨迹修改或增加模块。因此，当任务需要更多能力时，系统不必重新从零构建一套 Harness，而是可以在已有配置的基础上继续改进。
不同分支也不必强行合并成一个全局最优解。它们可以共享已有模块，同时保留各自针对特定能力需求的修改。
经过多轮迭代，这些模块逐渐形成一棵 Harness Tree。Creator 也会根据环境验证失败持续改进自己的 Harness，并在每轮结束时整合已验证的模块更新，用于下一轮环境构建。
Harness Tree 也带来一个很自然的问题：既然不同分支已经产生了不同的专业化配置，遇到新任务时，应该用哪一个？
我们进一步引入 Capability-Aware Harness Router。Router 根据任务的公开信息、候选 Harness 的能力描述，以及过去经过验证的执行经验，选择更适合当前任务的 Harness。它不需要提前知道任务的真实能力标签，也不需要把所有模块都装进同一个 Harness。
到这里，整个方法的逻辑才完整：任务提供能力需求，Creator 围绕这些需求生成训练环境，Explorer 根据反馈演化模块，Harness Tree 保留已有改进，Router 则负责把合适的配置用到新的任务上。
我们比较了不同的经验组织方式，以及 Capability-Driven Real2Sim2Real 带来的收益。
其中虽然 Sim 首轮构建成本更高，但环境可以在后续迭代中复用，推理成本也更低。这说明，相比单纯围绕任务优化，按能力组织经验，并针对共同能力生成训练环境，能够带来更好的跨任务迁移，证明了 less is more。
Harness Tree 允许不同分支各自优化，但如果使用时选错配置，这种专业化就失去了意义。因此，我们进一步比较了不同的 Harness 选择方式。这也解释了为什么我们不希望最终只得到一个越来越庞大的统一 Harness：不同任务可以依赖不同的模块组合，而选择本身也可以成为智能体需要学习的一部分。
我们首先分析了第四轮 RSI 后 29 个 Module 与六类 Capability 的关系，发现不同能力确实对应不同的模块偏好，Capability 不仅能用于组织任务，还能为 Harness 的模块选择与组合提供依据。
前面的实验验证了 Capability-driven RSI 的有效性，但还有一个值得进一步探索的问题：Capability Tree 本身应该如何构建？
目前，The Trinity 根据训练任务的能力需求构建 Capability Tree，并在固定拓扑下进行 Harness 演化。这样的设计能够让我们更清楚地观察能力共享、选择性继承和局部优化带来的收益，但也存在一定局限：树的结构一旦确定，就不会随着后续学习动态调整。不同的能力划分、节点组合和继承关系，是否会影响最终的改进效果，仍然值得研究。
为此，团队进一步开源了一个支持自定义 Capability Tree 的探索性实验，允许研究者自定义能力节点、调整树的层级与分支结构，并为不同节点设计对应的仿真训练环境，从而在不同的能力组织方式下开展 RSI 实验。
这使我们能够进一步探索一些有趣的问题：哪些能力适合共享，哪些应该独立演化？不同的树结构会如何影响 Harness 的继承与特化？当任务类型不断扩展时，能力树应该保持稳定，还是允许节点不断分化、合并与重组？
这些问题目前还没有确定的答案，但自定义实验为探索它们提供了一个起点。
如果说当前的 The Trinity 验证了沿能力树进行递归改进的可行性，那么下一步值得探索的，就是让能力树本身也成为可以优化和演化的对象。
从固定能力结构上的持续改进，走向能力结构与 Harness 的共同演化，也可能是 Capability-driven RSI 进一步发展的方向。
回到最开始的问题。如果 RSI 始终围绕独立任务展开，系统就容易局限于各自的局部目标。增加任务数量，或许能够积累更多解决方案，却不意味着这些经验能够相互关联，更不意味着它们会自然沉淀为可复用的能力。
扩大演化范围、优化版本选择与种子任务集，或是让决策 Agent 本身也参与演化，都在尝试提升 RSI 的搜索与更新效率。
但即使系统拥有足够强的改进能力，能够记录并保留所有历史经验，一个更根本的问题依然存在：哪些经验值得共享？哪些改进需要独立保留？不同任务的演化又该如何相互关联？
Capability-driven RSI 尝试从另一个角度回答这些问题：不再仅以任务本身作为优化单位，而是让任务背后的共同能力需求成为驱动改进的依据。
The Trinity 沿着这一思路，将环境构建、经验积累与 Harness 演化组织在共同的能力结构之下。一方面，通过共享能力需求连接不同任务，让经验能够跨任务复用；另一方面，通过分支化的 Harness 演化保留不同能力的优化方向，使已有改进能够被继承、调整与组合。
这种组织方式不仅有助于缓解任务级优化带来的过拟合与 reward hacking 风险，也让局部的性能提升有机会逐渐转化为更具泛化性的能力积累。
作者介绍：
该工作的项目负责人为西安电子科技大学本科生汤维栋，主要研究方向为多模态大模型、递归自我进化、具身智能；同济大学本科生王瑞恒、新加坡国立大学硕士生张景轩以及 InfRec 首席执行官王和新为主要贡献者。通讯作者是新加坡国立大学博士生周鹏飞、香港中文大学博士生张昊天、新加坡国立大学校长青年教授尤洋老师。
论文标题： The Trinity: Capability-Driven Recursive Self-Improvement for Multimodal Agents
代码链接：https://github.com/InfRec-Cardinal/The-Trinity
论文链接：https://arxiv.org/abs/2610.36077
项目主页：https://trinity-rsi.github.io/
Hugging Face Daily Paper No.1：https://huggingface.co/papers/2610.36077
作者： Weidong Tang, Ruiheng Wang, Jingxuan Zhang, Hexin Wang, Haoyuan Chen, Zhengfeiyang Zhang, Yixing Ma, Zichen Jiang, Ziyu Guo, Haodong Li, Zhengbo Jiao, Zhiqing Cui, Xinxiang Yin, Shuo Liang, Zhenglin Wan, Hongzhan Lin, Wangbo Zhao, Kaipeng Zhang, Pengfei Zhou, Odin Zhang, Yang You
单位： InfRec, XDU, TJU, NUS, UC Berkeley, CUHK, HKUST, HKU, SII。
作者联系：[email protected]
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
