每日论文

结构-性质关系是生物学、化学和材料科学的基础，其中功能、反应性和物理响应源于空间、化学和周期性的组织。要从机理上解释这些关系，需要借助科学原理和物理约束来解读结构证据，包括立体化学、成键、对称性、能量学和周期序。然而，将人工智能应用于这一过程带来了表征与推理的双重挑战：模型必须在保留领域原生结构信息的同时，展示特定证据如何在上述约束下支持预测。在此，我们提出SciReasoner，一个面向蛋白质、小分子和无机晶体的原生结构推理多模态科学基础模型。SciReasoner将坐标、拓扑结构和周期连接离散化为统一的结构感知词汇，在推理过程中将结构词元视为可寻址的证据单元。在同源性控制的基因本体预测中，SciReasoner对低同源性和类孤儿蛋白的细胞组分标注有所改进，将F_{max}从0.42提升至0.55。在化学领域，它将单步逆合成准确率从0.63提高到0.72，同时生成了碎片级断键和前体验证轨迹。在材料科学领域，其表征能够区分元素相与化合物相，并分辨高带隙和低带隙区间。在86个基准测试中，SciReasoner在67项任务上达到了最先进水平。双盲专家评估显示，在98%的案例中，其推理轨迹被认为优于或至少与前沿大语言模型相当。通过将结构作为在科学约束下可检查的推理基底，SciReasoner将准确预测与可解释的科学推理联系起来。

主流视觉-语言-动作（VLA）模型在马尔可夫假设下主要依据当前观测预测动作，从而难以处理依赖时间的长时域任务。现有记忆增强型VLA模型或扩展观测窗口，或从记忆库中检索历史信息作为辅助策略端上下文，但这些方法将记忆置于VLA推理的原生潜在嵌入空间之外，导致历史经验无法与多模态推理及动作生成流畅交互。为此，我们提出LaMem-VLA——一种原生嵌入潜在记忆的框架，它将历史经验重构为潜在记忆标记，并直接将其与VLA推理交织融合。LaMem-VLA的核心包含四个协同组件：（i）策展器，将历史经验组织为互补的短期与长期记忆库；（ii）查询器，利用多模态认知从两个记忆库中检索与上下文相关的证据；（iii）压缩器，将检索到的证据重构为紧凑的短期和长期潜在记忆标记；（iv）编织器，将这些记忆标记与当前观测及指令共同注入连续的嵌入序列。通过在统一连续潜在空间中表示、检索和利用历史经验，LaMem-VLA使记忆能直接参与VLA推理，并在有限上下文约束下引导动作生成。在SimplerEnv和LIBERO上的大量实验证明了LaMem-VLA的优越性。

尽管机器人控制领域近期取得了进展，但视频生成模型因主要聚焦于内容创作而面临领域不匹配的问题。例如，其设计本质上优先考虑视觉保真度和创造性，而非计算效率与物理真实性。在本研究中，我们提出LingBot-Video——一种专为具身智能设计的基于DiT（扩散Transformer）的视频预训练范式。从架构角度，我们采用混合专家模型（MoE）而非密集框架，以更好平衡建模能力与推理效率，并成功实现从零开始的规模化扩展。从数据角度，我们构建了数据剖析引擎，通过整合大量机器人导向的素材（涵盖操作、导航及第一人称视角）来增强标准互联网视频，从而赋予基础模型对动作与世界动态的内在理解。从训练角度，我们开发了多维度奖励系统，在美学标准、指令遵循和运动一致性等常规准则之外，进一步强化对物理合理性及任务完成度的对齐。全面的评估验证了其作为视频基础模型的性能与效率。我们贡献LingBot-Video作为社区首个大规模开源MoE视频基础模型，旨在开创性地弥合数字创造力与物理执行之间的鸿沟。

我们提出了LingBot-World 2.0（亦称LingBot-World-Infinity），这是LingBot-World的高级迭代版本，包含四项显著升级。（1）我们的模型实现了无界交互时长，同时保持一致的输出质量，这得益于精心设计的因果预训练范式。（2）通过从基础模型中蒸馏出实时变体，我们的系统确保了快速响应时间，足以驱动60帧/秒的720p视频流。（3）与先前版本相比，本次更新引入了高度多样化的交互元素，包含更广泛的动作类型（例如攻击、射箭、施法和射击）以及更丰富的文本驱动事件。（4）我们开创性地将智能体驾驭整合到世界建模领域，其中飞行员智能体负责规划和执行角色行为，而导演智能体则负责在场景推进过程中合成新颖的环境元素。此外，为促进共享体验，我们开发了一个界面，允许多位玩家同时沉浸在这个生动的世界模拟器中。我们将主要的14B模型与轻量级1.3B模型配对，支持在单个GPU上轻松部署。

通用机器人操作策略发展迅速，但现有基准在系统评估其能力方面仍存在局限。许多基准依赖简单、短时域或技能范围狭窄的任务，能力覆盖有限，且通常仅在仿真或仅在实际环境中进行。仿真可实现可扩展的反馈，但忽略了物理部署挑战，而实际环境评估成本高、耗时长且难以复现。我们提出RoboDojo，一个统一的仿真与实物基准，用于全面评估通用机器人操作策略。RoboDojo包含42个仿真任务和18个实物任务，涵盖多样且互补的操作能力。仿真基准从五个维度进行评估：泛化能力、记忆能力、精度、长时域执行能力和开放词汇指令遵循能力，而实物基准则将策略置于具有挑战性的物理世界部署条件下。RoboDojo通过Isaac Sim中的异构并行仿真支持可扩展评估，并提供了RoboDojo-RealEval，一个可复现的实物评估系统，具备远程云访问、标准化硬件、场景重置、评估协议和部署接口。结合XPolicyLab，策略可一次性集成，并在仿真与实物环境中进行最小化适配的评估。我们将30个策略集成到XPolicyLab中，并在RoboDojo上对其进行评估，建立了公开排行榜和当前策略性能的系统分析。网站地址：http://robodojo-benchmark.com/。

强化学习（RL）在大型语言模型（LLM）的后训练阶段正变得日益重要。以往的LLM强化学习流程多为同步且批次交错的模式，这在面向长期智能体任务时效率低下。近期，异步强化学习作为一种更高效的替代方案崭露头角，它通过随着轨迹样本到达而实时更新模型。然而，现有异步强化学习系统往往侧重吞吐量，而对训练稳定性及任务有效性的探索相对不足。例如，一个关键挑战在于广泛使用的GRPO框架中的分组采样机制天然不适用于异步智能体训练。本文提出单轨迹异步优化（SAO）方法，以应对异步强化学习中的稳定性和离策略挑战。为减少离策略效应并提升泛化能力，我们用单轨迹采样替代分组采样，即每个提示仅对应一次轨迹采样。我们进一步通过实用的价值模型训练设计改进这一单轨迹策略。为提升优化稳定性，我们引入严格的双侧令牌级裁剪策略。SAO能够稳定训练上千步，并在智能体编程与推理基准测试（如SWE-Bench Verified、BeyondAIME和IMOAnswerBench）上持续优于GRPO及其变体。我们还证明，在模拟在线学习场景中（模型需适应动态变化的环境），单轨迹强化学习尤为有效。基于此，SAO已成功部署于开源GLM-5.2模型（750B-A40B）的智能体强化学习训练流程中。

具身智能体通常被构建为感知、记忆、规划与行动模块的手工设计组合。这种模块化设计暴露了庞大的架构设计空间，但当前系统仍依赖研究者的直觉来选择信息存储位置、观测处理方式以及模型调用的连接方式。智能体架构搜索（AAS）实现了文本领域智能体的此类自动化设计，但尚未通过模拟器推演在感知型具身智能体上进行系统评估。本研究将探讨这一迁移问题。我们提出AgentCanvas——一种类型图运行时环境，将具身执行器封装为可编辑的节点-连线程序，具备模拟器感知执行能力与回合级日志记录功能；同时提出KDLoop——一种编码智能体搜索流程，通过提案、批评、实验与蒸馏的循环迭代，并在搜索停滞时触发反思机制。我们评估了三种AAS变体在四种具身执行器上的表现，涵盖视觉语言导航、具身问答及语言条件操控任务。得到的3×4矩阵显示：架构级搜索能够为具身任务带来可部署的方向性成功率提升，同时一个表面高分候选方案因存在信息泄露而被否决。然而，实验也暴露了文本领域AAS中被掩盖的约束：优化信号可能被推演噪声掩盖，搜索可能陷入局部编辑盆地，且即便获得详细日志，回合级信用分配也只能部分实现。这些结果刻画了面向具身智能体的自动化架构搜索的前景与当前局限。

线性注意力模型允许固定状态大小和每token固定计算量。然而，由于状态大小的限制，线性注意力模型在长上下文召回方面落后于基于softmax注意力的Transformer架构。增加线性注意力的状态大小可提升召回性能，但代价是更高的计算量。本文提出稀疏增量记忆（SDM）架构，该架构利用稀疏寻址方案，将门控线性循环神经网络的隐状态扩展至数个数量级更高的容量。SDM通过用对大显存进行稀疏读写操作替代密集的键值外积，扩展了门控DeltaNet架构。我们证明，在等计算量（isoFLOP）约束和相同参数数量的条件下，更高的状态记忆容量能显著提升上下文学习和长上下文检索任务的性能。此外，通过学习SDM记忆的初始状态并将其用作参数化记忆，模型在广泛常识与推理任务上表现进一步提升。

我们推出AgentLens——一个面向生产环境评估的交互式代码智能体基准测试。大多数代码智能体基准测试将一次运行简化为单一指标——任务是否通过？——但实际上，使用这些智能体的用户会经历完整轨迹：智能体如何遵循指令、使用工具、验证自身工作、从错误中恢复，以及在此过程中与用户的交互方式。AgentLens评估的就是这个完整轨迹。它结合了形式化验证（存在客观校验）与LLM撰写的轨迹审查及并排对比，使每次运行都能生成对评分依据的可读性解释。这使得AgentLens的用途不仅限于模型排名：我们用它来诊断模型行为、对比自家智能体的连续版本，并通过夜间评估管线捕捉产品性能退化。我们已将该基准测试开源，地址为https://github.com/agent-lens/agent-lens-bench。

人类能够在陌生城市中穿行，并逐步形成覆盖数十平方公里范围的连贯空间心智地图。人工智能能否构建同等规模的空间表征？尽管近期的基础模型在场景重建与具身智能领域取得了进展，但扩展到整个城市规模仍是一个尚未解决的挑战，主要障碍在于缺乏城市级数据。为弥合这一差距，我们提出WildCity——一个由自动驾驶车队在复杂城市环境中采集的真实世界多模态数据集。该数据集包含18条轨迹，平均每条长度达83.7公里，并保留了野外感知的核心挑战，例如动态物体、光照变化以及不完美的相机位姿。我们进一步构建了面向城市场景的重建基准，并将重建环境转化为闭环仿真器。除数据集与基准外，我们系统分析了迈向可仿真城市数字孪生过程中的关键挑战：可扩展性、外推能力与不确定性。最终，WildCity旨在不仅推动城市级渲染的进步，更广泛地促进AI在感知、记忆与空间推理方面达到与人类认知相媲美的规模。项目主页：https://han-xiangyu.github.io/Wild-City/

从人类视频、遥操作和机器人演示中学习到的视觉策略提供了可扩展的运动先验，但在接触密集型操作中往往失效，因为此类任务的成功高度依赖于局部力和接触几何。触觉传感提供了这些互补信号，然而触觉数据的采集成本高昂，且难以在不同传感器、机器人和任务间泛化。我们提出OmniTacTune——一种与策略无关的真实世界强化学习流水线，通过残差校正将触觉反馈适配到预训练的视觉策略中。OmniTacTune采用两阶段设计：首先从基策略的自主推演中引导出触觉感知学习，随后通过在线交互学习一个轻量级的触觉残差策略。大量实验表明，OmniTacTune在多种接触密集型任务、视觉基策略和触觉表示中均表现出泛化能力。在四项真实世界接触密集型任务中，它能在40-80分钟内将视觉基策略的成功率从5%-40%提升至85%-100%，展示了将触觉反馈高效融入可扩展视觉机器人策略的路径。项目页面：https://colinyu1.github.io/omnitactune-site/

大型语言模型（LLMs）为自动化代码编写开辟了新的可能性，成为大多数代码补全工具的支柱。尽管LLMs在主流语言中表现出色，但它们往往缺乏对所谓低资源语言的支持——这些语言的训练数据稀缺。因此，这些语言在代码补全工具的质量上落后于其社区所能获得的水平。一个具体例子是Pharo，它是一种受Smalltalk启发的语言，其集成开发环境（IDE）目前仅提供单标记补全。在本研究中，我们汇报了将基于LLM的代码补全引入Pharo的经验。首先，我们描述了一个端到端流水线，该流水线结合了Pharo特有的数据整理、对开源代码LLMs的持续预训练和微调。其次，我们介绍了一套Pharo代码补全基准测试，旨在评估模型是否（i）学习Pharo的语法，以及（ii）准确补全来自真实GitHub仓库的掩码Pharo代码。第三，我们通过实验证明，专用于Pharo的模型在性能上大幅超越其原始基础检查点，并且在Pharo补全任务上也超过了规模更大的代码LLMs的准确性。总体而言，我们的案例研究证明了将强大的基于LLM的代码补全引入低资源编程语言的可行性，这些模型的规模足够小，可在IDE中提供“实时”支持。

预训练视频生成模型为视觉运动控制提供了有前景的基础框架，但其生成的未来状态常偏离任务意图，且无法可靠地实现动作条件化。因此，这类模型难以用于规划或策略提取。为解决这些局限，我们提出RoboTALES——一种单阶段框架，通过学习任务对齐的模拟未来状态训练机器人策略。该方法包含两项关键创新：(1) 基于层级LLM的规划器，将复杂任务分解为子目标序列以引导模型想象；(2) 基于VLM的评判器，通过评估这些"想象"的未来状态并利用奖励反馈，使模型内部表征始终聚焦于目标。通过将视频生成器锚定于抽象推理，我们实现了时间一致的推演与更连贯的动作。在RoboCasa和LIBERO10的多样化操作任务上评估显示，我们的方法始终优于现有方法，尤其在长时域任务中表现突出。代码与模型已开源：https://github.com/hananshafi/RoboTALES。

逐像素地球观测（EO）基础模型如今通过生成的空间嵌入实现了最先进的性能。然而，这些模型如何扩展以及如何最优地分配预训练预算仍未被充分理解。我们展示了迄今为止最大规模的地球观测受控扩展研究：在固定的逐像素Barlow Twins族内，于1024个GH200超级芯片上进行了395次训练，每次训练均在15个下游任务上进行了评估。我们发现预训练损失几乎无法预测下游性能（|皮尔逊相关系数| < 0.2），因此根据损失选择模型会浪费大量计算资源。我们还发现，随着训练预算增加，编码器和数据应同步增长，而投影器保持不变，这提供了一个简单的计算分配规则。利用这一规则，我们训练了一系列逐像素模型（0.5B和1B，另有2B模型正在训练中），并将其蒸馏为紧凑的学生模型，用于嵌入即数据部署。2100万参数的蒸馏版TESSERA v2-1B-M在整体性能上超越了所有经测试的开源和专有模型，其中部分模型的规模高出数个数量级。这些学生模型生成的服务成本低廉的Matryoshka表示：一个16维前缀在仅使用1/8存储的情况下保留了完整128维性能的92%。训练完成后，我们计划发布覆盖2017-2025年的v2全球嵌入。综合来看，这些结果为扩展逐像素地球观测基础模型提供了基于经验的具体方案：训练大型编码器，根据下游性能进行选择，并蒸馏为灵活的学生模型。所有代码将在 https://github.com/ucam-eo/tessera 发布。

准确的乳腺癌钼靶分类需要有效整合头尾位（CC）和内外斜位（MLO）的互补信息，这两类视图能更全面地表征乳腺异常。然而，现有的多视角学习方法通常依赖特征级聚合或单阶段交叉注意力，这可能混淆视角特定表征与共享表征，并将交互限制在有限的网络深度内。为解决这些局限，我们提出了一种以令牌为中心的双视角学习框架，该框架在冻结的视觉Transformer骨干中统一了基于提示的适应与跨视角融合。该框架将视角间交互重构为结构化的令牌级通信，其中专用融合令牌通过交叉注意力显式编码CC与MLO视图之间的双向信息交换，作为跨视角依赖关系的中间载体，而非依赖直接的特征融合。与在单层进行融合的传统方法不同，融合模块被插入多个Transformer深度，从而在编码器层级间实现渐进且重复的交互。融合令牌被重新整合到令牌序列中，并通过后续Transformer层进行精炼，在保留视角特定结构的同时促进互补信息的分层传播。在VinDr-Mammo和CMMD数据集上的实验表明，该框架相较于线性探测、仅提示适应以及传统融合基线均取得一致改进。在VinDr-Mammo的BI-RADS分类任务中，该框架实现了50.40%的F1分数和0.8090的AUC，其中在二分类设置下比双视角融合基线提升了0.10 AUC。消融研究进一步验证了基于令牌的融合与多深度交互设计的有效性。

触觉提供了感知内在物理属性（如摩擦力和顺应性）所需的物理基础，而这些属性仅凭视觉往往难以分辨。然而，近期为多模态大语言模型（MLLMs）配备这种触觉感知能力的尝试暴露了一个零和权衡：紧凑模型有限的参数预算迫使其在获取新感觉模态与保留既有视觉-语言推理能力之间做出选择。我们提出Splash，一种面向MLLMs的掩码隔离触觉对齐学习框架。Splash量化每个预训练参数的重要性，并将参数空间划分为休眠子空间与关键子空间。在冻结的关键子空间作为稳定锚点以保护通用视觉知识的同时，Splash更新隔离的休眠子空间，将触觉对齐内化至大语言模型。这种选择性的、非破坏性扩展有效防止了灾难性遗忘，并确保了非破坏性的模态扩展。大量实验表明，Splash能够在无需增加大语言模型部分推理开销的情况下有效实现触觉推理，在SSVTP、TVL和TacQuad等视觉-触觉基准测试中展现了最先进的性能，同时保持其原有的通用能力。

世界模型中的长时域失败通常被归因于误差累积，这是一种笼统的框架，无法区分具体哪种误差在累积。我们提出一种基于运动学与动力学相对关系的重述：世界模型倾向于基于运动学而非动力学进行想象。我们将此操作化为想象的“运动学一致性误差”（iKCE），这是一种逐时间步的诊断指标，用于衡量推演结果偏离封闭形式的运动学零假设的程度，并辅以扰动协议，检验物理条件跨越临界区域时iKCE是否响应。我们在已公开的、在DMC walker-walk任务上训练的DreamerV3检查点上实例化了该诊断。结果显示，模型生成的iKCE比匹配的真实物理推演的iKCE高出约两个数量级。在跨越步态崩溃边界的摩擦系数扫描实验中，即使训练策略的奖励在同一区间内崩塌，模型iKCE在统计上保持平稳，呈现出运动学而非动力学的特征。该诊断能够区分运动学与动力学想象，其有效时域超过具体系统的步态周期。