每日论文

我们提出Orca，这是一个通用世界基础模型的初步实例化。Orca从多模态世界信号中学习统一的世界潜在空间，并通过多模态读出接口将其呈现。该方法并非专注于孤立的下一词元、下一帧或下一动作预测，而是以“下一状态预测”建模为核心，提供一条统一的状态转换建模路径，以理解、预测并作用于世界。Orca通过两种互补范式进行学习：无意识学习从连续视频中捕捉密集的自然状态转换，而有意识学习则通过语言描述的事件和VQA监督来建模稀疏的有意义状态转换。在预训练阶段，我们构建了大规模的世界学习清单数据，包括125K小时的视频数据和1.6亿条事件注释。预训练后，Orca学习到统一的世界潜在空间。为检验学习到的潜在空间是否支持下游任务，我们通过三种代表性下游读出任务进行评估：文本生成、图像预测和具身动作生成。Orca的主干网络被冻结，仅轻量级的模态特定解码器可训练。实验表明，所提出的范式具有可扩展性，并验证了更强的世界潜在空间能够带来更强的下游读出性能。Orca优于类似规模的专业基线模型。这些结果表明，作为通用世界基础模型，Orca为理解、预测和作用于世界提供了一种有前景的方法。最后，我们讨论了当前的局限性，旨在为社区提供有益的见解和启发。

程序验证器在训练代码智能体（coding agents）中扮演核心角色，包括为监督微调（SFT）筛选轨迹、为强化学习（RL）提供奖励。标准基于执行的验证需要运行单元测试（位于每个仓库环境内，如Docker镜像），这会产生高昂的环境搭建成本。我们提出Dockerless——一种无环境的智能体式补丁验证器，无需执行代码即可评估生成的代码补丁。Dockerless并非简单地将候选补丁与参考方案匹配，而是通过智能仓库探索收集证据来判断补丁正确性。在验证器评估基准上，Dockerless比最强的开源验证器高出14.3个AUC点。将Dockerless同时用作SFT轨迹筛选器和RL奖励，可实现完全无环境的训练后流程。由此得到的模型在SWE-bench Verified、Multilingual和Pro上分别达到62.0%、50.0%和35.2%的解决率，相比Qwen3.5-9B基线分别提升2.4、8.7和2.9个百分点，与基于环境的训练后流程性能相当。

在策略蒸馏（OPD）通过密集的token级信号监督学生采样轨迹，实现了更优的能力迁移。为了提供高质量的监督源并进一步提升蒸馏的性能边界，一个直观的方向是向教师或学生自身注入特权信息。然而，这种额外输入会引发一种潜在的失败模式，我们称之为“特权幻觉”：这种模式混淆了学生应该弥合的可迁移能力差距与只能模仿而无法复制的信息不对称差距。这一问题又被token级监督固有的非均匀性进一步放大——即只有一小部分token承载着关键的能力信号。为此，我们提出DOPD，一种优势感知的双重蒸馏范式，它基于优势差距和相对概率，在特权教师策略与特权学生策略之间动态路由token级监督。每个token从教师或学生自身接收不同强度、目标和策略的监督，在转移可信能力的同时接收辅助信号，以缓解特权幻觉。在大型语言模型（LLM）和视觉-语言模型（VLM）上的大量实验表明，DOPD始终优于普通OPD及其他对比方法。在稳定性、鲁棒性、持续学习和分布外任务上的进一步结果验证了其优越性。

推测解码通过使用轻量级草稿模型并行生成候选token，再由目标模型进行验证，从而实现无损加速。最近，基于扩散的推测解码进一步提升了并行性：通过块级扩散在每个前向过程中生成多个token，达到了当前最优性能。然而，现有方法采用固定的推理块大小，并假设所有输入具有相同的全局最优解码策略。本文证明这一假设并非最优，因为最佳块大小因样本而异，且对推测解码性能具有关键影响。此外，这些数值呈现明显的局部结构，集中在训练块大小附近，从而将问题简化为低维且结构化的决策空间。基于这些发现，我们提出BlockPilot——一种样本自适应策略，能够从预填充阶段的表示中预测最优块大小。具体而言，我们将块大小选择建模为一个轻量级策略学习问题，并设计了一种基于预填充阶段表示进行最优块大小预测的实例自适应决策机制。该预测仅在预填充后执行一次，便于无缝集成。大量实验表明，我们的方法具有即插即用特性，引入极低开销，并持续提升效率：在温度T=1条件下，Qwen3-4B模型的接受长度达到5.92，加速比达到4.20倍。

具身视觉-语言-动作（VLA）模型通常通过在机器人数据上微调强大的预训练视觉语言模型（VLM）获得，但尚不清楚这些模型在适应后保留了多少常识与事实知识。针对知识敏感任务出现的失败情况具有歧义性，容易混淆知识缺失与底层控制泛化能力不足的问题。我们提出Act2Answer——一种轻量级评估协议，通过要求智能体以动作回答问题，将VLM知识基准适配至VLA评估。每个问题转化为一个简短的桌面场景片段，智能体通过执行单个物体放置动作来选定候选答案，从而得到降低控制混淆因素的、基于动作的成功率。我们构建了一套涵盖多种常识与世界知识类别的测试环境集合，并引入逐层意图探针技术，以定位VLM主干网络和动作头中与答案相关的信息。通过对7个VLA模型和9个VLM基线的大规模研究，我们系统性地对各模型按类别进行排序。结果表明：VLA在简单概念上表现稳健，但在语义更丰富的类别上相较于其源VLM出现了更大的性能差距；VQA联合训练与更好的知识保留能力相关；与答案相关的信号在VLA中间层达到峰值，但在高层逐渐衰减。Act2Answer代码已开源，网址为https://tttonyalpha.github.io/act2answer/。

3D场景是通过其中的物体来理解的，而非组成物体的基元。然而，前馈式重建方法输出的是密集、无结构的点集或高斯体，物体级结构只能事后恢复。我们提出了一种前馈框架，直接从无位姿的多视图图像中，将场景分解为具有实例结构的3D令牌组——这些紧凑的以对象为中心单元，使得重建、分割和操作都能随之进行。每个令牌组将一个捕获实体级身份的实例令牌与编码局部几何和外观的锚定令牌配对，并解码为一组3D高斯体。这种双层因子分解将物体身份与局部外观解耦，使得物体实例成为表示的原生接口，而非派生产物。令牌组通过联合重建与分割监督的可微渲染进行学习，无需3D标注。我们的前馈模型在类别无关的实例分割上超越了逐场景优化基线，同时在新视角合成方面保持竞争力。除了这些指标之外，相同的令牌组可直接实现实例级场景编辑——通过操作对应的组来移除、平移或插入物体——以及高效的开放词汇3D实例检索，其检索复杂度随实例数量而非基元数量扩展。

视觉生成模型通常分两阶段训练：先训练一个分词器用于重建并冻结，随后在其离散索引或连续潜变量上训练生成器。这种解耦导致分词器不了解生成器容易建模的内容。我们提出GEAR（引导式端到端自回归），通过表征对齐引导，联合端到端训练向量量化（VQ）分词器和自回归（AR）生成器。关键障碍在于，输入AR模型的VQ索引不可微，梯度无法传递至分词器，且直通估计器会崩溃。GEAR通过码本分配的双重读出机制解决此问题：硬独热分支训练AR进行下一词元预测，而可微的软分支携带表征对齐损失，反向传播仅引导分词器。由此，AR模型引导其分词器朝向更易预测的索引分布。这将对齐负担从分词器转移至AR：分词器自身的特征变得不那么像DINOv2，而AR的特征则变得更像，这与扩散型方案（使潜变量本身语义化）相反。相比强大的LlamaGen-REPA基线，GEAR将ImageNet gFID收敛速度提升多达10倍，学习到显著更优的块级和空间一致特征，并泛化至多种量化器（VQVAE、LFQ、IBQ）及文本到图像生成任务。

设计更快的GPU内核经验是否也有助于攻克一个长期悬而未决的数学猜想？整合了大型语言模型（LLM）的进化搜索已能在优化任务中产生最先进的解决方案，涵盖开放数学猜想、GPU内核设计、科学定律发现和组合谜题等领域。为此，先前的研究每次仅针对单一目标任务应用搜索框架，这意味着每个新问题都需从零开始探索，当模型完成尝试后，搜索过程中积累的经验便被丢弃。这使得迭代优化解决方案的能力（例如判断需修改的部分及修改方式、决定何时回溯）完全取决于框架本身，而非模型自身。模型能否自主掌握这种能力并在不同任务间复用，此前尚未得到充分探究。为解决这一问题，我们提出进化微调（EFT）——一种通过将进化搜索轨迹转化为监督信号，教导LLM跨任务优化解决方案的中期训练范式。我们构建了Finch集合数据集，包含覆盖10个领域和371个优化任务的15.6万条轨迹，并对20亿至90亿参数的开源LLM进行微调。实证表明，EFT实现了跨任务泛化：在22个保留任务中，我们的模型平均超越基础模型10.22%。进一步结合测试时强化学习后，我们的模型在两个圆形填充任务上达到最先进性能，并在埃尔德什最小重叠问题上超越基础模型对应版本。因此，EFT可作为通用型发现代理的“练习阶段”，而无需从零开始解决新问题。

块扩散语言模型（BD-LMs）通过KV缓存和灵活长度生成改进了基于扩散的文本生成。其自然的发展方向是从单块扩散（SingleBD）扩展到多块扩散（MultiBD），即通过同时解码连续块的运行集来实现块间并行性。然而，现有的BD-LMs大多在教师强制（teacher forcing）下训练，此时模型仅观察到在一个干净前缀条件下带有噪声的单个块。尽管最近的扩散强制策略引入了多个噪声块之间的可见性，但其训练状态仍与MultiBD推理存在差异——在后者中，解码操作作用于具有异质槽位噪声模式的有限运行集上。为弥合这一差距，我们提出多块扩散语言模型（MBD-LMs），通过对BD-LMs进行多块教师强制（MultiTF）后训练获得。MultiTF将教师强制与扩散强制相结合，通过在干净前缀条件下对有限噪声组进行训练，并采用随机化噪声调度器以更好匹配MultiBD推理状态。为使MultiBD可实际执行，我们进一步引入基于块缓冲区（Block Buffer）机制的优化解码算法，该算法保留了前缀缓存复用，保持输入形状静态，并将增加的解码并行性转化为实际加速。实验表明，MBD-LLaDA2-Mini将每次前向传递的平均令牌数（TPF）从3.47提升至6.19，平均准确率从79.95%提升至81.03%；当与DMax结合时，MBD-LLaDA2-Mini-DMax在数学和代码基准测试中达到平均TPF 9.34，准确率仅下降1.02%。

智能体技能通过任务专用流程、脚本和参考信息扩展了语言模型智能体的能力范围，但其面向的任务与环境持续变化。现有方法在有限运行中改进技能，仅保留最终产物，舍弃了后续智能体理解先前修订、评估和被否决替代方案所需的决策历史。我们提出SkillHone——一种基于持久化决策历史实现智能体技能持续演化的框架。SkillHone将技能修订与提供实践反馈的评估端证据配对，记录诊断、修订、证据和结果的结构化历史。采用角色分离的子智能体在实践探针上运行候选技能并进行脱敏报告，基于先前决策提出修订建议，无需重新发现过往推理即可实现跨会话优化。在深度研究基准测试中，SkillHone无需预集成搜索堆栈即可运行，其在GAIA和WebWalkerQA-EN上分别比商业支持的深度研究智能体高出15.8分和3.2分，同时也超越了先前的技能演化方法。我们进一步将SkillHone部署于内部工具介导的分析场景，在七种设置下平均准确率提升18.8分。

视频世界模型是一种交互式视频生成模型，能够根据用户操作和历史视频帧预测未来世界状态。该模型面临的关键挑战在于缺乏记忆能力，导致在长时程生成中场景出现不一致。以往方法探索了基于规则的上下文帧检索作为记忆机制，但在场景遮挡和动态物体存在的情况下难以泛化。本文提出MemLearner——一种基于学习的自适应上下文查询方法，通过查询令牌桥接上下文与预测令牌。借助视频生成模型自身进行上下文查询，MemLearner无需从头训练额外模块即可利用预训练的视觉先验，并整合了高效的训练与推理策略。我们构建了包含场景遮挡与动态物体的长视频数据集（配有相机位姿标注），并提出多数据集训练策略，同时利用带标注的渲染视频与无标注的真实视频。大量实验表明，MemLearner在场景一致性与记忆能力方面显著优于先前的视频世界模型，尤其是在具有挑战性的遮挡与动态场景中。

文本丰富图像生成是图像生成中最具挑战性的场景之一，因为模型必须同时生成视觉上逼真的图像，并呈现清晰可读、语义对齐且布局一致的文本。现有数据流水线通常遵循静态的"爬取-过滤-冻结"范式：先收集候选样本，一次性过滤，再固定采用通过的数据用于训练。然而，被拒绝的样本往往被丢弃，尽管它们通常包含有用的失败信号（如OCR错误和语义不匹配），导致后续构建轮次可能重复相同的失败模式。为解决这些局限，我们提出DataEvolver——一个用于文本丰富图像数据构建的自演化多智能体框架。DataEvolver将数据构建视为反馈驱动的构建策略演化过程：检索器收集候选样本，验证器分配质量分数和拒绝原因，评论家将轮次级反馈总结为语义反馈，生成器通过定向合成覆盖低覆盖区域。更新后的反馈记忆随后指导下一轮构建。在文本丰富图像生成基准上的实验表明，在匹配数据预算的情况下，DataEvolver比固定数据集基线生成更有用的训练数据。在PixArt-alpha的0.75M规模上，DataEvolver在TextScenesHQ上比最强基线提升了85.3%的OCR-F1，在LongTextBench上提升了35.3%。这些改进在两个评估基准上保持一致，并迁移至Show-o2，表明DataEvolver的收益不依赖于单一的下游生成器。这些结果表明，被拒绝的样本可为改进文本丰富图像数据构建提供可操作的反馈。

元认知是智力的关键组成部分，描述了个体监控和调节自身认知过程的能力。然而，大型语言模型（LLMs）在核心元认知能力上存在系统性缺陷：它们会以高置信度产生幻觉、无法识别知识边界，并错误表征其内部不确定性——这损害了可信度与可靠性。由于监控任务表现并相应调整行为是元认知的核心，我们推测：能够准确判断自身表现的模型更有可能改进其表现。我们通过两种新机制实现这一理念：基于元认知反馈的强化学习（RLMF），这是一种在偏好优化过程中，基于模型对自身表现判断的质量来优化完成结果排序的范式；以及元认知数据选择，它利用类似的自我判断来识别高价值训练样本，其效果优于朴素主动学习。我们将这些创新应用于忠实校准（FC）问题——该任务本身本质上具有元认知特性：目标是使表达的不确定性与内在不确定性对齐，即便对前沿LLMs而言也颇具挑战。我们采用两阶段解耦方法，首先运用这些方法校准模型自报置信分数的忠实性，随后通过定向输出编辑映射为自然且可适应上下文的语言不确定性。大量实验表明，RLMF在保持准确性的同时，能在多样化任务上实现可泛化的最先进FC效果。此外，RLMF超越标准强化学习达63%，同时增强了模型评估和表达自身能力边界的能力。这使RLMF成为增强LLM元认知、提升能力与对齐度的有前景范式，并表明元认知表现可作为有效强化学习信号，突破先前内在反馈方法的局限。

程序性记忆正被越来越多地用于提升大语言模型智能体在重复性工作场景中的表现，但其生成可复用技能的能力仍未被充分理解。我们提出AFTER基准，包含382个真实企业任务，覆盖六种职业角色和22项程序性技能，旨在评估技能在任务、角色和模型主干间的迁移能力。该基准设计了可控评估设置，涵盖局部提升、跨任务迁移、跨角色迁移和跨模型泛化。实验表明，程序性记忆在工业工作流中能带来持续增益：单次优化使整体性能提升3.7-6.7个百分点，而基于多样化多模型执行轨迹演化的技能实现了73.1%的跨模型测试准确率，优于所有单一模型轨迹来源。我们进一步发现，部分技能在任务和模型间广泛泛化，而另一些则专精于特定角色工作流，并在迁移时失去有效性。这些结果为在生产化智能体平台上构建、评估和部署程序性记忆系统提供了实践指导。

LLM数学推理中的多样性对于探索至关重要，但常见的多样性指标大多仅捕捉表面差异，而非解题策略的根本不同。为填补这一空白，我们引入了方法层面多样性：同一问题正确解法在策略上的差异。借助经人工校准的LLM评判框架，我们证明现有多样性度量无法可靠表征方法层面多样性，且这一错位会延续至多样性感知的RLVR中——目标指标得以保留，而方法层面多样性却持续下降。通过探究方法层面多样性何时产生助力以及能否直接诱导，发现具备方法多样性的候选集能提升测试时扩展性能。然而，在训练过程中优化LLM评判的多样性奖励，会导致策略倾向于利用评判者的特定偏好，而非拓展解题方法，这使得方法层面多样性的直接优化仍为开放性问题。综上，本研究提出了方法层面多样性的概念，揭示了表面信号与方法层面信号之间的系统性背离，为促使LLM以真正多样化、类人方式推理迈出一步。

马赛克图像由大量独立图块构成局部区域，其整体排列则形成连贯的场景。生成高分辨率马赛克图像时，若要每个图块自身具备说服力，计算成本极高——因为画布必须同时承载大量细节丰富的图块。为此，我们提出PhotoQuilt，一种无需训练的框架，能够生成任意分辨率的马赛克图像。扩散模型难以同时满足两种尺度需求：直接高分辨率生成成本高昂且倾向于生成平滑图像而非马赛克效果；而基于分块拼接的方法虽能保留局部细节，却会丧失全局结构。PhotoQuilt通过一种引导式分块去噪过程解决了这一问题：首先以低分辨率生成全局构图以确定布局，然后在潜空间中放大该构图并重新注入噪声以恢复生成能力。去噪过程在固定的图块内进行，使每个图块自成完整图像，同时共享的全局结构将它们统一在同一布局中。由于图块生成被独立处理，PhotoQuilt能够扩展至大型画布，而无需承担二次注意力开销。实验表明，PhotoQuilt在全局结构与局部真实性两方面均优于现有基线方法。

具备多语言能力的语音模型正越来越多地部署于现实世界的各类应用中。然而，这些模型在英语环境之外及自然情境下的安全性与公平性仍研究不足。我们调查了当前最先进语音模型发布中的安全报告实践，发现仅8%的报告记录了多语言分析。为弥补这一空白，我们提出了RedVox——一个基于真实语音构建的多语言音频与语音安全及公平性基准，涵盖五种语言（英语、法语、意大利语、西班牙语和德语）中的不安全及不公平刻板请求。通过对八款最先进模型的评估，我们发现：即使在非对抗性条件下，漏洞依然存在；在非英语语言中问题更为严重；且当请求通过语音输入提出时，风险被进一步放大。最后，通过调查参与RedVox数据收集的贡献者，我们记录了采集人类参与者语音数据所面临的独特个人隐私挑战，揭示了自然语音安全研究中更广泛的社会技术难题。

随着视频语料库在规模和任务复杂性上持续增长，对能够从大规模语料库中检索相关视频（跨视频推理），并在检索到的内容中执行细粒度、查询条件驱动的任务（视频内推理，如时间定位）的方法需求日益增加。然而，现有方法通常将检索视为预处理步骤，因此当初始检索失败时，缺乏精细化搜索的机制，导致后续细粒度的视频内推理失效。此外，尽管近期基于智能体的框架在视频理解方面取得了进展，但这些框架通常假设与查询相关的视频已预先给定，仅专注于视频内推理任务。为应对这些局限，我们提出VideoSearch-R1——一个通过与视频搜索引擎进行多轮交互实现迭代式视频检索与推理的智能体框架。具体而言，我们引入软查询精细化（SQR），在连续潜在空间中精细化搜索查询令牌，而非在离散文本空间中重写查询，从而实现更高效、更细粒度的调整。SQR及其推理过程通过群组相对策略优化（GRPO）进行训练，并由从检索和下游任务中提取的任务级奖励信号引导。在此基础上，VideoSearch-R1在视频语料库时刻检索（VCMR）的三个数据集上取得了最先进的性能，能够从大规模语料库中迭代检索视频、精细化搜索查询，并在检索到的内容中执行精确的查询条件时间定位。分析表明，SQR能有效精细化原始查询，其所需生成的令牌数量显著少于明确的文本级查询精细化。代码和模型检查点已公开于mlvlab.github.io/VideoSearch-R1。

图形化用户界面（GUI）代理基于视觉语言模型，通过界面操作（如点击、滑动、文本输入和导航）在真实应用中端到端地完成用户任务。然而，现有的GUI代理主要在离线轨迹、模拟环境和标准化基准上进行训练与评估。这些环境与真实应用在界面布局、交互逻辑和异常状态分布上存在显著差异，无法真实反映实际使用中的执行稳定性——真实场景中账户状态、权限弹窗、支付认证和风险控制会持续改变状态分布，导致基准分数与实际可用性之间存在持续差距。为弥合这一差距，我们提出Xiaomi-GUI-0，一个面向真实移动环境的原生多模态GUI代理，在真实设备闭环中完成训练与评估。其核心是基于真实设备主导的混合基础设施：物理设备作为主要执行环境，沙盒提供辅助支持，使数据采集、训练、模型部署和评估共享接近实际部署的执行分布。我们构建了多源训练数据，涵盖高频头部任务、面向长尾意图的高泛化数据以及用于反思与记忆的能力增强数据，并引入错误驱动数据飞轮，将失败轨迹转化为纠正动作、反思性解释和恢复示范。模型通过渐进式三阶段流程训练：监督微调、步骤级强化学习和智能体强化学习。在公开基准和内部RealMobile上的评估显示，Xiaomi-GUI-0在RealMobile上达到72.0%的成功率，在AndroidWorld上达到78.9%，同时在实际任务中显著提升了执行稳定性和异常状态识别能力。

多指灵巧手有望实现人类双手般的速度与灵巧性，但诸如精密装配等难题至今仍难以攻克。这类任务具有高接触性特征，使得通过模仿学习进行数据收集变得困难；同时其奖励信号稀疏，导致直接采用强化学习进行探索难以奏效。因此，先前的研究通过采用专用夹爪、工具附件和环境固定装置来结构化问题，取得了阶段性进展。本研究提出观点：在机器人掌握精密装配之前，必须首先学会"玩耍"。我们进一步探究：玩耍学习过程中的哪些因素对精密装配至关重要？为此提出Play2Perfect框架——一种通过多样化物体与目标进行任务无关式玩耍预训练的强化学习方案，后续再针对精密装配进行精炼。玩耍阶段的目标是获取可复用的操作先验知识（如抓取、手内重定向、位姿逼近），微调阶段则将这些通用先验知识适配到装配任务，将探索聚焦于最终决定成败的高接触、高精度交互环节。我们系统研究了玩耍预训练中的关键设计选择（包括物体多样性、训练目标、轨迹多样性及目标精度），证明即使提供密集的多阶段奖励，该先验知识的样本效率仍比从零开始的强化学习高出33倍。我们实现了零样本仿真到现实迁移，在仅0.5毫米接触间隙的紧配合插入任务中达到60%成功率，在多部件长时序装配与拧螺丝任务中成功率超过50%。

尽管大语言模型近期主导了研究格局，但小语言模型在多个领域仍保持高度相关性，然而其受到的关注却少得多。本研究探究了较小语言模型在检索增强生成（RAG）系统中生成阶段的表现。为有效评估这些模型，我们采用了涵盖多种学科领域和问题类型的开源与专有数据集。研究结果表明，搭载小语言模型的RAG系统可直接在设备端运行，在合理时间内无需任何GPU硬件支持。实验代码及补充材料链接可通过GitHub仓库获取：https://github.com/SibNN/SLM-RAG-EVAL。

大型语言模型代理越来越多地在长程任务中运行，单一轨迹可能包含数百甚至数千个动作。在这些场景中，仅结果奖励提供的指导过于稀疏，无法告知模型中间动作的质量。密集监督方法试图通过评分中间步骤来解决这一问题，方法涵盖内在置信度、自蒸馏以及嵌入相似度等。然而，常见的评估方式是通过测量整合这些方法的训练管线的下游性能。这种方法成本高昂，会将监督质量与训练工程中的混淆因素混为一谈，并导致需要不同训练配置的方法家族之间无法进行比较。因此，密集监督方法很少在共同基准上进行评估。我们提出QVal，这是一个无需训练的测试平台，用于直接评估密集监督信号。给定一个状态-动作对，QVal衡量方法的评分是否与Q值对齐：即是否根据强参考策略的Q值对动作进行排序。这使我们能在任何训练运行前比较信号，并将信号质量与其他工程选择分离开。我们实例化了QVal-v1.0，在四个不同环境和七个方法家族中对21种密集监督方法进行了基准测试，跨六个开放权重模型骨干进行了超过1,200次评估实验。我们发现，简单的提示基线方法始终优于文献中提出的最新密集监督方法，且性能按方法家族显著聚类。这些发现在不同模型规模、环境和观测模态下均成立。QVal被设计为易于扩展至新环境和新方法，使研究人员能够在任何训练运行之前迭代密集监督方法。

自回归Transformer通过生成符合艺术家水准的拓扑结构主导了高质量网格生成，但其固有的顺序解码机制导致计算开销显著增加，比并行生成模型慢数个数量级。另一方面，尽管连续扩散与流匹配方法在多个领域支持高效的并行合成，但无法直接应用于网格：网格连接性本质上是离散的，与标准的连续噪声注入和去噪操作不兼容。为解决这一根本性不兼容问题，我们引入了一种紧凑拓扑嵌入器，将离散的网格顶点位置和法线投影为连续逐顶点嵌入，通过时空距离阈值化即可可靠恢复原始离散邻接信息。在预训练并冻结该嵌入器后，任何原始网格均可完全转化为连续逐顶点状态空间，统一了位置、法线和隐式拓扑属性。基于这种新颖的连续网格表示，我们提出了PolyFlow——一种基于Transformer的流匹配框架，能够根据提取的点云特征实现全并行顶点状态去噪。在推理过程中，该模型通过常微分方程求解器快速完成生成，并支持通过直接指定目标顶点数对输出网格分辨率进行显式精确控制。在Toys4K基准上的广泛评估表明，PolyFlow在倒角距离和豪斯多夫距离两项指标上均超越了最先进的自回归基线方法。

材料科学文献中蕴藏着数十年的实验知识，这些知识以图形形式编码，然而这一视觉记录仍被锁定，无法被人工智能大规模获取。其核心难点在于结构层面：大多数科学图形是复合式的，单个图注同时描述多个子面板，导致直接的图像-文本配对不可靠。我们提出MatMMExtract，这是一个端到端的开源流水线，通过将复合图形分解为独立的子面板，并利用受材料科学分类体系指导的大型语言模型生成结构化的、有依据的注释，从而解决了这一问题。将该流水线应用于14810篇开放获取文章，MatMMExtract生成了MatSciFig数据集，包含来自180571个图形的391606个面板级图像-文本对，每个面板均配有子图注、涵盖19个大类和100多个子类型的两级可视化类别标注，以及科学摘要。为实现精准的面板定位，我们引入了MaterialScope，这是一个包含2811张手动标注的材料科学图形的领域专用检测数据集，在此数据集上微调的YOLO12-m检测器达到了0.9227的mAP_50。在六个基准语言模型中，Gemini 3.1 Flash Lite在注释生成方面实现了最佳的性价比，其输出中82%被评为良好，幻觉率为4.8%。基于MatSciFig的双编码器检索基线在R@1指标上相比零样本CLIP提升了4.4倍，证明了该数据集在视觉-语言学习中的直接应用价值。所有资源均向社区开放发布。

代理式强化学习需要对外向性动作（如搜索、点击、编辑、导航指令和对象交互）进行信用分配。标准GRPO方法将所有动作令牌的最终验证器结果视为统一优势值，这种结果信号虽有用但结构不完整：它会在失败轨迹中惩罚有效探索，并在成功轨迹中强化冗余或回溯性动作。我们提出TRIAGE框架，这是一种角色类型化的信用分配方法，通过添加语义角色维度扩展结果信用。结构化评判器将每个片段分类为决定性进展、有效探索、无进展基础设施或回溯性行为，并通过固定角色条件规则将这些标签映射为有界片段级过程奖励。该方法在保持验证器结果作为优化方向来源的同时，修正了纯结果信用分配的两个主要盲点。我们进一步证明，角色条件信用是从角色标签本身可推导的最优片段级修正——即每个片段优势残差在角色变量上的投影——因此当评判器可靠时，固定角色常数可降低优势估计误差，并与此相关的低方差策略梯度建立联系。在ALFWorld、Search-QA和WebShop测试中，TRIAGE相比GRPO提升了两种策略模型的成功率，且优于标量评判器推导的过程奖励和结果监督共享骨干价值基线。消融实验表明，性能提升源于角色类型化而非单纯增加密集奖励：成功轨迹内部回溯性行为的可靠检测是主要贡献因素，而探索信用提供稳定的次要增益；在ALFWorld和WebShop的完整轨迹中，TRIAGE相较GRPO额外减少10.4%和14.8%的外向性动作轮次。

建模外部感官刺激与内部神经活动之间的双向对应关系已成为神经科学的关键前沿。然而，现有方法主要将大脑编码与解码视为孤立任务，过度依赖单模态对齐和外部先验，忽视了大脑作为多模态整合系统的内在本质。为解决这些局限，我们提出BrainJanus——首个将大脑、视觉与语言统一于单一框架的脑模型。具体而言，我们引入统一脑分词器（Unified Brain Tokenizer），将连续神经动态量化为离散标记，使其在共享的全域空间中与视觉和语言表征对齐。在此基础上，我们采用全能自回归架构（All-in-One），利用下一标记预测实现无缝的任意到任意生成，涵盖图像到大脑与文本到大脑的编码，以及大脑到图像与大脑到文本的解码。大量实验表明，BrainJanus在多个基准测试中均取得卓越性能。此外，我们的框架展现出零样本泛化能力，并保留了可解释的生物学拓扑结构，凸显其作为通用脑建模范式的潜力。代码已开源至 https://github.com/HaitaoWuTJU/BrainJanus{GitHub}。

现代大型语言模型（LLMs）在后期训练中依赖强化学习来提升特定能力，但将多种能力整合到单一模型中仍面临困难。现有方法如离线策略微调（Off-Policy Finetune）和混合强化学习（Mix-RL）要么效率低下，要么会导致性能损失。本文提出多教师在线策略蒸馏（MOPD），这是一种用于整合多个领域强化学习教师能力的后期训练范式：我们首先针对每个领域进行专门的强化学习训练，获得一组领域教师，然后在学生自身的轨迹中将这些教师蒸馏到学生模型中。这消除了暴露偏差，并提供了密集的优化信号。在Qwen3-30B-A3B模型上，MOPD在性能上超越了混合强化学习、级联强化学习、离线策略微调和参数合并等基线方法，几乎继承了每位教师的所有能力。MOPD还支持领域教师的并行独立开发，消除了多领域后期训练中典型的跨领域耦合问题。MOPD已部署在工业级前沿模型MiMo-V2-Flash的后期训练中，验证了其在整合前沿LLM能力方面的实用价值。

音频-视频生成近期获得了前所未有的研究关注，旨在合成高质量的含音视频内容，实现听觉与视觉成分之间的细粒度同步和语义对齐。此前的方法主要采用双分支设计，为每种模态配备独立的标记化和生成模块，忽视了表征差距，且需要大量的计算资源进行适当训练。受一维视觉标记化最新进展的启发，我们提出了AVTok，这是一种专为整体音频-视频生成设计的新型统一标记器。AVTok采用基于双流Transformer的架构，配备共享的编码器-解码器和模态特定的可学习查询，能够高效且有效地将音频-视频对编码为紧凑的一维潜表征，并采用统一的码本。为应对阻碍AVTok利用对齐的音频-视觉信息的异质信息不平衡问题，我们设计了一种分层训练策略，以逐步实现每个模态的重建能力。大量实验表明，AVTok在音频-视频重建以及集成到下游管道（如音频到视频、视频到音频以及类别条件联合音频-视频生成）中均表现出色。AVTok为联合音频-视频标记化的挑战铺平了道路，并为构建用于音频-视频生成的统一大规模多模态模型提供了潜在方向。

生成模型已取得显著进展，但将其应用于卫星图像仍具挑战性。与自然图像不同，卫星场景由空间复杂且语义分明的几何结构组成。现有工作通过采用密集栅格或稀疏提示来适配自然图像框架，以平衡标注成本与保真度，但破坏了与地理信息常用矢量基元的兼容性。我们提出TerraDiT-Ω——一种统一的空间控制框架，可直接从任意原生地理基元生成卫星图像。通过联合利用精确标注（多边形、折线）与粗粒度标注（边界框、点），该模型支持在不同标注预算下实现可控布局，扩展至城市规划等设计任务，同时保持与端到端地理空间AI工作流的天然兼容性。为在生成过程中有效利用这些基元，我们提出几何感知局部注意力——一种将显式几何线索注入注意力空间的调节机制。在所有条件格式下，我们的方法均显著优于密集控制和稀疏控制基线。此外，这种灵活性使得单一生成模型能够实现可控的合成数据增强，从而提升下游任务性能，包括土地覆盖分割、目标检测、道路图提取和场景分类。代码、数据和模型权重已开源至 https://github.com/mvrl/TerraDiT。

基础模型通过提供丰富且可复用的表征，可在不同任务间迁移，从而彻底改变了视觉和语言处理领域。然而，作为音乐语言的视觉编码形式，乐谱却缺乏此类强大的领域专用基础模型。我们提出MuSViT（乐谱视觉变换器）：首个面向乐谱表征的基础视觉模型——该模型采用基于掩码自编码器预训练的ViT编码器，训练数据来自IMSLP的970万页乐谱。为应对真实世界乐谱的复杂性，我们采用两阶段课程学习策略：先在排版乐谱上进行合成数据预热训练，再基于完整IMSLP语料库进行大规模训练。我们在四个下游任务（全页面及谱线级乐谱识别、音乐符号检测、乐谱难度分类）上评估MuSViT，并设置两种场景：线性探测（冻结编码器）与微调。在线性探测中，MuSViT持续优于现代视觉编码器，表明无论规模大小，通用表征在音乐记谱的结构化符号特性上均存在系统性不足。在微调场景下，MuSViT通常能改进任务特定的现有最优方法。此外，嵌入-转录一致性分析揭示：MuSViT能直接在表征空间中编码符号化的音乐结构——而其他编码器的嵌入与音乐记谱内容并无关联。这些结果确立了MuSViT作为乐谱理解领域基础骨干模型的地位。

当前操作系统所暴露的接口是为人类用户优化设计的，而非面向AI智能体。人类从中受益于像素、图标、窗口、视觉分组、鼠标移动和键盘快捷键；而AI智能体需要的则是紧凑的语义状态、可落地的动作以及可靠的反馈。因此，许多计算机操作智能体被迫通过截图、OCR输出和视觉裁剪来理解界面，这带来了高昂的token成本、视觉模糊性、延迟以及坐标不确定性。本文引入LUMOS（语言模型统一机器可读操作系统语义），这是一个介于AI智能体与操作系统之间的语义交互层。LUMOS将原生无障碍元数据和浏览器UI结构转换为机器可读的语义蓝图，其中包含稳定的标识符、角色、名称、值、边界和动作能力。它还支持通过操作系统自动化API查询光标下方或附近的UI元素，实现实时的语义指针定位。随后，大语言模型通过基于无障碍性构建的“观察-行动”循环，使用受约束的可见UI原语（而非特定于应用的脚本）来执行操作。LUMOS并非试图取代视觉智能体，而是旨在当操作系统本身已提供语义结构时，减少对截图的依赖。这些研究结果表明了一条通往AI原生操作系统和机器可读交互层的可行路径。

我们介绍SWE-Interact，这是一个新的测试平台，用于评估编码智能体在多轮、交互式、用户驱动的软件工程任务中的表现。现有前沿的SWE基准测试通常预先提供完整需求，并评估智能体自主实现的能力。相比之下，SWE-Interact将智能体置于真实的开发者工作流程中：一个精心设计的用户模拟器从模糊或不完整的指令开始，逐步揭示需求，检查智能体的工作空间，并提供有针对性的反馈、修改意见和新约束，直到完整的任务目标被传达。基于对真实编码智能体交互的大规模研究，这一设置测试智能体能否发现用户意图、适应不断变化的需求，并基于自身先前的工作进行构建。在一系列前沿和开源模型中，我们发现，在单轮SWE任务中表现强劲并不能可靠地迁移到多轮、用户驱动的工作流程中：表现最佳的模型解决了约50%的单轮基线任务，但仅解决了约25%的相应SWE-Interact任务。我们评估中最强的模型，包括Opus 4.8和GPT 5.5，即使在面对模糊的初始指令时也能强势开局，坚持到用户提出所有需求，更好地整合这些需求并编写干净的代码。然而，它们仍然存在过度自主编码、忘记需求和技术错误的问题。较弱的模型在模糊性下开局不佳，过早放弃，忘记或忽略指令，并更频繁地重写代码。总体而言，SWE-Interact为前沿模型开发衡量了一个正交的现实世界能力轴：交互式目标发现和用户参与的迭代优化。

开源库和工具被广泛复用，但兼容性维护成本高昂。一旦维护者离开，随着运行环境和依赖项的演进，原本有用的仓库可能会停止工作。我们研究LLM智能体是否能使旧仓库适应现代环境，我们将此任务称为兼容性救援（compatibility rescue）。与漏洞修复不同，兼容性救援的起点是一个在原始环境中能正常工作、但因生态漂移而失效的仓库。RepoRescue仅向智能体提供该仓库及其失效的现代环境；智能体必须诊断故障原因、定位受影响的代码，并生成能恢复历史测试套件的源码级救援方案。我们从193个Python仓库和122个Java仓库构建了RepoRescue，每个仓库均经验证：在历史环境中测试通过，而在现代化后测试失败。 我们在Python上评估了五个已部署的智能体系统，在Java上评估了三个。除完整补丁通过率外，我们还通过移除测试文件编辑后重新运行补丁来评估仅源码修复的效果；增加一个运行时强制机制以阻止测试文件编辑；并验证那些在救援后测试套件通过的仓库的实际可用性。我们发现，即使被提示不要编辑，Claude Code系统有时仍会修改失败的测试；但在运行时阻塞机制下，Kimi仍能成功救援41.5%的仓库。各系统具有互补性：它们的并集救援率达到62.7%，超过最佳单一系统10.9个百分点。难点集中于跨文件协调：在14个需要全代码库协调修改的仓库中，GPT-5.2通过Codex实现全部通过，而每个Claude Code系统至多通过两个。最后，测试套件通过仅是初步信号：在34个未维护的Python候选仓库（其套件在救援后通过）中，有22个在真实场景中可正常工作，12个通过了补丁修复兼容性故障的漏洞检查。RepoRescue通过仅源码审计、运行时强制、实际验证和推理标签，对兼容性救援进行基准测试。

大型语言模型（LLMs）正越来越多地用于在现实世界中采取行动并支持人类决策，然而大多数智能体依赖参数化知识、固定的后训练数据、检索或搜索。这种范式在无法仅凭先验知识回答的新型领域和复杂查询中就会失效。例如，了解物理定律本身并不足以让LLMs回答复杂物理系统中的查询或完成长时域任务。为解决这一问题，我们提出了分层实验智能体（HExA），一种通过主动实验进行学习的上下文自改进框架。HExA迭代地设计并优化与查询相关的实验，从经验中学习可组合技能的可重用库，并整合实验证据来回答查询或采取行动。HExA无需训练，与任何黑盒模型兼容，且不依赖外部监督、预言机制或离线数据。为评估主动实验能力，我们引入了Interphyre，这是一个基于PHYRE 2D程序化物理环境的工具调用基准，智能体通过模拟API提出干预措施并测试假设。实验表明，当前LLM智能体在此类设置中表现不佳，尤其是在Interphyre的最高难度级别上。Claude Sonnet 4.6的成功率仅为2%，而HExA将同一模型提升至高达77%的成功率。HExA也提升了开放权重模型的表现，并优于ReAct和Reflexion等智能体基线方法。此外，仅使用从较简单级别学习并迁移（无需主动实验）的技能，HExA即可达到44%的成功率，展示了其习得技能的可重用性与泛化能力。总体而言，HExA表明通过主动实验进行学习能够帮助智能体发现有用知识、获取可重用技能，并在陌生的长时域任务中取得高效进展。

我们提出了一种零样本、无需训练且无需优化的框架，通过将球面先验直接注入预训练的扩散变换器，用于生成360度全景图像和视频。现有方法要么依赖对稀缺全景数据进行昂贵的微调，从而限制泛化能力，要么采用多步优化导致推理延迟过高。我们观察到，当代生成模型通过大规模训练已天然具备一定的全景先验能力。然而，这些涌现的能力仍不充分，因为模型从根本上无法满足等距柱状投影（ERP）所施加的严格拓扑约束。我们提出了一种零样本且无需优化的方法，在推理时解决这些约束。球面旋转位置编码（Spherical RoPE）替代了标准旋转位置嵌入：低频通道被重新参数化为3D笛卡尔坐标以天然编码球面流形，而高频通道则通过谐波量化强制实现精确周期性。结合显式引导几何的互补语义畸变无分类器引导（CFG），我们避免了重新训练，并继承了最先进模型的全部创作广度。该方法可泛化到多种骨干网络及360度生成模态。我们通过使用Flux.1、Flux.2和LTX-Video骨干网络在文本到全景图任务中进行了验证，在无需训练的前提下实现了与基线方法竞争的性能。项目页面：https://orhir.github.io/SpheRoPE

人工智能系统通常通过任务表现和行为模仿进行评估，但这种评估方式无法确定人工代理是否能够从具身经验中获取、稳定并运用新的词汇意义。本文提出词汇共识（Lexical Consensus）这一实验框架，用于研究在结构化感知基底上的具身词汇学习。通过使用冻结的DINOv2视觉嵌入、卡罗尔式无意义词以及可解释的词汇学习器加线性基线，我们测试代理是否能够获取视觉概念的人工标签、双向泛化这些标签，并在受控环境下使其稳定。 主要结果是一个稳健的感知一致性梯度：原生类别最容易学习，连贯性过度延伸仍可学习，中等范围的析取概念性能下降，而远距离析取概念则趋近随机水平。一项预先注册的CIFAR-100分离实验证实，该梯度由感知距离而非语义相关性主导：感知距离可预测习得准确率（偏R² = 0.245，p < 1e-7），而语义距离未增加显著的解释力（偏R² = 0.002，p = 0.660）。 双向评估表明命名与检索存在差异：在从标签到图像的检索中，基于样例的机制优于质心原型，揭示了一个独立于命名准确性的记忆保真度维度。证伪控制、同质候选池评估以及表征重组上的零结果均表明，冻结的感知几何结构既赋能了词汇具身化，也限制了在没有表征适应的情况下能够习得的内容。

现有的基于指令的视频编辑数据集通常聚焦于单一任务的外观编辑，难以满足真实场景中复杂的创作需求。为弥补这一差距，我们提出了Goku——一个包含200万高质量、指令对齐的视频编辑对的大规模数据集，这是首个将任务边界从基础外观编辑扩展到多任务与结构操控（例如对主体运动的精确控制）的数据集。针对这些复杂任务中固有的数据合成挑战，我们设计了一种高效的数据合成流程，将复杂编辑分解为可控的子问题，并在整个过程中引入渐进式过滤系统以确保数据可靠性。此外，我们在Goku上探索了最优网络结构，并提出了Goku-Edit。为深入理解复杂编辑指令，Goku-Edit采用多模态大语言模型（MLLM）作为文本编码器，并采用解耦的双分支设计：专用掩码分支处理结构控制，使主分支专注于外观渲染。我们还提出了一个全面的视频编辑基准Goku-Bench，包含1000个人工验证的测试用例和7项新颖的编辑专属评估指标。在Goku-Bench上的评估显示，Goku-Edit在指令遵循方面比其他开源模型提升高达8%。

口语语言模型（SLMs）将大型语言模型（LLMs）扩展至语音输入与输出。现有SLMs以固定帧率（如25或12.5 Hz）表示语音，忽略了语音的时变信息密度，且在推理时无法灵活地在质量与速度之间进行权衡。最近的音频分词器研究提出了动态帧率语音编码，该技术利用这种非均匀性，实现了两个新能力：极低的平均帧率和帧率可控性。然而，该技术尚未应用于SLMs。我们提出灵活口语语言模型（FlexiSLM），这是首个在语音输入和输出上均支持动态且可控帧率的SLM。采用动态帧率表示后，FlexiSLM在其高质量工作点上优于包含Qwen2.5-Omni和Kimi-Audio在内的固定帧率7B模型。我们进一步验证了FlexiSLM可精确调控至4.0 Hz；在6.25 Hz时，其推理时间相比12.5 Hz大约减半，同时保持较强的语音到语音质量。音频样本可在 https://flexislm.github.io 获取。