每日精选AI研究论文及翻译
大规模模型训练中的优化器选择已成为一个系统级的设计决策，受计算、内存、调优预算和任务多样性的共同约束，然而目前百余种方法的研究格局仍然碎片化。为此，我们提出OmniOpt——面向研究社区的优化器统一综述与基准实践指南。OmniOpt基于四个相互关联的组成部分。首先，我们将每次优化器更新视为通过五阶段元管道进行的结构化变换，并表明大多数方法仅涉及其中一两个阶段。其次，我们利用范数约束的线性最小化预言机（LMOs）来统一不同优化器。第三，这两种视角构成了一个双维度分类体系：一个维度将每种方法归入机制家族，另一个维度记录其旨在改进的可衡量训练目标。第四，也是本文的核心，我们在统一的跨领域基准中实例化完整的分类体系，涵盖具有代表性的优化器、模型规模以及从语言模型预训练到图像分类的训练机制，系统分析每个方法家族在多个效果目标上的表现，并阐明其权衡关系。因此，OmniOpt为研究社区提供了在明确机制和目标假设下选择优化器的操作坐标系，并为优化器社区的未来发展方向绘制了蓝图。
近期，多模态基础模型与智能体系统的进展推动图形用户界面智能体从单平台任务执行向跨平台交互发展。然而，构建多平台GUI智能体仍面临挑战：一方面，高质量的、可执行的跨平台交互轨迹依然稀缺，现有数据往往存在平台覆盖范围有限的问题；另一方面，不同平台展现出差异化的交互规范，导致联合训练或持续训练容易引发行为模式混杂、特定平台能力退化以及灾难性遗忘。为解决这些问题，我们构建了高质量跨平台GUI交互数据集Uni-GUI，并提出了UI-MOPD方法——这是首个将多教师在线策略蒸馏融入GUI智能体持续学习的技术。UI-MOPD根据当前环境动态选择特定平台的教师模型，通过基于平台条件的蒸馏将平台特有的行为先验转移至共享策略，从而在保持现有平台能力的同时适应新平台。在OSWorld和MobileWorld上的实验表明，UI-MOPD的任务成功率分别达到38.2%和12.0%，验证了其在平衡跨平台能力保持与新平台适应方面的有效性。 项目页面：https://elispectre.github.io/UI-MOPD/。
研究传播——将论文转化为海报、演讲视频和博客文章——仍然是手动处理的最后一公里。以往的自动化方法将每种成果孤立处理，每项任务都从头重新提取论文，通常采用单向渲染，导致作者无法在PowerPoint或Word中重新打开，并且质量受限于软视觉语言模型偏好评分，该评分在关键部分仍显空洞时便已停滞不前。我们认为，这最后一公里最好通过技能组合来构建：轻量的智能体可读合约，共享同一个上游提取器，将确定性原语封装在按需填充循环中，其退出点由硬性通过/失败渲染门控控制。我们将其实现为ResearchStudio-Reel，由五个Claude Code和Codex技能组成：一个共享提取器（Paper2Assets）、三个可编辑生成器（Paper2Poster、Paper2Video、Paper2Blog）以及一个交互式汇聚层（Paper2Reel）。Paper2Assets将每篇论文提取一次，形成共享数据包，可被所有下游技能复用；三个生成器分别生成可打印的海报、同步的演讲视频和双语博客，确保事实一致，并支持在PowerPoint或Word中往返编辑；Paper2Reel将三者绑定到一个自包含HTML查看器中，通过按节点击可在视频、幻灯片、字幕和博客之间跳转到匹配内容。在Paper2Poster基准测试中，我们的海报在美学和信息的所有子标准上均优于以往的自动化系统和单次前沿大语言模型，在两位留出的视觉语言模型评委评审下，其美学评分甚至超过了作者原版海报，并在84%至93%的论文中全面获胜；能力审计进一步表明，通过将叙述同步的幻灯片高亮与感知布局的DOCX修复相结合的双语博客这一独特设计，ResearchStudio-Reel是唯一能够交付全部三种可编辑制品的流水线。项目地址：https://aka.ms/ResearchStudio
3D重建与生成通常通过不同的范式来解决：基于像素的回归用于重建，潜在扩散用于生成。近期工作试图在潜在空间中统一两者，但存在显著缺陷：扩散目标定义在潜在特征上而非底层3D表示，且两个分支均受潜在编码引入的信息损失影响，同时需要预训练变分自编码器（VAE）或表示自编码器（RAE）。本文提出在统一的像素空间扩散范式下重新定义这两项任务，并引入PixWorld——一个同时处理3D重建与生成的单一模型。通过直接对渲染图像进行扩散监督，PixWorld消除了上述限制，使优化与3D场景保真度对齐。除了在2D图像层面运作且缺乏3D几何意识的光度与感知监督之外，我们进一步引入几何感知损失，将渲染视图与预训练3D基础模型的几何感知特征空间中的真实视图对齐，从而提供3D结构监督。PixWorld在性能上持续超越先前的潜在空间生成方法，并与最先进的重建方法相当，证明了统一像素空间方法的优越性。
大型语言模型使得研究构思越来越易于实现，但有效构思的形成不仅需要生成候选方向。研究者必须将问题置于当前文献中，识别关键瓶颈，与现有解决方案区分开来，并在投入实施前评估风险。我们提出ResearchStudio-Idea，作为研究构思"第一英里"的可复用技能套件。该套件包括：Paper-Search——独立的跨源文献检索技能；Scoop-Check——独立的新颖性声明在先技术冲突检测技能；以及IdeaSpark——端到端技能，它将证据支撑、模式引导生成、冲突检索、审计和想法卡片渲染整合为一个工作流。IdeaSpark基于从2021年至2025年期间从ICLR、ICML和NeurIPS收集的1,947篇机器学习会议论文构建，其中包括Oral论文、单独追踪的高被引子集以及被拒稿的论文。对这些结果的分析揭示了31种反复出现的构思子模式，并整合为15种可复用的构思模式。每种模式通过结构化卡片实现，包含研究背景、瓶颈类型、差异化策略、支持性先例以及常见失败模式。给定研究问题和证据包，IdeaSpark评估证据完备性，重构相关研究背景，识别未解决的瓶颈，选择相关模式，实例化一个候选方向，检索可能冲突的已有工作，并进行结果导向的审计。这一工作流将可复用的构思模式转化为可追溯的研究提案。盲审自动评估表明，IdeaSpark在保持竞争性新颖性的同时，持续产生比无技能和通用技能基线更强的研究提案。
概念擦除旨在从表征中移除目标概念，同时保留其中编码的其他信息。这一任务颇具挑战，因为表征编码了许多概念，而这些概念往往与擦除目标存在关联，因此移除目标可能会损害其他概念。我们提出流形约束假说（MCH）：如果自然表征集中于结构化的低维流形，则在干预过程中，应将干预约束在该流形内，从而更好地保留表征中编码的其他信息。我们将MCH实现为一种新的概念擦除方法：流形感知概念擦除（MANCE）。MANCE利用预测目标概念的分类器信号，对表征进行迭代更新。我们通过自然输入获得的表征来估计流形，然后将概念移除更新投影到估计的流形上。我们在涵盖文本和视觉的119种设置上进行了广泛评估，包括13个语言模型、三个NLP概念以及40个CelebA-CLIP属性。在先前方法基础上应用MANCE，一致地改善了泄露结果。我们还引入了MANCE+和MANCE++，它们在采用MANCE之前先进行闭式擦除算法，与匹配的全空间更新相比，实现了更好的泄露与精确性权衡。我们的最佳方法MANCE++在非线性概念擦除上取得了最先进的结果。这些结果在擦除场景下支持了MCH：应当将干预约束在自然表征流形内。
评估具身机器人基础模型仍是一个关键瓶颈：与可通过数字基准高效评估的大语言模型不同，机器人策略需要缓慢且昂贵的真实世界部署，受限于硬件和人工监督，这促使研究者将世界模型作为替代性策略评估工具，但使世界模型能够可靠进行策略评估的关键属性仍未被充分理解。本工作对用于机器人策略评估的世界模型进行了系统性研究，并提出了WMBench基准——该基准基于真实机器人遥操作数据和匹配的策略执行轨迹构建，涵盖多种操作任务，从而支持跨模型家族、动作编码、执行时间步和评估指标的受控比较。利用WMBench，我们分析了7个视频世界模型、4种动作表示方案以及超过324,000次模拟策略执行（与真实机器人执行轨迹配对），并通过CVPR 2026 GigaBrain挑战赛的大规模社区提交、精选合成轨迹以及超过12,000小时的训练视频进一步丰富了分析内容。我们的实验得出了三个核心洞见：评估器质量主要取决于长周期、对动作忠实执行的一致性，而非短期的视觉逼真度；预训练收益不仅来自数据规模，更源于通用世界知识与机器人特定可控性之间的平衡；架构选择（包括动作编码、记忆设计以及针对评估器的后训练）强烈决定了与真实机器人行为的一致性。基于这些结果，我们推导出实用的设计路线图，并在GigaWorld-1中实现了该路线图——这是一个专门为策略评估优化的世界模型。我们完整开源了代码、模型、数据集和工具包，以推动具身基础模型的可扩展评估研究。
密集空间感知是物理智能的核心要素，视觉系统需要从像素观测中恢复出结构化、具备度量属性且可操作的表示。现代视觉基础模型往往优先保证语义不变性，却常以牺牲细致的空间理解为代价。本研究从边界感知的视角重新审视视觉预训练，其核心理念在于：边界与形状不连续性为几何特性感知提供了关键线索。具体而言，我们提出掩膜边界建模——一种自监督范式，该范式动态学习亚像素级边界表示，进而将所发现的边界标记作为掩膜目标，推动密集视觉标记的学习。通过扩展这一框架，我们构建了LingBot-Vision，并以DINOv3作为强基线，验证了其在多种下游视觉任务中的有效性。尤为值得关注的是，LingBot-Vision推动了深度补全任务从LingBot-Depth 1.0到LingBot-Depth 2.0的演进，从而显著提升了深度估计精度——这正是具身人工智能的关键支柱。本研究表明，边界建模的意义远超简单线段提取，它可作为学习空间结构化视觉表示的可扩展预训练原则。
我们推出Wan-Streamer v0.2，它是原生流式端到端音视频交互模型的延迟保持升级版本。v0.2沿用了v0.1的建模框架，但将交互输出流从192×336提升至640×368，同时在25 FPS下保持约200毫秒的模型侧信号到信号延迟。更高分辨率的流支持场景锚定的中景智能体，使其在实时对话中姿态、视线、手部、附近物体及局部场景布局仍保持清晰可辨。为支持更大的视觉流而不增加用户可见延迟，v0.2保留了“思考者”作为单GPU低延迟路径，负责流式感知、构建生成缓存的短语言/状态Transformer通道以及最终解码。“执行者”则成为多GPU Ulysses风格的上下文并行组，用于计算昂贵的下一个单元潜变量。每个执行者秩将传入的K/V写入预分片的本地缓存。长高分辨率潜视频序列跨秩分片进行去噪，并通过Ulysses通信聚合，而短得多的音频潜序列则无需序列分片即可生成。在这种拆分中，思考者的语言/状态计算仅作为K/V条件传递给执行者，因此无需在执行者组内传输单独的语言序列。这使得额外硬件集中于视觉生成，同时保持紧凑的思考者-执行者边界，在包含350毫秒双向网络预算时，总远程交互延迟约为550毫秒。
我们推出EVA-Client，这是一个开源框架，用于在真实机器人上部署、采集数据并评估经过训练的操控策略。EVA-Client作为策略服务器与物理硬件之间的桥梁，将策略迭代循环中的真实机器人阶段统一于单一代码库中。它做出三项贡献：首先，采用组件解耦架构，机器人后端、推理策略与传输中间件构成正交网格——新增机器人或策略仅影响其对应层级；其次，通过调试、采集与评估工作流实现可检查的执行，模式涵盖开环仿真到连续实时控制；第三，每次评估运行同时完成数据采集，以训练就绪格式记录完整回放过程，附带详尽日志及并列对比查看器，使每次评估为下一轮训练提供输入，而非沦为未记录的印象。EVA-Client进一步将主要实时推理策略（同步与异步执行、ACT风格时序集成、实时分块处理及朴素异步消融基线）整合至单一配置界面背后。
面向机器人操作领域的统一模型旨在为单一策略同时赋予预训练视觉语言模型（VLM）的语义先验以及通过未来预测学习到的物理动态。然而在实践中，现有设计往往会侵蚀预训练骨干网络的语义能力，遭受异构目标之间的相互干扰，并且需从零开始在像素空间中学习未来预测，从而未能充分利用预训练视频生成器的动态先验。为此，我们提出InternVLA-A1.5，该模型以原生VLM骨干网络为基础，持续进行视觉问答（VQA）与子任务预测训练，并附加轻量级统一专家模块用于连续动作生成。我们将未来预测重新定义为潜在查询问题：通过一组可学习的前瞻标记，在冻结的预训练视频生成模型监督下，将任务相关的未来信息压缩为紧凑的潜在编码，从而使策略在不学习像素级生成的前提下继承世界模型的动态先验。推理阶段丢弃视频分支，保持实时控制能力。在120万条机器人操作数据与300万条多模态样本上完成预训练后，InternVLA-A1.5在所有六个仿真基准测试中取得了最佳综合表现。在真实世界中，保留的语义能力在未见过的指令绑定任务上展现出最强的组合泛化性能，而上述两种设计共同支撑了长时域的执行能力。
科学文献搜索往往不仅需要从单一查询中检索论文：用户的意图不明确、依赖于偏好，并通过交互不断演变。现有的搜索代理通常依赖固定流程或隐式纯语言推理，导致其搜索策略难以控制、检查和优化。我们提出PaperPilot，一个多轮文献搜索代理，将科学搜索构建为工作流归纳。给定一篇锚点论文和一个用户查询，PaperPilot构建一个由论文搜索算子组成的可执行有向无环图（DAG），包括关键词搜索、引文扩展、过滤、评分、重排序和证据提取。随后利用用户反馈来优化查询和工作流本身。我们通过监督工作流模仿和在受控工作流损坏上的偏好优化来训练PaperPilot。实验表明，在多轮交互下，PaperPilot-9B相比基础Qwen3.5-9B工具集代理有所提升，Hit@5从58.0提高到77.0，MRR从47.5提高到59.4，nDCG@10从26.8提高到32.5，同时工作流执行错误率从9.5%降至0%。这些结果表明，显式且可编辑的搜索工作流为将文献搜索代理与复杂的科学意图对齐提供了有效且可控的接口。
键值（KV）缓存增长是自回归解码的主要瓶颈，其内存和带宽随上下文长度线性增长。现有的KV驱逐方法通常依赖静态启发式规则或代理分数，这些方法难以有效追踪未来词元的效用，且随着相关性变化易导致驱逐决策不稳定。为解决此问题，我们提出KVpop——通过直接监督保留/丢弃决策来学习固定预算的KV驱逐策略。评分模型针对一种新颖的未来注意力目标进行训练，该目标可在无需实例化密集注意力图的情况下高效计算。我们进一步引入了一种基于延迟记忆的评分器，这在学习型驱逐方法中独具特色——它通过将评分延迟固定步数，以利用近期未来上下文信息。在AIME和HMMT数学推理任务中，KVpop在Qwen3-4B模型上以75%的KV缓存压缩比保留了全注意力性能的98%，在88%压缩比下保留了97%，持续优于现有驱逐基线方法。Qwen3-8B模型展现出更优的结果，达到了接近完整教师模型的性能。这些结果表明，利用未来注意力信号监督驱逐策略，可在降低内存成本的同时保持生成质量。
多向量视觉-语言检索通过最大相似度后期交互保留了细粒度的视觉证据，但密集的图像端令牌导致存储和评分成本高昂。现有的令牌压缩方法降低了这一成本，却可能移除或坍塌未来查询令牌需要选择的物体和区域级证据。我们提出SaMer，一种对象感知的令牌合并框架，将图像端投影后的令牌压缩为K个代表性质心，同时保留原有的后期交互接口。SaMer在训练时仅将物体标注作为合并先验，以抑制跨实例混合，推理时无需真实边界框或检测器，并且仅适配共享投影层，视觉和语言主干网络保持冻结。当K=64时，SaMer移除了超过93%的图像端令牌，并将ColPali的存储量减少了16.09倍，同时在Flickr30K和MSCOCO上提高了R@1指标。这些增益源于对象感知合并保留了查询可选择的物体证据，而剪枝或仅特征池化可能移除或坍塌这些证据。SaMer还优于压缩基线方法，并展现出更强的短语级定位能力，表明高效的多向量检索不仅取决于减少令牌数量，还取决于保留未来查询令牌需要选择的证据。
扩散大语言模型（dLLM）通过迭代去噪掩码序列生成文本，提供了自回归模型的并行替代方案，但通过后训练激发强推理能力仍具挑战：监督微调属于离策略方法，存在暴露偏差；而强化学习仅提供稀疏的序列级奖励，且因缺乏易于处理的序列似然而难以应用。同策略自蒸馏（OPSD）提供了一种有前景的替代方案，利用同一模型同时扮演学生和教师角色，提供密集的、词元级别的、同策略监督信号。然而，其有效性依赖于向教师模型提供特权信息（PI）——通常是在推理阶段不可获取的实例级真实标签——导致学生最终蒸馏出弱化的、不含特权信息的一致策略，对dLLM推理能力的提升微乎其微。我们提出dOPSD，该方法转而从学生自身的去噪轨迹中推导教师模型的特权：利用同一轨迹中更后期的解码步骤评估掩码位置，而非依赖外部标签。由此，教师模型的优势直接源于模型自身的解码过程。在Dream和LLaDA上的实验表明，dOPSD同时提升了领域内数学推理与领域外代码生成能力，优于监督方法和同策略基线。
我们介绍了首个面向由复杂物理交互主导的高度动态环境的多智能体世界模型。单智能体世界模型将其他智能体视为环境的一部分，而我们的模型则基于多个智能体的动作流进行条件建模，学会将场景变化归因于正确的玩家，并在其任意动作组合下保持一致性。我们在《火箭联盟》这款游戏中研究这一问题，玩家在快速、紧密耦合的动力学机制下进行竞争与合作。利用公开机器人收集的一万小时游戏数据进行训练，我们拥有50亿参数的潜扩散模型能够实时生成四人对战，在单个Nvidia B200 GPU上实现每秒20帧的生成速度。尽管仅在短片段上训练，其推演稳定性远超训练范围：分布质量在长达五分钟（我们测量的最长时间范围）内保持稳定，实践中我们观察到推演持续数小时且无任何崩溃迹象。我们系统性地研究了核心设计选择：视频编解码器、生成目标以及多智能体条件方案。此外，我们刻画了行为随模型和数据规模的变化，包括涌现出的能力以及持续存在的失败模式。我们还开发了针对性评估，探测模型对物理规律的理解而不仅是视觉表现。为支持多智能体世界模型的持续研究，我们发布了数据集、完整的训练和推理代码库以及一个实时演示。
预训练规模法则表明，模型能力随数据和计算量的增长呈现出可预测的提升。然而，模型在部署后从真实世界环境中学习的过程，其理解深度仍远未充分。通过分析约38,000小时的智能体与环境交互数据（涵盖134项真实世界任务），我们首次发现，据我们所知，环境学习中的整体性能遵循一条对数S型规模法则，且拟合精度极高，R²达到0.998。跨模型世代的研究还表明，智能体的学习速度大约每三个月翻一番。这一发现源于EdgeBench——一个包含134项真实世界任务的基准平台，这些任务具有超长任务周期，涵盖科学发现、软件工程、组合优化、专业知识工作、形式化数学以及交互式游戏。每项任务在丰富、多层次的反馈机制下，能够支撑至少12小时的连续智能体运行，且均通过大量专家投入构建而成。我们公开发布了其中51项任务及完整的评估框架，以加速推动关于智能体如何从真实世界经验中学习的研究。
我们提出了感知流匹配（Perceptual Flow Matching，PFM），一种简单而有效的框架，用于流匹配模型中的少步生成。与在传统VAE潜空间中进行速度回归不同，PFM利用预训练的感知模型在感知特征空间中对流匹配进行监督。这一简单变化显著提升了流匹配模型的少步生成能力，将采样步数从35-50步减少至4-8步，同时保持生成质量。与现有的加速和蒸馏方法不同，PFM既不需要教师模型，也不需要辅助评分网络，并且只需最小程度的修改即可集成到标准流匹配训练流程中。在图像生成、视频生成和图像编辑任务上的大量实验表明，PFM始终能产生高质量结果，同时比现有基于蒸馏的方法产生更少的伪影。我们进一步证明，感知监督将回归最小化器从均值寻求转变为模式寻求，使预测偏向于流形上的模式，这些模式在粗糙的少步积分下仍保持准确。我们的结果揭示，当在合适的表示空间中进行监督时，标准流匹配训练自然能产生高质量的少步生成器。我们希望这一见解能启发未来针对高效生成建模的表示感知目标函数的研究。
扩展预训练、后训练和测试时计算的规模已成为提升大语言模型能力的主要范式。在本工作中，我们将“验证”（即判断解决方案正确性的能力）定义为一条新的扩展维度。为解锁这一能力并展示其有效性，我们提出了LLM-as-a-Verifier（作为验证器的大语言模型），这是一个通用验证框架，能够在无需额外训练的情况下为智能体任务提供细粒度反馈。与标准的大语言模型裁判（通过提示模型对候选方案生成离散分数）不同，LLM-as-a-Verifier通过计算评分词元对数几率分布上的期望值来生成连续分数。这种概率化表达方式使验证能够在多个维度上实现扩展：（1）评分粒度，（2）重复评估，以及（3）标准分解。具体而言，我们证明扩展评分粒度能够更好地区分正面与负面解决方案，从而实现更精确的比较。此外，扩展重复评估和标准分解通过降低方差和复杂度，持续提升验证准确性。我们还提出了一种基于验证器连续分数的成本高效排序算法，用于从候选方案中筛选最佳解决方案。LLM-as-a-Verifier在Terminal-Bench V2（86.5%）、SWE-Bench Verified（78.2%）、RoboRewardBench（87.4%）和MedAgentBench（73.3%）上取得了最先进性能。除验证外，LLM-as-a-Verifier提供的细粒度信号还可作为估算任务进度的代理指标。我们为Claude Code构建了扩展功能，使开发者能够监控和改进自身的智能体系统。最后，研究表明LLM-as-a-Verifier能为强化学习提供密集反馈，在机器人和数学推理基准上提升SAC和GRPO的样本效率。
音频智能涉及对音频和语音的理解、推理及生成。本文介绍Nemotron-Labs-Audex-30B-A3B（简称Audex），这是一个基于Nemotron-Cascade-2-30B-A3B（一款强大的纯文本MoE大语言模型）构建的统一音频-文本大语言模型。Audex采用简洁的统一设计，仅包含单个Transformer解码器：音频输入经过编码并投影到文本嵌入空间，而文本令牌与量化音频输出令牌在生成过程中被统一对待。这种架构实现了强大的音频-文本融合、无缝的多模态生成，并与标准大语言模型的训练和推理基础设施兼容。在训练方面，我们精心策划了包含1574亿音频令牌和3205亿文本令牌的音频-文本数据集，并对这些数据集进行多阶段监督训练，随后进行纯文本Cascade强化学习及多领域在线策略蒸馏。Audex在音频理解、语音识别与翻译、文本到语音、音频生成及语音到语音生成方面均达到最先进水平，同时其纯文本大语言模型主干所具备的推理、对齐、知识、长上下文及智能体能力得以几乎完全保留，仅出现极轻微或无回归。我们发布模型检查点以促进开放研究。
近期，视频扩散模型的进展已能通过时域自回归生成长时间单视角视频，或通过双向注意力机制生成短时长多视角合成结果。然而，动态场景下长时长、多视角一致的视频生成问题仍未解决。本文提出MV-Forcing框架，通过引入顺序生成视角间的4D几何桥梁，在单一扩散模型中融合时域与视角维度的自回归。核心洞察在于：自回归3D重建模型能够在自回归生成的视角间自然地建立桥梁。给定完整的源视角后，我们重建其3D结构并渲染下一目标视角的几何先验，再由扩散模型将其精化为高质量视频。为突破教师模型固定时域窗口的限制，我们提出联合去噪机制：在训练阶段将两个视角槽位均初始化为噪声，从而实现时域无界生成。通过结合时空自强迫的分布匹配蒸馏对模型进行精炼，有效弥合了时域与视角序列自回归中的训练-推理暴露偏差。在合成数据与真实数据上的大量实验表明，MV-Forcing能够以单少步学生模型，生成任意时长与任意视角数量、且几何一致的多视角动态场景视频。
大语言模型代理（LLM agents）越来越多地通过外部工具执行自主行动，导致复杂且不断演变的安全风险。然而，现有的安全测试针对专家设计的安全违规行为，其相应结果由硬编码规则评估，这使得随着代理的进化，扩展测试成本高昂。为此，我们提出了Vera，一个端到端的自动化安全测试框架，通过一个三阶段的自增强流程，将软件工程测试原则实例化到非确定性代理上。首先，文献驱动的探索持续发现并将新兴风险结构化为安全风险、攻击方法和工具执行环境的分类体系。其次，跨分类维度的组合组合生成可执行的安全用例，每个用例指定具体的安全目标、编程构建的初始状态，以及基于可观测工件的确定性验证谓词。第三，自适应执行在隔离沙箱中运行异构代理，其中控制代理基于运行时观察引导多轮交互，而基于证据的验证器则从环境状态和工具调用证据（而非模型自我报告）判断结果。我们在四个生产级代理框架（OpenClaw、Hermes、Codex、Claude Code）上评估了Vera，揭示了显著的安全弱点，在多渠道攻击下平均攻击成功率高达93.9%；我们还发布了Vera-Bench，包含1600个可执行的安全用例，涵盖三个执行环境下的124个风险类别。这些结果表明，模块化、可执行的测试基础设施对于大规模、严格且可维护地评估快速演变的自主系统安全性至关重要。代码已在 https://github.com/Yunhao-Feng/Vera 公开。
长程行为预测旨在基于长序列历史记录推断用户的下一步行为，在人工智能领域具有关键作用。大语言模型（LLMs）的兴起为序列行为预测提供了有前景的方向，但在处理长程行为预测时，LLMs在潜在行为模式归纳和模型固有认知偏差方面仍面临挑战。先前的记忆管理方法遵循上下文压缩范式，试图通过减轻历史序列负担来解决该任务，但未能解决核心难题。本文倡导一种范式转变，将长序列历史记录从负担重新定义为有待挖掘的宝贵资源，并据此提出PraMem方法，该方法预先对长序列历史记录进行练习，构建经验记忆，从而作为辅助输入实现精准的长程行为预测。跨不同任务的大量实验表明，PraMem比先前方法取得了更优性能，更深入的分析为经验记忆的机制和演化提供了宝贵见解。代码链接：https://github.com/icip-cas/PraMem。
大型语言模型越来越多地运行在长上下文中，此时KV缓存成为主要的内存瓶颈：其大小随序列长度线性增长，且需要在解码过程中全程保留，若不进行压缩，在GPU上进行完整缓存代价高昂。现有的KV缓存压缩方法难以在效率与忠实保留上下文之间取得平衡。令牌驱逐会丢弃信息，而语义分组在预填充阶段就固定了压缩决策；两者都无法在生成过程中，当压缩跨度中的令牌级细节变得相关时，将其恢复。为此，我们提出SeKV，一种分辨率自适应的语义KV缓存，它将上下文组织为熵引导的语义跨度，并存储在GPU-CPU内存层次结构中，不丢弃任何信息。每个跨度在GPU上保留一个轻量级摘要向量用于粗粒度路由，并在CPU上保留一个低秩SVD基用于按需的令牌级重建。一个经过训练的聚焦机制在解码过程中选择性地扩展与查询相关的跨度，从而在不将完整KV缓存加载到GPU的情况下实现精确检索。SeKV实现了自适应的令牌级重建，同时保持基础LLM完全冻结，且仅增加不到0.05%的可训练参数。在四个基准测试中，SeKV相比最强的语义压缩基线平均提升5.9%，同时在128K上下文下相比完整KV缓存减少53.3%的GPU内存。代码可在https://github.com/AmirAbaskohi/SeKV获取。
预测物体动力学（即世界建模）是机器人操作领域的一项基本挑战，而可变形物体的建模因其高维状态空间和复杂的材料特性尤为困难。当前的世界模型主要通过两种不同范式来解决这一问题：在二维像素空间或更明确的三维几何空间上学习动力学。然而，由于缺乏多样化、大规模的真实世界数据，对这两种范式的相对优势与局限性的系统性认识仍不清晰。为解决这一问题，我们提出了 Deform360——一个大规模视觉触觉数据集，包含 198 个日常物品、1,980 个交互序列以及来自 41 台环视相机和双手触觉夹爪的超过 215 小时观测数据，用于捕捉整体运动与接触引发的局部形变。借助一种新颖的无标记视觉触觉 3D 追踪管线提取密集几何与运动信息，我们系统评估了当前最先进的世界模型，对二维视频模型与三维粒子模型进行了比较。最后，我们通过执行可变形物体上的机器人规划任务，初步展示了该数据集在真实世界中的适用性。我们的分析揭示了结构先验与可扩展性之间的关键权衡，为未来面向可变形物体的可泛化世界建模研究提供了坚实的基准。项目网站：https://deform360.lhy.xyz
仓库级漏洞复现是一项要求较高的软件工程（SE）任务：智能体必须审查代码库，推断能够触发漏洞路径的输入语法，构建概念验证（PoC），并验证补丁版本中崩溃是否消失。当前的LLM智能体在方法正确时通常能够执行这些步骤，但仍可能因选择错误策略而失败。本文认为，对于此类SE智能体而言，策略——而非完整的动作轨迹——是更合适的学习单元：它足够紧凑以便优化，足够具体以指导执行，且足够稳定以便在多次尝试中存储和复用。我们提出Mastermind，一个将可迁移策略学习与任务特定经验分离的双循环框架。一个可训练的规划器通过监督微调（SFT）和基于里程碑的GRPO学习可复用的漏洞复现策略，而一个经验循环则维护任务局部的策略记录，以指导后续尝试。该规划器独立于执行器进行训练，使得策略学习能够改进多个冻结的执行器，而无需修改其动作生成能力。我们在CyberGym上使用260个训练任务和200个保留评估任务对Mastermind进行评估。以GPT-5.5作为冻结执行器时，Mastermind达到了84.5%的通过率，优于开放书PoC上下文（60.0%）、Best-of-8采样（63.0%）和迭代改进（77.0%）。同一规划器还将GPT-5.4 mini和GLM~5.1的通过率分别从45.0%和58.5%提升至60.0%和71.0%。这些结果表明，学习高层策略是改进仓库级SE智能体的一种有效且可迁移的机制。
在纵向临床实践中，每张胸部X光片的阅读都需结合患者既往检查结果，放射科医师报告的核心内容通常是患者两轮就诊间的变化。据我们所知，本文首次提出了一种免训练的最佳N采样方案，该方案专为预训练的胸部X光报告生成模型设计，显式地利用了从既往到当前检查的纵向变化先验信息。我们将其称为“感知变化的最佳N采样”：首先将每份报告切分为句子，并嵌入为R^d空间中的无序集合；随后通过一种专门编码两集合间变化的集合间距离，将每对（既往、当前）检查数据转化为固定维度的方向向量；最后通过候选转换向量与缓存的真实训练转换向量库（以最小值或k近邻方式聚合）之间的余弦距离对候选报告进行评分。我们使用四种方向性集合距离（均值偏移、新颖性残差、定向Hausdorff锚点、代价加权最优传输）实例化该框架，并在多轮AP-PA队列上，通过三种提示对三个视觉-语言生成模型进行推理评估。感知变化的最佳N采样在所有评估场景下均优于随机选择，其中在“印象”部分的相对提升最为显著。
越来越多的LLM推理服务将客户端请求代理到分布全球的引擎副本。负载均衡策略在优化延迟和TTFT等指标时，必须综合考虑KV-cache局部性、副本负载及网络延迟变化等因素。然而现有系统的代价模型仅评估部分因素，导致副本间负载与KV-cache分布不均。我们提出GORGO代理架构，通过可调参数全面融合网络延迟、预填充代价与排队延迟。由于LMSYS-Chat1M和WildChat-4.8M等开源聊天数据集缺乏长上下文、高前缀复用数据，我们基于长上下文生产元数据发布了合成数据集ART-Chat-2.5M。在ART-Chat-2.5M的调优窗口上，进化策略指导GORGO策略参数直接优化p95 TTFT。在保留的评估窗口上，我们固定调优所得参数值，相较于简单会话亲和与前缀缓存等基准负载均衡策略，p95 TTFT改善6.9-15.5%，p95端到端延迟改善14.3-30.9%。代码和ART-Chat-2.5M数据集见https://github.com/Arcadia-Research-Team/GORGO。
统一多模态模型（UMMs）已展现出令人瞩目的图文交错推理能力，然而通过强化学习（RL）有效优化此类多轮生成仍是一个开放挑战。现有方法仅将RL应用于文本步骤，而将图像生成交由监督代理处理，导致策略梯度无法在跨异质模态的完整交错轨迹中传播，这使得RL在UMMs中的潜力远未得到充分挖掘。本文提出BRAID（将交错多模态推理桥接为统一决策过程）——一个简洁框架，它将多轮图文推理建模为统一马尔可夫决策过程（MDP），从而通过单一、原则性的RL目标联合优化文本与视觉生成。BRAID计算共享的轨迹级优势函数，并将其一致地传播至文本令牌和图像去噪路径，每条路径通过其模态原生策略梯度机制进行优化。为应对长期信用分配问题，BRAID进一步采用视觉语言模型（VLM）裁判，对每个中间图像依据其推理效用进行评分，从而在关键视觉分支处提供密集的轮次级反馈以强化学习效果。在空间推理与视觉感知基准上的实验表明，BRAID持续优于多种基线方法，证实了融合视觉思维引导的统一MDP公式对于实现高效多模态推理至关重要。
我们提出AI魔法师团队在EXIST 2026多模态梗图性别歧视识别任务中的提交方案。该任务包含三个难度递增的子任务。我们将其建模为基于经验标注者分布的条件软标签预测层级结构。系统通过轻量级门控多层感知机（Gated MLP）映射固定的Gemini Embedding 2.0视觉-语言表示，该感知机采用KL散度和同方差不确定性加权进行训练。我们的提交在官方Soft-Soft排行榜上，任务2.3排名第一，任务2.1和2.2排名第四。代码已开源至https://github.com/NLP-AI-Wizards/EXIST-2026。
视觉-语言-动作（VLA）模型通过大规模预训练获得了广泛的具身能力，但其泛化能力仍远不及大语言模型和视觉-语言模型那般稳健。当前主流的微调方法（监督微调或强化学习）虽能提升特定任务性能，却也削弱了预训练所赋予的通用能力。我们发现关键瓶颈在于：VLA的失败不仅源于动作生成，更来自动作评估。一项诊断性pass@k研究证实，冻结的VLA模型在其输出分布中已包含合格行为——整体成功率从pass@1的33%提升至pass@32的92%。受此启发，我们提出SVA（搜索、价值与行动）这一简洁框架，为冻结的VLA策略赋予长期后果感知能力。SVA首先在仿真环境中利用蒙特卡洛树搜索充分探索VLA的输出分布，收集带有经验回报标注的多样化轨迹；随后将这些知识蒸馏至轻量级Q值模型，使其能够预测候选动作的预期后果；部署时，冻结的VLA生成多个候选动作，由评估器选择具有最高不确定性正则化Q值的动作，整个过程无需调用仿真器。通过将动作提议与后果评估解耦，SVA既保留了VLA骨干模型的泛化能力，又大幅提升了任务成功率。在具身基准测试上的实验表明，SVA在未见任务上持续提升泛化性能，并展现出强大的测试时扩展行为。尤为显著的是，SVA使9B参数的VLA模型以低27%的推理延迟超越27B模型7个百分点，这说明扩展测试时评估比扩展模型规模更具成本效益。
基于语音的抑郁症检测将短音频片段的特征压缩为单一的说话人级别决策，这一被称为“时间聚合”的步骤鲜少被单独研究。现有基准测试通常固定使用单个自监督编码器和单个手工选择的层，因此报告的性能提升可能反映的是整个处理流程而非聚合方法本身。我们提出了DEPOOL，一个受控的基准测试平台，在英语和普通话抑郁症语料库上比较了六种聚合架构与六个冻结语音主干网络，每个配置会自动学习哪些主干网络层更关键，而非手工固定选择某一层。在这72种配置构成的网格中，三分之一的配置会退化到为每个说话人预测同一个类别——这种失败既与主干网络有关也与聚合方法有关，而单次随机种子运行中最稳定的架构，在跨种子的多次训练中却变得不可靠。对主干网络和随机种子的鲁棒性，而非单一流程下的平均准确率，应成为临床语音中时间聚合的首要基准评估标准。
可控的3D医学图像生成模型可以合成具有指定临床属性的体数据，但这要求样本同时具备高保真度、原生3D特性，并忠实于所请求的条件。我们提出CONFLUX——一种用于胸部计算机断层扫描（CT）的潜空间扩散模型：一个3D变分自编码器压缩每个体数据，一个整流流变换器在潜空间中生成图像。生成过程通过自适应层归一化，以结构化放射学元数据（18种异常发现、性别、年龄和重建核）为条件进行控制。该模型在三分面弗雷歇距离（FID 32.3对比MAISI的74.6）上显著优于强体积基线，同时提供对临床属性的直接控制。为加强这一控制，我们增加了一个在线强化学习后训练阶段（群组相对策略优化），通过奖励分类器从生成体数据中可靠地恢复所请求发现的程度来优化。经独立的分类器评估，后训练消除了相对于真实扫描可靠性的47%的差距。我们发布了该模型和一个约20万张合成胸部CT数据集，其条件元数据涵盖广泛的临床发现。
我们提出SynCity 3000框架，用于生成全局连贯且支持细粒度布局控制的3D场景。基于当前图像到3D生成器从单张图像生成复杂3D资产的能力，我们通过将生成器改造为可卷积算子，将此能力扩展至整个场景的规模。为此，我们在场景类数据上对模型进行微调——这类数据由我们提出的新型合成数据引擎生成，以解决训练中3D场景数据稀缺的问题。随后，将卷积生成器应用于用户提示生成的全局等轴测图像，即可生成任意尺寸与复杂度的3D场景。在多样化的提示与布局下，SynCity 3000能够生成大型、连贯且细节丰富的场景，弥补了先前3D场景生成方法的不足。
声音与味觉之间的跨模态对应在心理学和神经科学领域已得到充分证实，但在基于内容的多媒体检索中却鲜有涉及。本文将"从音频预测味觉"形式化为一个基于内容音乐信息检索的基准测试，基于经过感知验证的多源语料库，在共享多任务回归头下比较了来自四个HEAR家族的十种冻结音频编码器，并以门控晚期融合作为可配置变体。为评估模型有效性，我们计算了绝对误差与秩相关系数。最强系统对五种味觉的预测宏观均方根误差（RMSE）为0.134；在未参与训练的真实音乐数据上，其误差低于单个评分者偏离共识的一半（RMSE 0.13对比0.28），即模型追踪群体共识的精准度超越平均人类评分者，且远低于先前最先进基线（0.219）。在绝对误差上各编码器统计表现持平，单个VGGish即可媲美最优融合效果，但门控晚期融合的优势仅限于秩相关（宏观皮尔逊r 0.724对比0.666）。作为基于内容的检索索引运行时，预测味觉空间对309项曲目池的排序忠实度远高于CLAP文本基线（后者仅达随机水平）；脊回归探针与音频带阻消音实验揭示了最强表征与已有声音-味觉对应关系的匹配情况。
决策时间规划结合动作条件世界模型已成为具身控制领域的主流范式。然而，标准规划代价仅根据候选轨迹的预测终端状态与目标的接近程度进行评判，忽略了中间过渡状态的可实现性——预测轨迹可能看似合理，但实际环境交互却会偏离该轨迹。本文提出ACID框架，这是一种引入循环动作一致性的决策时间规划方案：通过逆动力学模型从预测过渡状态反向推理出的动作，应能恢复原始条件动作。我们通过尺度不变自适应权重将这种逐步残差融入规划代价。在涵盖刚体与非刚体操作、关节控制及视觉导航的四个动作条件世界模型与六项任务中，ACID持续提升规划性能，并在显著降低规划计算量的前提下保持与基线相当的精度。
为了让机器人在商业和工业应用中可靠运行，能否将近期智能体编码系统的进展，与可解释的机器人编程以及无模型策略的开放世界适应性相结合？我们聚焦于“变分自动化”（VA）——一类在物体几何和姿态上变化幅度大于固定自动化的任务。无模型策略往往难以弥合VA任务的可靠性差距，而这些任务需要在商业和工业应用中持续且可靠地执行。受先前关于任务与运动规划（TAMP）及机器人操作系统（ROS）工作的启发，我们提出了“图即策略”（GaP）——一种多智能体编码框架，它从模块化开放机器人技能库（MORSL）中生成包含感知、规划和控制节点的有向计算图。随后，GaP构建一个内部仿真环境，通过并行排练不同图结构下的任务实例，迭代优化图结构与参数，以提升成功率和吞吐量。在8个新的开放VA任务基准（其中4个为仿真任务，4个为真实世界任务）上的评估表明，GaP能够取得显著优于基线的成功率。详情、代码及数据可在线获取：https://graph-robots.github.io/gap
无监督音节标记化旨在从原始语音中学习离散的音节标记，以捕捉与潜在语言内容相关的结构。最近的音节标记化方法采用预训练HuBERT的师生蒸馏，将潜在的语音帧表示组织成音节片段。然而，当使用话语级交叉熵目标进行训练时，模型会预测说话人身份而非语言内容，从而损害音节标记的纯度。为解决这一问题，我们提出了一种说话人解耦的音节标记器，该标记器在固定长度块内将受说话人扰动的学生表示回归至干净的教师目标。实验结果表明，我们的方法在音节边界检测和音节片段聚类方面达到了最先进的性能。此外，基于我们的音节标记训练的语音语言模型，在句法和语义理解上相比于音素级别的SpiRit-LM取得了7%的相对提升。
半监督语义分割（SSSS）长期以来围绕着一个核心问题：哪些伪标签值得信任？并一直通过日益精细的置信度过滤来回答这个问题。基础骨干网络的引入改变了这一格局：使用DINOv2教师模型时，严格的阈值即可保留测得的98%纯净度伪标签集，因此剩余精度并不依赖于过滤机制，而在于嵌入空间如何按类别结构组织。我们提出PixCon，一种基于干净正样本的像素对比学习框架。PixCon维护一个每类记忆库，仅接纳学生模型已正确分类的有标签像素，通过构造保证了无污染的正样本集（ρ_F=0），这与先前基于置信度过滤伪标签的对比SSSS记忆库（如ReCo、U^2PL）不同。PixCon仅需在一致性骨干网络上添加单一分支，不增加推理阶段参数，也无需记忆库专属阈值。对监督InfoNCE梯度的一阶分析解释了污染为何有害：其假正项按ρ_F/(1-ρ_F)规模增长，我们在Pascal上测得0.018、在ADE20K上测得0.106，而非简单假设。在Pascal VOC、Cityscapes和ADE20K数据集上，PixCon在计算量匹配的“单次开关”协议下，匹配或超越了基于DINOv2的强基线UniMatch V2：它改进了Pascal-1/8每个种子的结果（每种子约+0.2 mIoU），其三种子均值达到87.90，与已发表的UniMatch V2-B指标持平。由于基础模型教师下污染已属罕见，我们的分析表明，ρ_F=0保证主要作为教师模型变弱时的鲁棒性机制，而精度提升源自更干净的正监督。这使得干净正样本对比成为基础模型SSSS中一种鲁棒、低成本的默认选择。
像大型强子对撞机这类高通量科学设施，依赖实时事件过滤（触发）在带宽、延迟和存储的严格约束下运行。在实际应用中，触发菜单大多是静态且通过手动调优的，随着探测器条件、堆积和背景成分随时间漂移，它们会逐渐变得非最优。我们将在线阈值调优建模为序列决策问题：强化学习智能体吸收流式汇总的近期速率和信号敏感特征，动态更新触发阈值，以在追踪目标背景率的同时最大化信号效率（允许一定容差范围）。我们将分组滤波策略优化（GFPO）适配到流式控制场景，并引入两个变体（GFPO-F、GFPO-FR），在训练过程中强制执行背景率的可行性。在模拟真实对撞机运行的基准测试中，我们研究了两种典型触发：对堆积变化敏感的总横能量（H_T）触发，以及基于重构损失检测罕见或非标准信号的异常检测（AD）触发。在蒙特卡洛数据流上，我们的智能体将时间区间内处于容差范围内的比例提升了48%（H_T）和28%（AD），并在这些容差区间内的信号效率上获得了高达2%的累积增益。从模拟迁移到真实碰撞数据（CMS Run 283408）时，同一智能体无需微调，相较于基线方法在容差范围内提升了56%（H_T）和28%（AD），两种触发器的信号效率均进一步提升。据我们所知，这是首次在真实大型强子对撞机碰撞数据上实现基于强化学习的触发控制。代码见 https://github.com/Zixind/GFPO_LHC （详情参见仓库）。