每日精选AI研究论文及翻译
开放世界中的机器人操作不仅需要识别场景的外观，还需要预测其三维结构在交互作用下的运动方式。我们认为，同步的RGB、深度和光流（即RGB-DF）提供了一种物理上具有可解释性的表征，能够捕捉场景底层的四维动态。与二维像素视频相比，这种多模态协同将视觉外观、几何结构与时序运动对齐，创建了一个更接近机器人系统所需低层级末端执行器动作的表征空间，从而缩小了世界预测与策略学习之间的鸿沟。基于这一洞察，我们提出了RynnWorld-4D，这是一个生成模型，能够从单张RGB-D图像和一条语言指令出发，在统一的扩散过程中联合生成未来的RGB帧、深度图和光流。该四维世界模型采用三分支架构，融合了跨模态注意力与逐帧三维旋转位置编码（RoPE），确保外观、几何和运动保持一致演化。为了提供大规模训练数据，我们整理了Rynn4DDataset 1.0，这是一个包含超过2.544亿帧的大规模数据集，覆盖自我中心视角的人类和机器人操作视频，并带有高质量的深度和光流伪标签。我们进一步提出了RynnWorld-4D-Policy，这是一个逆动力学头部，能够在前向传播中一次性消耗RynnWorld-4D的内部四维表征，绕过昂贵的多步去噪过程，以闭环方式输出机器人动作。实验表明，RynnWorld-4D能够产生时空一致的四维预测，而RynnWorld-4D-Policy在真实世界灵巧双臂操作任务中达到了最先进的性能，特别是在需要空间精度和时间协调的任务中表现卓越。
传统游戏世界通常通过劳动密集型生产流程构建，导致其开发成本高昂、难以实现个性化定制，且部署后修改成本极高。近期视频世界模型的突破性进展提供了一种截然不同的范式：这些模型无需逐一显式设计虚拟环境的每个组件，而是基于当前世界状态与用户交互，自回归地合成未来的观测结果，从而支持可交互世界的实时生成。通过同时利用游戏录屏与真实世界视频进行训练，这些模型能够捕捉多样的视觉表现与物理动态，为游戏之外的互动应用（包括具身智能）开辟了全新可能。本文提出 AlayaWorld——一个构建交互式生成世界的全栈开源框架。该框架支持开放式实时交互，允许用户自由探索并执行战斗、施法、召唤怪物等多样化动作。框架通过模块化可扩展架构，将从数据准备、模型设计、模型训练、推理加速到部署的完整开发流程统一整合。伴随框架发布，我们还提供可复现的流水线、参考实现、评估工具及详尽文档，为生成式世界模型的未来研究与实时应用奠定实践基础。
扩展机器人学习规模需要海量、多样化的轨迹数据，然而当前数据收集受限于物理遥操作——每次演示都将操作员的时间与特定硬件和工作空间绑定。我们提出数字遥操作这一新范式，通过用生成式世界模型替代真实机器人，将数据收集与物理约束解耦。在该框架中，操作员的手部姿态流驱动以机器人为中心的生成式世界模型，从单张参考图像合成高保真第一人称视频。记录的姿态流作为与具身无关的动作标签，可通过标准重定向迁移至任意目标机器人，从而产生独立于物理硬件的完整状态-动作轨迹，用于模仿学习。我们以RynnWorld-Teleop系统实例化该范式，该系统集成了深度感知骨骼条件化、渐进式人-机器人训练方案（基于视频扩散变换器）以及流式自回归蒸馏。该流水线将生成过程压缩为单次推理，在单块H100 GPU上实现40帧/秒以上的实时交互式生成。完全基于RynnWorld-Teleop生成数据训练的策略，在灵巧且多样的双手任务中实现了有效的零样本Sim2Real迁移。此外，将我们的数字遥操作数据增强到真实世界数据集，持续提升了任务成功率，证明RynnWorld-Teleop可作为面向下一代机器人体的高保真、可扩展数据引擎。
扩展现代大型语言模型（LLMs）的长上下文处理能力受限于密集型注意力机制带来的二次计算成本及较差的长度外推能力。基于分块的稀疏注意力提供了有前景的替代方案，但现有方法均因不准确的分块选择而未能达到完整注意力的性能。我们提出层次化地标稀疏注意力（HiLS Attention），这是一种基于分块的稀疏注意力机制，能够在语言建模（LM）损失下端到端地学习分块选择。HiLS通过层次化方式分解注意力：每个查询独立地对每个检索到的分块进行注意力计算以提取分块特定信息，随后根据分块检索得分融合输出结果。通过将检索得分纳入前向注意力计算，HiLS直接使用LM损失优化这些得分，实现了端到端的检索学习和原生稀疏训练。实验结果表明，HiLS-Attention在域内上下文长度上取得了与完整注意力相当甚至更优的性能。同时，HiLS-Attention能够外推超过训练上下文长度64倍的范围，且检索准确率达到90%，远超完整注意力。此外，现有的完整注意力模型可通过轻量级持续预训练转换为HiLS-Attention，在保持域内性能的同时获得超长上下文外推能力。结合其稀疏的键值访问与计算，HiLS-Attention打破了通常的效率-性能权衡，使得长上下文LLM在通用长上下文任务上比其完整注意力版本更高效、更有效。
我们将计算机视觉表述为统一的多模态生成，其中异构的视觉任务在统一多模态模型的原生文本与图像生成空间中被表达，无需依赖任务特定的架构。基于这一表述，SenseNova-Vision 使用自然语言指令与可选的视觉提示来指定任务、目标区域或视角以及解码约定，并以文本形式输出符号化结果、以图像形式输出密集空间预测、或以图文混合形式输出组合任务结果。为支持大规模训练，我们将多样化的计算机视觉标注数据转换为与该生成空间兼容的指令-响应示例，从而构建了 SenseNova-Vision 语料库——一个涵盖文本、图像及混合目标的计算机视觉指令-响应数据集。SenseNova-Vision 从现成的预训练统一多模态模型出发，主要在该语料库上进行训练，并辅以多模态数据作为能力保持的混合，无需任务特定的预测头或架构修改。最终模型覆盖广泛的视觉任务，包括检测、OCR、关键点估计、分割、深度估计、表面法线预测、点云图以及相机位姿估计，同时支持基于语言定义的变体，这些变体结合了类别、颜色、区域及其他视觉线索。实验表明，单一统一模型在结构化视觉理解、密集几何预测、分割以及多视角视觉几何方面能够与领先的任务专用系统匹敌。这些结果提示，统一多模态生成是将计算机视觉能力融入通用基础模型的一条可扩展路径。该模型及语料库均已公开。
我们推出了Gemma 4，这是Gemma模型家族中新一代的开放权重、原生多模态语言模型。Gemma 4模型系列旨在提升计算效率和推理能力，采用了密集型和混合专家架构，参数规模从23亿到310亿不等。在针对所有模型尺寸改进视觉和音频编码器的同时，我们为12B模型提出了一种统一的无编码器架构，可直接处理原始音频和图像块。此外，我们还集成了思考模式，使Gemma模型能够在响应前生成推理轨迹。通过关键设计选择，我们提升了推理速度、内存和计算效率，以及长上下文能力。Gemma 4在STEM、多模态和长上下文基准测试中实现了性能飞跃，并在人工评分任务中与更大的前沿开放模型相抗衡。
智能体视频理解赋予模型长期记忆能力，使其能够自主处理并响应连续、长时程的多模态流。然而，高级视频智能体往往依赖"侦探式"迭代推理进行动作控制（如搜索）和证据聚合，导致高昂的成本与延迟。我们认为，这种重度推理本质上是为了弥补全局上下文缺失与检索中的语义对齐不足。本文提出Light-Omni，一种面向反身式轻量化视频理解的多模态智能体框架。该框架通过双上下文状态，在单次前向传递中即时构建所需上下文。首先，我们维护一个全局状态——从情景记忆中持续整合的有限规模多模态脚本来充当Light-Omni的全局上下文。通过层级化合并，它在保留近期细节的同时概括过往事件。其次，基于该全局上下文，我们生成一个参数化潜状态，直接驱动自主动作并产生检索嵌入，且延迟极低。得益于这种耦合设计，Light-Omni在避免迭代推理的同时，实现了语义对齐的检索与反身式响应。大量实验验证了Light-Omni在多个视频基准上的有效性。值得注意的是，相比M3-Agent，它取得了平均2.4%的准确率提升、12.1倍的速度提升以及2.6倍的GPU内存效率提升。此外，它还可作为记忆系统，增强现有大语言模型（MLLMs）的性能与效率。项目页面：https://clare-nie.github.io/Light-Omni。
推测解码通过将草稿生成与目标验证解耦，加速了大语言模型（LLM）的推理过程。尽管近期提出的并行草稿生成器能够在单次前向传播中高效生成较长的Token序列，但由于缺乏Token间的依赖关系，它们会遭遇快速接受率衰减的问题。此外，不加区分地验证这些扩展块，会将宝贵的批处理容量浪费在高拒绝风险的Token上，从而严重降低高并发服务系统的吞吐量。 本文提出DSpark——一种将高吞吐并行生成与自适应、负载感知的验证统一起来的推测解码框架。为了保持草稿质量，DSpark采用半自回归架构，将并行主干网络与轻量级顺序模块相结合，引入块内依赖建模以缓解后缀衰减问题。为了优化系统效率，DSpark采用置信度调度验证，根据估计的前缀存活概率和引擎特定的吞吐量特征，动态调整每个请求的验证长度。 在跨多个领域的离线基准测试中，DSpark相较于最先进的回归式和并行式草稿生成器，显著提升了接受长度。在DeepSeek-V4服务系统中部署后，面对真实用户流量，DSpark成功缓解了验证浪费问题。与现有生产基线（MTP-1）相比，在相同吞吐量水平下，DSpark将每个用户的生成速度提升了60%至85%。更重要的是，通过防止在严格的交互性约束下出现的严重吞吐量下降，DSpark实现了此前无法达到的性能等级，推动了服务系统的帕累托前沿边界。
尽管面向自主代理的技能优化已逐渐兴起，现有方法仍依赖于复杂流水线。其中一个基本问题尚未解答：构成最小可行技能优化流水线的要素是什么？其中每个组件需有理论或实证必要性的支撑。我们通过零阶优化形式化技能优化，将经典对应方法（中心差分、信任域）映射至近期文献。值得注意的是，与经典零阶优化中盲目的数值扰动不同，技能轨迹可作为可解释的调试反馈。基于Claude Code哲学与PAC学习理论，我们确立了关于收敛性与泛化性的三项原则：基于文件系统的轨迹探索、共识属性挖掘以及独立验证门控。通过消除冗余，我们提出SkillOpt-Lite。该方法加速收敛且全面优于完整版SkillOpt：在GPT-5.5上使LiveMath提升+8.8分，在GPT-5.4-nano上提升+25.4分，使得nano模型超越经SkillOpt优化的标准GPT-5.4。最后，我们将该框架集成至VSCode Copilot等生产级编码代理中，使开发者能通过一行“vibe”代码进化代理技能。由于我们的框架将所有代理组件视为标准可编辑代码，这一最小流水线自然可泛化至全流程优化（HarnessOpt）。在SpreadsheetBench上，HarnessOpt使GPT-5.4-nano达到0.7758的准确率，超越运行标准流水线的更大模型GPT-5.5（0.7620）。代码已开源：https://github.com/EvolvingLMMs-Lab/SkillOpt-Lite。
密集视频字幕旨在为视频事件生成带有时间定位的描述，这有助于提升事件级别的视频理解与生成能力。在该领域，自回归视频大型语言模型因其强大的生成能力和跨模态建模能力，已成为主流范式。然而，在逐词生成的范式下生成密集字幕严重限制了推理效率，并随着视频长度和事件密度的增加阻碍了可扩展性。为此，本文提出了一种并行化自回归框架，不仅提升了生成效率，还增强了带有时间定位的字幕生成性能。我们的核心洞察在于：利用时间上不同事件之间较弱的局部依赖性重构因果依赖图，从而实现无损并行生成。具体而言，跨事件依赖性较弱的令牌可以并行解码，而每个事件内部紧密耦合的令牌则保持顺序解码以保留局部语义连贯性。为实现这一洞察，我们引入了两个关键组件用于无损并行解码：(1) 一种潜在全局规划机制，能够自动学习事件级结构，生成紧凑的令牌以编码全局事件间因果关系，同时自适应地聚合事件级的音视频语义，指导后续的依赖重构与并行解码；(2) 一种事件分解的并行解码机制，有效平衡局部关注与全局事件间感知。在多个基准上的实验表明，我们的方法在全模态事件定位与字幕生成方面在效率和性能上均具有明显优势。项目网站：https://github.com/showlab/PadCaptioner。
尽管VLA基础模型近期取得了进展，但实验室条件与现实应用之间的差距仍阻碍其实用化。为弥合这一鸿沟，我们提出LingBot-VLA 2.0，通过三大功能领域的改进实现了对LingBot-VLA的升级：(1) 跨任务与跨本体的泛化能力。相较前代版本，我们重构了数据处理流程，并筛选了约6万小时数据用于预训练，其中包括涵盖20种机器人构型的5万小时机器人轨迹数据，以及1万小时第一人称人类视频数据。(2) 在双机械臂硬件平台基础上扩展动作空间。具体而言，本系统支持头部、腰部、移动底盘及灵巧手的自由度控制，使机器人能够应对实际场景中更复杂的任务。(3) 基于预测动态建模提升时序推理能力。我们通过视频表征模型获取语义先验、深度估计模型获取几何线索，将未来状态预测作为代理任务进行建模。在通用化设置下的GM-100基准测试中，上述改进的有效性得到了验证。此外，受益于覆盖全身自由度的扩展预训练数据，LingBot-VLA-2.0在两个机器人平台上展现出强大的跨本体长时域移动操作能力。
同策略蒸馏（OPD）通过让学生在自身轨迹上匹配更强的教师来训练学生策略，为语言智能体训练提供了有前景的框架。然而，其在长周期智能体任务中的应用尚未得到充分探索。我们识别出原始智能体OPD中的两个关键低效问题：（1）全周期展开通常将壁钟资源浪费在尾部轮次上，而尾部轮次提供的KL监督弱且噪声大；（2）轨迹级KL目标将大部分损失集中在浅层token上，一旦初始行为对齐后，深层决策轮次便得不到充分训练。为解决这些问题，我们提出TurnOPD，一种用于长周期智能体高效同策略蒸馏的回合级预算策略。TurnOPD包含两个预算控制器：自适应展开深度预算，利用基于探测的回合统计信息确定展开长度；以及渐进式回合归一化损失预算，将KL权重从token级逐步转向回合均衡监督。在ALFWorld、WebShop和Multi-Hop Search上使用任务特化教师模型进行的实验表明，在相同的壁钟训练预算下，TurnOPD实现了更优的验证准确率，并在准确率-时间前沿上超越了原始OPD。
我们提出了MentalThink，这是一种视觉-符号推理范式，为多模态大语言模型（MLLMs）配备了可执行的“心理”可视化机制。MentalThink的核心是一个“思考即SVG”流水线：模型学习生成、渲染和解释可缩放矢量图形（SVG）代码，将其作为多轮推理的中间视觉表示。通过创建结构化的矢量草图，模型能够外化空间假设、通过确定性渲染对其进行检查，并在受限的几何空间内进行推理，从而有效模拟人类的心理意象过程。我们通过一个两阶段训练框架来实例化这一范式：结合用于SVG语法对齐的监督微调（SFT）与多轮强化学习（RL），以鼓励对中间视觉假设进行迭代检查、修正和优化。大量评估表明，MentalThink在空间理解和推理基准上取得了卓越性能（例如，在VSIBench上达到55.1%，在MindCube上达到76.0%），这证明了可执行矢量图形为动态视角转换、视觉反思和组合场景构建提供了一个可验证的视觉工作空间。
针对不可验证指令遵循的强化学习（RL）越来越依赖配备提示特定评分标准的LLM裁判作为奖励信号。尽管近期方法在训练过程中使这些评分标准随策略演化而自适应调整，但训练提示本身仍保持静态，源自固定语料库。这种静态方法常导致提示难度与策略能力之间的严重错配，当提示无法在策略生成样本中引发质量差异时，裁判便无法恢复可区分的奖励信号。为解决这一错配问题，我们提出"LLM作为导师"（LLM-as-a-Tutor）框架，将LLM的角色从裁判扩展为导师：单一模型既充当考官，通过成对比较策略生成样本来检测非挑战性提示；又充当生成器，为这些提示追加原子约束。这种仅追加的设计使提示难度随策略能力同步单调递增，无需外部难度调度即可产生自校准训练信号。在三个复杂指令遵循基准上，我们的方法始终优于不考虑策略的基线方法以及之前通过调整评分标准或改写提示来适应策略的方法，这表明提示适应是面向策略感知的不可验证强化学习中一个缺失的维度。
近年来，大规模生成模型的进展显著推动了视频生成技术的发展，但现有方法仍受限于僵化的推理范式。双向扩散模型擅长全局连贯性与视觉保真度，却存在推理速度慢的问题；而自回归模型虽能实现高效且可流式生成的特性，但牺牲了长程一致性与曝光偏差。我们提出Flex-Forcing——一种统一的训练与推理框架，使得视频扩散模型能够在双向生成与自回归生成两种模式下无缝运行。其核心思想是一种在时间轴与去噪步数上联合定义的灵活分块机制。该设计使模型能够：（1）根据不同的设备预算灵活调整分块策略；（2）在分块间进行双向推理以规划全局结构，同时在每个分块内自回归生成帧，实现高效且精细的合成；（3）突破严格的因果约束，支持任意顺序、任意时间步的自回归生成。在多个视频生成基准上的大量实验表明，与采用僵化推理调度的强基线方法相比，Flex-Forcing在视频质量、长视频稳定性上均取得了一致提升，同时推理速度更快。
复杂的图像创建与编辑任务往往需要超越单一生成或编辑模型的能力。用户需求可能涉及图像合成、目标定位、区域分割、选定内容编辑、中间素材合成、文本读取以及最终结果增强等步骤。这类任务将多模态智能体从基于感知的推理转向以操作为核心的视觉创作——在此过程中，工具必须主动改变视觉状态，而非仅仅进行观察。然而，现有的多模态工具使用智能体大多针对感知、搜索或特定领域编辑进行优化，缺乏用于可执行图像创建轨迹的大规模监督。本文介绍了 CanvasCraft——一个面向复杂图像创建与编辑的大规模多模态工具使用数据集，以及 CanvasAgent——一种工具增强型多模态智能体，能够通过多轮交互学习编排异构视觉工具。CanvasCraft 包含 14 万条完全标注的可执行轨迹和 1 万条强化学习任务规约。CanvasAgent 首先通过监督微训练学习可执行的推理-动作轨迹，随后采用结合结果级与过程级信号的混合奖励，基于 GRPO 进行优化。在运行过程中，CanvasAgent 会检查中间结果、追踪视觉素材，并根据不断演变的视觉状态调整工具决策。实验从最终图像质量与轨迹行为两个维度进行评估，证明了 CanvasAgent 及所提出数据集在复杂多工具图像创建工作流中的有效性。
在自中心三维场景生成中，由于视点重叠有限且个体视角对场景解读影响显著，仍面临诸多挑战。这些因素阻碍了视点一致且语义对齐的视觉内容的生成，以及精确几何结构的构建。本文提出CGGS——一种文本到三维框架，旨在增强三维内容感知能力并解决自中心场景生成中的几何畸变问题。首先，提出自中心生成器（Ego-centric Generator），通过微调多视角潜在扩散模型并引入一致性增强损失，生成与文本描述对齐的一致性高保真二维内容。接着，布局装饰器（Layout Decorator）利用光流与点轨迹对应关系估计深度，从而从自中心二维先验中生成稠密点云作为粗略布局。在此初始化的基础上，提出几何精炼器（Geometric Refiner），通过基于熵的互信息深度损失（MID）结合层次化优化方案，增强三维高斯重建效果，提升视觉质量与几何结构。大量实验表明，CGGS在生成连贯且准确的文本驱动三维场景方面优于先前方法。项目页面：https://cggs-26.github.io/cggs26/。
最先进的单图像三维重建方法通常依赖复杂的混合架构和损失函数，或者将几何信息压缩到潜在空间中，以利用预训练的潜在扩散模型。在这项工作中，我们表明这种架构开销和复杂的损失公式是不必要的。我们引入了一个极简的像素空间扩散Transformer，基于简单的ViT构建，直接操作原始三维点图块，并以预训练DINOv3的图像标记为条件。与现有的潜在扩散方法不同，我们从头开始训练扩散主干，消除了对点图分词器的需求。尽管设计简单，我们的方法超越了复杂的基于潜在扩散的模型，同时比混合替代方案显著更简洁。值得注意的是，它生成了更清晰的几何结构，并且在高度模糊区域（如透明物体）中更具鲁棒性。
我们介绍了Nemotron-Labs-Diffusion，这是一种三模语言模型（LM），在单一架构中统一了自回归（AR）、扩散和自推测解码。通过联合的AR-扩散目标进行训练，Nemotron-Labs-Diffusion能够切换模式，以在不同部署环境和并发级别下维持高吞吐量。我们的研究显示：（1）AR和扩散目标具有互补性：扩散改进了前瞻规划能力，而AR提供了从左到右的语言先验信息。（2）在自推测模式下，扩散负责前瞻草拟，AR负责验证，这在接受率和实际设备效率上均优于多标记预测（MTP）方法。（3）光速分析进一步揭示了扩散的长期潜力，在最优采样器下，每次前向传递生成的token数比自推测模式多76.5%。通过扩展至3B、8B和14B参数规模，我们的Nemotron-Labs-Diffusion系列（包括基础模型、指令模型和视觉语言模型）在准确性和速度上均持续优于最先进的开源AR和扩散LM。例如，Nemotron-Labs-Diffusion-8B每次前向传递解码的token数比Qwen3-8B多6倍，且准确性相当，在GB200 GPU上使用SGLang运行SPEED-Bench时，吞吐量提升了4倍。
群体相对策略优化（GRPO）在当前策略已能采样到有效推理轨迹时表现良好，但对于正确解答模式位于学生当前策略支持范围之外的困难提示，其优化会陷入停滞。我们提出TREK（基于正向KL散度的教师引导探索法），这是一种简单的分阶段流程，利用蒸馏技术的目的并非模仿，而是扩展探索支持范围。TREK的关键优势在于其通用性：由于仅需使用已验证的输出轨迹，它既可以借助外部黑盒教师、白盒教师，也可以利用同一模型在额外推理上下文下的自身能力；即便无法获取教师内部机制，它也能高效识别哪些困难提示样本最值得巩固。TREK首先识别学生未经辅助时通过率极低的提示，向提议源查询以生成经过验证的候选解答，保留按当前学生似然度排序的前r个候选方案，执行短期正向KL散度阶段将这些已验证的解答模式纳入学生支持范围，随后回归标准的在线策略GRPO精炼阶段。在数学推理任务中，采用DeepSeek-V4提议的TREK方法在AIME 2024和AIME 2025数据集上对所有测试规模的Qwen3模型均有提升；对于Qwen3-8B模型，在AIME 2025上的成绩从36.9提升至40.3，在AIME 2024上从47.9提升至51.1（avg@16）。而自上下文变体在无需外部教师的情况下分别达到38.5和49.6。在智能体任务中，TREK将ALFWorld的成功率从75.8提升至82.8，ScienceWorld的成功率从12.5提升至26.7；值得注意的是，在最困难的任务类型中，TREK在训练初期即达到较高成功率，而未经辅助的GRPO需要更多优化步骤才能达到同等水平。
我们提出了“先排序后行动”（Rank-Then-Act, RTA）框架，用于在无环境奖励的情况下，从专家视频演示中学习控制策略。RTA 离线训练一个视觉语言模型（VLM），使其成为基于进度的顺序评分器。该训练采用组相对策略优化（GRPO）目标，在打乱的帧序列上进行，迫使模型仅依据视觉语义而非简单的时间线索恢复时间顺序。关键在于，我们不直接将该评分器用作标量奖励模型，而是提出一种基于相关性的奖励函数用于强化学习：在每个交互窗口中，我们计算预测进度排名与真实时间索引之间的斯皮尔曼秩相关系数，从而得到一个有界且尺度不变的 learning 信号。这种设计将奖励学习与绝对校准解耦，使得单个预训练进度评分器能够稳定地迁移到不同任务和环境。我们在离散控制基准（PyBoy：Catrap、Kirby）和连续控制任务（PointMaze、MetaWorld）上评估了 RTA。RTA 始终能够匹配或超越以往基于视频的奖励学习方法以及基于排名的基线方法，同时展现出单个预训练进度评分器在跨任务复用方面的强大能力。我们的结果表明，基于视频序数信号的关联结构监督足以支持策略学习，为显式奖励设计提供了一种可扩展的替代方案。
使用MaxSim相似度函数的晚期交互检索模型在实证中表现出色，通常优于单向量稠密和稀疏检索模型。尽管已有实证发现，但关于MaxSim的理论表征能力及其与其他检索方法的比较仍知之甚少。本文通过构造证明，MaxSim相似度能够精确复制任意两个非负k稀疏向量（维度可能无限）的内积，仅需O(k)的表示空间。此外，存在某些相似度关系，MaxSim能够表达，而相同表示空间下的标准向量内积却无法做到。基于我们的理论框架，我们引入了Signed MaxSim，使晚期交互模型能够精确复制任意实值内积，而标准MaxSim被证明无法实现这一点。我们还表明，MaxSim可以充当软或（soft-OR）操作的聚合器，以及正合取范式（Conjunctive Normal Form）中逻辑表达式的评估器。我们的研究结果表明，对于任何非负向量，MaxSim至少与标准向量内积能力相当；而我们的扩展Signed MaxSim对于任意向量都具有同等能力。这两种相似度都具备内积无法复制的额外能力，这为晚期交互方法提供了最早的理论依据和量化分析之一。我们的理论发现得到了实证支持：在一个包含否定查询的检索任务中，Signed MaxSim在词汇偏移下将nDCG@10从0.597提升至1.000，在仅含否定词的查询上从0.008提升至0.788，显著优于标准ColBERT/MaxSim基线的域外性能。
LLM 代理越来越依赖检索缓冲区来存储和重用过去的经验，然而管理这些缓冲区的缓存策略大多仍是临时性的。我们将此形式化为一个带有切换成本的在线语义缓存替换问题，其中条目通过嵌入相似度进行匹配，命中质量是连续的而非二元的。通过在 MemoryBench-Full 数据集（LoCoMo、DialSim）上使用 8 种替换策略进行的实验，我们揭示了一个令人惊讶的发现：经典启发式算法（LRU、LFU）在语义工作负载上始终不如简单的 FIFO 基线，原因是缺乏时间局部性和频率集中性。我们提出了 SOLAR，一个学习增强框架，它通过遗憾累积推导修改时机（实现约 17% 的修改率），并通过基于隐式检索反馈的贝叶斯在线学习选择内容。我们证明 SOLAR 实现了恒定的竞争比 ≤ 3，与缓存大小和时域无关（而 FIFO 的竞争比为 Ω(K)），并且驱逐遗憾为 O(KT log T)，在对数因子内匹配下界 Ω(KT)。实验表明，在缓存大小紧张时，SOLAR 相比 FIFO 有 5–75% 的相对改进，并在工作集边界处呈现出清晰的特征相变。使用 5000 项池的合成实验进一步揭示了池大小与检索质量之间的倒 U 形关系，从而将容量限制解释为检索噪声现象而非存储限制。
数学推理已成为评估和调优推理大语言模型（LLMs）的核心任务，但现有基准测试仍严重偏向高资源语言，英语和中文在预训练语料库和评估套件中占据主导地位。最近发布的PolyMath（Wang等人，2025）数据集虽迈出了重要一步，但其覆盖范围仍仅限于18种高资源语言。为弥补这一不足，我们提出了PluraMath，将PolyMath扩展至另外18种代表性不足的语言，涵盖6个语系——从中等资源到极低资源场景。我们通过人工筛选流程构建数据集，由母语者仔细验证预计算翻译结果。利用PluraMath，我们随后对跨越四个模型规模（小型、中型、大型和闭源集成系统）的27个推理大语言模型进行了基准测试，探究了最先进模型在不同语言条件下的多语言数学推理能力。我们的细粒度分析证实，高资源语言与代表性不足语言在数学推理性能上仍存在持续差距，而更强的结果通常与更好的指令遵循能力相关。我们完全开源了数据集、数据采集流程和评估框架，旨在降低代表性不足社区开发多语言基准的门槛。
多模态大语言模型（MLLMs）通过自回归方式生成响应，在不断演化的上下文中融合视觉与语言信息。现有可解释性研究聚焦于单层和电路（"何处"），未深入探究生成过程中多模态计算的词元级动态（"何时"）。我们针对这一空白展开研究，基于语义角色分析注意力转移模式——逐词元追踪模型对图像、文本、指令及先前生成词元的注意力（OTaT）。我们设计了需要在单次响应中显式切换视觉与文本上下文的的多模态任务。在两大主流模型家族及四个不同规模的开源多模态大语言模型上，我们发现了稳定规律：对图像的注意力在需要图像信息的词元处达到峰值；指令词元在任务转换时被重新关注；而对先前生成词元的注意力随生成过程推进逐渐增强。因果注意力阻断实验验证了这些趋势的功能性角色。通过分析注意力受干扰时的模型行为，我们观察到响应会退化为依赖语言先验，或出现跨模态泄露、否定性回复及恢复性调整。最终，基于注意力动态分析的新见解，我们提出了一种简易的测试时干预方法——在适当时机增强模型对相关模态的注意力，从而显著提升多模态任务性能。
分层视觉-语言-动作（VLA）模型通过将高层规划与低层控制解耦，提升了机器人操作的泛化能力。该范式下的近期工作利用视觉语言模型（VLM）预测的2D末端执行器轨迹，作为下游策略的显式引导。然而，当前最先进的低层策略在点云上的3D度量空间中运行，向其输入缺乏深度信息的2D引导时，每个航点必须被赋予其下方场景表面的深度值，从而产生几何畸变的轨迹。我们提出3D HAMSTER，一种通过让规划器直接输出度量可靠的3D轨迹来弥合这一差距的分层框架。我们为VLM配备了专用的深度编码器和密集深度重建目标，用于预测3D航点序列，这些序列被直接集成到基于点云的低层策略中。在3D轨迹预测、仿真和真实世界操作任务中，3D HAMSTER始终优于专有VLM和基于2D引导的基线方法，尤其在出现外观变化偏移以及未见过的语言、空间和视觉条件时性能提升最为显著。项目页面可访问 https://davian-robotics.github.io/3D_HAMSTER/。
我们提出HunyuanOCR-1.5，一种轻量级端到端OCR专用视觉语言模型。HunyuanOCR将文档解析、文本检测、信息提取、图文翻译以及多图像文档理解统一集成在单个端到端VLM中。基于HunyuanOCR-1.0的轻量级架构，HunyuanOCR-1.5未重新设计主干网络，而是系统性地提升了效率与能力。在效率方面，我们将DFlash适配到OCR解码中，显著降低了密集文档、表格和公式等长结构输出的延迟，同时保持了输出分布。借助DFlash，HunyuanOCR-1.5在Transformer推理上实现了6.37倍的加速，在vLLM下实现了2.14倍的加速，成为轻量级OCR VLM中推理速度最快的模型。在能力方面，我们提出了Agentic Data Flow，一种智能体驱动的数据构建系统，它将模型弱点转化为可执行的数据需求，并自主执行素材搜索、质量验证和流程开发。该系统大幅提升了古文OCR、细粒度图表与表格解析、多图像文本中心问答、低资源多语言解析以及文档幻觉评估等长尾能力。HunyuanOCR-1.5在OmniDocBench v1.6上跻身顶级端到端OCR方案之列，同时在这些长尾任务上取得了新的性能里程碑。结合升级的预训练与后训练方案，HunyuanOCR-1.5进一步扩展了在高分辨率、长上下文和多任务场景下的能力。实验证明了更快的推理速度、更广泛的OCR能力覆盖以及轻量级端到端模型的部署优势。我们将发布模型权重和训练代码，以支持未来的研究及实际OCR应用。
强化学习（RL）已成为大型语言模型（LLM）后训练的核心组成部分，然而关于RL适应过程如何在Transformer各层之间分布，目前仍知之甚少。现有方法通常对所有模型参数进行统一更新，隐含地假设每一层对RL后训练所获得的性能提升贡献相同。在本工作中，我们通过对RL训练进行系统性的逐层研究来挑战这一假设。令人惊讶的是，我们发现仅训练单个Transformer层就能恢复全参数RL训练所带来的大部分收益，在某些情况下甚至能超越全参数训练。为了量化这一现象，我们引入了“层贡献”这一指标，用于衡量单独训练某一层时所能恢复的全参数RL改进比例。在涵盖两个模型系列（Qwen3、Qwen2.5）、三种RL算法（GRPO、GiGPO、Dr. GRPO）以及包括数学推理、代码生成和智能决策在内的多个任务领域的七个模型上，我们观察到一个极为稳定的模式：RL的收益高度集中在少数几个Transformer层中，在许多情况下甚至仅集中于一个层。更引人注目的是，相同的结构性模式一致出现：高贡献层集中在Transformer堆叠的中部区域，而靠近输入和输出端的层贡献则显著更少。由此产生的层排名在不同数据集、任务、模型系列和RL算法之间保持高度相关。
编码代理越来越多地为真实世界的软件问题生成拉取请求（PR），但一次性PR生成仍为开环过程：PR被提出后缺乏系统性的审查、诊断或修订。我们提出SWE-Review框架，通过代理型代码审查实现闭环。给定一个问题和一个AI生成的PR，审查代理将探索代码仓库，决定该PR是否应被接受，并提供结构化的修订反馈。我们使用所提出的SWE-Review-Bench评估这一设定，以衡量审查正确性与下游修订的有效性。此外，我们整理了SWE-Review-Traj数据集，用于研究代理型审查的更广泛应用，并填补开放审查训练中的数据稀缺缺口。实验表明，代理型审查通过“生成-审查-修订”循环持续改进PR，在决策准确性和修订后解决率方面均优于单轮固定上下文的审查，其效果可迁移至改进问题解决模型，并实现高效且有效的测试时扩展。这些结果将代理型代码审查定位为一种实用机制，推动AI编码代理从一次性PR生成迈向闭环问题解决。
视听艺术涵盖多种创意学科，包括电影、视觉艺术、舞台表演和游戏设计，其艺术意义源于对视觉、听觉与叙事元素的刻意组合（例如，通过幽闭式构图放大恐惧感，或通过静默与长时间特写镜头传达悲伤）。真正的艺术理解不仅在于识别画面所描绘的内容，更在于推理为何通过特定的创作手法来表达。尽管多模态大语言模型取得了显著进展，但这一艺术理解的关键方面仍未被充分探索——现有基准测试主要衡量感知层面的识别能力，却忽视了创作意图的推理。为弥补这一空白，我们提出Musebench，一个用于评估多模态大语言模型在细微艺术理解方面能力的全面基准测试。该基准包含4016道题目，涵盖电影艺术、静态视觉艺术、舞台表演艺术与游戏艺术，从超过1万部结合专业评论与视觉演示的候选视频论文中提炼而成。为在大规模上捕捉艺术分析的开放性特点，基准测试结合了单项选择与可变选项的多项选择。所有题目均通过四阶段迭代流程生成与优化，该流程结合了快捷筛选、对抗性干扰项与专家验证。对28个最先进多模态大语言模型进行的全面零样本评估显示，即使性能最佳的模型也仅达到48.29%的准确率，远低于人类专家的87.18%，暴露出当前模型在创意领域专业知识方面的显著差距。
视觉-语言-动作（VLA）模型通常通过在大规模机器人演示数据集上进行模仿学习来训练，但由于数据存在冗余、噪声和覆盖不均的问题，更多的数据并不一定能带来更好的策略。现有的数据选择方法往往在轨迹级或状态-动作级评估演示，忽略了构成长期行为的可复用结构。本文提出 SIEVE，一种面向 VLA 模仿学习的结构感知数据选择方法。SIEVE 将演示视为可复用基元与过渡接口的组合。它首先从分段轨迹中提取视觉运动基元，然后在递减回报的约束下，通过最大化复用感知的结构暴露来为组合模式分配选择预算。最后，它在每个组合模式分组内选取中心轨迹，以保留稳定、居中且适合模仿的演示。在多个数据集、基准测试和 VLA 模型上的实验表明，SIEVE 始终优于竞争性的数据选择基线方法。值得注意的是，仅使用 50% 的演示数据和 50% 的训练步数，SIEVE 即可超越全数据训练的性能，这表明通过基元和过渡捕获的可复用结构是高效 VLA 模仿学习的重要信号。
每一个读取SMILES的化学语言模型都从分词器开始，然而该领域几乎未经审视地沿用了自然语言处理中的字节对编码（BPE）。在自然语言中，BPE的主要替代方案Unigram-LM能够构建结构上不同的词汇表。这种差异在化学领域是否依然存在尚不明确。我们报告了在固定165个化学基元的小词汇表规模下（使得词嵌入可学习），对BPE与Unigram-LM进行的控制比较实验。实验覆盖三种语料类型（多样性、类药性、天然产物）和两种预分词边界策略。两者并未收敛。在所有22组匹配条件下，它们构建了近乎不相交的子词词汇表：跨算法的学习片段Jaccard重叠度从未超过0.161，若按模型更新最频繁的高频片段加权，则至多为0.05。Unigram-LM还将保留分子分割为多29%-41%的词元；两种算法在切割位置上大致一致，但切割深度不同——在80%-99%的分子上，BPE的分割严格是Unigram-LM的粗化版本。这种差异在语料、边界和词汇表规模上均保持稳定，甚至在词汇表扩大到八倍时依然存在。因此，子词算法是一项建模决策，而非可随意使用的默认选项。本研究未训练任何语言模型。
不同语言群体在抑郁症的诊断和临床表现在在显著差异。基于语音的抑郁症检测在单语环境下表现良好，但跨语言泛化仍是一个未解决的挑战。关键原因在于以往研究采用不区分说话人的片段级随机划分，导致身份泄露，从而夸大了报告指标。我们提出CLeaD——一种监督对比对齐框架，能够在不依赖平行数据或目标语言微调的情况下，将英语和普通话的WavLM嵌入映射到共享临床空间。对52名普通话说话者的评估显示，在留一说话人交叉验证下，对比对齐方法较基线略有提升（F1: 0.640 vs. 0.622），并在中间层（第7-8层）改善了抑郁类别的召回率，但较小的测试集限制了泛化能力。两个发现保持稳健：模型扩大会降低跨语言性能而提升单语英语性能；说话人身份泄露导致此前报道的普通话F1分数被人为膨胀至0.954——我们复现并量化了这一虚假现象。
学术产出依赖一套分散的工具链完成：文献发现用一个应用，参考文献管理用另一个，写作在LaTeX编辑器中进行，手动按会议模板排版，最后通过另一个门户提交。工具之间的每一次切换都迫使研究者进行上下文转换、格式转换或手动复制粘贴，而这些累积成本占据了研究人员本应用于研究本身的大量时间。我们提出Bibby AI——一个以编辑器为核心的平台，它将这套工具链整合为围绕云端LaTeX编辑器构建的"研究-写作-发表"一体化流水线。与通过浏览器扩展附着于现有编辑器的辅助工具不同，Bibby AI拥有完整的文档状态、编译流水线和修订历史，这使得其智能体能够将基于检索的引文插入、结构化编辑以及符合模板要求的重新排版作为独立、可验证的操作来执行，而非仅仅作为文本建议。该平台集成了：（i）将PDF、DOCX及手写数学公式转换为干净LaTeX的摄入流水线；（ii）基于学术元数据的检索层，该元数据融入了来自USPTO PatentsView及Marx-Fuegi引文语料库的专利-论文引用信号，从而揭示候选参考文献的转化影响力；（iii）面向文献筛选、草稿撰写、修订及会议格式排版的任务型智能体，这些智能体直接在文档的抽象语法表示上操作。Bibby AI已投入生产环境，服务于50余所订阅高校的5000多名活跃研究者。本文描述其架构、编辑器原生特性所催生的设计决策，以及用于将平台与分散式基线方案进行对比评估的工作流级时间节省框架。
我们提出了RuleChef框架，它利用大型语言模型（LLMs）为文本分类、命名实体识别（NER）或关系抽取等自然语言处理任务生成可执行的规则。规则基于任务描述和一组标注示例生成，随后根据更多示例以及人类对现有规则的反馈进行迭代改进。RuleChef还可利用给定任务中任意现有模型观察到的输入-输出对来引导规则生成。LLMs仅在学习阶段使用，用于合成规则并根据保留样本上测量到的失败进行迭代修补。该过程最终生成一个快速、确定且可检查的规则系统。我们在分类和NER任务上进行了初步评估，并以Apache 2.0许可证将RuleChef作为开源软件发布。
几何条件3D场景生成技术允许用户根据提供的几何结构创建三维环境，从而直接控制场景结构和物体布局。为生成此类3D场景，现有方法通常采用三阶段设计：首先定义视图调度方案，然后沿调度视图合成多视角观测图像，最后从生成的图像中重建三维表示。然而，对于户外场景而言，视图调度成为主要瓶颈——大规模、无结构且无边界的三维几何体使得难以获取既能提供充分覆盖又能支持稳定生成的视图。为解决这一瓶颈，我们提出SceneFrom3D框架，该框架能够从户外输入几何体自动调度视图。SceneFrom3D构建了一个有向生成图，其中节点代表锚定视图，边代表插值轨迹，从而定义了需要合成的视图、需要插值的视图对以及生成过程应遵循的顺序。除自动视图调度外，SceneFrom3D还通过对象级条件控制进一步提升了可控性：为每个对象分配一个身份图像以指导外观生成，并设置几何一致性参数以对输入几何体进行区域级控制。实验表明，SceneFrom3D在几何条件户外3D场景生成任务中达到最优水平，生成的高质量场景兼具可控的对象外观与几何一致性。
具身导航旨在构建能够理解多模态目标、在三维空间中推理并可靠地在现实世界中抵达目标位置的智能体。然而，由于缺乏可扩展、高保真且基于物理交互的环境，该领域的发展仍然受限。尽管现实世界扫描数据集提供了视觉逼真度，但其规模有限。相比之下，合成仿真器更易扩展，但往往存在较大的仿真到现实差距。我们提出Image2Sim，一种实时神经仿真框架，能够从带有姿态的RGB-D图像序列构建高质量的交互环境。其核心思想是将三维空间锚定与逼真观测合成相解耦。在场景构建方面，Image2Sim使用前馈特征高斯模型，将带姿态的RGB-D观测通过单次前向传播提升为三维特征高斯表示。在渲染方面，我们提出几何感知单步像素流模型，将稀疏且带噪声的高斯投影转化为高质量的全景RGB-D观测。Image2Sim还可作为全自动的具身数据引擎，大规模生成高保真观测、可执行动作及多样化导航指令。它能够将大量视频和图像转换为近2万个交互场景，并合成超过1000万个导航训练样本。完全在这些神经环境中训练的导航模型，在主要基准测试上取得了显著改进，并能有效迁移至现实世界的零样本场景。这些结果表明，可扩展的神经仿真可作为大规模具身导航的实用训练基础。
近期，联合嵌入预测架构（JEPAs）作为一种自监督表示学习的有效框架，在计算机视觉和机器学习领域引起了广泛关注。与重建像素的掩码自编码器不同，JEPA模型通过预测掩码区域的潜在嵌入来学习表示。现有的基于JEPA的方法（如I-JEPA和V-JEPA）通常在学生网络中使用单一编码器。相比之下，采用孪生编码器作为学生网络更自然地契合了脑启发表示学习框架，但孪生编码器在JEPA模型中的作用仍鲜有探索。本文研究了孪生学生编码器在基于JEPA的表示学习中的影响。为此，我们提出了SiamJEPA——一种配备指数移动平均（EMA）教师网络的掩码孪生学生编码器。SiamJEPA也可视为脑启发表示学习模型PhiNet的JEPA形式化表述。通过在ImageNet线性探测上的大量实验，我们证明孪生编码器能够有效作为JEPA目标的正则化手段，提升表示的可分离性，并加速训练初期的学习进程。此外，在有限训练预算下，SiamJEPA持续优于同类单编码器JEPA变体，且其线性探测准确率超越需要更长训练时间的掩码自编码器（MAE）。我们的发现表明，孪生学生编码器不仅是架构选择，更构成了预测性表示学习的重要归纳偏置。这些结果为基于JEPA的模型设计提供了新见解，并揭示引入孪生学生架构是一种提升自监督表示学习的简洁而有效的方法。
大型音频语言模型（LALMs）正日益融入日常应用，但其生成偏见仍鲜有深入探究。现有语音公平性基准依赖合成语音和多项选择题（MCQs），两者均只提供片段化的公平性视角。我们提出VIBE框架，通过开放任务（如个性化推荐）评估生成偏见，并采用人类录制语音。与MCQs不同，我们的方法允许刻板关联在没有预设选项的情况下自然显现，从而易于扩展至新任务。对12个最先进LALMs的评估揭示了逼真场景下的系统性偏见。性别和口音线索均引发统计上显著的分布偏移，且偏见程度高度依赖于具体任务。