每日精选AI研究论文及翻译
我们提出了一个用于大语言模型潜在思维表征的公理评估框架，该框架包含独立于下游基准测试分数的指标，能够揭示基准准确率所掩盖的表征失效问题。现有评估方法将表征质量与模型能力混为一谈，导致无法将失败归因于表征本身而非处理表征的模型。我们形式化了四个功能公理（因果性、最小性、可分离性和稳定性），并为每个公理定义了可量化指标，这些指标直接基于表征计算，且独立于下游准确率。我们针对23个推理任务（如空间推理、事实问答）对开放权重大语言模型进行了审计。研究发现：没有任何候选模型能同时满足全部四个公理；表征能可靠区分任务类型，但无法区分同一任务内的两个问题；表征编码的信息量几乎未超越输入嵌入中已存在的信息。该失效模式在密集模型、推理蒸馏模型和强化学习训练模型系列中具有一致性，表明这一差距是结构性的，而非模型规模或训练过程的属性。
视频生成模型已成为具身世界模拟的一种有前景的范式。然而，无论是通用域视频生成器还是基于机器人特定数据微调的模型，仍可能产生物理上不可信的操作，包括不连续的运动轨迹和机器人-物体间不一致的交互，这限制了它们作为世界模拟器的可靠性。通过大量实验，我们发现这种物理不稳定性主要源于两个因素：运动物体的形变以及交互实体间（尤其是接触过程中）不可信的时空相关性。基于这一发现，我们提出了PhysisForcing，一个可扩展的训练框架，通过联合优化像素级和语义级特征，将监督重点聚焦于物理信息区域，从而增强物理一致性。该框架包含一个像素级轨迹对齐损失，利用参考点轨迹监督扩散变换器（DiT）特征；以及一个语义级关系对齐损失，将DiT特征与从冻结视频理解编码器中提取的区域间关系进行对齐。在R-Bench、PAI-Bench和EZS-Bench上的大量实验表明，PhysisForcing在强基线上持续提升了具身视频生成性能，使Wan2.2-I2V-A14B和Cosmos3-Nano基模型在R-Bench上分别提升22.3%和9.2%（在普通微调基础上提升7.1%和3.7%），其中Cosmos3-Nano变体取得了最佳总体得分。在生成之外，作为WorldArena动作规划器协议下的世界模型，它将闭环成功率从16.0%提升至24.0%，并进一步改善了下游策略的成功率，表明物理对齐的视频模型能为机器人操作提供更强的表征能力。
我们提出了Qwen-Image-2.0-RL，这是一种后训练流程，通过应用基于人类反馈的强化学习（RLHF）和策略蒸馏（OPD）来提升Qwen-Image-2.0扩散模型的视觉质量和指令跟随能力。为了提供可靠的奖励信号，我们通过微调视觉语言模型，采用逐点评分范式和思维链推理，构建了特定任务的复合奖励模型。对于文本到图像生成任务，奖励模型覆盖了对齐度、美学和人像保真度等多个维度；对于图像编辑任务，奖励系统则关注指令跟随准确性和人脸身份保持。基于此奖励系统，我们开发了一个可扩展的基于GRPO的RL训练框架，该框架融合了混合无分类器引导（CFG）策略以保留预训练知识，通过组内奖励范围过滤进行提示筛选，以及按类别进行奖励权重校准。为了合并T2I和编辑任务专用的RL策略，我们将策略蒸馏作为最终训练阶段，通过轨迹级速度匹配将多个教师模型整合到单一学生模型中。大量评估表明，Qwen-Image-2.0-RL在Qwen-Image-Bench上取得了57.84的总分（较基础模型提升2.61分），在文本到图像竞技场中获得1193的Elo评分（提升78分），在图像编辑竞技场中获得1349的Elo评分（提升93分），在美学质量、提示遵循度和编辑准确性方面均展现出持续提升。
我们研究能否从人类动作中习得新的操作技能，并将其迁移至配备平行夹爪的双臂机器人。人类动作数据成本低廉、来源丰富且形式多样，使其成为扩展机器人学习最具潜力的资源之一。然而，将技能从人类迁移至机器人仍面临挑战：大多数先前研究将人类视为另一种双臂六自由度（6DoF）实体，但手部姿态估计存在噪声，且人类手指的接触模式与平行夹爪存在本质差异。我们认为，从人类数据中学习包含旋转信息的行为信号并非最优方案，因此提出一种桥接动作表征：以初始头部相机坐标系为基准的相对腕部平移——这是人类与机器人共享的动作空间。为应对不同实体中可能缺失某些动作分量的情况，我们构建了类似π_0的视觉-语言-动作模型，采用交错动作标记与注意力掩码机制。在一系列新型双臂操作任务中，我们的桥接动作表征将人类操作知识迁移至机器人的效果远超含噪的六自由度人类动作，且性能随人类数据量增长而提升。
语言和多模态领域的基座模型通过将异构数据统一到相同的范式下并进行规模化的训练，实现了强大的泛化能力。在本报告中，我们探讨了这一规模化策略是否能够应用于机器人操作领域，以实现真正的泛化。这极具挑战性，因为与文本不同，操作数据本质上是异构的、收集成本高昂且多样性有限，这使得数据对齐和规模化训练难以同时实现。我们提出了Qwen-RobotManip——一个基于Qwen-VL构建的可泛化视觉-语言-动作基座模型。Qwen-RobotManip在操作的表征、运动和动作维度上引入了一套统一的对齐框架，使得大规模多源训练变得协调一致而非相互冲突。这种对齐能力反过来又使Qwen-RobotManip能够吸收此前训练范式无法支撑的大规模操作数据。我们构建了一个人机合成流水线，将第一人称手部演示转换为横跨15个平台的机器人轨迹，并设计了一套严格的筛选流水线来调和异构数据集。仅使用开源数据集和人类视频，无需专有数据采集，Qwen-RobotManip构建了约38,100小时的预训练语料库，并展现出涌现式泛化能力，包括零样本指令跟随、对抗扰动的鲁棒性、主动错误恢复以及跨本体迁移。我们发现，现有标准基准难以衡量预训练质量，因此采用了包括RoboCasa365、LIBERO-Plus、EBench、RoboTwin-Clean2Rand、RoboTwin-IF和RoboTwin-XE在内的分布外设定进行评估。Qwen-RobotManip在所有分布外设定下均显著优于包括π0.5在内的先前最佳模型，在RoboChallenge中排名第一且相对性能提升20%，并在包括AgileX ALOHA、Franka、UR和ARX在内的真实机器人平台上得到验证。
智能体导航系统需要一个基础导航模型，其观察策略能在推理阶段通过外部方式重新配置，因为指令跟随、目标搜索、目标跟踪和自动驾驶共享相同的感知-规划主干，却需要截然不同的策略来消费视觉信息流。我们提出Qwen-RobotNav，这是一个基于Qwen-RobotNav构建的可扩展导航模型，通过一个包含两个互补维度的参数化接口来解决这一问题：多种选择导航行为的任务模式，以及控制视觉历史编码方式的可调节观察参数（如令牌预算、各摄像头权重）。通过在训练时对所有参数进行随机化处理，Qwen-RobotNav对任何推理时配置均具有鲁棒性，且无需对Qwen-RobotNav主干进行任何架构修改。我们在1560万个样本上训练Qwen-RobotNav；与视觉语言数据的联合训练避免了纯轨迹训练中观察到的退化为响应式动作序列映射器的问题。参数化接口还使Qwen-RobotNav成为智能体系统的天然构建模块：对于长时域场景，上层规划器将目标分解为子任务，并在回合过程中动态切换Qwen-RobotNav的任务模式和上下文策略，通过重复调用同一模型来组合复杂行为。大量实验表明，Qwen-RobotNav在多个主流导航基准测试中均创下最新最优结果。该模型在参数规模从20亿扩展到80亿时展现出良好扩展性，联合多任务训练形成了跨任务族迁移的共享空间规划基础，并在多样化的真实世界机器人环境中展现出强大的零样本泛化能力。
语言模型（LM）通过嵌入矩阵表示词元，该矩阵规模随词汇表大小线性增长。为限制参数占用，先前研究在编码器专用模型中提出将多个词元哈希至单一向量。这种方法虽然提升了参数效率，但多对一冲突问题使其无法应用于因果语言模型。本文提出MultiHashFormer框架，首次实现基于哈希的自回归机制。每个词元被表示为独特的哈希签名（由多个独立哈希函数生成的一串离散哈希ID），经哈希编码器压缩为单个潜向量供Transformer解码器处理，再由哈希解码器生成下一词元的哈希签名，最终映射回文本。我们在1亿、10亿和30亿参数规模下进行评估，结果表明MultiHashFormer在多项基准测试中持续优于标准Transformer语言模型。此外，我们的模型支持词汇表多语言扩展，且无需任何修改即可保持恒定参数占用。
视觉-语言模型（VLM）正日益部署于消费、医疗、金融和企业应用中。这种广泛部署扩大了安全范围：风险可能来自多模态问答、助手响应以及跨模态组合，而审核策略可能因产品、地区和部署阶段而异。现有的大多数防护栏要么依赖固定的分类体系，要么仅针对狭窄的交互场景，这使得它们在部署时安全规则发生变化时适应性受限。我们提出了SingGuard，一个策略自适应的多模态防护栏模型系列，用于多模态对话中的安全评估。SingGuard将活动策略视为运行时输入：给定自然语言规则，它逐条检查目标内容是否符合活动策略，并预测安全标签和触发的规则。为了平衡效率和可解释性，SingGuard沿快速到慢速推理谱系支持快、混合和慢三种推理模式，范围从直接安全判断到基于策略的深思熟虑。我们进一步通过快-慢解耦强化学习优化这一行为。我们还引入了SingGuard-Bench，一个多模态防护栏基准测试，包含56,340个示例，涵盖80多种细粒度风险类型，涉及多模态QA、对抗性攻击和动态规则评估场景，包括跨模态联合风险案例，其中每个模态单独无害，但其组合暗示不安全意图。在六个基准测试系列（35个数据集）中，SingGuard在每个系列中均实现了最先进的平均F1得分。动态规则评估进一步显示，在运行时策略变化下，策略遵循准确率从0.6465提升至0.7415。我们的代码可在https://github.com/inclusionAI/Sing-Guard获取。
基于大型语言模型（LLMs）构建的多智能体系统（MAS）通过角色分工与结构化交互，为求解复杂任务提供了有前景的框架。然而，其性能常常受限于协作失调，更根本的问题在于跨智能体的细粒度信用分配缺失。现有方法通常依赖粗粒度反馈，难以定位错误究竟源于哪个智能体或交互步骤。本文提出基于梯度的连接（Gradient-Based Connections, GBC）方法，以实现多智能体系统的细粒度归因与优化。GBC将MAS建模为计算图，并引入基于梯度的连接权重，在词元级别量化每个智能体输出对下游智能体的影响程度。通过构建归因图并反向传播任务特定的损失信号，该方法能够精准识别错误来源并实现目标性提示优化。我们进一步开发了AgentChord——一种利用基于前缀的梯度计算的高效实现。在MultiWOZ和τ-bench上的实验表明，GBC提升了多智能体性能，且优于强单智能体和多智能体基线；归因质量越高，优化效果越显著。代码已开源：https://github.com/yxc-cyber/AgentChord。
在开放世界环境中运行的机器人必须无缝整合定位、空间推理、导航与长时域规划能力。尽管专用模型在单项任务上表现优异，但部署多模型堆叠方案不仅计算成本高昂，还容易引发级联错误。我们提出Vesta——一种将上述能力统一整合至单一基础模型的具身通才系统。该方法结合大规模多样化精选语料库（旨在诱导空间感知能力）与简洁的多模态记忆框架，从而实现超长时域推理。在多种基准测试中，Vesta较单项最优基线模型平均提升超过20%，较类别最优基线模型集成方案平均提升超过10%——这证明了通用模型能够媲美甚至超越专用模型。在需要记忆与推理能力的真实机器人任务中，Vesta将任务成功率提升逾35%。本研究由此表明：相较于组合专用模型，单一通用模型是一种可行、可扩展且更具优势的替代方案。
文本解毒（即自动检测和减轻辱骂性与有害内容）对于保障在线社区安全及保护用户至关重要。然而，诸如鞑靼语这类低资源语言的研究却鲜有关注。本文提出Tatoxa——一种针对鞑靼语文本解毒的最新先进系统。对比实验表明，所提方法在关键质量指标上优于现有开源及专有的商业大型语言模型。我们还引入了一个专为鞑靼语文本解毒设计的新数据集，适用于低资源场景下的微调与评估。最后，跨语言迁移实验显示，即使存在大规模的俄语语料库，从其他语言（包括文化相近的俄语）进行迁移的效果也显著逊色于基于本地鞑靼语数据的训练。
基于知识的视觉问答（KB-VQA）要求模型将图像理解与外部知识相结合。以往大多数方法采用固定的检索-生成流水线，使用预选检索器和静态top-k设置，在推理过程中缺乏自适应性。我们提出ProMSA，一种用于KB-VQA的渐进式多模态搜索代理。给定图像-问题对，该代理在显式工具调用预算下迭代选择图像搜索、文本搜索或停止操作，并通过去重避免冗余检索。训练方面，我们首先使用拒绝采样SFT学习有效的工具使用格式，然后通过TN-GSPO（一种序列级强化学习目标）优化代理，该目标根据生成长度和工具交互深度对更新进行归一化。在E-VQA和InfoSeek上的实验表明，该方法在强RAG和代理基线上取得了持续改进，并提升了检索和端到端准确率。代码开源地址：https://github.com/DingWu1021/Promsa。
语音代理面临一个根本性矛盾：使基础模型具备能力的推理、检索和工具调用过程是迭代且缓慢的，而对话交互要求毫秒级的响应速度。较小的实时模型能满足延迟要求，但在复杂任务上无法匹敌基础模型，导致当前语音代理不得不在响应能力与功能完备性之间取舍。我们提出会话填充（conversational infill）方法，即通过一个小型说话模型同时实现：即时生成上下文相关的响应以隐藏外部推理模型的延迟，并在推理过程中流畅地将推理模型的流式知识整合进自身的响应。我们构建了涵盖六个领域的290,571条合成数据集，实验表明，在七个主流小型语言模型（参数量从135M到1.7B不等）中，该任务均可学习。我们的系统实现ConvFill，在将精度差距缩小至对应前沿推理模型性能的6.3%以内时，仍能保持毫秒级的首次响应时间。在基于Apple M2 SoC运行说话模型的18人实时用户研究中，参与者认为ConvFill整体与前沿模型相当，在检索密集型任务中更受青睐，并对其响应速度给予显著更高评价。这些结果表明，会话填充在延迟-能力帕累托前沿上开辟了新平衡点，为打造兼具快速响应与强大能力的语音代理提供了可行路径。代码、模型和数据集已开源：https://github.com/vysri/conversational-infill。
Web-agent基准测试绝大多数衡量的是深度——即通过一系列约束条件定位一个晦涩难懂的答案——而广度，即穷举一个封闭集合并填充每个项目的属性，却很少被评估，尤其在英语之外的环境中。构建广度基准测试也很困难：验证一个黄金标准集是否完整且每个单元格正确，其成本远高于检查单个答案。我提出了Ko-WideSearch，一个通过自动化合成与验证流水线构建的韩语广度搜索基准测试。每个任务指定一个集合-父实体——例如一个电视剧季、一个朝代、一个联赛、一个行政区划、一次选举——并要求找出其全部成员以及每个项目的属性表，评分采用Item-F1、Column-F1和Row-F1。该基准测试涵盖190个实体、16个类别的228张表格，分为三个难度等级，由我独立调节的两个结构旋钮（表格宽度和二维复合键）设定，因此跨乘积的成员比例从0%逐渐上升到100%。在黄金标准集的构建和评分中使用同一个归一化感知比较器，从而避免仅因格式问题而过度丢弃稳定的日期和计数列。在二十个Web-agent上的测试结果显示，失败模式一致：智能体能够恢复集合，但无法恢复行（例如Item-F1为92.8，而Row-F1仅为53.7）；随着旋钮难度增加，准确率稳步下降，且增加搜索次数或投入更多资源均无法缩小差距。按单元格分析，困难在于找到正确的值而非格式化：开放式自由文本单元格失败率最高，而含标准答案（如日期或名称）的单元格通常表现正确。
在现实世界中训练和评估机器人策略成本高昂且难以规模化。我们提出SimFoundry，一个模块化自动化系统，能够从视频零样本构建真实到仿真场景。SimFoundry可生成可直接用于仿真的数字孪生，并支持物体、场景和任务编辑，从而自动生成多样化的数字变体：对重构真实场景进行保持功能可供性的变异。基于SimFoundry数据训练的策略可零样本迁移至涉及多步操作、铰接物体交互及双臂交互等具有挑战性的现实任务，其数字变体（原始场景、物体和任务的变体）有助于泛化至新的现实环境条件。在7个操作任务和5种策略架构上，SimFoundry仿真评估对现实表现具有强预测能力，平均皮尔逊相关系数达0.911，最大排名违规均值仅0.018。当仿真训练策略在现实世界进行零样本评估时，使用物体、场景和任务变体进行训练的策略，其任务成功率平均分别提升17%、21%和40%。更多详情请见https://research.nvidia.com/labs/gear/simfoundry/。
为了让智能体在测试时通过与世界的交互持续学习，它们必须能够有效探索、获取新世界知识与技能、保留相关情景经验，并在长期范围内进行规划。为评估测试时持续学习智能体的这些关键能力，我们引入了AgentOdyssey——一个新颖的评估框架，该框架通过程序化生成具有丰富实体、世界动态和长期任务的开放式文本游戏。关键在于，AgentOdyssey超越了机器学习中“测试时不进行学习”的传统假设，将智能体置于一个持续、长期的环境中，使得学习和推理在整个部署过程中交织进行。我们进一步提出了一种多层面评估方法，不仅衡量游戏进度，还提供关于世界知识获取、情景记忆、对象与动作探索、动作多样性以及模型成本的诊断测试。我们在生成的游戏中评估了多种智能体范式。实验结果表明，智能体在关键能力上存在显著局限，并揭示了影响其有效时间视野的因素。尽管性能随基础模型增强而提升，但即使是最优智能体也远低于人类表现，仍有巨大的改进空间。在智能体机制中，我们发现短期记忆对多种智能体范式有益，并且是智能体测试时训练的重要组成部分。
人工智能正在推动科学发现的革命，加速从假设生成到数学定理证明的各个环节。然而，这种快速加速也带来系统性挑战：传统的人类同行评审无法匹配人工智能辅助科学成果的涌入速度。最终，要解决这一矛盾，我们必须同时部署人工智能来加速验证和评审过程本身。为构建这一转型的讨论框架，我们提出了一种包含人工智能与人类在科学评估中四种渐进式协作水平的分类体系，并探讨了每种水平涉及的各种权衡。 作为迈向这一未来的举措，我们推出了论文辅助工具（PAT）——一个专为深度科学评审与验证而构建的智能体AI框架。PAT可读取完整科学手稿并生成全面评估，包括检验理论结果、验证实验、提出改进建议及识别潜在缺陷。通过利用推理缩放技术，PAT能够识别单次模型调用无法发现的深层问题，在SPOT基准测试中对数学错误的零样本召回率提升了34%。PAT作为投稿前工具，已在两大计算机科学顶级会议——STOC和ICML——的作者群体中开展试点部署，证明其能够识别关键错误并为研究论文提出实质性改进建议。通过及早发现错误，PAT减轻了审稿人的认知负担，同时保留了他们对评审结果的控制权。
视觉-语言-动作（VLA）模型能够泛化到多种操作任务，但其基于模仿学习的策略在执行精确物理交互时，由于累积执行误差而显得脆弱；那么，一种完全在仿真环境中训练的强化学习策略能否零样本提升现实世界中VLA模型的鲁棒性？残差强化学习通过在冻结的VLA模型之上学习修正策略，提供了天然的框架，但现有方法面临根本性的仿真到现实困境：特权状态方法需要经过有损的知识蒸馏才能部署；基于图像的方法受制于视觉域差异；而现实世界中的强化学习成本高昂且存在安全隐患。我们提出了一种以物体为中心的残差强化学习框架，通过物体姿态来优化VLA动作，构建了在仿真与现实之间保持一致的紧凑观测空间。为了对齐两个领域，我们还在仿真中回放相同的遥操作演示，训练现实世界VLA的仿真对应版本。残差强化学习策略仅在仿真环境中通过姿态噪声注入和随机丢弃进行训练，并零样本迁移到真实机器人。在Franka Research 3（FR3）真实机器人上进行的五项操作任务中，我们的方法将成功率从42%零样本提升至76%，且改进后的 rollout 可进一步用于重新训练基础VLA模型，无需额外遥操作即可实现自我提升。项目页面：https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/
我描述了针对LeHome Challenge 2026（ICRA 2026双臂衣物折叠竞赛）的解决方案。该系统在线上（仿真）赛段中于62支队伍中排名第一，并在实物决赛中位列第二。该方法通过强化学习循环改进了视觉-语言-动作（VLA）策略。该策略本身即是其价值函数：同一网络在预测动作的同时，也预测成功率、进度以及若干与任务相关的未来量，这些预测被用于优势估计、实时故障检测和候选动作筛选。本工作主要将现有强化学习思想与工程及优化贡献重新组合，这些贡献既可作为一个完整方案使用，也可单独采用：将AWR与RECAP结合用于流匹配VLA；基于HuggingFace Hub的异步分布式训练/推演管线；通过汤普森采样实现推理时超参数优化；涵盖相机对齐工具、强数据增强及类似DAgger的人类在线学习数据收集的仿真到现实方案。
像素空间连续标记自回归（AR）生成直接对图像建模为原始像素块的序列，避免了离散标记化或单独预训练的标记器。然而，它面临两个相互关联的挑战：高维块生成导致较大的单步误差，而教师强制训练造成训练与推理之间的差距，使得这些误差在自回归步骤中不断累积。现有的修复方法如x预测和输入噪声注入仅能部分缓解这些问题。精确的展开训练虽然更符合推理时的条件，但由于顺序采样的速度过慢而不切实际。我们提出了并行展开近似（PRA），这是一个可扩展的框架，能够联合解决这两个挑战。PRA生成低维中间状态而非高维像素块，然后通过像素解码器将它们映射回像素空间标记，从而保留了像素输入、像素输出的自回归接口。它还通过推理时使用的相同中间状态到像素路径，独立地在各个位置构建类似推理的像素输入，近似推理时展开过程中遇到的像素反馈接口，同时保持并行的教师强制训练。在256×256分辨率下的类条件ImageNet-1K生成任务中，具有135M参数的PRA-S实现了2.58的FID，超过了此前十亿级像素空间自回归模型3.60的结果。将规模扩展到具有511M参数的PRA-L，FID进一步提升至1.94，在像素空间自回归模型中确立了新的最优水平。除了生成任务，PRA在ImageNet分类探测准确率上也优于其他自回归和扩散基线模型，表明其在像素空间图像生成与理解统一方面的潜力。
在大型语言模型（LLM）的高效生产部署中，准确性与成本之间必然存在权衡。操作者通常默认使用单一模型，这导致简单查询成本过高，而困难查询则可能因模型能力不足而效果欠佳。为解决这一挑战，我们提出了一种两阶段级联解决方案。第一阶段对传入查询进行聚类，并将每个聚类分配给成本效益最优的模型。该路由过程的成本预算由一个可解释的超参数设定，并通过离线方式调优。第二阶段引入质量估计（QE）级联：当第一阶段输出被判定为低质量时，查询将被升级至更强的模型。这确保了只有困难或低置信度的案例才会被分配到昂贵模型。在测试数据集上，该级联系统在保留最强模型97-99%准确率的同时，降低了每输出令牌时间（TPOT）。该系统仅需任务正确性标注，并能适应模型池的变化而无需手动重新配置。
视频生成模型旨在模拟动态环境，现有多个基准测试已能评估帧间记忆一致性。然而，多数基准仅在目标物体保持可见时测试一致性，少数迫使物体离开视野的基准则评估静态场景（遮挡期间无任何变化）。为填补这一空白，我们提出MemoBench——一个基于动态环境中“消失-重现”范式构建的诊断基准：目标物体经历某种物理过程后从视野中消失，需在其重现时正确恢复其更新后的状态。我们整理了涵盖合成场景与真实场景的360个真实标注片段，并设计了一套评估框架，结合自动化指标与基于视觉问答（VQA）的评估方法，从四个诊断维度展开分析。对八种当前最先进模型的评估揭示了在“消失-重现”范式下记忆一致性方面的关键见解与待解挑战。
强化学习（RL）后训练改善了流生成模型的奖励对齐，但往往会在奖励代理未捕捉到的方面降低感知质量。我们发现了这种漂移的一个简单结构特征：在三种后训练方法（NFT、AWM、DPO）中，RL微调使得每步速度范数|v_θ|相对于参考模型膨胀了5%至15%。无分类器引导（CFG）中已研究过一种范数膨胀形式，通过在推理时将速度重新缩回到参考范数，可以缓解由此产生的伪影。然而，这种推理时修正并不能直接迁移到RL：在推理时将v_θ重新缩放以匹配|v_{ref}|既不能改善奖励，也无法修复质量退化，因为膨胀已与模型权重共同适应。此外，伴随灵敏度分析表明，速度幅值重缩放无法在批次层面携带一致的一阶奖励信号，这表明抑制范数膨胀不太可能移除一个持续携带奖励的分量。由于推理时重归一化失败，而范数抑制又不带来奖励代价，因此训练时的干预是合适的策略。综合这些发现，我们提出了\methodname，一种仅在|v_θ|超过|v_{ref}|时激活的铰链惩罚项，并以可加方式与任何速度局域基础损失组合。在两个基础模型、三种后训练方法和两个奖励代理上，\methodname持续改善了MLLM评定的图像质量和法医真实性，同时保持了奖励水平，且在少步推理下增益更大，且不能归因于早停。
基于LLM的代码代理通过关键词搜索浏览代码仓库，但会遗漏定义软件实际运作方式的结构关系（如调用图、继承层次和配置依赖）。这使代理的导航行为具有随机性，且难以跨运行复现。我们探索了轻量级静态分析能否为这类代理提供确定性锚点：将稳定的结构事实以纯文本注释形式注入，约束概率探索过程，使导航更具可预测性。以OpenAI Codex作为强基线，我们系统性地注入不同粒度的结构注释，并测量其对定位能力、轨迹行为及运行间稳定性的影响。研究发现了所谓的"确定性锚定效应"：静态结构的作用更多体现在使导航行为更规范、更可复现，而非让代理变得更"智能"。三项观察结果支持该发现：（1）锚定有效：轻量级调用/继承拓扑能提升函数级定位能力（Func@5+2.2个百分点），并缩短交互轨迹（-1.6轮）；（2）锚定对规模敏感：最优粒度和方向性取决于仓库特征，密集语义呈现递减效应，而枢纽型项目更适合仅暴露"谁调用了我"的逆链路（排除前向边）；（3）锚定增强稳定性：标签将链路遵循率从0.15-0.18提升至0.21-0.24，运行间方差约减半，在中型仓库中单次运行可靠性提升（Pass@1+3.4个百分点），但代价是增加约10%的输入令牌。这些观察结果提供了实用指南：中型项目默认采用轻量级拓扑，大型仓库需裁剪前向边，隐式依赖场景则应保留密集标签。
稀疏注意力可以降低长上下文推理的成本，但大多数变体都会引入新的架构组件。我们提出简化稀疏注意力（SSA），一种无需架构变更的更简洁的稀疏注意力方法。具体而言，我们首先在穿插有概要标记（gist tokens）的序列上进行持续预训练。我们照常优化标准的下一个标记损失函数，但概要标记通过注意力掩码限制语言模型可以关注上下文的哪些部分；这教会模型将每个片段的重要信息压缩到概要标记中。在推理阶段，SSA通过当前查询与少量概要标记之间的注意力对片段进行评分，通过重新引入对应的原始标记来选择性地展开得分最高的前k个片段。由于查询仅与概要标记进行评分，我们避免了与对整个KV缓存进行朴素评分相关的内存带宽开销，且无需像其他稀疏注意力方法那样依赖辅助KV缓存方法。在LongBench上，SSA在相同压缩比下始终优于压缩方法和推理时稀疏注意力基线。更引人注目的是，在检索增强生成中，经过持续预训练后，SSA的性能甚至能超过完全注意力方法5.7个百分点。我们将此归因于SSA选择性展开的能力，它能够将注意力集中在与查询相关的片段上，并有效滤除噪声。SSA还可扩展为层次化概要之概要变体（H-SSA），该变体在保持或提高高压缩比（高达32倍）下精度的同时，实现了对数线性解码复杂度。代码已开源：https://github.com/yuzhenmao/simplified-sparse-attention/。
词元化是将科学数据适配至基于Transformer的基础模型的核心步骤，但其对学习表征的影响仍未被充分理解。我们在统一的天体成像Transformer框架下比较了四种词元化策略：Affine、AIM、JetFormer和VQ-VAE。基于DESI Legacy巡天中的64万张星系图像及共享的AstroPT骨干网络，我们评估了每种方法的重建保真度与物理属性预测能力。研究揭示了不同策略间的权衡：基于流的JetFormer实现了更高的重建质量，而VQ-VAE在星系物理属性的探针预测中表现突出；Affine和AIM则更擅长保留局部形态学信息。我们发现重建质量与表征质量存在解耦，且没有任何一种方法能在所有评估任务中持续领先。通过将评估基准锚定于独立测量的物理量，本研究旨在凸显科学数据作为构建可解释基础模型基准的潜力。
基于大语言模型的程序修复智能体日益采用“生成-运行-修订”范式，通过迭代执行测试来评估和优化补丁。这种基于执行的方法已成为当前最先进系统的标准实践。然而，代码执行可能耗时且昂贵，但其对这些智能体的影响仍未被充分探索。本文通过两阶段实证研究，分析基于大语言模型的程序修复中的执行行为。为大规模刻画执行行为特征，我们首先分析了来自SWE-bench排行榜提交的7,745个智能体追踪记录。其次，我们在200个SWE-bench实例上针对三种智能体（Claude Code、Codex以及开源OpenCode）评估了3,000次端到端修复尝试，并对比了四种执行范式下的性能与成本。分析揭示三项关键发现：（1）所有被分析的智能体和模型均使用代码执行，平均每项任务执行8.8次测试运行。不同智能体和模型的执行行为差异显著，执行频率从每项任务2次到19次不等，且后期执行的成功率始终高于早期执行。（2）执行限制对修复成功率影响甚微：在采用最先进模型的商业智能体上，禁止执行与无限制执行之间的修复率差距仅为1.25个百分点，且无统计学显著性，而禁止执行可大幅节省令牌和运行时间成本。（3）执行收益呈集中分布而非均匀分布。这些模式表明，当前智能体不加区分地使用执行，在收益甚微的实例上仍承担其成本。因此，执行应被视为具有明确成本收益权衡的资源，而非默认能力。
全模态模型能够处理视频、音频和文本，但统一接入多种模态并不能保证模型使用正确的证据。这一差距在社交视频问答中尤为突出——答案可能取决于某个手势、语调、时间线索，或者所言与所视之间的不匹配。我们提出CogniRoute，一个面向社交全模态推理的模式引导混合专家框架。CogniRoute采用仅用于训练阶段的认知模式，通过跨模态关系、推理需求和时间范围对每个样本进行分解，并在监督微调过程中将全局路由特征与该结构对齐。我们进一步引入路由感知强化学习，利用面向答案正确性、模态一致推理和认知时间锚定性的奖励，联合优化令牌生成与专家分配。为支持训练与评估，我们构建了OmniSocialBench，这是一个诊断性社交视频问答资源，包含11.8万条结构化训练样本、基于推理轨迹、模式标签、时间证据片段以及人工验证的评估划分。CogniRoute在OmniSocialBench上达到59.38%的平均准确率，较最强专有基线提升15.33个百分点，较最强开源全模态基线提升26.77个百分点，其中在需要音视频协同、冲突消解以及时间锚定社交推理的问题上增益最大。
大型语言模型可提升科学软件易用性，但通用模型无法自动获知特定传感器支持的测量类型、当前软件实现的算法，或计算结果可证实的结论。这些区分对低通道脑电图尤为重要——稀疏的空间覆盖与多变的信号质量，容易产生看似合理但缺乏依据的解释。我们提出NeuraDock Agent这一开源架构，将确定性的本地脑电图计算引擎与感知硬件的语言层分离。数值引擎负责解析记录、执行质量控制、运行经审阅的频谱工作流程，并生成机器可读的工件。语言模型仅接收精简的白名单摘要与带版本控制的上下文包，内容包括七通道硬件说明、经审阅的工作流程、结果字段、实现边界、科学限制及参考案例。原始脑电图信号与高密度逐样本数组则始终保留在本地。 我们从三个层面评估系统：首先，12组记录经十次数值重复运算产生完全一致的结构化结果，完整静息态/任务态运行在三轮重复中产生相同的哈希值（结果、报告与图表均一致）；其次，通过请求捕获与故障注入实验，验证了HTTP、异常输出及连接故障场景下已测试的数据边界与本地工件保留机制；第三，边界感知基准测试包含36个常规与对抗性问题，覆盖四种上下文消融与两种语言模型，共生成288个输出。上述结果支持将硬件与实现感知的约束锚定作为校准脑电图智能体接受、限定或拒绝内容的具体机制，但未确立临床有效性或经验证的绝对认知负荷指数。