每日精选AI研究论文及翻译
许多日常编程任务难以通过纯基于规则的方式实现，例如对重要日志行进行告警、修复格式异常的JSON，或按意图对搜索结果排序。这些任务正越来越多地被外包给大语言模型API，却牺牲了本地性、可复现性和成本。我们提出模糊函数编程（fuzzy-function programming）：将这类函数从自然语言规范编译成紧凑的、本地可执行的神经制品。我们通过“权重即程序”（Program-as-Weights, PAW）实例化了这一范式——该方案使用一个在FuzzyBench（我们发布的一个包含1000万示例的数据集）上训练的4B编译器，为冻结的轻量级解释器生成参数高效适配器。执行PAW程序的0.6B Qwen3解释器，在性能上可与直接提示Qwen3-32B相媲美，同时仅使用约其五十分之一的推理内存，并在MacBook M3上以30 tokens/s的速度运行。PAW将基础模型从逐输入的问题求解器重构为工具构建器：每次函数定义时被调用一次，生成一个可复用的小型制品，而后续每次函数应用调用成本低廉且可离线运行。
针对长周期大语言模型代理的记忆，本质上是一份关于每个未来决策可访问内容的契约。最简单的契约是将过去观测、工具调用和反思内容附加到每次提示中——这种方式虽便于获取历史上下文，但会导致信息混杂，难以单独分析某个记忆组件的影响。我们提出并实施了一种替代性受限契约：每次决策都由基于类型检索生成的独立用户消息驱动，不再附加原始跨决策记录。这使得提示内容在任意长度的运行中保持受限，且任一记忆层可被独立消融。我们在《杀戮尖塔2》中验证了该契约——这是一款规则闭合的随机卡牌构筑游戏，单次运行需数百次战术与战略决策。现有前沿大语言模型在相同游戏上的公开基准测试显示，五种配置下最低难度的胜率均为0%，而开发者报告的人类在相同难度下的胜率为16%；该任务具有挑战性但尚未饱和。在我们的测试框架中，固定A0消融实验显示，当启用触发式战略技能层时观测到最大差异：无存储基线胜率3/10，添加技能层后提升至6/10。该样本规模下的比较仅具方向性而非统计显著性（费希尔精确检验p≈0.37）；跨骨干网络探测与公共累积上下文基线作为操作性比较报告，而非针对契约变量本身的控制测试。我们发布了一个可复现测试平台：包含298条已完成轨迹（附条件标签）、冻结记忆/技能快照、提示记录及分析脚本——这是一套代理设计方案以及经过验证的、可复用的方法论，用于研究显式记忆层如何塑造长周期大语言模型代理的决策行为。
自主智能体日益被期望通过反馈来改进可执行策略，然而现有评估往往将这一过程简化为最终得分，或将其与开放式软件工程进展混为一谈。我们提出自主策略进化（Autonomous Policy Evolution）这一受控评估设置，在该设置中，一个框架模型智能体在固定的交互预算下反复编辑可执行策略系统。我们将此设置实例化为EvoPolicyGym基准，该基准基于紧凑的交互式强化学习环境构建，用于评估智能体如何迭代改进探索到的策略。在EvoPolicyGym测试套件上，GPT-5.5在所有16个环境中取得了最强的综合排名得分和排名前两名的表现。除排行榜结果外，EvoPolicyGym还提供轨迹级诊断，用于区分智能体如何分配预算、将反馈转化为参数调整。这些分析表明，强大的自主策略进化不仅依赖于孤立的任务胜利，更取决于发现任务适配的机制，并在受限反馈下精炼策略。
混合注意力模型通过仅保留部分全注意力层而将剩余层替换为线性注意力，从而提升长上下文处理效率。然而，Transformer到混合架构的转换效果关键取决于哪些层保留全注意力。现有的混合层选择方法通常依赖启发式策略（如固定放置模式或逐层评分），隐含地将层重要性视为独立因素，忽略了全局混合配置下层的相互依赖效应。本研究将混合层选择形式化为预算约束的子集优化问题，并进一步提出FlashMorph（面向混合架构转换的快速层选择方法），这是一种高效、可伸缩的Transformer到混合架构转换层选择方法。FlashMorph首先通过为每个全注意力层配备转换后的线性注意力分支来构建可变形模型，随后冻结所有模型权重，在合成长上下文检索数据上联合优化逐层门控，并引入线性化正则化以鼓励模型依赖线性注意力提升效率。学习得到的门控在预设全注意力预算下进行离散化以实例化混合架构，随后进行标准logits蒸馏与长上下文微调。大量实验表明，与现有层选择方法相比，FlashMorph能够发现更有效的混合配置，在显著降低层选择成本的同时保持强大的长上下文召回能力与通用基准性能，验证了其有效性、效率与可扩展性。
硬件无关的文本到图像扩散加速策略（如时间步蒸馏和特征缓存）可在无需定制内核或系统级优化的前提下减少推理时间。其中，多分辨率生成策略近期受到广泛关注，能在无需训练的情况下实现超过5倍的加速。然而，在潜在空间中执行上采样并选择性修改局部区域的设计，导致这类方法出现明显的模糊或伪影。为此，我们提出MrFlow——一种基于预训练流匹配模型的无训练多分辨率加速策略，采用分阶段从低分辨率到高分辨率的流水线。MrFlow首先在低分辨率下快速生成主体结构，随后在像素空间中使用轻量级预训练GAN模型执行超分辨率，接着注入低强度噪声实现高频重采样，最后在高分辨率下精细化细节。在FLUX.1-dev和Qwen-Image上的定量与定性结果表明，MrFlow利用低分辨率采样的二次令牌缩减与步骤需求降低特性，实现了10倍端到端加速，同时将OneIG指标保持在加速前1%的差距内，显著优于其他无训练加速策略，且无需任何训练或运行时动态识别。MrFlow还可进一步与预训练的时间步蒸馏策略正交结合，实现高达25倍的生成加速。
数据科学旨在从异构原始数据中提取可操作的见解，释放现代社会海量数据生成的价值。实现这一过程的自动化对于减少数据科学家的劳动密集型工作、推动可扩展的数据驱动应用至关重要。近年来，基于大语言模型的数据代理已成为自动化数据科学工作流程的有前景的解决方案。然而，该领域缺乏全面的基准测试来以细粒度方式对跨不同场景的这些代理进行严格评估。为填补这一空白，我们提出了AgenticDataBench——一个涵盖多个领域真实任务、带有细粒度真实标签的综合性基准测试。这使评估能够捕捉数据科学工作流程的多样性和复杂性，以及代理的详细性能。首先，为覆盖不同领域，我们从15个垂直行业中收集真实数据集和任务，包括来自一家领先金融科技公司的5个实际B2B用例。其次，为消除真实世界任务中的冗余性，并为缺乏真实数据的领域生成高质量任务，我们引入了数据科学技能（即重复出现的数据中心操作模式），并通过包含的技能数量量化基准覆盖范围。代表性技能是从Stack Overflow上大规模任务解决方案中，通过技能对齐的层次聚类提取的。第三，对于真实商业任务，我们选择在技能组合上多样性最大化的任务-解决方案对，确保对实际场景的广泛覆盖。第四，为尚无真实任务的设备领域生成现实任务，我们提出一种系统化的基于大语言模型的任务生成方法，基于这些技能创建工作流程和任务。最后，我们使用标注的基准测试和开源实验平台评估了最先进的数据代理，提供了详细的技能级洞察。
我们提出了WorldDirector，这是一个高度可控的视频世界模型框架，专为持久动态对象记忆和无限制视角探索而设计。与现有将物理动态与像素渲染纠缠在一起、依赖连续视觉观察来维持运动的世界模型不同，我们的框架显式地将语义运动编排与视觉生成解耦。通过利用LLM协调3D轨迹与相机运动，随后将这些编排好的轨迹作为视频生成的控制信号，我们的方法确保了严格的物理逻辑和外观稳定性，成功保留了动态实体的精确视觉身份，即使它们长时间离开视野后重新进入场景也能保持。实验结果表明，我们的方法支持合成复杂且扩展的事件，具有前所未有的可控性和持久动态对象记忆。项目页面：https://worlddirector.github.io/
近期多模态大语言模型在临床图像推理领域展现出巨大潜力，但现有后训练流程仍主要采用以结果为中心的模式，仅依赖最终答案正确性或序列级偏好进行优化。这种方案面临稀疏信用分配问题，难以优化对临床应用至关重要的推理过程。我们的分析表明，由早期推理故障引发的级联错误是导致医学视觉问答（VQA）基准测试中预测错误的主要原因。基于此，我们提出医学推理感知策略优化（MRPO），这是一种融合逐步过程奖励的强化学习算法。当最终答案错误时，MRPO会对早期无效推理步骤中的标记施加指数级增大的惩罚，从而打破故障级联而不影响正确路径。在三个多模态大语言模型骨干网络上，MRPO均显著优于标准GRPO及近期强化学习基线，其中Qwen3-VL-8B-Instruct模型甚至超越规模更大的医学多模态大语言模型如HuatuoGPT-Vision-34B（领先2.79个百分点）。此外，MRPO将早期推理故障率从64.0%降至13.0%，表明针对级联故障的定向缓解不仅能提升推理质量，还能提高最终答案准确性。我们的代码已开源至 https://github.com/dmis-lab/MRPO
技能正逐步成为大型语言模型智能体的可重用操作层，涵盖标准作业程序、领域规则、工具工作流、脚本及验证流程。在实际技能库中，技能重叠导致可靠调用变得困难。最终验证器的通过状态既不适合评估也不适合训练——因为智能体可能通过试错方式使用干扰技能、跳过必要步骤、错误编排工作流或遗漏最终检查。为此，我们提出SkillCoach框架——一种面向评估与优化智能体技能调用的自演进评估准则体系。SkillCoach从真实执行轨迹中提取基于技能的过程评估准则，沿四个维度评估轨迹质量：技能选择、技能遵循、技能编排及基于技能的反思。该框架将外部验证器作为独立的结果信号，使过程质量得以与偶然任务成功相区分。演进后的评估准则进一步作为过程监督信号，用于筛选高质量训练轨迹。实验证明，演进准则显著提升评估质量，能够揭露最终准确率所掩盖的失败模式，并为优化智能体技能调用提供比纯结果过滤更强的监督信号。
传统的视觉生成强化学习策略通常采用样本级奖励函数，但这一做法常导致奖励破解问题，从而降低图像多样性并引入视觉异常。为解决这些局限，我们提出了一种新框架，通过分布级奖励微调生成模型，确保其与真实数据分布更优对齐。与逐样本评估的奖励不同，分布级奖励考虑了样本的数据分布，有效缓解了所有样本独立朝相同方向优化时所出现的模式坍塌问题。为克服估计此类奖励的高昂计算成本，我们引入子集替换策略，通过仅更新生成参考集中的一小部分来高效提供奖励信号。此外，我们应用强化学习优化事后模型合并系数，从而可能缓解因在常规强化学习实践中引入随机微分方程（SDE）而导致的训练-推理不一致问题。大量实验表明，我们的方法显著提升了多种基模型的FID-50K指标：SiT从8.30降至5.77，EDM2从3.74降至3.52。定性评估也证实，该方法在保持样本多样性的同时增强了感知质量。
在长上下文应用中，大型语言模型通常基于相关上下文片段的含义而非直接复制粘贴来合成答案。识别哪些注意力头执行此类合成对于解释长上下文模型行为至关重要。然而现有检测器在结构设计上会遗漏这些注意力头：它们奖励被关注标记与生成标记相匹配的头，这种字面复制标准仅捕获了注意力头读取的位置，却未能揭示其通过输出-值（OV）电路写入的内容——而正是这一机制实现了非字面检索。我们提出对数几率贡献评分（LOCOS），这是一种写入感知型检测器，通过将每个注意力头的OV电路输出投影到答案标记的解嵌入方向进行评分，并在单次前向传播中对比"针"与"非针"源位置。在三个模型系列（Qwen3、Gemma-3、OLMo-3.1）上，针对NoLiMa非字面检索基准，对排名靠前的LOCOS注意力头进行均值消融，在更少的头数量下即导致ROUGE-L指标崩塌；在Qwen3-8B上，消融50个头使ROUGE-L从0.401降至0.000，而最强的基线仍保留0.292。所选注意力头具有检索特异性：在相同消融下，参数回忆和算术推理仍保持基线水平。在Qwen3-8B上，相同消融也使MuSiQue从0.55降至0.08，BABI-Long从0.62降至0.20，而随机头对照组与基线差异保持在0.05以内。
表示对齐已成为加速扩散变换器训练并提升生成质量的有效方法。最近的自我对齐方法（如SRA和Self-Flow）通过构建扩散模型内部的自身对齐，进一步消除了对外部预训练编码器的依赖。然而，SRA到Self-Flow的改进机制——即双时间步调度——仍未得到充分检验：Self-Flow将其增益归因于不同噪声级别下token之间的交互，其中更干净的token有助于推断更嘈杂的token。在本工作中，我们重新审视这一解释，并探究该增益是否实际上源自沿噪声维度的数据增强。为解耦这些因素，我们引入了注意力分离（Attention Separation），该方法在保留Self-Flow中相同双时间步输入的同时，阻断分配给不同噪声级别的token之间的注意力。令人惊讶的是，移除这种交互并不会降低性能，甚至可能提升性能，这表明从SRA到Self-Flow的改进主要源于数据增强。此外，我们证明注意力分离本身通过将单个图像拆分为多个有效的训练部分来扩展训练数据，从而提供了一种增强效果。基于这些观察，我们将自我表示对齐与双时间步和注意力分离增强相结合，并在ImageNet上展示了该设计的有效性。
静脉识别作为一种安全的生物特征识别技术，常受限于标注数据不足和成像变异问题。虽然数据增强可缓解此类问题，但针对自然图像设计的增强策略可能破坏身份识别所需的细粒度拓扑结构与纹理特征。我们提出AGVBench基准测试平台，在五个公开掌静脉与指静脉数据集上，结合七种骨干网络架构（涵盖经典卷积神经网络、视觉Transformer及静脉专用识别模型），系统评估了30种代表性数据增强策略。实验结果表明，多图像混合方法（如MixUp、PuzzleMix、StarMixup）通常能提供最强的识别性能。然而，这类方法往往存在校准偏差且易受对抗性扰动影响，揭示出干净准确率与对抗安全性之间的显著不一致性。研究还发现，剧烈的几何变换常导致识别性能下降，可能源于特征错位或空间裁剪；同时增强效果在掌静脉与指静脉数据集中存在差异。这些发现证明，仅以准确率为中心的评估不足以指导生物特征数据增强。AGVBench提供标准化实验协议，以支持可复现研究并引导设计可靠、安全且鲁棒的静脉识别系统。我们的代码库已开源：https://github.com/Advance-VeinTech-Innovators/AGVBench。
可控图像生成方法（如ControlNet）已展现出引入视觉条件（如深度图）引导图像生成的卓越能力。然而，这些方法在处理复杂多实例场景时往往面临困难，常导致实例间属性混淆。尽管近期方法尝试通过手动实例标注缓解该问题，但这种需求耗费大量人力。本文提出InstanceControl——一种无需实例标注的新型多实例可控生成方法。我们指出现有方法的主要瓶颈在于无法准确将实例描述与视觉条件中的对应区域关联起来。为解决该问题，我们利用视觉语言模型（VLM）在文本提示与视觉条件之间建立实例级对应关系。具体而言，VLM自动从文本提示中解析实例描述，并同时基于视觉条件预测实例掩码。此外，由于预测掩码可能包含噪声，我们引入自适应掩码优化策略，在生成过程中动态优化这些实例掩码。大量实验表明，本方法优于现有最先进方法，实现了卓越的保真度与精确的实例级控制。
基于大语言模型（LLMs）的搜索代理越来越多地被用于解决复杂的信息寻求任务，这类任务需要通过多步检索和推理来实现用户目标。然而，现有基准测试通常假设用户查询是完整且明确的，忽视了现实世界中搜索请求往往模糊不清、描述不充分甚至包含事实错误的情况。在深度搜索场景中，这种歧义性会沿着多步推理链传播，导致代理偏离正确的搜索轨迹。为填补这一空白，我们提出了DiscoBench——一个面向澄清感知深度搜索的基准测试，旨在评估搜索代理是否能主动识别歧义、提出有效的澄清问题，并通过用户交互恢复正确的推理路径。DiscoBench包含211个样本和463个歧义实例，覆盖11个现实领域和四种歧义类型。我们进一步设计了一个用于多轮交互的用户模拟器，并从任务效用、歧义检测、交互策略和成本效率四个角度评估模型性能。对代表性大语言模型的实验表明，歧义检测与有效澄清是两种不同的能力，而持续搜索而不主动澄清的效果往往比直接猜测更差，这凸显了当前搜索代理在检索能力与交互式问题解决之间的关键差距。
视觉-语言模型（VLM）在时空视频定位（STVG）任务中展现出巨大潜力。然而，当前评估方案主要局限于通用日常场景基准的零样本测试，这与专业领域的实际应用存在严重脱节——在这些场景中，模型不可避免地会遭遇罕见的视觉概念和复杂的时空动态。由于对无限数据分布进行穷举预训练不可行，因此适应新领域的能力至关重要。为弥补这一差距，我们提出AnyGroundBench基准，旨在将STVG评估范式从静态零样本测试转向严格的领域自适应评估。该基准聚焦五个专业领域（动物、工业、体育、手术和公共安全），通过将专家标注的小鼠行为等新采集视频与现有数据集配对，并辅以密集高保真时空标注进行统一整合。尤为关键的是，该基准提供了专用训练子集以系统测量领域适应能力。我们全面评估了15个前沿VLM，在现实计算约束下检验其零样本泛化能力和上下文学习（ICL）能力。最终结果表明，当前模型在应对专业领域时，无论是零样本还是基于ICL的适应均失败，揭示了时空推理中亟需未来研究解决的关键缺陷。
记忆专长是一种习得性技能：知道编码什么、何时检索以及如何组织知识——这种能力在认知科学中被称为元记忆。我们将这一视角引入大语言模型（LLM），将记忆管理视为一种可训练的技能。我们将文件系统操作提升为与任务操作同等重要的第一类记忆操作，让模型自主决定如何管理其记忆。这种记忆技能沿着两个维度提升：支撑它的结构（提示词、文件模式、动作词汇表），以及运用该技能的模型熟练度。这两个维度均难以手工优化：长视界任务中的回合动辄运行数千步，而一次记忆失误可能在显现之前早已隐藏很久，导致人工审查完整轨迹不切实际。我们提出AutoMem框架，自动优化这两个维度。在第一个循环中，一个强大的LLM审查完整的智能体轨迹，并迭代修正塑造智能体与其记忆文件交互方式的记忆结构。在第二个循环中，从多个回合中识别出智能体自身良好的记忆决策，并将其用作训练信号，直接提升模型的记忆熟练度。在三个程序生成的长视界游戏（Crafter、MiniHack和NetHack）中，仅优化记忆——而不修改模型的任务动作行为——就将基础智能体的性能提升了约2至4倍，使一个320亿参数的开权模型与Claude Opus 4.5和Gemini 3.1 Pro Thinking等前沿系统相抗衡。我们的结果表明，记忆管理是一种独立可习得的技能，并且是一个在长视界任务中产生巨大收益的高杠杆优化目标。
在SWE-Bench和GAIA等基准上评估LLM代理既昂贵又耗时，还需复杂的基础设施支持。一次评估可能花费数千美元并需数天才能完成。相比之下，测试单一能力（如推理、代码生成）的非代理LLM基准则运行快速且成本低廉。本文探究能否通过一组精心挑选的少量原子化评估实例的性能，准确预测昂贵的代理基准上的表现。为此，我们提出PACE框架，通过从现有非代理评测中选取实例构建代理预测基准——这些实例的聚合分数能最可靠地预测模型在代理基准上的表现。给定一组覆盖原子化能力的候选实例，PACE拟合一个回归模型，将模型在紧凑源实例子集上的得分映射到目标代理基准的得分。该子集通过结合两种互补的实例选择策略（目标相关性局部选择与全局信息性全局选择）来筛选。我们将PACE应用于本文涉及的4个目标代理基准，生成了具体的代理预测基准PACE-Bench。针对14个模型、4个代理基准和19个非代理基准的实验表明，PACE-Bench的代理分数预测留一法交叉验证（LOOCV）平均绝对误差（MAE）低于4%，斯皮尔曼相关系数超过0.80，成对模型排序准确率约达85%，而成本仅为完整代理评估的不到1%。我们进一步分析了所选代理实例，揭示了每个代理基准所独特要求的能力。PACE使从业者能够在模型开发、选择和路由过程中，无需进行完整的代理评估即可获得可靠的代理性能估计。
我们阐明了表示分布匹配（RDM，即通过冻结预训练编码器匹配生成特征分布与参考特征分布来训练一步图像生成器的范式）的设计空间。识别出两个设计轴——分布的比较方式以及用于比较的表示空间，并沿这两个轴开展受控研究，得出三项发现。首先，经典的最大均值差异（MMD）在十年前无法训练出令人信服的生成器，但如今若正确估计，则成为一个强大且可扩展的目标函数。其次，生成批次成为关键操作变量，其最优值超过2048，远超常规批次大小。第三，任何单一表示都可能被操纵，即图像在视觉上仍显虚假而该表示的得分却低于真实得分，因此我们针对平衡的编码器组合进行匹配，并使用SW_r14（一种基于14个编码器的切片瓦瑟斯坦距离，独立于训练损失且抗操纵性）进行评估。结合优选方案得到改进型RDM（iRDM）：它在ImageNet上以SW_r14 1.30的指标确立了单步生成器的当前最优性能，并通过PickScore（一种我们目标函数从未优化过的人类偏好代理指标）得到验证——在71.2%的匹配样本中，它优于先前最优的单步生成器。相同的方案将四步FLUX.2 [klein]后训练为单步生成器，在GenEval（0.826 vs 0.794）和PickScore（22.76 vs 22.58）上均超越四步版本，耗时90 H200 GPU小时。项目页面：https://alan-lanfeng.github.io/rdm/。
视觉-语言-动作（VLA）模型的核心瓶颈在于专家示范数据的稀缺——即观测、指令和动作的三元组，这类数据在大规模采集时成本高昂。我们认为，这一瓶颈源于将两个不同的学习目标混为一谈：获取物理能力（如何移动）和获取语义对齐（做什么）。关键的是，只有后者需要语言监督。基于这一分解假设，我们提出了任务无关预训练（TAP）——一种两阶段框架，首先通过自监督的逆动力学目标，从廉价的无标签交互数据（包括离任务轨迹和自主机器人操作）中学习可迁移的运动先验；第二阶段则利用少量专家数据，将这些先验与语言进行轻量级的对齐。在SIMPLER基准上，TAP在使用的标注数据量少数个数量级的情况下，达到了与基于超过100万条专家轨迹训练的模型相当的性能，相比标准行为克隆方法取得了10%的绝对提升。在真实世界的WidowX平台上，TAP在相机扰动下仍保留了25%的成功率，而依赖互联网规模数据训练的基线模型则完全崩溃（0%成功率）。这表明，任务无关预训练能够产生鲁棒、可迁移的物理表征，为具身人工智能提供了一条可扩展的前进路径。
持续后训练使基础模型能够获取新知识，同时保持已有能力。近期研究表明，在线策略学习可缓解遗忘，其中在线策略自蒸馏成为一种颇具吸引力的方法。本文通过自蒸馏策略优化（SDPO）重新审视了这一乐观观点。实验结果表明，当教师信号稳定且对齐良好时，SDPO能加速领域内特化，但在处理分布外场景时难以泛化。在持续后训练中，SDPO表现出更强的遗忘现象，甚至可能崩溃，而GRPO等在线策略强化学习方法则能以更保守的方式适应，更好地保留先前能力。进一步分析发现，更密集的自蒸馏会在参数空间和响应空间中引发更大漂移，并通过自我强化的师生循环放大高频格式伪影。这些发现表明，仅凭在线策略数据不足以实现持续学习。密集自蒸馏在教师目标稳定且令牌级监督可靠时能加速特化，但不应被视为持续后训练的默认稳定器。我们的代码已开源，见 https://github.com/Moenupa/SDPO-CL。
扩散语言模型通过双向去噪令牌画布（而非从左到右逐个生成令牌）来生成文本，现已与自回归（AR）生成能力相匹敌。然而，医学基础模型几乎仍完全采用自回归架构。我们适配了一个混合专家扩散语言模型 DiffusionGemma-26B，在视觉问答医学数据集上，采用相同的 LoRA 配置，将其与同等规模的 AR 模型 Gemma-4-26B 进行基准测试，并由对冗余度稳健的大语言模型评判器评分。在所有数据集上，扩散模型的表现均持平或优于自回归模型；该微调模型（有效参数 3.8B）可与前沿视觉语言模型相竞争，且其解码速度也快 3.5 至 4.4 倍。除性能持平外，扩散模型还具备自回归模型所欠缺的起草能力：任意顺序填充。由于画布通过双向去噪处理，放射科医生可以固定报告片段，让模型填充文字片段之间的部分；这一操作是扩散模型的固有功能，而自回归模型对此表现欠佳。这恰好适用于真实的临床报告，此类报告往往因临床医生或机构不同而简洁或不一致。
基础模型通常公开发布，但用于训练它们的数据配方（例如决定不同数据源采样方式的领域混合权重）却很少公开。这造成了访问不对称：研究人员可以研究训练得到的模型，却无法了解产生这些模型的训练数据分布。先前推断训练数据的方法（如成员推断）仅在单个样本层面进行检测，因此无法描述训练语料库的整体构成。我们提出WARP框架，该方法直接从微调模型发布后的权重中恢复其训练混合比例。WARP通过模型融合在基模型与微调模型之间进行插值，生成近似缺失训练轨迹的伪检查点，并在权重空间中揭示训练数据的几何特征足迹。基于这些模拟足迹，WARP提取几何特征，并通过免参数softmax读出器或在合成混合数据上训练的MLP投影器将其映射到领域比例。在BERT和GPT-2的受控实验中，WARP分别以平均绝对误差低至0.046和0.104恢复领域混合比例，性能优于成员推断方法，甚至优于能够获取真实训练轨迹的变体方法。
基于大语言模型（LLM）的智能体能够通过多轮交互与环境协作，解决复杂的过程性任务，但这一能力通常依赖于大型模型、长上下文和重复的推理调用。这使得先进的记忆增强型智能体难以部署在资源受限的设备上。我们提出DuoMem——一种双空间蒸馏框架，将过程性问题的解决能力从大型教师模型迁移至紧凑的学生模型。DuoMem在两个互补空间中进行蒸馏：（1）上下文空间蒸馏，将学生生成的记忆替换为教师生成的高质量过程记忆，并将其前置到学生模型的输入中；（2）参数空间蒸馏，在成功的教师轨迹上微调轻量级LoRA适配器。在具有挑战性的具身决策基准测试ALFWorld上的评估表明，DuoMem将40亿参数模型的任务成功率从4.3%提升至77.9%，基本弥合了与720亿参数教师模型（成功率87.1%）之间的差距，同时仅增加不到1000万可训练参数和数兆字节的预计算教师记忆。此外，经DuoMem增强的40亿模型在完成任务的时钟时间上比720亿模型快3倍以上，使其适用于对教师模型而言极具挑战的实时边缘部署。在涵盖2B至72B参数的八个模型上的广泛消融实验表明，两个蒸馏维度均提供了互补的贡献。
将基于可验证奖励的强化学习（RLVR）从单领域训练扩展至涵盖数学、编程和科学的多领域推理任务套件已成为趋势。然而，训练课程（即各领域采样频率）通常固定或手动调整，尽管推理技能在不同领域间的迁移程度并不均衡。现有基于可学习性的课程策略会适应策略当前改进的方向，但忽略了所选领域上的梯度更新是否有利于其余领域。本文提出迁移感知课程（TAC），一种赌博机式在线课程方法，优先选择更新收益能广泛惠及训练套件中其他领域的领域。TAC重用了RL训练中已产生的信号：各领域的优势值表征局部可学习性，而从正在计算的GRPO步骤中提取的投影梯度，通过梯度几何对齐以可忽略的成本（<1%的挂钟时间开销）估计跨领域迁移性。在一个包含六个领域的推理套件上，TAC在Qwen3-1.7B和Llama3.2-3B模型上均取得了最佳宏观平均准确率，优于比例随机采样、手工设计调度方案以及纯可学习性赌博机方法，相较后者最高提升2.8个百分点（相对提升10%）。消融实验表明，去除迁移性项后性能急剧下降，且在不平衡训练混合场景中，当纯可学习性课程过度聚焦于主导领域时，TAC仍保持稳健。我们的研究确立了跨领域迁移性作为多领域RLVR课程设计的关键信号。
流量矩阵（TMs）捕获了全网范围内的起点-终点需求，是流量工程的核心。然而，当预测必须在在线网络控制的内存、更新和训练预算约束下进行时，准确的全矩阵预测仍然具有挑战性。本文研究了紧凑型量子启发循环模型能否在无需依赖专用图、Transformer或扩散模块的情况下提供有效的TM预测。我们将门控量子启发Kolmogorov-Arnold网络快速权重编程器（QKAN-FWPs）适配于直接多步Abilene TM预测，其中每个模型从两小时的历史数据中预测包含144个起点-终点（OD）通道的矩阵中接下来的20个五分钟帧。我们在共享固定预算训练协议下，将三种QKAN放置变体与等规模长短期记忆（LSTM）网络、更大的LSTM网络以及经典门控快速权重编程器进行了基准测试。在所评估的循环模型中，G-QKANFWP实现了最低的池化均方根误差（RMSE），同时仅使用了更大LSTM网络的22.4%的资源。它还优于等规模LSTM和经典G-FWP基线，表明这一增益并非仅来自门控快速权重框架。收敛性和通道分析进一步表明，量子启发变体比等规模循环基线获得了更低的验证损失学习曲线下面积（AULC），而G-QKANFWP和GQKAN-FWP在更多的OD通道上取得了显著优势。这些结果表明，经典慢编程器与量子启发快编程器的组合是一种有前景的精度-效率设计，适用于资源受限的网络流量矩阵预测。
基于网格的近似最近邻（ANN）搜索方法在现代扩展性分析中鲜有涉及。本文系统刻画了多探针网格算法在数据集规模N和维度d上的性能特征。实验揭示了GloVe嵌入系列中此前未报道的d-缩放交叉现象：当其他基于图、树和分区的算法吞吐量下降时，多探针网格搜索却能维持近似恒定的维度缩放指数。该优势不仅体现在查询复杂度随N接近线性增长，其索引构建成本也低于其他ANN方法。研究结果表明，在索引重建频繁或高维场景中，多探针网格等基于网格的方法可能具有竞争力——此类场景下索引开销和维度鲁棒性决定了性能表现。更广泛而言，近期研究已将自注意力机制形式化为ANN操作，因此ANN算法的N和d缩放特性可为高效Transformer架构的成本分析提供指导。代码开源地址：https://github.com/weiz345/MultiProbeANN。