每日精選AI研究論文及翻譯
許多日常程式設計任務難以透過純粹的規則來實作，例如基於重要日誌行觸發警報、修復格式錯誤的 JSON，或根據意圖對搜尋結果進行排序。這些任務正逐漸被外包給大型語言模型 API，但代價是損失了本地性、可重複性與成本。我們提出**模糊函數程式設計（fuzzy-function programming）**：將這類函數從自然語言規格編譯成一個緊湊、可於本地執行的神經網路工件（neural artifact）。我們以**權重即程式（Program-as-Weights，PAW）** 來具體實現此範式：一個基於我們所釋出的 10M 範例資料集 FuzzyBench 訓練而成的 4B 編譯器，會產生參數高效的適配器（parameter-efficient adapters），供一個凍結的輕量級解釋器使用。一個 0.6B 的 Qwen3 解釋器在執行 PAW 程式時，效能可匹敵直接提示 Qwen3-32B 的結果，但推理記憶體僅約為其五十分之一，且在 MacBook M3 上可達到每秒 30 個 token 的執行速度。PAW 將基礎模型從「逐輸入問題求解器」重新定位為「工具建構者」：模型僅在每次函數定義時被調用一次，產生一個小型可重複使用的工件，而後續每次函數應用的調用成本低廉且可離線執行。
对于长时程LLM智能体而言，记忆是一份合同，规定了每个未来决策允许看到的内容。最简单的合同是将过去的观察记录、工具调用和反思内容附加到每个提示中，这使得先前上下文易于访问，但同时也使其变成一团混乱的混合物，导致任何单一记忆组件的影响都难以被分离。我们引入并实现了一种替代性的有界合同：每次决策均基于通过类型化检索组装的全新用户消息，不附加任何跨决策的原始记录。因此，提示在任意长度的运行中保持有界，任何单一层都可以被单独消融。我们在《Slay the Spire 2》中实例化该合同，这是一款规则封闭的随机卡牌构筑游戏，其每次运行需要做出数百个战术和战略决策。在同一游戏上对前沿LLMs的公开在线基准测试显示，在五组配置的最低难度下胜率为零；而开发者报告人类在相同难度下的胜率为16%；该任务困难但尚未饱和。在我们的实验框架内，固定A0的消融实验显示，当启用触发式战略技能时观察到的差异最大：无存储基线胜率为3/10，而添加技能层后胜率为6/10。在此样本量下，比较仅具方向性，而非统计上决定性（Fisher精确检验p≈0.37）；跨骨干网络的探测实验和公开的累积上下文基线作为操作性比较报告，而非对合同变量本身的受控测试。我们发布了一个可复现的测试平台：包含298条完整轨迹，附有条件标签、冻结的记忆/技能快照、提示记录和分析脚本——这是一种智能体设计，以及一种经过验证、可重复使用的方法论，用于研究显式记忆层如何塑造长时程LLM智能体的决策。
自主智能体日益需要借助反馈来改进可执行策略，然而现有的评估常常将此过程简化为最终得分，或将其与开放式的软件工程进展混为一谈。我们提出**自主策略进化**（Autonomous Policy Evolution）这一受控评估框架：在该框架中，一个受约束的模型智能体在固定的交互预算下，反复编辑一个可执行策略系统。我们将该框架具象化为**EvoPolicyGym**基准测试，它由紧凑的交互式强化学习环境构建而成，专门评估智能体如何通过迭代方式改进已探索的策略。在EvoPolicyGym套件上，GPT-5.5在所有16个环境中取得了最强的整体排名分数，并跻身前两名。除了排行榜结果，EvoPolicyGym还提供轨迹级诊断，区分智能体如何分配预算、将反馈转化为参数调优。这些分析表明，强大的自主策略进化不仅依赖于孤立的任务获胜，更在于在有限的反馈下发现适合任务的机制并完善策略。
混合注意力模型通过仅保留部分全注意力层，并将剩余层替换为线性注意力，从而提升了长上下文效率。然而，从Transformer到混合架构转换的有效性关键取决于哪些层保留了全注意力。现有的混合层选择方法通常依赖启发式策略（如固定放置模式或逐层评分），隐式地将层重要性视为孤立因素，却忽略了全局混合配置下各层之间的相互依赖效应。本研究将混合层选择形式化为预算约束的子集优化问题，并进一步提出FlashMorph（快速层选择实现混合变形方法），这是一种高效、可扩展的层选择方法，用于Transformer向混合架构的转换。FlashMorph首先通过为每个全注意力层配备转换后的线性注意力分支来构建可变形模型，随后冻结所有模型权重，在合成长上下文检索数据上联合优化逐层门控，并通过线性化正则化鼓励模型依赖线性注意力以提高效率。在预设全注意力预算下对学习到的门控进行离散化以实例化混合架构，随后进行标准logits蒸馏和长上下文微调。大量实验表明，与现有层选择方法相比，FlashMorph能够发现更有效的混合配置，在保持强大长上下文召回能力和通用基准性能的同时，显著降低层选择成本，展示了其有效性、高效性和可扩展性。
與硬體無關的文字轉圖像擴散加速策略，例如時間步蒸餾與特徵快取，可在無需客製化內核或系統層級最佳化的情況下縮短推論時間。其中，多解析度生成策略近期獲得廣泛關注，在不經任何訓練的情況下實現超過5倍加速。然而，在潛空間中執行上取樣，並搭配局部區域的選擇性修改，導致這些方法出現明顯的模糊或偽影。為此，我們提出MrFlow，一種基於分階段低解析度到高解析度管線的訓練免除多解析度加速策略，適用於預訓練的流匹配模型。MrFlow首先在低解析度下快速生成主要結構，接著使用輕量級的預訓練GAN模型在像素空間中進行超解析度，隨後注入低強度雜訊以實現高頻重取樣，最後在高解析度下優化細節。在FLUX.1-dev與Qwen-Image上的定量與定性結果顯示，MrFlow利用低解析度取樣的二次性令牌減少與步驟需求降低，實現端到端10倍加速，同時在OneIG指標上與加速前差距維持在1%以內，顯著超越其他免訓練加速策略，且完全無需訓練或運行時動態識別。MrFlow更可進一步與預先訓練的時間步蒸餾策略正交直接結合，實現高達25倍的更高生成加速。
數據科學旨在從異質原始數據中萃取出可操作的洞見，從而釋放現代社會所產生大量數據的價值。自動化此流程對於減輕數據科學家的人力密集工作、並實現可擴展的數據驅動應用至關重要。近年來，基於大型語言模型的數據代理已成為自動化數據科學工作流程的可行解決方案。然而，該領域缺乏全面的基準測試，無法以細粒度嚴格評估這些代理在不同場景下的表現。為填補此缺口，我們提出 AgenticDataBench——一個全面的基準測試，包含來自多樣領域的實際任務，並提供細粒度的真實標籤。如此一來，評估能夠捕捉數據科學工作流程的多樣性與複雜性，以及代理的詳細表現。首先，為涵蓋多樣領域，我們從15個垂直領域中收集真實數據集與任務，其中包括來自一家領先金融科技公司的5個實際B2B應用案例。其次，為去除實際任務中的冗餘，並為缺乏真實數據的領域生成高品質任務，我們引入數據科學技能——即重複出現的數據中心操作模式——並透過所包含的技能數量來量化基準測試的覆蓋範圍。我們利用技能對齊的階層式聚類，從 Stack Overflow 上的大規模任務解決方案中提取代表性技能。第三，針對實際商業任務，我們選取技能組成多樣性最高的任務—解決方案配對，確保廣泛涵蓋實際場景。第四，為那些缺乏實際任務的設計領域生成具現實感的任務，我們提出一套系統性的基於大型語言模型的任務生成方法，根據這些技能創建工作流程與任務。最後，我們使用已標註的基準測試與開源測試平台，評估當前最先進的數據代理，並提供詳細的技能層級洞見。
我們提出WorldDirector，一個高度可控的視頻世界模型框架，專為持久動態物體記憶與無限制視角探索而設計。不同於現有世界模型將物理動態與像素渲染糾纏在一起，並依賴連續視覺觀察來維持運動，我們的框架明確地將語義運動編排與視覺生成解耦。通過利用大語言模型協調3D軌跡與攝影機移動，隨後將這些編排後的軌跡作為視頻生成的控制信號，我們的方法確保了嚴格的物理邏輯與外觀穩定性，成功保留了動態實體的準確視覺身份，即使它們在長時間離開視野後重新進入場景。實驗結果表明，我們的方法能夠以前所未有的可控性與持久動態物體記憶，合成複雜且延伸的事件。專案頁面：https://worlddirector.github.io/
近期多模态大型語言模型在臨床影像推理方面展現出巨大潛力，但現有的後訓練流程仍主要以結果為中心，依賴於最終答案的正確性或序列層級偏好。這種做法存在稀疏信用分配問題，導致難以優化對臨床應用至關重要的推理過程。我們的分析顯示，來自早期推理失敗的級聯錯誤是醫學視覺問答（VQA）基準中預測錯誤的主要原因。基於此，我們提出醫學推理感知策略優化（MRPO），這是一種整合逐步過程獎勵的強化學習演算法。當最終答案錯誤時，MRPO會對早期無效推理步驟中的詞元施加指數級增大的懲罰，從而在不影響成功路徑的情況下打破失敗級聯。在三種多模態LLM骨幹架構上，MRPO持續優於標準GRPO及近期基線強化學習方法；在Qwen3-VL-8B-Instruct上，甚至超越規模顯著更大的醫學多模態語言模型（如HuatuoGPT-Vision-34B）2.79個百分點。此外，MRPO將早期推理失敗率從64.0%降至13.0%，顯示針對性緩解級聯失敗既能提升推理品質，也能提高最終答案準確率。我們的程式碼開源於 https://github.com/dmis-lab/MRPO。
技能正逐漸成為大型語言模型代理的可重複使用操作層，用來編碼標準作業程序、領域規則、工具工作流程、腳本及驗證程序。在實際的技能庫中，重疊的技能使得可靠使用技能變得困難。最終驗證器的成功與否對於評估與訓練而言過於粗糙，因為代理可能透過試誤過程，選取干擾技能、跳過必要步驟、不當組合工作流程或忽略最終檢查，仍能通過驗證。我們提出SkillCoach，這是一個自我演化的評量框架，用於評估與強化代理的技能使用能力。SkillCoach從實際執行歷程中推導出基於技能的流程評量標準，並從四個維度評估軌跡：技能選擇、技能遵循、技能組合，以及基於技能的反思。它將外部驗證器作為獨立結果信號保留，從而區分流程品質與偶然的任務成功。演化後的評量標準更進一步作為流程監督信號，用於篩選高品質的訓練軌跡。實驗結果顯示，演化後的評量標準顯著提升評估品質，揭示出最終準確率無法反映的失敗，並在強化代理技能使用方面，提供比僅基於結果過濾更強的監督信號。
傳統的視覺生成強化學習策略通常採用樣本層級的獎勵函數，但此做法經常引發獎勵駭客行為，導致影像多樣性降低並產生視覺異常。為解決這些限制，我們提出一個新穎框架，透過基於分佈的獎勵來微調生成模型，確保與真實資料分佈更佳對齊。與逐個樣本評估的獎勵不同，基於分佈的獎勵考量樣本的資料分佈，從而緩解當所有樣本獨立朝相同方向最佳化時所發生的模式崩塌問題。為克服估算此類獎勵所需的龐大計算成本，我們引入子集替換策略，僅透過更新生成參考集中的一小部分子集，即可有效提供獎勵訊號。此外，我們應用強化學習來最佳化事後模型合併係數，可能緩解因在常規強化學習實作中引入隨機微分方程（SDE）而導致的訓練與推論不一致性。大量實驗顯示，我們的方法在多種基礎模型上顯著改善FID-50K指標：SiT從8.30降至5.77，EDM2從3.74降至3.52。質性評估亦證實，我們的方法在提升感知品質的同時，仍能保持樣本多樣性。
在長上下文應用中，大型語言模型經常從相關上下文的語意中整合出答案，而非逐字複製貼上。辨識哪些注意力頭（attention heads）執行此整合，對於解讀長上下文模型行為至關重要。然而，現有檢測器在建構上會遺漏這些注意力頭：它們獎勵那些所關注的詞元與生成詞元匹配的注意力頭——這是一種僅捕捉「頭在哪裡讀取」、卻忽略其透過輸出值（OV）電路「寫入什麼」的字面複製標準，而OV電路正是承載非字面檢索的機制。我們提出「對數貢獻評分法」（Logit-Contribution Scoring, LOCOS），一種感知寫入的檢測器，透過將每個注意力頭的OV電路輸出投影到答案詞元的去嵌入方向（unembedding direction），並在一次前向傳遞中對比「針」（needle）與「非針」（off-needle）來源位置。在三個模型家族（Qwen3、Gemma-3、OLMo-3.1）中，對NoLiMa非字面檢索基準測試的頂尖LOCOS注意力頭進行平均消融，在較少注意力頭數量下便使ROUGE-L崩潰，效果優於先前的注意力基礎檢測法；在Qwen3-8B上，消融50個注意力頭使ROUGE-L從0.401降至0.000，而最強的基線方法仍保留0.292。所選取的注意力頭具有檢索特異性：在相同消融下，參數記憶與算術推理能力仍維持基線水準。在Qwen3-8B上，相同的消融也導致MuSiQue從0.55降至0.08，BABI-Long從0.62降至0.20，而隨機注意力頭控制組則維持在基線的0.05範圍內。
表示对齐已成为加速扩散变压器训练和提升生成质量的有效途径。近年来，如SRA和Self-Flow等自对齐方法通过在扩散模型内部构建对齐，进一步消除对外部预训练编码器的依赖。然而，从SRA到Self-Flow的改进机制——双时间调度——尚未得到充分研究：Self-Flow将其增益归因于不同噪声水平下token之间的交互，其中较干净的token帮助推断较嘈杂的token。在本工作中，我们重新审视这一解释，并探究该增益是否源于沿噪声维度的数据增强。为厘清这些因素，我们引入注意力分离（Attention Separation）方法，该方法在保留与Self-Flow相同的双时间步输入的同时，阻断不同噪声水平下token之间的注意力交互。令人惊讶的是，移除这种交互并不会降低性能，甚至可能提升性能，这表明从SRA到Self-Flow的改进主要来自数据增强。此外，我们证明注意力分离本身通过将单张图像分割成多个有效训练部分来扩展训练数据，从而提供增强效果。基于这些发现，我们将自表示对齐与双时间步和注意力分离增强相结合，并在ImageNet上验证了该设计的有效性。
靜脈辨識是一項安全的生物特徵識別技術，常受限於標註資料稀少與成像變異。雖然資料增強有助於緩解此問題，但專為自然影像設計的策略可能破壞辨別身分所需的細粒度拓撲結構與紋理。我們提出AGVBench，針對五個公開手掌與手指靜脈資料集，搭配七種骨幹架構（涵蓋經典CNN、視覺Transformer及靜脈專用辨識模型），評估了30種具代表性的增強策略。結果顯示，多圖混合方法（如MixUp、PuzzleMix、StarMixup）普遍提供最強的辨識效能，然而這些方法往往校準不佳且易受對抗性擾動影響，反映出乾淨準確度與對抗安全性之間明顯的不一致性。我們也發現，劇烈的幾何變換經常導致辨識效能下降，可能源於特徵錯位或空間裁切；同時，增強效果在手掌握靜脈資料集之間存在差異。這些發現證明僅以準確度為中心的評量不足以衡量生物特徵增強。AGVBench提供標準化流程，支援可重現研究，並引導設計可靠、安全且穩健的靜脈辨識系統。我們的程式碼庫公開於 https://github.com/Advance-VeinTech-Innovators/AGVBench。
可控影像生成方法（如ControlNet）已展现出引入深度图等视觉条件以引导影像生成的显著能力。然而，这些方法在处理包含多实例的复杂场景时常遭遇困境，往往导致实例间的属性混淆。尽管近期研究尝试通过人工实例标注来缓解此问题，但这类标注需求劳动密集。本文提出InstanceControl，一种无需实例标注的新型多实例可控生成方法。我们指出现有方法的主要瓶颈在于无法将实例描述与视觉条件中对应的区域准确关联。为解决此问题，我们借助视觉语言模型（VLM）在文本提示与视觉条件之间建立实例级对应关系。具体而言，VLM自动从文本提示中解析实例描述，同时基于视觉条件预测实例掩模。此外，鉴于预测掩模可能包含噪声，我们引入自适应掩模优化策略，在生成过程中动态精炼这些实例掩模。大量实验表明，我们的方法优于现有最优技术，实现了更高的保真度与精准的实例级控制。
大型語言模型驅動的搜尋代理正被廣泛應用於處理複雜的資訊搜尋任務，這類任務需要透過多步驟檢索與推理來達成使用者目標。然而，現有基準測試通常假設使用者的查詢是完整且明確的，忽略了現實世界中搜尋請求往往模糊、未充分指定，甚至包含事實錯誤。在深度搜尋情境下，此類模糊性可能沿著多步推理鏈傳播，導致代理偏離正確的搜尋軌跡。為彌補此一缺口，我們提出DiscoBench，一個專為具澄清意識的深度搜尋所設計的基準測試，旨在評估搜尋代理能否主動識別模糊性、提出有效的澄清問題，並透過與使用者互動來恢復正確的推理路徑。DiscoBench涵蓋211個樣本及463個模糊性實例，橫跨11個真實世界領域，並包含四種模糊類型。我們進一步設計了一個適用於多輪互動的使用者模擬器，並從四個面向評估模型表現：任務實用性、模糊性檢測、互動策略及成本效率。在代表性大型語言模型上的實驗顯示，模糊性檢測與有效澄清是兩種截然不同的能力，而反覆搜尋而非請求澄清的表現往往不如直接猜測，這凸顯了當前搜尋代理在檢索能力與互動式問題解決之間存在的關鍵落差。
視覺-語言模型（VLM）在時空影片定位（STVG）任務中展現出極大潛力。然而，目前的評估標準主要侷限於一般日常生活基準上的零樣本測試。這與專業領域中的實際應用產生了嚴重脫節——在此類領域中，模型無可避免地會遭遇罕見的視覺概念與複雜的時空動態。由於對無限數據分佈進行全面預訓練不可行，因此模型適應新領域的能力至關重要。為填補此缺口，我們提出 AnyGroundBench——一個專為領域適應設計的基準，旨在將 STVG 評估典範從靜態的零樣本測試轉向嚴謹的領域適應。AnyGroundBench 針對五個專業領域（動物、工業、運動、手術與公共安全），將新拍攝的影片（例如專家標註的小鼠行為）與既有數據集配對，並透過密集、高保真的時空標註予以統一。關鍵在於，該基準提供了專門的訓練子集，以系統性地衡量領域適應能力。我們廣泛評估了 15 個最先進的 VLM，在實際的計算限制下檢視其零樣本泛化能力與情境學習（ICL）能力。最終，我們的研究結果顯示，當面對專業領域時，現有模型無論在零樣本還是在基於 ICL 的適應中皆宣告失敗，暴露了時空推理上的關鍵缺陷——這些缺陷正是未來研究必須解決的課題。
記憶專長是一種後天習得的技能：知道該編碼什麼、何時提取以及如何組織知識——這種能力在認知科學中稱為「元記憶」。我們將此觀點應用於大型語言模型（LLM），將記憶管理視為一種可訓練的技能。我們將檔案系統操作提升為與任務行為同等重要的第一類記憶行為，讓模型自行決定如何管理其記憶。這項記憶技能沿著兩個面向提升：支撐它的結構（提示詞、檔案架構、行為詞彙），以及運用該技能的模型熟練度。這兩個面向都難以手動優化：長視野任務中的情節可能運行數千個步驟，而單一次記憶錯誤可能在浮現前早已潛伏很長一段時間，使得人類對完整軌跡進行審查不切實際。我們提出 AutoMem，一個自動化兩個層面優化的框架。在第一個迴圈中，一個強大的 LLM 審視完整的智能體軌跡，並反覆修正塑造智能體與其記憶檔案互動方式的記憶結構。在第二個迴圈中，從多個情節中辨識出智能體自身良好的記憶決策，並將其作為訓練信號，直接強化模型的記憶熟練度。在三種程式生成的長視野遊戲（Crafter、MiniHack 和 NetHack）中，僅優化記憶——而不修改模型的任務行為表現——就能將基礎智能體的效能提升約 2 到 4 倍，使一個 320 億參數的開放權重模型能與前沿系統（如 Claude Opus 4.5 和 Gemini 3.1 Pro Thinking）競爭。我們的研究結果顯示，記憶管理是一項可獨立學習的技能，並且是能在長視野任務中產生大幅效能提升的高槓桿目標。
評估LLM代理（Agent）於SWE-Bench與GAIA等基準測試時，可能耗費高昂成本、大量時間，且需複雜基礎設施。單次評估可能花費數千美元，並需數日才能完成。相較之下，測試單一能力（如推理、程式碼生成）的非代理型LLM基準測試則快速且廉價。本文探討是否能透過少量且經謹慎挑選的原子評估實例（instance）之表現，準確預測成本高昂的代理型基準測試結果。我們提出PACE框架，透過從現有非代理型評估中選取實例，建構代理型基準測試的代理基準（proxy benchmark），其總分最能可靠預測模型於代理型基準測試的表現。給定一組涵蓋原子能力的候選實例池，PACE擬合回歸模型，將模型在一小部分來源實例上的分數映射至目標代理型基準測試的分數。該子集本身透過結合兩種互補的實例選擇策略（目標相關局部選擇與全域資訊性全域選擇）來篩選。我們將PACE應用於本文中的四個目標代理型基準測試，產生了PACE-Bench，即本文中評估的具體代理基準。針對14個模型、4個代理型基準測試及19個非代理型基準測試的實驗顯示，PACE-Bench在留一法交叉驗證（LOOCV）下，平均絕對誤差（MAE）低於4%、斯皮爾曼相關係數高於0.80、成對模型排名準確率約達85%，而成本僅為完整代理型評估的不到1%。我們進一步分析所選的代理實例，揭示每個代理型基準測試獨特需求的能力。PACE使實務工作者能在模型開發、選擇及路由過程中，無需負擔完整代理評估的開銷，即可獲得可靠的代理表現估計值。
我們闡明了表徵分佈匹配（RDM）的設計空間，此為我們對一種典範的命名，該典範透過在凍結的預訓練編碼器下，比對生成與參考的特徵分佈，來訓練單步影像生成器。我們確立了兩個設計軸向：分佈如何進行比較，以及它們在何種表徵下進行比較。針對這些軸向進行的控制實驗得出了三項發現。首先，經典的最大均值差異（MMD）在十年前無法訓練出令人信服的生成器，一旦正確估計，便成為一個強大且可擴展的目標函數。其次，生成的批次成為關鍵變數，其最優值高於2048，遠超常規的批次大小。第三，任何單一表徵都可能被操縱——生成影像在視覺上仍明顯為假，但其分數卻已低於真實分數——因此我們針對一個平衡的多編碼器組合進行比對，並使用SW_r14（一種基於14個編碼器的切片沃瑟斯坦距離）進行評估，該指標獨立於訓練損失且能抵抗操縱。結合最優選擇後，我們得到改進型RDM（iRDM）：它在ImageNet上以SW_r14 1.30達成了單步生成的最佳表現，並由PickScore（一種從未經我們目標函數優化的人類偏好代理指標）佐證——在71.2%的匹配樣本中，該指標偏好iRDM優於先前最佳的單步生成器。相同的配方將四步驟的FLUX.2 [klein] 後訓練為單步生成器，在GenEval（0.826 對 0.794）和PickScore（22.76 對 22.58）上均超越了四步驟版本，僅耗費90個H200 GPU小時。專案頁面：https://alan-lanfeng.github.io/rdm/。
視覺-語言-行動（VLA）模型的根本瓶頸在於缺乏專家示範——即由觀測、指令與動作組成的三元組，此類數據在大規模收集時成本極高。我們認為，此瓶頸源於混淆了兩個不同的學習目標：獲取物理能力（如何移動）與獲取語義對齊（做什麼）。關鍵在於，僅後者需要語言監督。基於此分解假說，我們提出任務無關預訓練（TAP），這是一個兩階段框架：首先透過自監督逆向動力學目標，從廉價的未標記互動數據中學習可遷移的動作先驗——包括被捨棄的非任務軌跡與自主機器人遊玩數據。隨後，輕量級的第二階段使用極少量專家數據，將這些先驗與語言對齊。在SIMPLER基準上，TAP達到了與使用超過100萬條專家軌跡訓練的模型相當的表現，同時僅使用數量級更少的標記數據，比標準行為克隆實現了10%的絕對提升。在真實世界的WidowX平台上，TAP在相機擾動下仍保持25%的成功率，而網路規模基線則降至0%，證明任務無關預訓練能產生穩健且可遷移的物理表徵，並為具身人工智慧提供了可擴展的發展路徑。
持續後訓練使基礎模型能夠學習新知識，同時保留既有能力。近期研究指出，在線策略學習可減緩遺忘，其中在線策略自蒸餾特別受到關注。本研究透過自蒸餾策略最佳化（SDPO）重新檢視此樂觀看法。實驗顯示，當教師訊號穩定且對齊良好時，SDPO能加速領域內特化，但難以泛化至分佈外情境。在持續後訓練中，SDPO表現出更強的遺忘現象，甚至可能崩潰，而GRPO等基於在線策略的強化學習方法則以更保守的方式適應，並較好地保留先前能力。進一步分析發現，密集自蒸餾在參數空間與回應空間皆導致較大的偏移，並可能透過自我強化的師生迴圈放大高頻格式偽影。這些發現表明，僅靠線上策略資料不足以實現持續學習。密集自蒸餾雖能在教師目標穩定且詞元級監督可靠時加速特化，但不應視為持續後訓練的預設穩定器。我們的程式碼已開源於 https://github.com/Moenupa/SDPO-CL。
擴散語言模型通過對標記畫布進行雙向去噪來生成文本，而非從左到右逐一生成標記，如今已能與自迴歸生成相媲美。然而，醫學基礎模型幾乎仍完全依賴自迴歸方法。我們對混合專家擴散語言模型 DiffusionGemma-26B 進行了調整，並在相同的 LoRA 配方下，於醫學視覺問答數據集上，將其與同等大小的自迴歸同類模型 Gemma-4-26B 進行基準測試，評分由對冗長性具魯棒性的大語言模型評判器執行。擴散模型在所有數據集上均達到或超越自迴歸模型，且微調後的模型（活躍參數 3.8B）與前沿視覺語言模型不相上下；其解碼速度亦快 3.5 至 4.4 倍。除性能持平外，擴散模型還具備自迴歸模型所缺乏的起草能力：任意順序的填充。由於畫布採用雙向去噪，放射科醫師可固定報告片段，並讓模型填充其中的文本，這是擴散模型固有的操作，而自迴歸模型在此方面表現不佳。這恰好符合真實報告的需求——這些報告往往簡潔，或在臨床醫師與機構間存在不一致。
基礎模型通常會向公眾發布，但訓練它們所使用的數據配方——例如決定不同資料來源採樣方式的領域混合權重——卻鮮少公開。這造成了一種可及性不對稱：研究人員得以研究最終生成的模型，卻無法清楚了解產生這些模型的訓練資料分佈。過往推斷訓練資料的方法，例如成員推斷，僅能在個別樣本層級進行偵測，因此無法描述訓練語料庫的整體組成。我們提出了 WARP 框架，它能直接從微調模型釋出的權重中，還原其訓練混合比例。WARP 透過模型合併，在基礎模型與微調模型之間進行插值，生成近似缺失訓練軌跡的偽檢查點，並在權重空間中顯現出訓練資料的幾何足跡。從這些模擬足跡中，WARP 提取幾何特徵，並透過無參數的 softmax 讀出層或針對合成混合比例訓練的 MLP 投影器，將這些特徵映射到領域比例。在針對 BERT 和 GPT-2 進行的控制實驗中，WARP 恢復領域混合比例的平均絕對誤差（MAE）分別低至 0.046 和 0.104，優於成員推斷以及可存取真實訓練軌跡的變體方法。
基於大型語言模型（LLM）的智能體能夠透過多輪互動與環境交互來解決複雜的程序性任務，但此能力通常依賴於大型模型、長上下文及重複的推理調用。這使得先進的記憶增強型智能體難以部署於資源受限的設備上。我們提出 DuoMem，一種雙空間蒸餾框架，能將大型教師模型的程序性問題解決能力遷移至緊湊的學生模型。DuoMem 在兩個互補空間中進行蒸餾：(1) 上下文空間蒸餾，將學生生成的記憶替換為更高質量的教師生成程序性記憶，並將其前置於學生的輸入中；以及 (2) 參數空間蒸餾，在成功的教師軌跡上微調輕量級 LoRA 適配器。在具有挑戰性的具身決策基準 ALFWorld 上進行評估，DuoMem 將一個 4B 參數模型的任務成功率從 4.3% 提升至 77.9%，大幅縮小了與 72B 教師模型（87.1%）的差距，同時僅增加不到 1000 萬個可訓練參數及數 MB 的預計算教師記憶。此外，經過 DuoMem 增強的 4B 模型在實際時鐘時間上完成任務的速度比 72B 教師模型快 3 倍以上，使其能夠在實時邊緣部署中具備可行性，而這對於教師模型而言極具挑戰。在涵蓋 2B 至 72B 參數的八個模型上進行的廣泛消融實驗顯示，兩個蒸餾方向均貢獻了互補性效果。
具備可驗證獎勵的強化學習已從單一領域訓練擴展至涵蓋數學、程式設計與科學的多領域推理任務組合。然而，訓練課程（各領域的採樣頻率）通常固定不變或手動調整，儘管推理技能在領域間的轉移並不均勻。現有的基於可學習性的課程設計雖能適應策略當前進步的領域，但無法判斷選定領域的一次梯度更新是否有利於其他領域。本文提出「轉移感知課程」（Transfer-Aware Curriculum, TAC），一種賭臂式的在線課程機制，優先選取那些更新能廣泛惠及訓練組合中其餘領域的領域。TAC 重複利用強化學習訓練過程中已產生的訊號：各領域的優勢函數反映局部可學習性，而從正在計算的 GRPO 步驟中提取的投影梯度，則透過梯度幾何對齊來估計跨領域的可轉移性，且計算成本極低（額外耗時不到 1%）。在包含六個領域的推理任務組合上，TAC 在 Qwen3-1.7B 與 Llama3.2-3B 模型上均達到最佳宏觀平均準確率，勝過比例隨機採樣、手動設計的排程以及僅基於可學習性的賭臂式方法，並相較後者最高提升 2.8 個百分點（相對提升 10%）。消融實驗顯示，移除可轉移性項後效能急遽下降，且在不平衡的訓練混合中，TAC 仍保持穩健，而僅基於可學習性的課程則會過度投入佔優領域。我們的研究確立了跨領域可轉移性作為多領域 RLVR 課程設計的一項關鍵訊號。
流量矩陣（TMs）捕捉了網路端到端的起訖需求，是流量管理中的核心要素。然而，當預測必須在線上網路控制的記憶體、更新與訓練預算限制下進行時，準確的矩陣級預測仍是一大挑戰。本研究探討是否緊湊的量子啟發式遞迴模型能夠在無需依賴專用圖神經網路、Transformer或擴散模組的情況下，提供有效的流量矩陣預測。我們將門控量子啟發式柯爾莫哥洛夫-阿諾德網路快速權重程式設計器（QKAN-FWPs）改編應用於Abilene流量矩陣的直接多步預測任務，其中每個模型根據兩小時的歷史資料，預測一個144通道起訖（OD）矩陣的接下來20個五分鐘框架。我們將三種QKAN安置變體與規模匹配的長短期記憶網路（LSTM）、較大的LSTM，以及一個經典門控快速權重程式設計器進行基準比較，所有模型均在共享固定預算訓練協議下進行評估。在所評估的遞迴模型中，G-QKANFWP在合併均方根誤差（RMSE）上表現最佳，且其參數量僅為較大LSTM的22.4%。它同時優於規模匹配的LSTM與經典G-FWP基線，顯示此優勢並非單純來自門控快速權重框架。收斂性分析與通道分析進一步顯示，量子啟發式變體的驗證損失下之學習曲線面積（AULC）低於規模匹配的遞迴基線，而G-QKANFWP與GQKAN-FWP則獲得顯著更多的OD通道勝出。這些結果指出，經典慢速程式設計器搭配量子啟發式快速程式設計器，是一種適用於資源受限網路流量矩陣預測、兼具準確性與效率的設計方向。
基於網格的近似最近鄰（ANN）搜尋方法在當代規模化分析中長期缺席。我們針對多探針網格演算法，系統性地刻畫其在資料集規模N與維度d下的表現。實驗結果揭示出GloVe嵌入家族中一項先前未被報導的維度縮放交叉現象：多探針網格搜尋維持近似恆定的維度縮放指數，而其他基於圖、樹與分割的方法則呈現吞吐量下降。此優勢不僅在N上呈近線性查詢縮放，其索引成本亦低於其他競爭性ANN方法。結果顯示，多探針網格等基於網格的方法，在索引成本與維度穩健性主導效能的密集重建或高維場景中，可能具競爭力。更廣泛而言，近期研究已將自注意力機制形式化為ANN運算。因此，ANN演算法的N與d縮放特性，可引導高效Transformer架構的成本分析。程式碼已開源於：https://github.com/weiz345/MultiProbeANN。