每日論文

我們介紹Orca，這是一個通用世界基礎模型的初步實例。Orca從多模態世界訊號中學習統一的潛在世界空間，並透過多模態讀取介面將其呈現。與其專注於孤立的下一詞元、下一幀或下一動作預測，我們以「下一狀態預測」建模為核心，提供一條統一狀態轉換建模的路徑，以理解、預測並作用於世界。Orca透過兩種互補範式學習：無意識學習從連續影片中捕捉密集的自然狀態轉換，而有意識學習則透過語言描述的事件和VQA監督來建模稀疏且有意義的狀態轉換。在預訓練階段，我們建構大規模的世界學習資料庫，包含12.5萬小時的影片資料和1.6億條事件註解。預訓練後，Orca學習到統一的潛在世界空間。為了檢驗所學到的潛在表徵是否支援下游任務，我們透過三種代表性的下游讀取任務進行評估：文字生成、影像預測和具身動作生成。Orca的骨幹網路被凍結，僅訓練輕量級的模態特定解碼器。實驗證明了所提出範式的可擴展性，並驗證更強的潛在世界表徵能帶來更強的下游讀取能力。Orca的表現超越了類似規模的專業基線模型。這些結果顯示，Orca作為通用世界基礎模型，為理解、預測並作用於世界提供了一種有前景的方法。最後，我們討論了目前的局限性，旨在為學界提供有價值的見解與啟發。

程式驗證器在訓練編碼代理中扮演核心角色，包括為監督微調（SFT）篩選軌跡，以及為強化學習（RL）提供獎勵。標準的基於執行驗證需要在每個倉庫的環境（如 Docker 映像）中執行單元測試，這會導致相當高的環境建置成本。我們提出了 Dockerless，這是一種無需環境的代理式補丁驗證器，能在不執行程式碼的情況下評估生成的程式補丁。Dockerless 並非簡單地將候選補丁與參考補丁進行比對，而是透過代理式倉庫探索所收集的證據來判斷補丁的正確性。在驗證器評估基準上，Dockerless 比最強的開源驗證器高出 14.3 個 AUC 分數。將 Dockerless 同時用作 SFT 軌跡篩選器和 RL 獎勵，可以實現完全無環境的後訓練流程。由此產生的模型在 SWE-bench Verified、Multilingual 和 Pro 上分別達到了 62.0%、50.0% 和 35.2% 的解決率。它超越了 Qwen3.5-9B 基線模型 2.4、8.7 和 2.9 個百分點，性能可與基於環境的後訓練方法媲美。

同策蒸馏（OPD）通过密集的词元级信号监督学生模型采样的轨迹，实现了更优的能力迁移。为提供高质量的监督源以进一步提升蒸馏性能边界，一个直观方向是将先验信息注入教师或学生模型本身。然而，这种额外输入会引发一种潜在失败模式——我们称之为“先验幻觉”：即学生本应弥补的可迁移能力差距与只能模仿却无法复现的信息不对称差距被混为一谈。该问题因词元级监督固有的非均匀性而进一步加剧——仅少数关键词元携带具有决定性能力表征的信号。为此，我们提出DOPD——一种优势感知的双重蒸馏范式，该范式基于教师先验策略与学生先验策略之间的优势差距和相对概率，动态路由词元级监督路径。每个词元会从教师或学生自身接收不同强度、目标与策略的监督信号，在传递可信能力的同时获取辅助信号，从而缓解先验幻觉。在大语言模型（LLM）与视觉语言模型（VLM）设定下的广泛实验表明，DOPD始终优于标准同策蒸馏及其他对比方法。稳定性、鲁棒性、持续学习与分布外任务上的进一步结果验证了其优越性。

推测解码通过轻量级草稿模型并行生成候选token，再由目标模型验证，从而实现无损加速。近年来，基于扩散的推测解码进一步提升了并行性——通过块级扩散，每次前向传播可生成多个token，达到最先进性能。然而现有方法采用固定的推理块大小，并假设对所有输入应用统一的解码策略。本文表明该假设并非最优，因为最优块大小会因样本而异，且对推测解码性能至关重要。此外，这些最优块大小呈现出明显的局部结构，集中于训练块大小附近，从而将问题简化为低维且结构化的决策空间。基于这些发现，我们提出BlockPilot——一种样本自适应策略，能够从预填充表示中预测最优块大小。具体而言，我们将块大小选择问题建模为轻量级策略学习任务，并提出基于预填充阶段表示的实例自适应决策机制。预测仅在预填充完成后执行一次，因此可无缝集成。大量实验表明，我们的方法即插即用，引入极小的额外开销，并持续提升效率——在Qwen3-4B模型、温度T=1的条件下，达到5.92的接受长度与4.20倍的加速比。

具身视觉-语言-行动（VLA）模型通常通过将强大的预训练视觉语言模型（VLM）在机器人数据上进行微调而获得，但在适应后，这些模型保留了多少常识性和事实性知识仍不清楚。在知识敏感型任务上的失败具有模糊性，常将知识缺失与低层级控制泛化不佳混为一谈。我们提出了Act2Answer，这是一种轻量级协议，通过要求智能体以行动作答，将VLM知识基准调整为VLA评估。每个问题构成一段简短的桌面上场景，其中智能体执行一次单一的物体放置动作以选择候选答案，从而得出以行动为基础的成功率，并减少了控制层面的干扰。我们针对各种常识和世界知识类别，策划了一套此类测试环境，并引入分层意图探测技术，以定位VLM骨干网络和行动头部中与答案相关的信息。在一项涵盖7个VLA模型和9个VLM基线的大规模研究中，我们系统性地对各模型在不同类别上进行排名，发现VLA在简单概念上表现稳健，但在更丰富的语义类别上，相比其源VLM存在较大差距；视觉问答（VQA）联合训练与更好的知识保留相关；且与答案相关的信号在VLA中间层达到峰值，但在上层减弱。Act2Answer可在https://tttonyalpha.github.io/act2answer/获取。

三维场景是通过其中的物体来理解的，而非构成物体的图元。然而，前馈重建方法输出的是一组稠密且无结构化的点或高斯分布，物体的结构需要在后续处理中恢复。我们提出了一种前馈框架，该框架直接从无姿态的多视角图像中将场景分解为实例结构化的三维标记组——紧凑的以物体为中心的单元，重建、分割和操作均可由此实现。每一个标记组将一个捕获实体层面身份的实例标记与编码局部几何和外观的锚定标记配对，这些锚定标记随后被解码为一组三维高斯分布。这种双层分解将物体身份与局部外观解耦，使得物体实例成为表示的原生接口，而非派生结果。这些标记组通过可微渲染与联合重建和分割监督进行学习，无需三维标注。我们的前馈模型在类别无关的实例分割任务上超越了逐场景优化的基线方法，同时在新视角合成方面仍具有竞争力。除这些指标外，相同的标记组还直接实现了实例层面的场景编辑——通过操作对应的标记组来移除、平移或插入物体——以及高效的开放词汇三维实例检索，其中检索复杂度随实例数量而非图元数量扩展。

视觉生成模型通常分两阶段训练：首先训练一个分词器用于重建，随后将其冻结，再训练一个生成器处理其离散索引或连续潜变量。这种解耦方式导致分词器无法感知生成器易于建模的内容。我们提出GEAR（引导式端到端自回归），通过表征对齐引导，联合端到端训练向量量化（VQ）分词器和自回归（AR）生成器。关键障碍在于，输入AR模型的VQ索引不可微，梯度无法传递至分词器，且直通估计器会失效。GEAR通过码本分配的双重读出机制解决此问题：硬性单热分支训练AR进行下一令牌预测，而可微软性分支则引入表征对齐损失，该损失回流仅引导分词器。由此，AR模型引导其分词器朝向更易预测的索引分布，将对齐负担从分词器转移至AR：分词器自身特征变得不那么像DINOv2，而AR特征则更趋近于此——这与扩散方法中使潜变量本身语义化的策略相反。相比强基线LlamaGen-REPA，GEAR在ImageNet上实现gFID收敛速度提升高达10倍，学习到显著更优的块级及空间一致特征，并泛化至多种量化器（VQVAE、LFQ、IBQ）及文本到图像生成任务。

設計更快GPU核心的經驗，是否也有助於攻克長期懸而未決的數學猜想？近期，結合大型語言模型（LLM）與演化搜索的方法，已在最佳化任務中取得最先進的解決方案，涵蓋了未解數學猜想、GPU核心設計、科學定律發現及組合謎題等領域。為達成此目標，先前研究每次僅針對單一目標任務應用搜索框架，每遇新問題便從頭開始，而模型在搜索過程中所累積的經驗，一旦完成嘗試便遭捨棄。這使得反覆迭代改進解方（例如判斷哪些部分應突變及如何突變、決定何時回溯）的能力完全由框架承擔，而非模型本身。模型是否能自身習得此能力並跨不同任務重複使用，至今仍鮮少被探討。為填補此缺口，我們提出「演化微調」（Evolution Fine-Tuning，EFT）——一種中期訓練範式，透過將演化搜索軌跡轉化為監督訊號，教導LLM跨任務演化解決方案。我們建構了「Finch Collection」資料集，涵蓋10個領域共371項最佳化任務的156,000條軌跡，並對2B至9B參數規模的開源LLM進行微調。實驗結果顯示，EFT賦予模型跨任務泛化能力：在22項保留任務中，我們的模型平均超越其基礎版本10.22%。此外，搭配測試時強化學習（test-time RL）時，我們的模型在兩個圓形填充任務中達到與最先進水準相當的表現，並在Erdős最小重疊問題上超越其基礎模型版本。因此，EFT可視為通用發現代理程式的「練習階段」，使其無須從頭解決新問題。

區塊擴散語言模型(BD-LMs)通過KV快取與可變長度生成技術，優化了基於擴散的文本生成。自然的下一步是將其從單塊擴散(SingleBD)擴展至多塊擴散(MultiBD)，其核心機制在於對連續區塊組成的「運行集」進行並行解碼，以實現塊間並行處理。然而，現有BD-LMs大多採用「教師強制」策略訓練——模型僅能觀察到一個帶噪區塊，且該區塊以乾淨前綴為條件。近期提出的「擴散強制」策略雖賦予模型觀察多個帶噪區塊的能力，但其訓練狀態仍與MultiBD推論情境存在差異：在推論階段，解碼過程作用於具有異質性逐槽位雜訊模式的有限運行集。為彌合此鴻溝，我們提出多塊擴散語言模型(MBD-LMs)，其透過「多塊教師強制」(MultiTF)對BD-LMs進行後訓練實現。MultiTF整合了教師強制與擴散強制：在乾淨前綴條件下，針對有限雜訊群組進行訓練，並採用隨機化雜訊調度器，使其更貼近MultiBD推論狀態。為使MultiBD具備實際執行可行性，我們進一步基於「區塊緩衝區」機制提出優化解碼演算法，該演算法可保留前綴快取的重複使用性、維持輸入形狀靜態不變，並將增強的並行解碼能力轉化為實際的運算加速。實驗結果顯示，MBD-LLaDA2-Mini模型將每次前向傳播平均處理的標記數(TPF)從3.47提升至6.19，平均準確率從79.95%提高至81.03%；若結合DMax策略，MBD-LLaDA2-Mini-DMax的TPF平均值更達9.34，而在數學與程式基準測試中僅損失1.02%的準確率。

Agent技能透過任務特定程序、腳本與參考資料擴展語言模型代理的功能，但這些技能所針對的任務與環境持續變動。現有方法僅在有限運行中改善技能，並僅保留最終產物，遺棄後續代理解讀先前修訂、評估與遭拒替代方案所需的決策歷程。我們提出SkillHone，一種基於持久化決策歷程的持續代理技能演化框架。SkillHone將技能修訂與提供實作回饋的評估端證據配對，記錄診斷、修訂、證據與結果的結構化歷程。角色分離的子代理在隱匿報告的測試探針上運行候選技能，並根據先前決策啟發提出修訂，實現跨階段的精煉，無需重新探索過往推理邏輯。在深度研究基準測試中，SkillHone無需預整合搜尋堆疊即可運行，且在GAIA與WebWalkerQA-EN上分別勝過商業支援的深度研究代理15.8個百分點與3.2個百分點，同時超越先前的技能演化方法。我們進一步將SkillHone部署於內部工具中介的分析場景，在七個設定中平均提升準確率18.8個百分點。

視頻世界模型是一種互動式視頻生成模型，能根據用戶動作與歷史視頻幀預測未來世界狀態。此類模型面臨的關鍵挑戰在於缺乏記憶，導致長時間生成的場景不一致。先前的研究採用基於規則的上下文幀檢索作為記憶機制，但在場景遮擋與動態物體等情況下難以泛化。我們提出MemLearner，一種基於學習的自適應上下文查詢方法，利用查詢標記（query tokens）連結上下文標記與預測標記。透過直接運用視頻生成模型本身進行上下文查詢，MemLearner能利用預訓練的視覺先驗，無需從頭訓練額外模組，並整合高效的訓練與推論策略。我們收集了一組包含場景遮擋與動態物體的長視頻資料集，並附帶相機姿態標註，同時提出多資料集訓練策略，結合標註的渲染影片與未標註的真實世界影片。大量實驗證明，MemLearner在場景一致性與記憶能力上顯著優於先前的視頻世界模型，特別是在具有挑戰性的遮擋與動態場景中。

富文本图像生成是图像生成中最具挑战性的场景之一，因为模型必须同时生成视觉上逼真的图像，并呈现清晰可读、语义对齐且布局一致的文本。现有的数据管道通常遵循静态爬取-过滤-冻结范式：收集候选样本，进行一次过滤，然后将通过的数据冻结用于训练。然而，被拒绝的样本通常被丢弃，尽管它们往往包含有用的失败信号，例如OCR错误和语义不匹配。因此，后续的构建轮次可能会重复相同的失败模式。为解决这些局限，我们提出DataEvolver——一个用于富文本图像数据构建的自我演化多智能体框架。DataEvolver将数据构建视为反饋驱动的构建策略演化：检索器收集候选样本，验证器分配质量评分与拒绝原因，评论员将轮次级反馈总结为语义反馈，生成器通过目标合成填补覆盖不足的区域。更新后的反馈记忆随后指导下一轮构建。在富文本图像生成基准上的实验表明，在匹配数据预算下，DataEvolver比固定数据集基线产生更有用的训练数据。在PixArt-alpha的0.75M规模下，DataEvolver在TextScenesHQ上将OCR-F1分数相较于最强基线提升85.3%，在LongTextBench上提升35.3%。这些改进在两个评估基准上保持一致，并能迁移至Show-o2，表明DataEvolver的优势不依赖于单一下游生成器。这些结果表明，被拒绝的样本能为改进富文本图像数据构建提供可操作的反馈。

元認知是智力的關鍵組成部分，描述個體監控及調節自身認知過程的能力。然而，大型語言模型在關鍵元認知能力上存在系統性缺陷：它們會自信滿滿地產生幻覺、無法識別知識邊界，且誤報內在不確定性——從而削弱可信度與可靠性。由於監控任務表現並據此調整行為是元認知的核心，我們假定能準確判斷自身表現的模型，更可能改善其表現。我們透過兩種新機制將此概念具體化：其一為「具元認知反饋的強化學習」，這是一種在偏好最佳化過程中根據模型對自身表現的自我判斷品質來修正完成排序的範式；其二為「元認知資料選取」，利用類似的自我判斷來識別高價值訓練樣本，表現優於單純的主動學習。我們將這些創新應用於「忠實校準」問題——該任務本質上即為元認知任務：其目標在於使表達出的不確定性與內在不確定性一致，即使對前沿大型語言模型而言亦具挑戰。我們採用兩階段解耦方法：首先運用這些方法校準模型自報信心分數的忠實度，再透過目標式輸出編輯將其映射至自然、可適應情境的語言不確定性。大量實驗顯示，具元認知反饋的強化學習可在多樣化任務上達成可泛化的最先進忠實校準，同時維持準確性。此外，該方法在增強模型評估及表達自身能力界限的同時，其表現比標準強化學習高出最多63%。這使具元認知反饋的強化學習成為一個有前景的範式，可增強大型語言模型的元認知能力以提升其能力與對齊，並指出元認知表現可作為有效的強化學習信號，以克服先前內在反饋方法的限制。

程序性記憶正日益被用於提升LLM智能體在重複性工作任務中的表現，然而其能否產出可複用技能仍未被充分理解。我們提出AFTER基準，內含382項涵蓋六種專業角色與22項程序性技能的現實企業任務，旨在評估技能如何跨任務、跨角色及跨模型主幹進行遷移。該基準包含針對局部改進、跨任務遷移、跨角色遷移及跨模型泛化的受控評估設置。實驗顯示，程序性記憶能夠在工業工作流中帶來持續增益：單次優化輪次即可將總體性能提升3.7至6.7個百分點，而從多種多模型執行軌跡演化而來的技能，其跨模型測試準確率達73.1%，優於所有單模型軌跡來源。我們進一步發現，部分技能可在任務與模型間廣泛泛化，另一些則專門化於特定角色工作流，並在遷移中失效。這些結果為在生產級智能體平台上構建、評估及部署程序性記憶系統提供了實務指引。

LLM在數學推理中的多樣性對於探索至關重要，然而常見的多樣性指標大多僅捕捉表面層級的變化，而非問題解決方式上的差異。我們透過引入「策略層級多樣性」——即針對同一問題的正確解法中，所採用的解題策略差異——來填補此一缺口。運用經人類校準的LLM評判框架，我們發現先前的多樣性衡量指標無法可靠地反映策略層級多樣性，而此一落差亦延續至具多樣性感知的RLVR中：當目標指標得以保留時，策略層級多樣性反而下降。在探討策略層級多樣性何時有助益，以及能否直接誘發此類多樣性時，我們發現策略多樣的候選集合能改善測試階段的擴展效能。然而，在訓練過程中優化LLM評判的多樣性獎勵，會導致策略模型利用評判特有的偏好，而非拓展其解題策略，使得直接優化策略層級多樣性仍是一項未解難題。綜合而言，本研究提出策略層級多樣性的概念，並揭示表面層級與策略層級信號之間的系統性分歧，為實現LLM以真正多元且貼近人類的方式進行推理，邁出重要一步。

拼接照片是一種大型影像，其局部區域被視為獨立拼塊，而整體排列則構成連貫的場景。以高解析度生成此類照片，並確保每個拼塊本身具備說服力，運算成本極高，因為畫布須同時容納大量細節豐富的拼塊。我們提出PhotoQuilt，這是一個無需訓練的框架，可生成任意解析度的拼接照片。擴散模型難以同時滿足兩種尺度：直接高解析度生成成本高昂，且傾向於產生單一平滑影像而非馬賽克；而基於區塊的拼接雖能保留局部細節，卻會失去整體結構。PhotoQuilt透過自舉式平鋪去噪程序解決此問題。我們先以低解析度生成全局構圖以確定佈局，接著在潛在空間中對其進行放大，並重新注入噪聲以恢復生成能力。去噪過程在固定的拼塊內進行，使每個拼塊形成自身影像，同時共享的全局結構將它們維持在同一佈局中。由於拼塊生成是獨立處理的，PhotoQuilt可擴展至大型畫布，且無需承受二次注意成本。實驗表明，PhotoQuilt在全局結構與局部真實感上均優於當前基準方法。

具備語音能力的模型越來越多地被部署於跨語言的現實應用中，然而，其在英語環境之外及自然情境下的安全性與公平性仍研究不足。我們調查了最先進語音模型發布中的安全報告實務，發現僅有8%的文件包含了多語言分析。為填補此缺口，我們推出了RedVox，一個基於真實語音的多語言音訊與語音安全性及公平性基準測試，涵蓋五種語言（英語、法語、義大利語、西班牙語及德語）中不安全與不公平的刻板請求。透過評估八個最先進模型，我們發現即使在非對抗性條件下，漏洞依然存在；在非英語語言中情況更為惡化，且當請求來自語音輸入時，此漏洞會被放大。最後，透過調查貢獻RedVox的參與者，我們記錄了在招募人類受試者收集語音資料時所面臨的獨特個人與隱私挑戰，進而指出自然語音安全研究中更廣泛的社會技術挑戰。

隨著视频语料库在规模和任务复杂性上持續增長，对于能够从大规模语料库中检索相关视频（视频间推理）并在检索内容中进行细粒度、查询条件驱动的任务（视频内推理，例如时间定位）的方法需求日益增加。然而，现有方法通常将检索视为预处理步骤，因此当初始检索失败时，缺乏改进搜索的机制，导致后续细粒度视频内推理的失败。此外，尽管近期的智能框架推动了视频理解的发展，但它们通常假设查询相关的视频已经给定，只专注于视频内推理任务。为了解决这些限制，我们提出VideoSearch-R1，一个通过与视频搜索引擎进行多轮交互实现迭代视频检索与推理的智能框架。具体而言，我们引入软查询精化（SQR），在连续潜在空间中精化搜索查询令牌，而非在离散文本空间中重写查询，从而实现更高效、更细粒度的调整。SQR及其推理过程通过群组相对策略优化（GRPO）进行训练，由从检索和下游任务中获得的任務级奖励信号引导。在此基础上，VideoSearch-R1在视频语料库时刻检索（VCMR）的三个数据集上达到最先进性能，能够迭代地从大规模语料库检索视频、精化搜索查询，并在检索内容中进行精确的查询条件时间定位。我们的分析表明，SQR有效精化了原始查询，所需生成的令牌数量远少于显式的文本级查询精化。代码和模型检查点已在mlvlab.github.io/VideoSearch-R1公开。

圖形使用者介面（GUI）智能體以視覺語言模型為基礎，透過介面操作（如點擊、滑動、文字輸入與導航）在真實應用中端到端完成使用者任務。然而，現有的GUI智能體主要是在離線軌跡、模擬環境與標準化基準上進行訓練與評估。這些環境在介面佈局、互動邏輯與異常狀態分佈上與真實應用存在顯著差異，無法忠實反映實際使用情境下的執行穩定性——在真實環境中，帳號狀態、權限對話框、支付驗證與風險控制機制持續重塑狀態分佈，導致基準分數與實際可用性之間存在持久落差。為彌補此落差，我們提出Xiaomi-GUI-0，一個原生多模態GUI智能體，專為真實行動環境設計，並在實機閉環中完成訓練與評估。其核心在於一套以實機為主導的混合基礎設施：實體裝置作為主要執行環境，沙箱則提供輔助支援，使數據收集、訓練、推論與評估共享接近真實部署的執行分佈。我們構建多來源訓練數據，涵蓋高頻頭部任務、針對長尾意圖的高泛化數據，以及用於反思與記憶的能力增強數據，並引入錯誤驅動的數據飛輪，將失敗軌跡轉化為修正動作、反思說明與恢復示範。模型透過三階段漸進式訓練流程進行訓練：監督式微調、步驟級強化學習，以及智能體強化學習。在公開基準與自建的RealMobile上進行評估，Xiaomi-GUI-0在RealMobile上達到72.0%的成功率，在AndroidWorld上達到78.9%，同時在真實任務中顯著提升執行穩定性與異常狀態識別能力。

多指機器人承諾擁有如人手的靈巧速度與靈活性，但諸如精密組裝等具挑戰性的問題仍難以實現。此類任務接觸密集，導致模仿學習的數據收集困難；且獎勵稀疏，使得直接利用強化學習進行探索變得不可行。因此，先前的研究透過以專用夾具、工具附件及環境固定裝置來結構化問題，從而取得進展。在本研究中，我們主張：在機器人能夠完善精密組裝之前，必須先學會玩耍。我們進一步探討：在學習玩耍的過程中，哪些因素對精密組裝至關重要？我們提出Play2Perfect，一個透過在多樣物體與目標上進行玩耍來實現任務無關預訓練的強化學習框架，之後再針對精密組裝進行微調優化。玩耍的目標是獲取可重複使用的操作先驗，例如抓取、手中重新定位及姿態達成。微調則將此通用先驗適應於組裝任務，將探索聚焦於最終需要成功的接觸密集、高精度互動。我們系統性地研究了玩耍預訓練中的關鍵設計選擇，包括物體多樣性、訓練目標、軌跡多樣性及目標精度。結果顯示，即使提供了密集的多階段獎勵，我們的先驗在樣本效率上仍比從零開始的強化學習高出33倍。我們展示了零樣本從模擬到真實的轉移，在僅有0.5毫米接觸間隙的緊密插入任務中達到60%的成功率，並在長時序多零件組裝與螺絲鎖付任務中達到超過50%的成功率。

近年来，大型语言模型在研究领域占据主导地位，但小型语言模型在多个领域中仍保持高度相关性，然而它们受到的关注却少得多。本研究探讨了较小型的语言模型在检索增强生成（RAG）系统生成阶段的表现。为有效评估这些模型，我们采用了涵盖不同学科领域及问题类型的开源与专有数据集。研究结果表明，配备小型语言模型的RAG系统可直接在设备端运行，无需任何GPU硬件，且能在合理时间内完成处理。实验代码及补充材料链接可通过GitHub仓库获取：https://github.com/SibNN/SLM-RAG-EVAL。

大型語言模型代理日益在長期任務中運作，單一軌跡可能包含數百甚至數千個動作。在這些情境下，僅基於最終結果的獎勵所提供的指導過於稀疏，無法告知模型中間動作的優劣。密集監督方法旨在透過對中間步驟進行評分來解決此問題，這些評分方式涵蓋從內在信心、自蒸餾到嵌入相似度等範疇。然而，常見的評估方式是透過整合這些方法的訓練管線的下游表現來衡量其效能。這種做法成本高昂，會將監督品質與訓練工程的干擾變數混為一談，並使得需要不同訓練設定的不同方法論家族之間無法進行比較。結果，密集監督方法鮮少在共同基準上進行評測。我們提出 QVal，這是一個無需訓練的測試平台，用於直接評估密集監督信號。對於給定的狀態-動作對，QVal 衡量某方法的評分是否達到 Q-對齊：即其能否根據強參考策略的 Q 值來對動作進行排序。這使我們能在任何訓練運算之前比較信號，並將信號品質與其他工程選擇區分開來。我們將 QVal 實現為 QVal-v1.0，針對 21 種密集監督方法，橫跨四個不同環境與七個方法論家族，並基於六個開放權重模型主幹進行超過 1,200 項評估實驗。我們發現，簡單的提示基準始終優於文獻中近期提出的密集監督方法，且效能在家族內部呈現強烈聚集。這些發現在不同模型規模、環境與觀察模態下均保持一致。QVal 旨在易於擴展至新環境與新方法，使研究人員能在任何訓練運算之前對密集監督方法進行迭代改進。

自回歸Transformer透過生成符合藝術家標準的拓撲結構，主導了高品質網格生成領域，但其固有的序列解碼方式導致龐大的計算開銷，速度比並行生成模型慢數個數量級。另一方面，雖然連續擴散與流匹配方法支援多種領域的高效並行合成，卻無法直接應用於網格：網格連接本質上是離散的，與標準的連續雜訊注入與去噪操作不相容。為解決此根本性不相容問題，我們引入一種緊湊拓撲嵌入器，將離散的網格頂點位置與法向量投影至連續的逐頂點嵌入空間，透過時空距離閾值可忠實還原原始離散鄰接資訊。在預訓練並凍結此嵌入器後，任何原始網格皆可完整轉換為統一的連續逐頂點狀態空間，涵蓋位置、法向量與隱式拓撲屬性。基於此新穎的連續網格表徵，我們提出PolyFlow——一種基於Transformer的流匹配框架，能在提取點雲特徵的條件下實現完全並行的頂點狀態去噪。推論時，本模型透過ODE求解器快速完成生成，並可透過直接指定目標頂點數量，對輸出網格解析度進行明確且精確的控制。在Toys4K基準上的廣泛評估顯示，PolyFlow在Chamfer距離與Hausdorff距離上均超越當前最佳的自回歸基準方法。

材料科学文献中的图表蕴含了数十年的实验知识，然而这一视觉记录仍被封闭，无法被人工智能大规模获取。其核心难点在于结构：大多数科学图表是复合型的，单个标题同时描述多个子图，导致直接的图文配对不可靠。我们提出了MatMMExtract，这是一个端到端的开源流水线，通过将复合图表分解为独立的子图，并利用由精选材料科学分类法指导的大型语言模型，生成结构化且基于事实的标注，从而解决了这一问题。将MatMMExtract应用于14,810篇开放获取论文，生成了MatSciFig数据集：从180,571个图表中提取出391,606组面板级别的图文对，每个图文对都配有子标题、涵盖19个大类和100多个子类的两级可视化类别标注，以及一份科学摘要。为了实现精确的面板定位，我们引入了MaterialScope——一个包含2,811张手动标注的材料科学图表的领域特定检测数据集，在该数据集上，经过微调的YOLO12-m检测器实现了0.9227的mAP_50。在六个基准语言模型中，Gemini 3.1 Flash Lite在标注生成方面实现了成本与质量的最佳平衡，82%的输出被评为良好，幻觉率为4.8%。在MatSciFig上建立的双编码器检索基线，其R@1指标相比零样本CLIP提升了4.4倍，证明了该数据集在视觉-语言学习中的直接效用。所有资源均已向社区开放发布。

智能體強化學習需要對面嚮環境的動作（如搜索、點擊、編輯、導航指令和物件互動）進行信用分配。標準的GRPO將最終驗證器結果作為所有動作令牌的統一優勢值。此結果訊號有其用處，但在結構上不完整：它在失敗的軌跡中懲罰了有用的探索，並在成功的軌跡中強化了冗余或倒退的動作。我們提出TRIAGE，一種角色類型化的信用分配框架，為結果信用添加了語義角色軸。一個結構化裁判將每個片段分類為決定性進展、有用探索、無進展基礎設施或倒退，並通過固定的角色條件規則將這些標籤映射到有界的片段層級過程獎勵。這保持了驗證器結果作為優化方向的來源，同時修正了僅基於結果信用的兩個主要盲點。我們進一步證明，角色條件化的信用是僅從角色標籤可表達的最優片段層級修正——將每片段優勢殘差投影到角色變量上——從而只要裁判可靠，固定的角色常數就能降低優勢估計誤差，並將此與更低方差的策略梯度聯繫起來。在ALFWorld、Search-QA和WebShop上，TRIAGE在兩種策略模型上的成功率高於GRPO，並且優於標量裁判推導的過程獎勵和以結果監督的共享主幹價值基線。消融實驗表明，增益來自角色類型化，而非僅僅添加密集獎勵：在成功軌跡內可靠檢測倒退是主要貢獻因素，而探索信用則提供一致的次要增益；在已完成的ALFWorld和WebShop軌跡中，相較於GRPO，TRIAGE還分別減少了10.4%和14.8%的面嚮環境回合數。

外在感覺刺激與內在神經活動之間的雙向對應建模已成為神經科學的關鍵前沿。然而，現有方法多將腦編碼與解碼視為孤立任務，高度依賴單模態對齊與外部先驗，忽略了腦作為多模態整合系統的本質。為解決這些局限性，我們提出BrainJanus，首個在單一架構中整合腦、視覺與語言的統一腦模型。具體而言，我們引入統一腦分詞器（Unified Brain Tokenizer），將連續神經動態量化為離散標記，並在共享的全空間（Omni space）中與視覺及語言表徵對齊。在此基礎上，我們利用全合一（All-in-One）自回歸架構，透過下一個標記預測實現無縫的任意到任意生成，涵蓋影像到腦與文字到腦的編碼，以及腦到影像與腦到文字的解碼。廣泛實驗表明，BrainJanus在各種基準測試中均達到優異性能。此外，本框架展現出零樣本泛化能力，並保留可解釋的生物拓撲結構，凸顯其作為通用腦建模範式的潛力。程式碼已於 https://github.com/HaitaoWuTJU/BrainJanus{GitHub} 開源。

现代大语言模型在后训练阶段依赖强化学习来提升特定能力，但将多种能力整合至单一模型仍面临挑战。现有方法如离策略微调(Off-Policy Finetune)和混合强化学习(Mix-RL)存在效率低下或性能损失的问题。为此，我们提出多教师同策略蒸馏(MOPD)——一种用于融合多个领域RL教师能力的新型后训练范式：首先通过各领域专项RL训练获得一组领域教师，然后在学生模型的自生成轨迹上对这些教师进行蒸馏。该方法消除了暴露偏差并提供了密集的优化信号。在Qwen3-30B-A3B模型上，MOPD的性能超越了Mix-RL、级联RL、离策略微调和参数合并等基线方法，几乎完整继承了每位教师的全部能力。同时，MOPD支持各领域教师的并行独立开发，消除了多领域后训练中常见的跨领域耦合问题。该技术已应用于工业级前沿模型MiMo-V2-Flash的后训练阶段，充分验证了其在整合前沿大语言模型能力方面的实际价值。

音頻-視頻生成近期獲得了前所未有的研究關注，旨在合成高品質的有聲視頻內容，實現聽覺與視覺組件之間的細粒度同步與語義對齊。現有方法主要採用雙分支設計，為每種模態配備單獨的標記化與生成模組，未能解決表徵差距問題，同時需要大量運算資源進行適當訓練。受近期一維視覺標記化進展的啟發，我們提出AVTok，一種專為整體音頻-視頻生成設計的新型統一標記器。AVTok採用基於雙流變壓器架構的設計，配有共享編碼器-解碼器與模態特定可學習查詢，能高效且有效地將音頻-視頻對編碼為帶有統一碼本的緊湊一維潛在表徵。為應對阻礙AVTok利用對齊音頻-視覺資訊的異質資訊不平衡問題，我們設計了一套分層訓練策略，逐步實現各模態的重建能力。大量實驗表明，AVTok在音頻-視頻重建方面表現優異，且整合至下游流程（如音頻轉視頻、視頻轉音頻及類別條件聯合音頻-視頻生成）時亦效果顯著。AVTok為聯合音頻-視頻標記化挑戰鋪平了道路，並為構建用於音頻-視頻生成的統一大型多模態模型提供了潛在方向。

生成模型已取得顯著進展，但將其應用於衛星影像仍具挑戰性。不同於自然影像，衛星場景由空間複雜且語義明確的幾何結構所構成。先前研究透過採用密集柵格或稀疏提示來調整自然影像框架，在標註成本與精確度之間取得權衡，卻破壞了與地理資訊常用向量圖元的相容性。我們提出TerraDiT-Ω，這是一個統一的空間控制框架，可直接從任何原生地理空間圖元生成衛星影像。透過共同運用精確標註（多邊形、多段線）與粗略標註（邊界框、點），此模型支援在不同標註預算下實現可控佈局，不僅拓展了城市規劃等設計任務的適用性，同時保持與端到端地理空間AI工作流程的原生相容性。為在生成過程中有效運用這些圖元，我們提出幾何感知局部注意力——一種將明確幾何提示注入注意力空間的條件機制。在所有條件格式下，我們的方法 consistently 優於密集控制與稀疏控制基線。此外，此彈性使單一生成模型得以進行可控合成資料擴增，提升下游任務表現，包括土地覆蓋分割、物體偵測、道路圖提取及場景分類。程式碼、資料與權重已公開於 https://github.com/mvrl/TerraDiT。

基礎模型透過提供豐富且可重複使用的表徵，能跨不同任務遷移，從而徹底改變了視覺與語言處理。然而，作為音樂語言視覺編碼的樂譜，卻缺乏如此強大的領域專用基礎骨幹。我們提出 MuSViT（Music Score Vision Transformer）：第一個針對樂譜表徵的基礎視覺模型——一個透過遮罩自編碼器，在來自 IMSLP 的 970 萬頁資料上預訓練的 ViT 編碼器。為應對真實世界樂譜的複雜性，我們採用兩階段課程學習：先在排版樂譜上進行合成暖身，再於完整的 IMSLP 語料庫上進行大規模訓練。我們在四項下游任務上評估 MuSViT——全頁與五線譜層級的樂譜辨識、音樂符號偵測及樂譜難度分類——並在兩種情境下進行：線性探測（凍結編碼器）與微調。在線性探測下，MuSViT 始終優於現代視覺編碼器，顯示通用表徵無論規模大小，在音樂記譜的結構性符號屬性上均系統性地存在不足。在微調下，MuSViT 普遍改進了特定任務的現有最佳方法。一項額外的嵌入-轉錄一致性分析揭示，MuSViT 在其表徵空間中直接編碼了音樂符號結構——而其他編碼器的嵌入則與樂譜記譜內容無關。這些結果確立 MuSViT 作為樂譜理解的基礎骨幹。

當前作業系統所暴露的介面專為人類使用者最佳化，而非為AI代理。人類受惠於像素、圖示、視窗、視覺分群、滑鼠移動及鍵盤快捷鍵；而AI代理需要的則是緊湊的語意狀態、扎根動作與可靠的回饋。因此，許多電腦使用代理被迫解讀螢幕截圖、OCR輸出及視覺裁切，導致高額的token成本、視覺模糊性、延遲及座標不確定性。本文提出LUMOS（Language Model Unified Machine-Readable Operating-System Semantics，語言模型統一機器可讀作業系統語意），作為AI代理與作業系統之間的語意互動層。LUMOS將原生的輔助功能元數據與瀏覽器UI結構轉換為機器可讀的語意藍圖，其中包含穩定的識別碼、角色、名稱、值、邊界及動作賦能。此外，LUMOS也支援即時語意指標扎根，透過作業系統自動化API查詢游標下方或附近的UI元素。大型語言模型（LLM）隨後透過以輔助功能為基礎的觀察-動作迴圈來執行操作，使用受限的可視UI基本元素，而非應用程式專用腳本。LUMOS並不宣稱取代視覺代理；而是主張在作業系統已提供語意結構的場景下，降低對螢幕截圖的依賴。這些結果指向一條邁向AI原生作業系統與機器可讀互動層的途徑。

我們介紹SWE-Interact，一個新的測試平台，用於評估程式編碼代理在多輪、互動式、使用者驅動的軟體工程任務中的表現。現有的前沿SWE基準測試通常會事先提供完整的需求，並評估代理自主完成任務的能力。相比之下，SWE-Interact將代理置於真實的開發者工作流程中：一個精心設計的使用者模擬器從模糊或不完整的指令開始，逐步揭示需求，檢查代理的工作空間，並提供針對性的回饋、修訂與新限制，直到所有任務目標被完整傳遞為止。此設置基於對真實編碼代理互動的大規模研究，測試代理是否能發現使用者意圖、適應不斷變化的需求，並在其先前工作的基礎上持續建構。在一系列前沿與開源模型測試中，我們發現，在單輪SWE任務中表現優異的模型，並不一定能可靠地遷移至多輪、使用者驅動的工作流程：表現最佳的模型能解決約50%的單輪基準任務，但在對應的SWE-Interact任務中僅能解決約25%。在我們評估中最強大的模型，包括Opus 4.8與GPT 5.5，即使在面對模糊的初始指令時也能有良好的開端，堅持到使用者提出所有需求，更好地整合需求並撰寫乾淨的程式碼。然而，它們仍存在過度主動編碼、遺忘需求以及技術錯誤等問題。較弱的模型在不確定性下表現不佳，過早放棄、忘記或忽略指令，並進行更多的程式碼重構。總體而言，SWE-Interact為前沿模型發展衡量了一個正交的現實世界能力軸：與使用者互動中的目標發現與迭代優化。

開源函式庫與工具被廣泛重用，但相容性維護成本高昂。一旦維護者離開，隨著執行環境與依賴項的演進，原先可用的儲存庫可能停止運作。我們研究大型語言模型代理是否能將老舊儲存庫調整至現代環境——這項任務稱為「相容性救援」。與錯誤修復不同，相容性救援始於一個在原環境中可正常運作、但因生態系統漂移而失效的儲存庫。RepoRescue 僅提供代理該儲存庫及其失效的現代環境；代理必須診斷失敗原因、定位受影響的程式碼，並產出能恢復歷史測試套件的原始碼救援方案。我們基於 193 個 Python 儲存庫與 122 個 Java 儲存庫建構 RepoRescue，每個儲存庫皆經驗證在歷史環境中通過測試，而在現代化後則失敗。我們評估了五個部署於 Python 的代理系統及三個部署於 Java 的系統。除完整修補的通過率外，我們在移除測試檔案編輯後重新執行修補，以衡量「純原始碼修復」；加入執行時強制機制，阻止測試編輯；並驗證儲存庫在救援後測試套件通過的實際可用性。我們發現，即使提示不要修改，Claude Code 系統有時仍會編輯失敗的測試；在執行時封鎖下，Kimi 仍能救援 41.5% 的儲存庫。各系統具有互補性：其聯集達 62.7%，超過最佳單一系統 10.9 個百分點。困難集中於跨檔案協調：在 14 個需要全程式碼庫協調變更的儲存庫中，GPT-5.2 透過 Codex 全部通過，而每個 Claude Code 系統最多僅通過兩個。最後，通過測試套件僅是初步訊號：在 34 個未維護、救援後測試套件通過的 Python 候選儲存庫中，22 個在實際情境中運作正常，12 個通過錯誤狩獵，且修補能確實解決相容性失敗。RepoRescue 以純原始碼審查、執行時強制、實務驗證與推理標籤來評測相容性救援。

大型語言模型（LLMs）日益被用於在現實世界中採取行動，並輔助人類決策，然而大多數智能體仍依賴於參數化知識、固定的訓練後資料、檢索或搜尋機制。這種範式在面對新穎領域以及無法僅憑既有知識回答的複雜查詢時，便會失效。例如，即便具備物理定律知識，大型語言模型也無法自行回答關於複雜物理系統的查詢，或完成需要長期規劃的任務。為解決此問題，我們提出「分層實驗性智能體框架」（Hierarchical Experimentalist Agents, HExA），這是一種透過主動實驗進行學習的情境內自我改進框架。HExA能反覆設計並優化與查詢相關的實驗，從經驗中學習可重複使用的組合式技能庫，並整合實驗證據以回答查詢或採取行動。該框架無需訓練，可相容於任何黑箱模型，且不依賴外部監督、預言機制或離線資料。為評估主動實驗能力，我們建立了基於PHYRE二維程序化物理環境的工具調用基準測試Interphyre，其中智能體需透過模擬API提出干預方案並測試假設。實驗顯示，現有的大型語言模型智能體在這類場景中表現不佳，尤其對Interphyre中最困難的關卡。Claude Sonnet 4.6的成功率僅2%，而HExA將同一模型的成功率提升至77%。此外，HExA同樣能提升開放權重模型的表現，並優於ReAct、Reflexion等基於智能體的方法。更進一步，僅使用從較簡單關卡中習得並在無主動實驗情況下遷移的技能，HExA即可達到44%的成功率，證明了其所學技能的可重複使用性與泛化能力。整體而言，HExA表明，透過主動實驗進行學習，能幫助智能體發現有用知識、習得可重複使用的技能，並在新穎的長期任務中取得高效進展。

我們提出了一種零樣本、無需訓練且無需優化的框架，透過將球面先驗直接注入預訓練的擴散變換器中，生成360度全景圖像和影片。現有方法要麼依賴對稀缺全景數據進行代價高昂的微調，從而限制了泛化能力；要麼利用多步優化，導致推理延遲過高。我們觀察到當代生成模型從大規模訓練中自然展現出一些全景先驗。然而，這些湧現的能力並不充分，因為模型從根本上無法滿足等距柱狀投影（ERP）施加的嚴格拓撲約束。我們提出了一種零樣本且無需優化的方法，在推理時解決這些約束。球形RoPE取代了標準旋轉位置編碼：低頻通道被重新參數化為3D笛卡爾坐標，以天然編碼球面流形，而高頻通道則被諧波量化以強制實現精確週期性。結合明確引導幾何結構的互補性語義失真無分類器引導（CFG），我們避免了重新訓練，並繼承了最先進模型的全部創作廣度。我們的方法適用於不同的骨幹網絡和360度生成模態。我們透過使用Flux.1、Flux.2和LTX-Video骨幹網絡，在文字轉全景任務上展示了這一點，在無需訓練的情況下實現了與基線相競爭的績效。專案頁面：https://orhir.github.io/SpheRoPE

人工智慧系統通常透過任務表現與行為模仿進行評估，但此類評估無法確定人工代理是否能從接地經驗中獲取、穩定化及運用新的詞彙意義。本文提出「詞彙共識」實驗框架，旨在研究在結構化感知基礎上的接地詞彙學習。透過凍結的DINOv2視覺嵌入、卡羅式假詞、可解釋詞彙學習器及線性基線模型，我們測試代理是否能習得視覺概念的人工標籤、雙向推廣這些標籤，並在受控環境中將其穩定化。 主要結果呈現出穩健的感知連貫性梯度：自然類別最易學習，連貫性過度延伸仍可學習，中範圍析取概念表現下降，而遠距析取概念則趨近隨機水準。一項預先註冊的CIFAR-100分離實驗證實，此梯度受感知距離而非語義關聯性所支配：感知距離預測習得準確度（偏R² = 0.245，p < 1e-7），而語義距離無顯著解釋力（偏R² = 0.002，p = 0.660）。 雙向評估顯示命名與檢索為不同歷程：在標籤到圖像的檢索中，基於範例的機制優於質心原型，揭示出與命名準確性無關的記憶忠實度面向。偽證控制、同質候選池評估，以及表徵重構的無效結果，均表明凍結的感知幾何結構既能促成詞彙接地，同時也限制了在無表徵調適下所能習得的內容。

現有的基於指令的影片編輯資料集通常專注於單一任務的外觀編輯，無法滿足真實場景中複雜的創意需求。為填補此差距，我們提出Goku，一個大型資料集，包含200萬個高品質、與指令對齊的影片編輯對，這是首個將任務邊界從基本外觀編輯擴展到多任務與結構性操作（例如精確控制主體運動）的資料集。為應對這些複雜任務中固有的資料合成挑戰，我們設計了一個高效的資料合成管線，將複雜編輯分解為可控的子問題，並在整個過程中引入漸進式過濾系統以確保資料可靠性。此外，我們在Goku上探索了最優網路結構，並提出了Goku-Edit。為深入理解複雜編輯指令，Goku-Edit採用多模態大語言模型（MLLM）作為其文字編碼器，並採用解耦的雙分支設計：一個專用遮罩分支處理結構控制，釋放主分支專注於外觀渲染。同時提出了一個全面的影片編輯基準Goku-Bench，包含1,000個人類驗證的測試案例與7項新穎的編輯專用指標。在Goku-Bench上評估，Goku-Edit在指令遵循方面相比其他開源模型獲得了高達8%的提升。

口語語言模型（SLM）將大型語言模型（LLM）擴展至語音輸入與輸出。現有的SLM以固定幀率（例如25或12.5 Hz）表示語音，忽略了語音中隨時間變化的資訊密度，也無法在推理時靈活地在品質與速度之間進行取捨。近期音訊編碼器研究提出了動態幀率語音編碼技術，利用此非均勻特性實現了兩項新功能：極低的平均幀率以及幀率可控性。然而，此技術尚未應用於SLM。我們提出Flexible Spoken Language Model（FlexiSLM），這是首個支援語音輸入與輸出均具動態且可控幀率的SLM。利用動態幀率表示，FlexiSLM在其高品質運作點上優於包括Qwen2.5-Omni與Kimi-Audio在內的固定幀率7B模型。我們進一步驗證，FlexiSLM可準確地降至4.0 Hz；在6.25 Hz時，相較於12.5 Hz，推理時間約縮減一半，同時維持強勁的語音對語音品質。音訊樣本請見 https://flexislm.github.io 。