每日論文

LLM 代理被期望在多轮交互中行动，利用搜索、浏览界面和终端工具来完成用户目标。然而，并非每个目标在可用环境中都能被充分指定或实现。在这种情况下，可靠的代理应认识到进一步交互不太可能有所帮助，从而放弃额外的工具调用。我们定义了“智能体弃权”（Agentic Abstention）问题，即决定代理在不确定性下何时应停止行动的问题。与标准的 LLM 弃权（通常作为单轮的“回答或弃权”决策进行评估）不同，智能体弃权是一个序贯决策问题：代理在每一轮中可以选择回答、弃权或收集更多信息，而弃权的必要性可能只有在与环境交互后才变得清晰。我们在网络购物、终端环境和问答三类场景中研究了这一问题，评估了 13 个 LLM 代理系统和 2 个代理框架，涉及超过 28,000 项任务。我们的结果表明，主要挑战不仅在于代理能否弃权，更在于它们何时弃权。有些代理在应该弃权时从未弃权，而另一些则是在多次不必要的交互之后才弃权。这一差距在那些指令看似可行但环境后来揭示其不可行（例如，没有有效结果匹配指令）的任务中尤为显著。我们进一步发现，模型规模、推理能力和代理框架对弃权行为有不同影响，有时更大的模型或能力更强的模型在及时弃权方面表现更差。最后，我们引入了 CONVOLVE，一种通过将完整的交互轨迹提炼为可复用的停止规则来改进智能体弃权的上下文工程方法。在 WebShop 上，CONVOLVE 在不更新模型参数的情况下大幅提升了及时弃权能力，将 Llama-3.3-70B 的及时召回率从 26.7% 提高到 57.4%。我们的数据集和代码可在 https://lhannnn.github.io/agentic-abstention 获取。

串流影片編輯已取得快速進展，但實際部署仍受限於兩大核心問題：維持背景與未編輯區域隨時間的穩定性，以及達成即時互動場景所需的低延遲。與此同時，近年串流影片生成方法大多針對合成任務開發，因嚴格要求內容保存與區域特定控制而無法直接應用於編輯。本研究中，我們提出新穎的串流影片編輯框架，以因果方式逐幀進行編輯，兼具強大的內容保存與即時響應能力。核心設計為三階段蒸餾流程，逐步將強大的雙向基礎模型之編輯能力轉移至高效的單向串流編輯器，在維持視覺逼真度的同時實現穩定的長期編輯。為進一步支援即時部署，我們引入針對擴增實境設計的遮罩快取機制，跨幀重複使用區域相關計算，大幅減少冗餘處理並加速推論。最後，我們建立專屬的串流影片編輯基準測試。廣泛評估顯示，本方法在串流基準中達到最先進的視覺品質，同時將推論速度大幅提升至每秒12.66幀，適合應用於互動式與擴增實境場景。

我們介紹Agents-A1，這是一個350億參數的混合專家代理模型，透過擴展代理視野達到了萬億參數等級的效能。我們從兩個角度探討代理視野擴展：擴展長視野軌跡與擴展異構代理能力。為支持此目標，我們建構了一個長視野知識-行動基礎設施，連結外部知識、行動、觀察結果與驗證器輸出，產生了平均長度為45K token的代理軌跡。在此基礎上，我們採用三階段訓練方案來訓練Agents-A1。首先，進行全領域監督式微調，使基礎模型與廣泛的代理行為對齊。其次，訓練領域級教師模型以捕捉各領域的專業知識。第三，我們提出一種多教師領域路由的線上蒸餾方法，結合顯著詞彙對齊，以提升跨領域的知識遷移效率，將六個異構領域統合為一個可部署的學生模型。Agents-A1在長視野代理基準測試中展現出強大且廣泛的效能。與Kimi-K2.6和DeepSeek-V4-pro等萬億參數模型相比，Agents-A1在SEAL-0（56.4）、IFBench（80.6）、HiPhO（46.4）、FrontierScience-Olympiad（79.0）及MolBench-Bind（56.8）上取得領先結果，並在SciCode（44.3）、HLE（47.6）及BrowseComp（75.5）上保持高度競爭力。我們希望這項工作能為學界提供一條實用路徑，透過一個350億參數的代理來擴展視野，使其在長視野任務上達到或匹配1萬億參數模型的效能。

隨著大型語言模型與整合框架持續進步，操作於終端機的代理（agent）不僅能執行程式碼相關任務，還能勝任更廣泛的一般電腦操作工作。然而，現有基準測試未能充分評估通用終端機使用代理（terminal-use agent, TUA）的能力：一般電腦操作基準測試主要針對圖形使用者介面（GUI），而終端機為主的基準測試則側重於傳統上原生於命令列的技術與程式設計導向工作流程。我們提出 TUA-Bench，一個適用於終端機代理的通用基準測試。TUA-Bench 包含涵蓋五大任務類別的 120 項實際任務，涵蓋例行數位活動——包括文件編輯、電子郵件管理及即時網頁資訊搜尋——以及與具博士級領域專家共同設計、需使用專業軟體的科學與工程工作流程。此廣度使 TUA-Bench 有別於先前以命令列或特定領域為主的基準測試。每項任務均為手動設計，在實際終端機中以確定性設定腳本執行，並透過基於執行結果的評分協議進行評估。我們發現，最強大的前沿代理——搭配 Claude Opus 4.8 最大推理努力的 Claude Code——整體表現達 65.8%，且在兩個軌道間均存在顯著差距。藉由提供廣泛且貼近實際的終端機使用能力評估，TUA-Bench 旨在加速從狹隘、特定任務的輔助工具，邁向能在多樣數位環境中穩定運作的通用代理之轉變。

為降低大型語言模型推理過程中的記憶體消耗，已有若干方法被提出用於KV快取剪枝。儘管這些技術能在許多資料集上實現無損記憶體壓縮，但它們通常依賴一個未被充分強調的條件：需預先設定輸入或領域特定的KV快取預算閾值，以達成最佳效能。然而，此類輸入敏感型設計在實際應用場景中可能受到顯著限制——由於開放領域的輸入涵蓋多樣化的領域、長度與難度層級，閾值的選取缺乏明確邊界。這使得此類輸入敏感閾值的依賴性成為根本限制，可能導致對任意輸入產生大幅效能衰退。本研究提出一項新型目標，解除穩健KV壓縮的閾值限制，倡導「無閾值」方法——在保留完整快取效能的同時自適應調整預算分配。我們進一步提出新穎方法ReFreeKV，作為此目標的首個實現方案。在橫跨13個資料集（涵蓋不同上下文長度、任務類型及模型規模）的實驗中，該方法驗證了其效能與效率。我們已於https://github.com/Patrick-Ni/ReFreeKV公開釋出程式碼。

針對表格型數據的預測性機器學習基礎模型，近來在學術界與業界備受關注。各領域研究社群正逐步在多樣資料集與任務上評估這些表格基礎模型。然而，這些任務與學科特定的評估結果，對模型研究人員而言仍難以取得，因為基準測試軟體與評估協定各自分散。因此，模型研究人員只能依賴標準基準測試，而這些測試大多定義在表格基礎模型已表現優異的任務上。最具挑戰性的場景因此被排除，使得該領域的進展侷限於在獨立同分佈（IID）數據上追求邊際改進，而非面對更廣泛、更嚴峻的挑戰。為解決此問題，我們提出 **BeyondArena**，首個全面統一的表格型數據基準測試框架，支援多種任務類型（IID、時序、分組），涵蓋樣本數與特徵維度尺度，並納入來自廣泛學科的多樣化特徵類型（包含文字、高基數特徵）。為實現超越標準基準測試的統一評估，我們推出 **Data Foundry**，一個用於整理預測性機器學習表格資料集的 Python 框架與元數據架構。我們在 11 個模型與 142 個整理後的資料集上得到的結果顯示，現有表格基礎模型在小型至中型 IID 數據上表現卓越，而傳統樹型模型與深度學習模型仍在非 IID、大型及高維度資料集上佔據主導地位。BeyondArena 引領模型研究聚焦於表格數據中最具挑戰性的問題，推動朝向真正基礎性表格模型的進展。

物理交互遵循長尾分佈：一組常見且規律的交互主導了人類經驗與視覺數據，而廣泛的罕見及不規律交互則呈現不足。儘管近期包括影像生成與影片生成模型在內的視覺世界模型，在現有基準測試上達到了令人矚目的逼真度，但它們主要專注於模擬常見的物理交互。這引發了一個核心問題：當前的視覺世界模型是否內化並泛化了物理原理？在本研究中，我們提出了Tailor-Bench，這是一個挑戰世界模型模擬不規律物理交互的基準測試。為實現系統性評估，我們設計了三種逐步挑戰模型推理能力的情境模式：常規情境反映常見的工具-任務配對；非常規情境以屬性相容的替代品取代傳統工具，測試功能泛化能力；不可能情境則引入違反屬性的工具，探查模型對約束條件的意識。此外，我們在統一評估協議下設計了兩種互補設定：預測生成要求模型在無引導的情況下推斷結果，而描述生成則為模型指定目標結果，以實現忠實再現。實驗結果顯示，物理世界建模中存在明顯的長尾差距：模型表現從常規情境退化至非常規與不可能情境，顯示其在常見交互之外的泛化能力有限。失敗分析進一步表明，模型依賴於表面的視覺模式：影像模型未能實現正確的狀態變化，而影片模型則進一步受困於時間不一致性。

近期對多模態大型語言模型（MLLMs）的關注引發了一個核心問題：它們能否對動態視覺證據進行推理，而不僅僅是識別單一幀中的物體或事件？這種能力，我們稱之為視頻時序邏輯推理，要求模型在視覺狀態隨幀而演變的過程中，維持、更新並整合證據。現有的視頻基準常將此能力與場景複雜性、靜態識別或不受控的時間變化混為一談。為隔離此能力，我們引入了Video-MME-Logical，一個圍繞五種時序邏輯操作（狀態追蹤、順序計數、時序排序、動態空間性與結構組合）組織的受控基準。該基準包含25個細粒度任務類別，透過受控的物件狀態、轉換、時間依賴關係與邏輯組合生成。它藉由改變時間跨度與推理複雜度，實現難度可控的最終答案評估，並透過驗證模型在產生最終答案前是否恢復所需的邏輯推理軌跡，來支持中間狀態診斷。對現有最先進MLLMs的實驗揭示了顯著的人機差距，尤其在時序邏輯複雜度增加時。在最多50萬個生成樣本上進行監督式微調雖能提升效能，但仍不足以彌合推理差距，從而使Video-MME-Logical成為一個用於分析與改進MLLMs中時序邏輯推理的可擴展測試平台。

在策略蒸餾（OPD）透過教師反饋指導學生在自己執行的軌跡上進行訓練，正逐漸成為大型語言模型（LLM）後訓練中的關鍵技術。然而，如同強化學習（RL），OPD面臨在策略系統的瓶頸——對於推理任務，軌跡生成可能占據大部分訓練時間。非同步訓練管線可透過將軌跡生成與學習器更新解耦來緩解此瓶頸，但這樣做會引入陳舊策略資料。雖然先前研究已探討過非同步RL中的陳舊資料問題，但其在OPD中的影響仍未得到充分探索。我們首次針對非同步OPD中的陳舊性問題進行系統性研究，專注於一個實務場景：教師反饋以局部KL散度損失實現，且完整詞彙的教師logits因儲存或傳輸成本過高而需採用有限的教師分數快取。首先，我們證明KL散度方向會改變陳舊資料問題的性質：教師加權的前向KL散度對陳舊軌跡更具穩健性，而學生加權的反向KL散度則較為脆弱。其次，針對此脆弱的反向KL案例，我們探討了為穩定非同步RL所設計的方法是否能減輕OPD的陳舊性問題。在我們的實驗中，這些方法並未優於一個更簡單的OPD特定替代方案——在學習器端根據當前學生重新計算反向KL信號。第三，我們分析了有限的教師分數快取如何為稀疏與抽樣反向KL OPD估計器引入偏差-變異權衡。這促使我們採用多樣本蒙地卡羅（MC）方法，其能在降低單樣本方差的同時保留MC的可修正性。最後，我們提出並開源了AsyncOPD——一個基於上述估計器選擇所建構的完全非同步OPD訓練管線。實驗結果顯示，與嚴格同步訓練相比，AsyncOPD將訓練吞吐量提升1.6倍至3.8倍，同時達到可比的準確度。

影片理解是多模態智慧的基本能力，近年來的多模態大型語言模型（MLLMs）在影片問答（VideoQA）基準測試上展現出色表現。然而，現有基準主要評估模型能否感知淺層視覺線索，卻鮮少檢驗多模態大型語言模型是否能從影片教學中學習更深層知識或程序性技能，並將其泛化至下游的長時程代理任務。為彌補此缺口，我們提出VG-GUIBench（影片引導式圖形使用者介面基準），這是一個全新基準，旨在評估基於多模態大型語言模型的圖形使用者介面代理能否遵循影片教學完成對應的圖形使用者介面互動任務。此外，我們觀察到模型在影片問答與影片引導代理任務的表現，關鍵取決於有效的關鍵影格萃取。基於此觀察，我們提出TASKER（任務驅動與場景感知關鍵影格搜尋器），這是一種同時考量任務關聯性與場景動態的關鍵影格萃取演算法，用以識別富含資訊的影格。實驗結果顯示，TASKER在影片問答與影片引導代理任務基準上均取得顯著效能提升，分別在EgoSchema完整集與NExT-QA資料集上優於最佳基準線2.0%與1.8%。這些結果進一步凸顯通用關鍵影格萃取方法在影片理解任務上的潛力。我們的程式碼與資料可於 https://github.com/VG-GUI-TASKER/VG-GUI-TASKER 取得。

現代大規模大型語言模型預訓練受益於使用管線並行技術；然而，同步實作會使 GPU 在管線氣泡期間閒置，浪費運算資源。非同步管線並行消除了這些氣泡，以梯度陳舊性為代價最大化吞吐量。在非同步排程中，PipeDream-2BW 尤其引人注目：與原始 PipeDream 排程不同，它確保無論管線深度如何，都保持恆定的單步梯度延遲。然而，由於普遍認為在陳舊性下進行最佳化本質上不穩定，其採用仍然有限。在本工作中，我們挑戰此一假設，證明了單步延遲下的性能下降高度依賴於最佳化器的選擇，而非固有的限制。我們提供了首次全面的實證分析，顯示雖然 PipeDream-2BW 提出時的主流最佳化器 AdamW 確實遭受嚴重性能下降，但近期方法如 Muon 在單步延遲下展現出強健的穩健性。我們引入了一種與最佳化器無關、靈感來自誤差反饋的修正方法，以進一步減輕延遲效應。我們提供了支持性的理論分析，證明了 Muon 在有無此修正下的收斂性。在參數量高達 100 億的模型上的廣泛評估證實了我們的策略彌合了與同步訓練的性能差距，突顯了大規模非同步管線並行的實際潛力。

不同的即時語音應用各有其嚴格的延遲預算，通常需要針對每種場景分別訓練增強模型。本文提出一種一統通用的即時通用語音增強模型，可對演算法延遲與計算延遲進行精確控制。演算法延遲透過可配置的前向幀靈活調整；為避免因不同填補配置導致的學習效率低下，我們引入對應多種前向設定的平行卷積層。計算延遲則經由早退機制控制，允許在不同網路深度進行推理。為縮小專用模型與彈性模型之間的性能差距，我們提出結合共享到多重解碼器過渡的兩階段訓練策略。總體而言，本框架使單一模型能夠在無需重新訓練的情況下，部署於各種不同的延遲預算場景。

3D高斯散射（3D Gaussian Splatting）的最新進展在新視角合成方面取得了前所未有的成功。然而，高階球諧函數（Spherical Harmonics, SH）所帶來的巨大推理和儲存開銷是行動平台的主要瓶頸。在本文中，我們提出Flux-GS，這是一種即時高斯散射方法，旨在為資源受限的行動平台實現高保真渲染，同時大幅降低開銷。我們首先提出蒙地卡羅鏡面能量聚合器（Monte Carlo Specular Energy Aggregator），透過採樣三階輻射殘差並將鏡面能量聚合至緊湊的潛在空間。透過這種方式，我們的方法能夠有效保留低階頻段中視覺顯著的照明特徵，無需昂貴的蒸餾或預訓練。為了解決壓縮過程中高頻細節的遺失，我們引入屬性條件化SH增強模組（Attribute-Conditioned SH Enhancement）。該模組基於高斯本質屬性預測高感知偏移量，從而在推理前增強一階SH表示，且不增加額外推理成本。此外，原始的單視圖梯度基緻密化方法容易產生過多高斯並過擬合特定視角。我們透過提出基於多視圖Alpha的緻密化與剪枝策略來解決這些限制。透過利用多視圖引導，我們確保多視圖結構一致性並精確移除冗餘基元。廣泛的實驗證明，Flux-GS在保持競爭力視覺品質的同時實現了顯著的參數減少，為即時行動渲染提供了穩健且可擴展的解決方案。程式碼：\href{https://xiaobiaodu.github.io/flux-gs-project/}{https://xiaobiaodu.github.io/flux-gs-project/}。

代理型多模态模型能通过程式码对影像执行多种操作，并根据回传的视图进行推理，这是一种用于细粒度视觉问答的有效范式。然而，程式码操作可能是有益的、多余的，甚至具有误导性。仅基于结果的奖励无法精确区分这些情况，而现有的过程奖励要么无法将最终正确性归因于个别工具调用，要么需要外部评判模型。为解决此问题，我们提出了工具增强信用优化（TACO），这是一种针对程式码工具代理的GRPO变体，基于两条耦合的优势通道构建。第一个是差异式答案探针奖励（DAPR），这是一种自监督、无需评判模型的工具贡献优势，它根据每个工具调用自身对正确回答的影响来赋予其信用。在模型的推理中插入探针标记，可以分别在有工具和无工具的情况下引发出模型的预测，而结果奖励的差异则被视为该次调用的价值：对于有益调用为正、误导性调用为负、无变化调用为零。该方法重复使用了现有的答案检查器，无需辅助评判模型，而且由于是差异值而非绝对探针分数，因此本质上对探针欺骗具有鲁棒性。第二个优势来自最终答案的结果优势，通过结果门控优势路由（OGAR）进行分配：这是一种无参数的规则，根据调用的结果，仅将这一信用分配给负责的推理片段，从而在不引入任何成本项的情况下抑制无用的工具调用。我们通过两阶段的SFT+RL流水线训练TACO。在感知、推理和通用多模态基准上的大量实验表明，该方法能带来一致的准确率提升，并学会仅在工具有帮助时才进行调用。

現有的電腦使用基準測試未能捕捉真實世界電腦使用的現實性、複雜性及長期需求，從而限制了其揭示前沿代理模型局限性的能力。我們推出 OSWorld 2.0，這是一個包含 108 項長期電腦使用工作流程的基準測試，涵蓋日常與專業任務，旨在捕捉真實世界中複雜且具挑戰性的現象。每項任務皆代表一個實際的端到端工作流程，人類使用者完成其中位時間約需 1.6 小時，而 Claude Opus 4.7 在最大思考模式下平均需執行 318 次工具調用——相較之下，OSWorld 1.0 僅需約 30 次。OSWorld 2.0 聚焦於真實工作流程中常見、但在先前基準測試中未充分呈現的挑戰性現象，涵蓋互動設計層面的挑戰（如串流互動與動態環境），以及代理模式層面的挑戰（如跨來源推理、隱含狀態推斷與視覺空間精準度）。任務植基於真實的輸入工件，並與具狀態的真實使用者設定檔資料交叉參照，且包含獨立的安全報告以審核安全敏感性執行。在我們主要採用 500 步二元完成指標下，Claude Opus 4.8 搭配最大思考與批次工具調用表現最佳，但仍僅完成 20.6% 的任務，部分得分為 54.8%；GPT-5.5 的 token 使用效率遠高，但表現停滯於約 13%。這些結果顯示，當前代理模型距離專業級電腦使用仍有很大差距：它們並非在基本 GUI 操作或程式碼編寫上失誤，而是會忽略約束條件、錯過任務執行中出現的資訊、寧可猜測也不詢問使用者，以及跳過驗證步驟；當任務高度依賴必須自行恢復的隱藏狀態時，它們的表現尤其艱難。

大多數編碼代理基準測試均為靜態：代理會事先收到完整的任務描述，並僅根據其最終代碼進行評判。然而，實際的編碼輔助是互動式的，使用者會在多輪對話中釐清目標、新增限制條件並修正錯誤。為此，我們提出了SWE-Together，這是一個從真實使用者與代理互動會話中重建的多輪基準測試。為了使真實互動具備可驗證性，我們從11,260個記錄會話中篩選出109個倉庫級任務，選取那些倉庫狀態可復原、使用者目標明確且結果可觀察的會話。為了在不同代理間重現這些互動，我們建構了一個反應式的基於大型語言模型的使用者模擬器，該模擬器保留原始使用者的意圖，並在編碼代理的進展需要時提供反饋。為了評估代理作為協作者的能力，我們同時衡量最終倉庫的正確性，以及互動過程中所需的糾錯反饋輪數。對前沿編碼代理的實驗表明，較強的代理通常能實現更高的最終成功率，同時所需的人工干預次數更少，這意味著使用者體驗得到改善。

語音語言模型（SLMs）已被廣泛研究，常見的範式會結合文本數據與預訓練文本語言模型。其中一種主流方法是語音-文本交錯訓練，讓模型在包含語音與文本標記的序列上進行訓練，旨在提升甚至僅處理語音的能力。然而，這兩種模態在模型潛在空間中如何互動仍不清楚。本研究透過logit透鏡的視角，分析來自不同模型家族與規模的交錯式語音-文本語言模型，以提供相關洞見。我們發現，這些模型會經歷一個隱式轉錄階段——即便未經語音辨識訓練，中間層仍能解碼出對應語詞的文本標記。在高達77%的數據中，該詞語的轉錄結果會出現在前幾名候選詞之列。在此階段之後，模型會先在文本空間中預測下一個詞語，然後再轉換回語音領域。最後，我們分析了交錯訓練數據與基於文本語言模型初始化在引發此行為中的作用，並探討此行為與語音知識能力之間的關聯。我們的分析揭示了語音與文本模態之間內部機制的運作方式，有助於優化語音語言模型的設計。

數據作為現代智能的基本載體，極大推動了當前基礎模型的發展。研究者自然希望將此範式延伸至GUI代理領域，期待透過類似範式建構強大的GUI代理。然而，GUI代理的數據無法直接從網際網路擷取，導致其大規模收集成本高昂且困難重重。因此，現有GUI代理普遍存在跨裝置泛化能力薄弱、對細粒度GUI元素的視覺定位能力有限等問題。為解決GUI代理的數據挑戰，我們提出GUICrafter——一種利用大量未標註螢幕截圖的弱監督GUI代理，大幅降低對昂貴人工標註的依賴。GUICrafter探索基於課程學習的框架，透過兩個漸進階段訓練GUI代理：首先，模型從大規模未標註螢幕截圖與網頁中學習視覺定位，藉助GUI互動中蘊含的豐富上下文線索，無需人工標註；接著在第二階段，我們運用少量高品質數據，透過強化學習對模型進行校準。實驗結果顯示，GUICrafter在僅使用UI-TARS 0.1%數據量的情況下，即可達到甚至超越其效能。此外，在相同標註數據量條件下，GUICrafter全面優於GUI-R1等先前方法。程式碼、數據與模型已公開於 https://github.com/fansunqi/GUICrafter。

我們推出 DreamForge-World 0.1 Preview，這是一個用於即時互動世界模擬的預覽基礎世界模型。該系統採用 LongLive 1 自迴歸影片堆疊（其本身源自 Wan2.1-T2V-1.3B），並配備受 Matrix-Game 系列啟發的殘差動作路徑。DreamForge-World 0.1 Preview 專注於與前沿規模世界模擬器互補的軸向：低計算量適配、消費級 GPU 運行時，以及廣泛的互動能力覆蓋。它支援即時鍵盤與滑鼠控制、多模態初始化、中段重新提示、雙視角操作，以及原生 480p 解析度下達分鐘級的互動式展開，在單張 RTX 4090 上可達到 14 至 15 FPS，且記憶體佔用量低。透過利用開放式影片骨幹網路並執行針對性的適配運行，我們以高成本效益建構了此預覽系統。DF-World 0.1 Preview 尚非記憶體完整或前沿品質的世界模擬器，但展示了一條在消費級 GPU 上實現即時可控世界模型預覽的實用低計算途徑。

儘管影像摳像（image matting）已取得顯著進展，但影片摳像（video matting）仍具挑戰性，主因在於高階追蹤（需理解全幀語境）與低階摳像（專注於極細微細節）之間存在天生鴻溝。現有方法依賴昂貴且範疇狹隘的影片摳像數據集，可能限制域外泛化能力並削弱追蹤穩健性。我們重新思考此範式，提出SAM2Matting——一個從追蹤器到摳像的框架，將視覺物件分割追蹤器（VOS tracker）升級為高保真影片摳像系統。具體而言，該框架透過引入區域提案橋接模組（region-proposal bridge）與專用摳像頭（matting heads）來解耦任務，使未受妥協的追蹤器處理時序一致性，同時由摳像元件解析細粒度細節。值得注意的是，SAM2Matting僅以影像進行訓練，卻在影片摳像中創下最新最佳表現，支援多樣提示類型，維持強大時序一致性，並在人物為中心與開放場景中展現穩健的泛化能力。

歸一化流（NFs）是具備精確密度估計與取樣能力的強大生成模型。然而，其嚴格的可逆性常導致模型耗盡容量處理低階像素細節，阻礙高階語意結構的捕捉。雖然遮罩圖像建模（MIM）在表徵學習上表現卓越，但與生成管線的整合多僅止於模組化且缺乏系統性。本文提出MIMFlow，一個統一且端到端的框架，能共同優化潛在語意、像素重建與生成流。透過使用VAE編碼器從遮罩圖像推斷語意潛變量，MIMFlow實現了生成任務的理論性解耦：歸一化流專注於建模簡化後的低頻語意流形，而專用解碼器則處理高頻合成。此設計有效解決歸一化流內在的容量瓶頸，使模型能優先關注全局結構連貫性，而非冗餘噪聲。在ImageNet 256×256上的實證結果顯示，MIMFlow-L達到了71.3%的線性探測準確率與2.50的FID。儘管僅使用128個令牌（比標準模型少50%），其相較於相似規模的歸一化流基線模型仍取得了32.8%的性能提升。我們的程式碼已公開於 https://github.com/MCG-NJU/MIMFlow。

時間序列預測研究一直穩定地朝向更大的架構發展，從專門的Transformer到通用基礎模型，其假設是模型容量才能解鎖準確度。我們採取相反的立場：大多數性能差距可透過調整預處理而非擴充模型規模，以遠更低的成本來縮小。我們以嶺迴歸作為測試平台，因為它具有封閉式解與可解釋的權重，這使得最佳超參數能直接從搜尋過程中讀取。我們針對八個標準基準數據集，搜尋上下文長度、局部正規化、正則化與資料增強，並發現三種模式。(1) 最適回溯長度具有強烈的序列特異性，且常與預測區間呈非單調關係，其擬合冪律指數範圍從ETTm2的+0.46到Exchange與Traffic的-0.19，挑戰了「較長預測區間需要更長歷史」的慣例。(2) 對上下文中的學習拖尾部分進行正規化，而非對整個上下文，幾乎是普遍偏好的做法。(3) 同一數據集中的不同序列往往對超參數有不同偏好；跨序列共享的最佳程度從完全共享到每個序列各自獨立不等。由此產生的模型在多數數據集-預測區間組合中優於先前的線性預測器，並在八個基準的六個中優於Transformer、MLP與CNN基線。這些最佳化的超參數同時可作為數據本身的診斷工具，揭示出大型模型會默默吸收到其學習參數中的結構。

我們提出 Nemotron-Labs-Diffusion-Image，這是一個用於高解析度文字到影像合成的最先進遮罩離散擴散模型（MDM）。與先前的遮罩影像生成研究相比，Nemotron-Labs-Diffusion-Image 解決了兩項關鍵挑戰。首先，與在整個影像上逐步優化潛在表徵的連續擴散模型不同，標準的 MDM 缺乏自我校正能力，因為離散標記一旦被解除遮罩就無法修改。其次，雖然增加離散影像分詞器的詞彙量能提升重建保真度，但也會為生成模型帶來最佳化困難，因為每個標記的訓練訊號變得越來越稀疏。為了解決第一個挑戰，Nemotron-Labs-Diffusion-Image 引入了一個標記編輯機制，使模型能在推論過程中動態修改已解除遮罩的標記，類似於雕塑家反覆精修其作品的方式。為了應對第二個挑戰，我們提出了一個分組交叉熵（GCE）目標函數，該函數為嵌入空間中與真實值相鄰的標記分配正面的學習訊號，從而緩解訊號稀疏性的問題。為了進一步提升訓練效率，我們為 GCE 實作了一個自定義融合運算元，這能顯著減少大詞彙量設定下的 VRAM 使用量。實驗結果表明，這些創新顯著提升了遮罩離散影像生成器的訓練效率和影像保真度，在 GenEval 上達到 0.90 分，在 DPG 上達到 86.9 分，在 HPSv3 上達到 10.76 分。

數學知識圍繞著陳述及其依賴關係組織，但這種結構的呈現並不均勻：非正式論文大多在文檔層級進行引用，而形式化函式庫則針對範圍小得多的數學內容記錄了細粒度的依賴關係。我們提出TheoremGraph，一個統一的、涵蓋非正式與形式化數學的陳述層級依賴關係圖。在非正式方面，我們從數學arXiv解析出1170萬個類似定理的環境，並恢復了1830萬條候選有向依賴關係，每條都標註了提出該關係的提取器，以便下游使用者在覆蓋率與精確度之間進行權衡。在形式化方面，我們發布LeanGraph，一個Lean 4的編譯器層級提取器，從25個Lean專案中產生了388,105個宣告節點與1130萬條帶型別的邊。我們透過將生成的自然語言口號嵌入到共享語意空間中，將兩個圖橋接起來，連結跨論文以及跨非正式/形式化鴻溝的相關陳述；LLM評審在餘弦值下限0.8以上確認了47,952個這類匹配，且評審接受率從下限處的48%上升至≥0.9層級的87%。在形式化概念檢索方面，我們的名稱與簽名表示法結合圖擴展，在無需語言模型重排序器的情況下，在Recall@10指標上與LeanSearch v2的重排序版本相差不到0.5個百分點（0.775對比0.780）。我們發布了資料集、提取器、HTTP API以及MCP介面，作為數學搜尋、歸因與檢索增強推理的基礎設施，可於theoremsearch.com與huggingface.co/datasets/uw-math-ai/theorem-matching取得。

LLM代理透過工具呼叫代表組織處理使用者請求，且必須遵循其系統提示中載明的公司政策。先前的研究將其視為防護問題——即透過外部檢查來阻止不符合規定的代理行為。我們認為政策遵循是一個更廣泛的問題：實際工作流程涉及多輪互動，需要明確的使用者確認與前置閱讀，且取決於對話內容，而非單一參數值。要達到此標準，需要具備三項能力：（i）完整的對話上下文、（ii）針對政策及當前對話的自我推理，以及（iii）對話特定的修正措施，以引導代理的下一輪行動——這些都是先前的防護工作經常低估的能力。我們提出POLICYGUARD，一個子代理驗證器，它與代理共享對話視角，基於上下文對政策進行推理，並為代理的下一輪行動提供可執行的反饋。在tau²-BENCH航空基準測試中，針對三個供應商（GPT-5.4、Claude Sonnet 4.6、Gemini 2.5 Pro），每種設定進行四次試驗，POLICYGUARD將PASS4提升了+12.0 / +6.0 / +12.0個百分點。逐次呼叫分析顯示，POLICYGUARD在實現更高政策違規召回率的同時，其封鎖次數約為參數層級防護的一半。

針對攝影機控制的世界探索，互動式影片生成系統會滾動生成越來越長的潛在影片幀序列，從而將狀態轉換與高頻觀測合成糾纏在一起。我們提出「漫步於隱含世界」（Walking in the Implicit），這是一種以場景為核心的範式，將生成變量從幀潛在變量改為固定長度、可渲染的隱含狀態，稱為神經隱含場景（Neural Implicit Scene, NIS）。此範式將互動式生成分解為：一個緊湊場景狀態的隨機轉換，以及針對取樣狀態進行的確定性姿態條件渲染。我們將此範式實例化為 NeuWorld：一個變換器變分自編碼器（transformer VAE）從稀疏的有位姿幀中學習局部錨定的 NIS，而一個擴散變換器（diffusion transformer）則根據未來攝影機軌跡與具幾何感知的歷史檢索來演化 NIS。通過重用 VAE 編碼器作為統一條件器，NeuWorld 將攝影機、參考圖像和歷史線索映射到相同的 NIS 模態中，從而避免使用外部異質編碼器。NeuWorld 從頭開始在公開的位姿視圖數據上訓練，無需預訓練的影片主幹網路或輔助的三維重建器，即可實現強大的長期一致性與良好的推理效率。

RocketSmith 是一套自主系統，能智慧化地自動執行適合發射之高性能火箭的 DFAM 流程。該系統利用大型語言模型來協調軟體工具的執行，以驗證飛行穩定性等設計特性，並生成火箭組裝所需的參數化設計元件。透過一系列子代理與技能，該系統能夠在零樣本與人在迴路兩種工作流程中，經由迭代實現飛行參數的最佳化。利用此系統，我們開發了四款採用不同引擎與組裝配置的高性能火箭，充分運用積層製造的獨特設計能力。這些組裝元件以多種 FDM 印表機製造，經人工評估飛行就緒度，並在發射活動中進行飛行測試。測試結果顯示，所有火箭均達到穩定發射，其中兩枚火箭成功回收且具備重新飛行的條件。高度計數據證實，火箭實際達到的頂點高度為自主系統預測值的 80%，確立了模擬與實驗之間的一致性。

預測人類題目難度是教育評量的核心環節，可靠的難度估計有助於確保公平性與有效構建測驗。現有方法多仰賴昂貴的人工校準或題目文本表徵，且僅能提供有限的認知歷程證據來說明題目為何困難。我們主張難度不僅應視為題目文本的屬性，更應是題目引發解題負荷時可觀測的結果。大型推理模型（LRM）能透過推理軌跡提供可擴展的歷程證據，但此類證據須經結構化處理，方能支援可解釋的建模。為此，我們提出「Epi2Diff」（Episode to Difficulty）架構，將LRM推理軌跡映射至具認知基礎的階段序列。這些階段將軌跡片段分組為功能性的解題狀態，使難度能透過推理規模、努力分配與狀態轉換來建模。Epi2Diff萃取緊湊的階段動態特徵，並將其與語義題目表徵結合，用於預測人類題目難度。在四個真實世界的人類難度資料集實驗中，Epi2Diff持續優於強基線方法，包括微調的小型語言模型、LLM上下文學習與監督式LLM適應。在源自SAT的分類基準測試中，Epi2Diff比監督式LLM微調基線平均相對提升8.1%。進一步分析顯示，較難的題目會引發更耗費心力、更反覆且更偏重實作的階段動態，而不僅是更長的回應。這些結果證明，LRM推理軌跡中的認知階段能為人類題目難度提供具預測性與可解釋性的歷程表徵，為以推理模型進行教育評量開闢新視角。

基於MLLM的圖形用戶界面定位方法通常將目標定位形式化為自回歸坐標生成，使模型能夠利用MLLM強大的指令遵循與語義理解能力。然而，這種形式要求模型在解碼坐標標記的同時，保留區域級目標證據，以滿足GUI點擊所需的空間精度。我們的診斷分析顯示，目標區域感知能力在解碼器中間層湧現，但既未被保留，也未被轉化為最終的坐標預測。現有的ZoomIn式方法透過外部裁剪重跑流程解決此問題，雖可提升定位精度，卻增加了端到端延遲與計算成本。為在無額外成本下保留兩次縮放定位的精度優勢，我們提出InnerZoom——一種用於跨層證據橋接的單次前向框架。InnerZoom將原始前向傳遞中的目標相關線索轉換為緊湊的跨層證據狀態，隨後在後續解碼層中保留、精煉並重新注入該狀態，以引導坐標預測。大量實驗結果表明，InnerZoom-4B在所有六項GUI定位基準上均達到了最先進性能：OSWorld-G取得64.7分，UI-Vision取得40.2分，OSWorld-GR取得73.1分，MMBench-GUI取得87.6分，分別超越先前最佳成績4.1、3.2、2.9與2.3分。在可控的4B設定下，InnerZoom將同等的SFT+RL基線平均提升5.3分，並平均優於兩次縮放ZoomIn方法1.3分，同時端到端延遲降低最多31.8%，TFLOPs減少約29%。程式碼與模型將公開提供。

將基礎視覺語言編碼器應用於特定檢索任務時，會產生一個基本取捨：目標分佈上的效能提升，是以犧牲基礎模型的廣泛泛化能力為代價，而時尚檢索正是此問題的嚴峻案例。我們提出 ZooClaw-FashionSigLIP2，這是一個專注時尚領域的 SigLIP2-base 模型，透過一個簡單的策略解決了此取捨——在精心挑選的領域內數據上進行全微調搭配知識蒸餾，接著使用 \wiseft~wortsman2022wiseft 權重插值與基礎模型融合——其表現優於 LoRA、更大的骨幹模型（高達 1B 參數）以及外部訓練數據。在公平評估下，ZooClaw-FashionSigLIP2 在我們測試套件的所有基準上都優於所有基線。此外，我們釋出 ZooClaw-Fashion，一個新的高品質時尚檢索基準，以及對廣泛使用基準的系統性品質分析，該分析揭露並緩解了其公開真實標註中的結構性偏差。我們開源模型權重及所有評估工具，以促進未來研究。

生成式分子設計受到藥物相似性簡單代理基準以及在大規模藥物資料集上預訓練的模型所影響。這種組合產生了強大的基準指標，但限制了向與藥物發現結構截然不同的領域的遷移能力。為克服此限制，並推動研究朝向真實且具科學基礎的目標邁進，我們引入了奈米技術分子優化（NMO）基準，該基準連繫了機器學習（ML）與量子材料科學。NMO同時作為ML社群嚴謹的測試平台，以及奈米技術研究的發現引擎。此套件以量子模擬取代代理預測器，並引入嚴格協議，優先考量科學實用性而非以排行榜為導向的過擬合。基於物理的NMO任務施加了嚴格的結構限制與崎嶇的適應度景觀，對生成模型提出了全新的要求。值得注意的是，先進的分子優化方法在NMO任務上的表現不如更簡單的方法。我們開發了一種新的基線方法，識別出解決NMO任務的關鍵組件，包括用於建模結構限制的新型表徵，以及消除藥物資料集偏誤的領域無關預訓練策略。我們的結果超越了最先進的物理性質，並揭示了先前未知的結構模體，為奈米技術社群提供了新的見解，並證明了ML能夠推動真正的科學發現。

在實際應用中，防護機制（guardrails）往往需依據特定應用的安全政策（safety policies）來識別不安全的使用者-模型互動，而非依賴預先定義的風險分類法。本研究在「情境內政策防護」（in-context policy guardrailing）的範式下探討此設定，其中防護機制根據情境中提供的政策規範來預測安全違規行為。為系統性評估此能力，我們提出SafePyramid，這是一個涵蓋10個領域、1,000輪多輪對話及3,000條對應應用特定政策的安全基準測試，總計包含61,699條以自然語言撰寫的規則。SafePyramid將評估分為三個難度層級：L0評估單一規則的理解能力，L1評估對規則依賴關係的推理能力，L2評估對情境中定義的全新政策框架的適應能力。為確保基準品質，我們採用嚴謹的多階段流程來建構並驗證該基準。透過SafePyramid，我們評估了10個前沿大型語言模型（LLM）與5個可配置政策的防護機制，發現情境內政策防護仍極具挑戰性：即使表現最佳的模型GPT-5.5，在L0、L1與L2層級上，能完整識別所有違規規則的比例僅分別為54.0%、35.3%與12.9%。這些結果凸顯當前防護機制的局限性，並呼籲發展更強大的情境內政策防護機制，以可靠執行政策、解決規則依賴關係，並適應新穎的政策框架。

大型推理模型的興起帶來了極長的思維鏈（Chain-of-Thought）軌跡，導致大量程序性文字淹沒關鍵邏輯，形成透明度負擔。為解決此問題，我們提出 ReasoningLens——一個專為複雜推理鏈設計的開源框架，可進行層級式視覺化與診斷性審計。ReasoningLens 透過以下方式實現資訊剖析：（1）將推理軌跡結構化為互動式層級，區分高層策略與低層執行；（2）利用代理型審計器進行自動錯誤檢測與工具輔助驗證；（3）綜合系統性推理特徵，揭示模型特定盲點。透過將非結構化的文字牆轉化為可操作洞察，ReasoningLens 為解讀、除錯與優化下一代推理導向人工智慧提供了模組化基礎。

混合專家（MoE）架構已成為視覺生成中擴展擴散模型的強大典範。近期進展專注於自適應地跨不同特徵分配計算資源，以提升效率與效能。然而，我們發現現有擴散MoE框架中存在一個路由分配問題：路由器未能準確地將更多計算資源分配給顯著特徵。我們的分析將此失敗歸因於路由器在整個去噪過程中依賴於受雜訊干擾的潛在特徵。此類隨機雜訊遮蔽了關鍵的結構與紋理資訊，從而阻止路由器有效區分顯著特徵。為解決此問題，我們提出SharpMoE，這是一個具有利用顯著性的精確路由機制的訓練後框架，該機制利用無雜訊的潛在特徵作為路由的無噪音引導訊號。透過繞過受雜訊扭曲的輸入，SharpMoE為路由器提供清晰的顯著性引導，使其即使在高度雜訊階段也能識別顯著特徵。此外，我們引入了一種軌跡路由損失，以約束多步去噪軌跡中的計算分配，確保沿著生成展開過程中的精確資源分配。廣泛的實驗表明，SharpMoE作為一種通用、即插即用的解決方案，可進一步增強預訓練且已收斂的MoE模型，在視覺生成中達到最先進的表現。

從自我中心影片中進行四維手部動作重構，目前因現有方法的明顯限制而遭遇瓶頸：基於影像的流程依賴於在嚴重遮擋下會失效的檢測器，而基於影片的方法則依賴僅從稀少手部姿勢標註中學習到的時序模組，這是一種不足以建模動作動態、遮擋推理及手物互動的狹窄訊號。然而，這些能力正是影片生成模型在經由網路規模訓練以合成連貫影片時，必須隱含習得的。基於此，我們提出 ViDiHand，利用預訓練影片擴散模型的表徵來重構四維雙手姿勢。我們透過手部疊加渲染目標來調整它，使其特徵專注於手部，同時保留其世界先驗。接著，一個解碼器從調整後的特徵中恢復公制尺度的姿勢。整個流程直接作用於完整幀——無需檢測器、無需填充器、無需測試時最佳化。在 ARCTIC、HOT3D 和 HOI4D 資料集上，ViDiHand 大幅超越先前方法，將影片擴散模型確立為手部動作重構的強大新基礎，並為具身智慧提供一條邁向可擴展野外資料收集的可行途徑。專案頁面：https://vidihand.github.io。

視覺-語言-動作（VLA）模型使得基於指令的機器人操作成為可能，但它們繼承了預訓練VLM中過於龐大的語言骨幹，其容量遠超過處理簡短機器人指令所需。這引發了一個基本問題：對於閉環控制而言，VLA模型實際上需要多少部分？在本研究中，我們以Transformer區塊移除作為受控干預手段，探討VLA模型中的架構冗餘。我們提出「捨棄與恢復」（DTR）分析協議：從預訓練VLA模型中移除指定區塊，然後微調所得模型，以衡量被移除的容量是否對下游控制不可或缺。為使此干預可靠，我們提出GateProbe——一種一次性虛擬閘極敏感度指標，用以根據區塊對下游動作損失的貢獻程度進行排名。在多種VLA架構、操作基準測試，甚至真實機器人工業場景中，我們發現移除後的可恢復性呈現強烈不對稱性：**語言骨幹對於標準機器人操作任務高度冗餘，而視覺與動作路徑則對移除的容忍度顯著較低**。在LIBERO上，移除一半LLM區塊甚至能使OpenVLA-OFT在相同的下游微調預算下，從95.0%提升至98.3%；僅保留兩個語言區塊仍能恢復基準級效能。這些結果表明，當前的VLA基準可能對深層語言接地與組合式指令理解施加的壓力有限，未來VLA架構應更審慎地在語言、視覺與動作組件之間分配容量。程式碼已公開於 https://github.com/s1ghhh/VLADrop。

多代理大型語言模型(LLM)系統常依賴驗證器與批評代理來抑制幻覺，但驗證過程存在延遲。在此延遲期間，虛假主張可能透過代理網路傳播。我們將此過程建模為帶有接地校正節點的圖上的延遲共識。透過接地拉普拉斯矩陣的譜分解，可推導出驗證劑量的閉合穩定性閾值：校正過強或過遲皆可能使共識轉為振盪。最不穩定的情況發生於通訊延遲與驗證延遲相等時；當延遲為二，其閾值即為黃金比例倒數。同一理論框架亦給出超模組化放置目標，以及針對有限校正預算分配至影響力節點的貪婪(1-1/e)近似規則。在五個開源模型上的實驗證實了預測的劑量-延遲振盪。相較之下，接地事實回答使真相成為吸收邊界並消除該效應，顯示此不穩定性為符號信念任務所特有，而接地驗證仍具穩定作用。

近期研究顯示大型語言模型（LLMs）在程式最佳化（程式語言領域的一項關鍵挑戰）中具有潛力。我們提出名為「檢索增強搜尋」（RAS）的黑箱適應方法，該方法對候選最佳化方案執行波束搜尋；每一步皆從給定的慢速－快速程式配對訓練資料集中檢索上下文範例，以引導LLM。關鍵的是，我們發現基於LLM生成的自然語言描述進行上下文檢索，其表現顯著優於基於原始碼的檢索。此外，我們提出AEGIS方法，透過將訓練範例分解為本質上更具漸進性的「原子編輯」，提升可解釋性。我們證明RAS在最佳化C++程式方面，效能比先前最先進的黑箱適應策略高出2.06倍；而AEGIS在進行顯著較小幅度編輯的同時，效能提升達1.37倍。同時，使用RAS能將Python程式的平均運行時間百分位數較基準方法提升10.27。

能夠生成文字與圖像的生成式AI模型之進展，標誌著多模態智能領域中的關鍵一步，特別是涉及兩種模態交錯的任務。為將此智能推進至下一階段，模型必須能自主生成自由形式的交錯式文字-圖像序列。在本文中，我們提出ILLUME-X，這是一種先進的統一多模態範式，透過提升多模態資料效率與穩定多模態訓練過程，實現高品質、自由形式的交錯式文字-圖像生成。ILLUME-X包含三大核心組件：(i) 為交錯式文字-圖像生成最佳化的擴展訓練資料管線，(ii) 針對自由長度多模態令牌序列的自適應目標漸進式訓練策略，以及(iii) 針對交錯式文字-圖像序列的客觀且全面評估方法ILScore。值得注意的是，我們的ILLUME-X在多項交錯式文字-圖像生成任務（如風格轉換、影像分解與故事敘述）中，均優於先前的統一模型。

在基於SMPL的人體姿態估計與動作生成中，自碰撞仍舊是一項持續存在的挑戰。在極端關節角度或隨機動作合成下，生成的網格時常出現自穿透現象，導致物理上不合理的結果。我們提出PoseShield，這是一種直接在SMPL姿態空間中定義的神經碰撞約束。我們將碰撞修正表述為一個約束優化問題，並將學習到的約束與程函方程（Eikonal equation）相連結。施加程函正則化確保碰撞邊界附近梯度不為零，從而提升優化過程的數值穩定性與強健性。與先前在網格空間中操作或依賴啟發式懲罰項的方法不同，我們的方法直接在低維度的人體姿態空間中運作，且具備理論基礎。該學習到的約束可進一步擴展至人體動作序列，成為一個無需重新訓練底層動作模型的、與生成器無關的事後碰撞修正器。在全新建構的SMPL姿態基準測試上的實驗顯示，我們的方法達到了95.8%的成功率，並優於現有的最佳基準方法。

當前神經群體表徵可靠性的模型聚焦於時間穩定性：即群體質心在不同場次與天數之間是否得以保存。此一架構遺留了一個根本問題未解：同一場次內獨立觀測之間，刺激的成對距離結構重現的可靠性如何？我們主張，此一屬性——幾何穩定性——構成表徵分析中的獨立軸向，而現有框架未能捕捉。我們將幾何穩定性形式化為分裂半樣本表徵差異矩陣（Shesha）之間的斯皮爾曼等級相關，並顯示其在經驗上可與時間穩定性及解碼正確率分離。在視覺辨識任務（Steinmetz et al. 2019）中，涵蓋229個區域-場次觀察、跨越68個腦區，幾何穩定性可預測逐試次的神經-行為耦合（ρ = 0.18, p = 0.005），而質心漂移則無此預測力（ρ = 0.002, p = 0.976）。區域階層中，紋狀體最穩定（S = 0.44），海馬體最不穩定（S = 0.19），其排序大致與時間穩定性的階層相反。來自嗅覺資料（Bolding & Franks 2018）的方向一致結果，啟發了一個吸引子網路模型，其中迴旋興奮性耦合透過從稀疏前饋輸入中完成刺激模式，增強了分裂半樣本RDM的一致性（ρ = +0.64, p = 0.010），從而提供了幾何穩定性如何產生的電路層級解釋。這些結果確立了幾何穩定性為神經群體編碼中一種具功能相關性、依賴電路特性的屬性，與時間漂移測量正交，並補充了近期關於迴旋連結如何在海馬電路中平衡表徵穩定性與序列動態的論述。

我們研究以動作條件化的世界模型作為一種可擴展的方式，以學習具遷移性的動態先驗知識，應用於機器人學習。透過預訓練一個模型來預測動作如何驅動視覺場景的演變，所產生的世界模型能夠捕捉超越外觀層次影片生成的可重複使用互動動態。具體而言，我們在大規模的機器人操作資料上，使用真實動作標註，預訓練了一個多視角互動基礎擴散世界模型 A2World。我們從兩個互補的角度驗證所學得的動態先驗知識。首先，我們將 A2World 調整為任務或場景特定的真實世界模擬器 A2World-sim，其長時程推演支援基於模擬器的策略評估，並透過以世界模型推演取代真實機器人推演來進行可擴展的假設分析。其次，從相同的預訓練權重出發，我們將 A2World 調整為影片與動作聯合預測模型 A2World-policy，該模型在視覺與指令條件下預測動作。在模擬基準測試與真實機器人設置上的實驗證明，基於動作條件化的世界模型預訓練能夠產生具遷移性的動態先驗知識，從而有益於以模擬器為中心與以策略為中心的機器人學習。

雖然文字引導的影像編輯已取得顯著進展，但在結構性肖像修圖方面仍有限制。文字描述難以傳達對臉部特徵與身體比例的細微變化。為解決此一差距，我們引入了基於範例的肖像照片修圖，其中模型被給予一組範例對，並需推斷相同的修圖操作，將其應用於新的查詢影像。現有的基於範例的編輯方法主要聚焦於具有明顯視覺轉變的任務。相比之下，結構性肖像修圖涉及極其細膩且局部化的修改，使得準確提取與轉移這些編輯極具挑戰。為解決此問題，我們提出了MirrorPPR，一個旨在捕捉並傳遞細微結構性修圖操作的新穎框架。我們的方法使用修圖操作提取器，從範例對中捕捉細微差異；接著，透過連接器與低秩適應（LoRA）模組，將提取的表徵注入預訓練的擴散Transformer（DiT）中。此外，構建完美對齊的跨身份訓練對，由於操作不對齊而受到嚴重阻礙。為克服此問題，我們提出了一個先進的資料自我增強範例，確保嚴格的對齊修圖操作。為緩解資料稀缺並支援此新穎任務，我們引入了MirrorPPR47M——一個包含超過4700萬組修圖對的大規模資料集。透過將資料集結構化為模擬與專業子集，我們實現了漸進式課程學習，以平穩優化網路。廣泛的實驗表明，MirrorPPR在修圖品質與身份保留方面均顯著優於現有基準。專案頁面可在 https://sjtu-deng-lab.github.io/MirrorPPR 取得。

一個忠實的3D世界表徵應能考慮分層幾何結構，即單一相機光線可能包含多個可見且幾何有效的表面。然而，單眼深度估計將此結構簡化為每個像素的單一深度值。透明場景使得此歧義性變得可測量：同一條光線可穿過前景玻璃並觀測到背景，使得監督目標成為一種標註、數據與訓練的慣例，而非場景固有的真實值。學習型預測器將其深度層偏好暴露於此慣例之中。我們提出了MultiDepth-3k（MD-3k），一個稀疏的雙層序數基準，用於衡量深度層偏好與多層空間關係準確度（ML-SRA）。在MD-3k上，領先的深度基礎模型在標準RGB輸入下展現出多樣的層偏好，顯示相同的分層幾何結構在不同模型中會被解析出不同結果。我們進一步發現，拉普拉斯視覺提示（LVP）——一種無需訓練的頻譜輸入變換——能顯著改變某些凍結模型所報告的層級。最強的RGB/LVP配對DAv2-L達到了75.5%的ML-SRA。這些結果表明，深度基礎模型可能表達出互補的幾何假設，而這些假設在標準RGB推論中未被表達出來。我們邀請學術界以歧義感知的角度重新思考深度監督與評估，將多種有效的3D解讀視為應被測量、保留並表達的幾何結構。

針對無害資料的微調，可能部分逆轉訓練早期所習得的行為。安全性可能在良性後對齊更新後受到侵蝕，已遺忘的能力可能重新浮現，潛在特徵可能透過看似無關的監督進行轉移，而相關的後對齊脆弱性也出現在其他生成式設定中。我們認為這些現象透過共同的訓練歷史視角來審視，具有分析價值。我們的假設是幾何性的：早期的大規模訓練階段形成主導行為流形，而後續的對齊或專業化階段則是相對於這些流形的淺層位移。因此，後續的微調會繼承一個持續存在的回歸分量，指向該主導流形的見證者。我們稱之為微調回歸的重力解釋。在我們的主要設定中，表徵漂移迅速獲得一個沿著歷史定義回歸方向（v_rev）的分量。在主實驗序列中，與v_rev的對齊從第一次更新後的 cos = 0.429 ± 0.052 上升至步驟20時的 0.647 ± 0.021。在24個運行步驟配對中，每個觀測到的對齊值均超過等向性激活空間虛無假設的第99百分位數。我們證明，選擇性地阻斷沿v_rev的運動，可將T=100時的最終對齊從0.648 ± 0.009改變為-0.211 ± 0.021，並將危害性從19.0% ± 4.0%降低至8.5% ± 1.5%，且幾乎不影響任務表現。這些結果支持v_rev在我們設定中扮演後對齊早期回歸的因果相關中介者。重要的是，我們並不主張v_rev是唯一的安全方向，也不主張主導流形能被直接觀測；相反，我們識別出一個穩健的、由歷史定義的方向，它能解釋並部分控制早期的回歸動態。

水電隧道檢測對基礎設施完整性至關重要，但傳統人工方法效率低且危險。我們提出FLISP（快速雷射雷達-慣性測量單元同步路徑規劃器），這是一種用於UGV-UAV協同檢測的無地圖規劃框架。不同於傳統基於地圖的範式，FLISP具有三大核心貢獻：（1）統一架構，單一UGV搭載的LiDAR-IMU套件驅動雙平台同步路徑生成；（2）平台專用求解器，採用增強螢火蟲演算法實現UGV避障，並以動態迭代優化器進行UAV飛行規劃；（3）分層優化策略，在無狀態估計漂移前提下確保運動學可行性。在1.2公里運營隧道的基準測試中，FLISP規避了基於地圖方法的結構瓶頸，消除了地圖柵格化開銷（Fast-LIO2 + A*）與採樣不穩定性（LIO-SAM + RRT*）。FLISP以7毫秒延遲實現100%成功率，較基於網格的方法提速7倍，較基於採樣的基線提升三個數量級。經實際運營水電隧道驗證，該方法為特徵退化線性基礎設施中的機器人檢測提供了可擴展解決方案。示範影片請參閱 https://youtu.be/Y_ezs1PfLJ4，程式碼請見 https://github.com/ArchibaldGuo/FLISP.git。

預訓練視覺基礎模型（Vision Foundation Models, VFMs）因其強大的語義表示能力與優異的泛化性能，已成為現代電腦視覺的核心技術。然而，此類模型的塊狀化或池化輸出本質上解析度偏低，限制了其在需要細粒度、像素級推理任務中的效能。現有的特徵上取樣方法若非犧牲語義保真度，便是依賴於特定的VFM重新訓練與繁重架構，導致效率與可擴展性受阻。為解決這些問題，我們提出RaysUp——一個超輕量、任務無關且VFM無關的特徵上取樣框架，能在任意解析度下重建高解析度特徵圖。有別於傳統的二維插值或注意力機制方案，RaysUp將特徵重建提升至具幾何感知的光線域。具體而言，我們引入了空間解耦引導編碼器（Spatially Decoupled Guidance Encoder）以實現方向感知的引導編碼、任意解析度交叉注意力（Any-Resolution Cross-Attention）機制以達成解析度靈活的重建，以及新穎的光線位置編碼（Ray Positional Encoding, RayPE），透過六維普呂克光線座標注入隱式的三維幾何先驗。最後，幾何感知鄰域注意力模組（Geometry-Aware Neighborhood Attention）進一步確保內容自適應的雙邊聚合，同時維持幾何一致性。在多种密集預測任務上的大量實驗表明，RaysUp在僅使用AnyUp 16%參數量、且推理速度約快7倍的條件下，達到了最先進的性能。這些結果凸顯了大幅改善的精度-效率權衡，並確立了RaysUp作為通用特徵上取樣之實用且可擴展的解決方案地位。程式碼開源於 https://github.com/MAP-RaysUp/RaysUp。

表徵對齊已成為一種有效的方法，透過將多模態大型語言模型（MLLMs）的內部表徵正則化至外部視覺編碼器的表徵，從而提升其性能。然而，現有方法通常對齊語言骨幹模型的固定層級，忽略了Transformer模型的細粒度結構。在本研究中，我們提出逐注意力頭的表徵對齊（HeRA），這是一種在個別注意力頭層級強制執行跨模態對齊的方法。我們的方法奠基於柏拉圖式表徵假說，聚焦於跨模態保留表徵的拓撲結構（即其局部鄰域關係）。遵循相互K最近鄰（MKNN）對齊指標，我們引入一個對比目標，作為匹配局部結構的可微分代理。HeRA在多模態訓練期間，將此目標應用於LLM中特定的注意力頭，這些注意力頭是根據MKNN指標的對齊得分所選取。與直覺相反，我們發現對齊最不齊的頭部能帶來最大增益。跨越多個MLLMs及18個基準的廣泛評估顯示，HeRA在具挑戰性的視覺中心任務上持續提升性能，並透過自然抑制對語言先驗的過度依賴，有效作為對抗視覺幻覺的正則化手段。我們的程式碼已公開釋出。