每日論文

大型语言模型（LLM）代理的记忆已从简单的检索增强机制迅速演变为支持持久信息存储、检索、更新、整合及动态生命周期治理的数据管理系统。尽管这一演进过程持续推进，现有评估仍主要依赖端到端任务成功指标（如F1分数、BLEU分数）来 benchmark 代理记忆，而将底层系统视为单一黑箱。因此，关键的系统级问题——包括运营成本、跨记忆模块的架构权衡，以及在动态知识更新下的鲁棒性——仍未得到充分探索。本文从数据管理视角出发，对代理记忆进行了系统性实验研究。我们提出一个分析框架，将代理记忆分解为四个核心模块：记忆表征与存储、抽取、检索与路由，以及维护。在此框架下，我们评估了12个代表性记忆系统及两个参考基线，涉及跨越11个数据集的5个基准工作负载。广泛的端到端评估表明：没有任何单一架构能在所有场景中占据主导地位；相反，其有效性高度依赖于记忆结构与工作负载瓶颈的匹配程度。此外，通过细粒度消融研究，我们量化了各模块对表征保真度、检索精度、更新正确性及长期稳定性的独立影响。最后，我们揭示了在真实工作负载下的成本-性能权衡，表明局部维护比全局重组更具成本效益。基于这些发现，我们指出了构建真正原生代理记忆系统的可行方向。代码已开源于 https://github.com/OpenDataBox/MemoryData。

开放领域主体驱动文本到视频生成（S2V）在学术界和工业界引起了广泛关注。开放领域S2V主要涉及两种场景：域内场景，要求尽可能保留参考主体的特征；以及跨域场景，要求在保留主体内在特征的同时，允许与主体无关的属性根据文本提示灵活变化。现有方法主要专注于在域内场景中最大化主体保真度，这限制了它们在跨域场景（如新风格、语义组合或域属性）中的可编辑性和适应性。在本研究中，我们提出一种理想的S2V方法应能灵活地在不同域之间穿梭，在域内和跨域场景中均表现强劲。为此，我们提出了DomainShuttle，该方法能够在开放域视频个性化中实现高保真度和生成灵活性。具体而言，我们引入了Domain-MoT，该模块解耦视频与参考特征，并引入域感知的AdaLN用于参考图像的域特定建模。随后，我们引入视频-参考双RoPE方案（Video-Reference DualRoPE），将参考图像令牌与视频令牌置于独立的RoPE空间中，以实现精准的主体级空间建模；同时引入了跨对一致性损失（Cross-Pair Consistent Loss），旨在提取不受无关特征影响的主体内在特征。大量实验表明，DomainShutter在多种开放域应用场景中相较于现有方法取得了显著的性能提升，展现出高主体保真度与生成灵活性。

我們提出了 Wan-Streamer，這是一個原生串流、端到端的互動基礎模型，從底層專為即時、低延遲、全雙工的音視頻互動而設計。Wan-Streamer 在單一 Transformer 中無縫地將語言、音頻和視頻同時作為輸入和輸出進行建模，其中序列表示為交錯的視覺、音頻和文本輸入令牌，以及視覺、音頻和文本輸出令牌，並透過區塊因果注意力（block-causal attention）進行協調以實現增量串流。與依賴獨立 VAD、ASR、語言、TTS、音頻驅動動畫或視頻生成模組的串聯互動系統不同，Wan-Streamer 不依賴外部語言、語音、虛擬角色或視頻生成模組：感知、推理、生成、回應時序、輪次管理以及跨模態同步皆在一個統一模型中共同學習，從而減少管線延遲和錯誤累積。為了支援自然的音視頻回應能力，我們圍繞串流性重新設計了整個技術堆疊，包括因果編碼器、因果解碼器、區塊因果注意力以及低延遲的多模態令牌排程，使得串流單元可短至 160 毫秒（25 fps）。Wan-Streamer 實現了約 200 毫秒的模型端回應延遲，並在結合 350 毫秒的雙向網路延遲後，總互動延遲約為 550 毫秒，支援亞秒級的雙工音視頻通訊。這些成果使 Wan-Streamer 成為一個用於低延遲串流互動的統一、端到端、多模態互動基礎模型。

真實世界攝影需要在拍攝時對相機取景與被攝主體姿勢提供引導。然而，現有的美學裁剪基準主要評估事後裁剪預測，並忽略了被攝主體側的建議，使多模態大語言模型在拍攝時引導能力尚未被充分探索。為填補此缺口，我們提出CaptureGuide-Bench，此基準包含兩項互補任務：攝影師側的構圖決策與優化，以及被攝主體側的場景條件姿勢推薦。我們的評估揭示了限制：通用型多模態大語言模型能做出構圖決策，但缺乏精確的優化定位；而專門的美學裁剪模型雖能有效定位裁剪區域，卻僅限於優化功能；兩者皆無法提供可執行的姿勢引導。為支援模型開發，我們進一步建構CaptureGuide-Dataset，包含13萬筆樣本與文字理由及結構化視覺標註，並開發ShutterMuse，這是一個經由監督學習與強化學習微調的統一多模態大語言模型。在CaptureGuide-Bench上的實驗顯示，ShutterMuse在既有基準線中取得了最佳的整體攝影師側表現，而在被攝主體側姿勢推薦方面，則以顯著較低的推理成本達到了競爭力，展現多模態大語言模型作為影像拍攝過程中的互動式輔助工具的潛力。

現代大型語言模型主要採用自迴歸分解與因果注意力進行訓練。我們提出 iLLaDA，一個從零開始訓練、具備完全雙向注意力的 8B 遮罩擴散語言模型。iLLaDA 在預訓練與監督式微調（SFT）過程中持續使用遮罩擴散目標，將預訓練規模擴展至 12T 詞元，並在 25B 詞元的指令語料庫上進行 12 個週期的微調。我們進一步採用可變長度生成以提升效率，並引入基於置信度的評分機制用於多選題評估。相較於 LLaDA，iLLaDA 在一般基準、數學與程式碼評測中均有顯著提升；例如，iLLaDA-Base 在 BBH 上提升 21.6 分，在 ARC-Challenge 上提升 14.9 分；而 iLLaDA-Instruct 在 MATH 上提升 14.5 分，在 HumanEval 上提升 16.5 分。儘管採用非自迴歸訓練，iLLaDA 在多項基準中仍能與 Qwen2.5 7B 競爭。這些結果顯示，從零開始的全雙向擴散訓練是一條邁向強大語言模型的競爭力路徑。模型權重與程式碼：https://github.com/ML-GSAI/LLaDA。

雖然大型語言模型（LLMs）已大幅推進文字轉程式碼的合成技術，但許多真實的程式設計任務仍透過螢幕截圖、圖表、向量圖形、影片及互動狀態等視覺化成品來指定意圖。這類任務要求模型將視覺感知與可執行程式碼連結，因為正確與否不僅取決於語法，更取決於佈局、資料語義、互動行為，以及在執行後適用的領域特定約束。本調查探討多模態程式碼智慧（Multimodal Code Intelligence），涵蓋在以視覺為基礎的輸入與輸出下，生成、編輯、完善或推理程式碼的系統。我們首先根據程式碼在各項任務中所扮演的角色來界定此領域，區分程式碼作為渲染成品、可編輯符號結構、科學表徵、中間推理軌跡，或可執行策略與工具介面。接著，我們將基準測試與方法組織為四個領域：圖形使用者介面、科學視覺化、結構化圖形，以及前沿任務與框架。此分類法將成熟的成品生成問題，與新興的代理式（agentic）及統一化情境連結起來，並讓我們得以比較不同任務如何處理正確性的證據。展望未來，我們認為未來研究可能受益於四個以驗證為核心的方向：多訊號驗證可結合互補的正確性證據；多狀態驗證可測試跨執行軌跡的行為；跨任務遷移測試可探索可重複使用的視覺-程式碼技能；而可驗證的代理軌跡則可揭示代理行為是否奠基於視覺證據。綜合來看，這些方向可能推動本領域從單一輸出模仿，邁向以證據為基礎的可執行系統。相關持續進行的專案與資源可見於 https://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code{GitHub}。

從單目參考影片沿著目標相機軌跡合成新視角影片，需要同時兼顧參考影片的幾何一致性與動態真實性。現有基於顯式三維表徵的方法，受限於現成重建模組的精確度，往往難以準確處理單目影片中動態物體的幾何結構。相較之下，僅依賴相機條件的方法雖能達成高視覺品質，卻常難以維持幾何與動態的一致性。本研究提出MVTrack4Gen（基於多視角點追蹤的新視角生成），這是一個動態感知訓練框架，透過引入多視角點追蹤作為額外的幾何與動態監督訊號，強化了僅依賴相機條件的擴散模型。我們的核心發現是：特定注意力層編碼了強烈的對應關係——查詢特徵會關注不同視角及時序上幾何對應位置的鍵特徵，而這些對應關係的錯位會導致動態不一致。基於此現象，我們將這些特徵導入輔助的多視角追蹤頭，並以點追蹤目標聯合訓練擴散模型。透過明確強化這些動態感知對應關係，MVTrack4Gen能提升現有模型對參考視角動態的追蹤能力，同時維持跨視角的幾何一致性。在多元基準測試中，本方法達成了最先進的幾何一致性與具競爭力的相機軌跡精確度。

細粒度視覺推理要求多模態大型語言模型（MLLMs）能辨識與任務相關的視覺證據，並將其推理過程植基於局部影像區域。現有的基於代理的方法通常依賴帶有可驗證獎勵的強化學習，或是在大規模標註推理軌跡上進行監督式微調，導致探索成本高昂、需人工設計驗證規則，或高度依賴文本監督。一個自然避開此類外部答案標籤的方式，是讓模型從自身取樣的軌跡中學習，這便導向「在策略蒸餾」（OPD）。為了理解OPD在視覺推理中能與不能提供什麼，我們將其重新審視為「無負樣本的梯度停止對齊」。此觀點顯示，儘管OPD提供了有效的詞元層級修正，其天花板卻受制於缺乏軌跡層級的區辨能力。受此觀察啟發，我們提出V-Zero，一個無需答案標籤的視覺推理框架，並採用對比證據門控機制。V-Zero不使用任何標註文本答案；相反地，在訓練過程中，它將與問題相關的區域裁剪與負視覺視角配對，用以評估學生取樣的軌跡，並門控密集詞元層級的蒸餾。在多個視覺推理基準上的實驗顯示，V-Zero持續改善細粒度視覺推理，同時保留強大的泛化能力。值得注意的是，V-Zero比先前的監督式微調方法快超過5倍，比強化學習基線快超過10倍。程式碼與資料集將於 https://github.com/eVI-group-SCU/V-Zero 釋出。

要生成连贯的多鏡頭影片，需要結構化的跨鏡頭記憶。主體外觀、場景脈絡與說話者身份必須在鏡頭切換間保持一致。現有方法若非以固定長度序列進行端到端訓練而無法擴展，就是透過線性增長的記憶庫逐鏡頭生成，或是利用LLM規劃器協調預訓練生成器卻缺乏感知多鏡頭的骨幹網路。我們提出UnityShots，這套基於LTX-2.3打造的記憶驅動多鏡頭音像生成系統，並使用標註過的電影與音樂錄影帶鏡頭進行訓練。影像流維持兩個固定大小的記憶槽：長期記憶槽錨定於開場鏡頭，短期記憶槽則保存緊鄰的前一個結尾；每次鏡頭切換時，由邊界條件門控（融合影像切換機率與節拍追蹤訊號）更新兩者。音訊流則在每個鏡頭注入參考說話者權杖，以保留音色特徵，無需滑動音訊庫。透過AdaLN學習到的離散切換類型先驗，可在推論時作為控制鏡頭過渡強度的旋鈕。我們發布一套基準測試，包含200組跨文化多鏡頭序列，涵蓋六大族群區域與十種以上語言，並提供每鏡頭的參考身份、參考音訊，以及每個邊界的過渡標籤。在I2V、T2V與R2V三種條件模式下評估，UnityShots在所有跨鏡頭連貫性指標上領先開源基準，並在多鏡頭面向比肩最強的閉源系統。

自回归视频扩散結合因果擴散變換器，已成為即時串流影片生成與動作條件式互動世界模型的主要典範。在本研究中，我們將先進的擴散蒸餾框架 rCM 擴展至自迴歸視頻擴散。rCM 的核心哲學在於擴散蒸餾中，前向發散與反向發散之間的互補性——分別由一致性模型（CM）與分佈匹配蒸餾（DMD）代表。此哲學自然延伸至自迴歸設定中，其中教師強制（TF）提供一種離線的前向發散因果訓練典範，而自我強制（SF）則對應於在策略的反向發散精煉。 我們的貢獻如下：（1）透過大量實驗，我們證明教師強制一致性模型目前作為初始化策略時，是自我強制 DMD 的最佳互補方案；（2）我們首次實現基於教師強制的連續時間一致性模型（例如 sCM/MeanFlow）應用於自迴歸視頻擴散，藉助我們自訂遮罩的 FlashAttention-2 JVP 核心，實現比離散時間一致性模型（dCM）快 10 倍的收斂速度；（3）我們提出 Causal-rCM，一個領先、統一且可擴展的演算法-基礎設施開放配方，專用於擴散蒸餾與因果訓練；（4）我們在逐幀與逐區塊設定下，僅使用合成資料進行訓練，即達到串流影片生成的業界最佳表現。 值得注意的是，我們蒸餾後的 2 步因果 Wan2.1-1.3B 模型，僅需 1 或 2 個取樣步驟即可達到 VBench-T2V 分數 84.63。我們進一步將 Causal-rCM 應用於 Cosmos 3——一個用於物理 AI 的先進全模態世界基礎模型，具備動作條件式生成能力，從而實現互動式世界模型。

统一多模态大语言模型（MLLMs）在文本到图像生成质量上已取得显著进展，但在处理需保留对象数量、空间关系、属性绑定和大致布局等结构信息的结构感知提示时仍存在困难。我们将其归因于部分设计中，结构规划与外观渲染被纠缠在单一条件流中。为解决此问题，我们提出隐式视觉思维链（IV-CoT）——一种面向查询条件图像生成的潜在视觉推理框架。IV-CoT将视觉条件查询分解为结构到语义的级联过程：结构查询首先形成潜在视觉规划，语义查询再基于该规划渲染外观。为引导结构查询，我们引入仅训练阶段的草图监督，鼓励其从草图中捕获结构信息，且推理时无需提取草图或中间解码。IV-CoT通过单次前向传播执行隐式思维链推理，在GenEval和T2I-CompBench上取得了更优结果。可视化与分析表明，学习到的结构查询与语义查询在结构感知生成中扮演互补角色。

我們提出EBench，這是一個模擬基準測試，用於診斷通用型移動操作策略，超越單一的成功率指標。EBench包含26個多樣且具挑戰性的操作任務，並沿5個能力維度與4個泛化維度進行標註。我們評估了最先進的通用操作模型，包括π_0、π_{0.5}、XVLA與InternVLA-A1，並發現成功率相近的模型在能力特徵上存在顯著差異：π_{0.5}達到最高的測試成功率與最佳的訓練-測試保留率，而InternVLA-A1在移動操作上表現突出，但在靈巧任務上則明顯不足；XVLA則在一組與其他策略不重疊的基本技能上展現優勢。除了能力特徵分析，EBench還從4個具代表性的角度探討泛化能力，識別不同分佈偏移因素的影響。結果揭示了各模型在總體分數背後的優缺點。我們期望此基準能提供廣泛的診斷信號，以引導通用操作模型的迭代改進。

《代理型AI搭便車指南》是一本專為建構自主AI系統的從業者所撰寫的完整參考書。本書涵蓋從基本原理到生產部署的完整技術棧，並圍繞一個核心論述組織內容：打造優秀的代理型系統需要理解管線的每一層，而非僅聚焦於單一環節。開篇探討LLM基礎層——Transformer架構、GPU系統、訓練與微調（SFT、LoRA、MoE）、模型壓縮及推理優化——將這些視為必備基礎而非主要焦點。隨後深入對齊與推理層：基於人類反饋的強化學習（RLHF）、PPO、DPO及其變體、GRPO、獎勵建模，以及針對大型推理模型的強化學習（包含思維鏈與測試時擴展）。下半部分專注於代理型AI本身，主題包括：代理型訓練與基於軌跡的強化學習、檢索增強生成（RAG與代理型RAG）、記憶系統（上下文內、外部、情節性與語義記憶）、代理框架設計與上下文管理，以及代理設計模式的分類學。跨代理協調部分進行深入探討：模型上下文協定（MCP）、代理技能與工具使用、代理間通訊協定（A2A），以及涵蓋集中式、分散式與階層式拓撲的多代理架構。最後以代理開發框架、代理型UI設計、代理型任務的評估方法論以及生產部署作結。每一章皆將嚴謹的理論基礎與實作指引、程式碼範例及原始文獻參考緊密結合。

思維鏈（Chain-of-Thought, CoT）已成為透過引導逐步思考來提升大型語言模型（LLMs）推理能力的標準方法，但其在多模態任務中的有效性仍不明確。本文旨在系統性探討核心問題：多模態思維鏈推理能做什麼？它在哪些方面、為何存在不足？為此，我們在感知與推理兩大類別中評估了12項多模態任務，使用了14個非推理模型與8個推理模型。分析揭示了幾項重要發現：（1）CoT並非免費午餐，應根據各任務的具體需求選擇性使用。在感知任務中，CoT可能導致不良副作用，例如在視覺定位與物體計數上表現下降；反之，在涉及數學、科學及多圖像推理的推理任務中，CoT則證明有效；（2）與原始模型相比，現有開源多模態推理模型往往僅帶來微小的整體改進，這可能源於過度強調數學推理而犧牲了更廣泛的能力；（3）視覺推理仍是當前多模態CoT的主要瓶頸，模型呈現出「看輕、想重」的模式——在推理過程中，語言反思會起伏波動，而視覺反思則持續減弱。這些發現表明，儘管多模態CoT能相對妥善地處理語言反思，但它缺乏在整個推理過程中維持深度視覺內省的能力。

我們介紹Autodata，這是一種通用方法，使AI代理能夠充當數據科學家，構建高品質的訓練與評估資料。我們展示如何訓練（元優化）這樣的數據科學家代理，使其學習創建更強大的數據。我們描述了整體框架及具體的實作方法：Agentic Self-Instruct。我們在電腦科學研究任務、法律推理任務以及數學物件推理任務上進行實驗，與經典的合成資料集創建方法相比，我們獲得了更優的結果。此外，對數據科學家代理本身進行元優化，能帶來更顯著的性能提升。代理式數據創建提供了一種將增加的推理計算轉化為更高品質模型訓練的方式。總體而言，我們相信這一方向有潛力改變我們構建AI數據的方式。

儘管影片虛擬試穿（VVT）在動態主體上合成逼真服飾疊加方面已取得顯著進展，現有典範仍受制於被動依賴原始相機軌跡，無法滿足全方位視角探索所需的互動自由度。為解決此限制，我們定義了開創性研究前沿：相機可控式影片虛擬試穿（CaM-VVT）。與傳統VVT不同，CaM-VVT不僅需要視點無關的紋理幻覺，還需在任意無約束相機運動下，實現非剛性人體動態與背景環境之間嚴格的結構同步。為應對這些挑戰，我們提出TryOnCrafter——首個專為CaM-VVT任務設計的統一DiT架構框架。有別於隱式像素空間操作，我們引入可渲染4D試穿代理，將人體主體與環境明確解耦。此方法透過將高保真2D試穿先驗蒸餾至基於3DGS的衣著化化身，再經SMPL-X序列驅動並與重建背景點雲進行度量對齊，建立兼具優異紋理密度與運動完整性的穩健結構基礎。我們的代理錨定影片DiT以此穩健結構基礎作為主要幾何錨點，確保合成的逼真影片嚴格受預設軌跡與物理合理形變約束。得益於4D代理的內建可編輯性，TryOnCrafter支援多樣化下游應用，包括人體重新定位、「子彈時間」效果及360度環繞視角觀賞。

WordArt（藝術字）具備高度自訂的字型、紋理與排版特性，使得以藝術字為導向的場景文字辨識（WATER）任務遠比一般場景文字辨識（STR）更具挑戰性。現有的STR資料集與方法通常基於常規場景文字與固定模板輸入設計，難以有效擴展至WATER任務。為此，我們旨在從資料與模型雙層面推動此任務的進展。在資料層面，我們構建了名為WATER-S的200萬筆合成資料集，其規模較現有藝術字資料提升數百倍。WATER-S包含兩個互補子集：其一由升級後的渲染管線（SynthWordArt）生成，提供高度精確且可控的合成藝術字資料；其二則結合Qwen3-VL進行提示挖掘與Z-Image進行影像合成，提升真實多樣資料的覆蓋率。在模型層面，我們提出WATERec架構，採用支援任意形狀輸入的視覺編碼器與自迴歸解碼器來建模複雜排版，從結構上突破固定模板STR在藝術字上的瓶頸。實驗顯示此架構優於既有STR方法，在藝術字等不規則文字上達到最先進水準。結合從現有真實STR資料精心重整的WATER-R，我們以新合成資料與模型設計建立的強基線，在WordArt-Bench上達到90.40%準確率，大幅超越通用型與OCR專用視覺語言模型。程式碼與資料已公開於 https://github.com/YesianRohn/WATER。

同策略蒸馏（OPD）通过让学生模型基于自身生成输出进行训练以提升大语言模型的推理能力，但标准OPD平等对待所有学生生成输出（SGOs），未考虑其信息量差异。我们在受控过滤实验中观察到一致的不对称性：在OPD与同策略自蒸馏（OPSD）中，仅使用错误SGOs进行训练的效果优于仅使用正确SGOs。进一步分析表明，仅用正确SGOs训练的模型倾向于生成更短的推理轨迹，且反思行为较弱；而错误SGOs则能更好地保留接近模型能力边界的探索性推理。为利用这一信号而不需要包含完整答案的轨迹生成，我们提出ReNIO（Reweights Negative trajectory Importance for LLM On-policy distillation），即针对大语言模型同策略蒸馏的负轨迹重要性重加权。ReNIO通过学生与教师概率之比，识别导致错误推理轨迹的关键词元，并将其信息聚合为归一化的样本权重，从而在无需观察最终答案正确性的情况下，内在性地将更大权重分配给可能的负轨迹。由于Re-NIO仅使用前缀条件下的词元概率，它保留了OPD相对于完整轨迹强化学习的前缀训练优势。在数学推理与代码生成任务中，ReNIO同时改进了OPD与OPSD，在数学推理基准上，Qwen3-1.7B与R1-Distill-Qwen-7B分别实现了高达8.90%与10.00%的代表性相对增益。代码仓库：https://github.com/BDML-lab/ReNIO。

检索外部知识对于解决现实任务至关重要，然而当查询与其相关知识之间的关系涉及超越表层语义或词汇匹配的隐式和复杂推理时（例如，依赖相同定理的数学问题或需要深度推理的编码任务），这仍然具有挑战性。现有方法主要依赖查询端推理（如查询改写），这引入了显著的在线延迟，且未能充分利用对知识语料库本身进行推理的机会（即索引端推理）。在本文中，我们提出了RL-Index，一个将检索索引推理构建为强化学习问题的智能体索引框架。RL-Index并不在查询时执行推理，而是将推理转移至索引阶段，通过用LLM生成的推理依据对文档进行增强，这些推理依据显式编码了潜在的查询-知识关系。为了优化这些推理依据的质量，我们采用了群组相对策略优化（GRPO），并将检索相似度作为可验证的奖励信号，从而能够直接优化索引决策以提升检索效果。在BRIGHT基准上的大量实验表明，RL-Index能一致地提升检索性能和下游问答能力，同时显著降低在线推理延迟。此外，所学到的推理依据增强可泛化至多种检索器和生成器，突显其作为跨不同检索系统的即插即用索引策略的稳健性。

「少說話、省文法、省代幣。」這種原始人風格被廣泛推崇為降低推理成本的方式，但實際能否節省成本，取決於被壓縮的是哪個通道（使用者的提示詞或模型生成的回應）。我們提出 Cavewoman，一種雙通道評估協議，針對每一次生成，從任務準確率、實際每項目的成本，以及與模型無約束參考文本的一致性進行評分。我們在五個資料集、五個壓縮等級上評估了八個模型，且兩個通道均針對相同項目進行測量。輸出壓縮在多數 API 模型上降低了實際成本（每模型 1.4 至 2.4 倍，最佳情況可達 3 倍），並且在公有價格定價下，對所有四個開放權重模型均有效。輸入壓縮則產生相反效果，是一種嚴格的雙輸局面：它反而提高淨成本而非降低（五個基準平均約 1.15 倍，最差資料集可達 1.8 倍，更強壓縮下達 2.7 倍），原因在於模型會以更長的回應來補償，即使準確率已大幅下降。在相同設定下，表面文本與無約束參考產生分歧：在非推理模型中，約有一半的生成結果雖然正確，但其表面文本不再包含模型自身無約束基線生成的內容。此分歧在經過長度控制重新評分、多重比較校正，以及以互補語義指標進行的複現檢驗後依然存在。程式碼與資料可見於 https://github.com/danielle34/cavewoman。

現有的低位元KV快取量化器常將每個快取鍵視為平面向量。然而，在旋轉位置編碼（RoPE）下，鍵對未來注意力對數機率的貢獻會分解為一個與位置相關的和，該和涵蓋二維頻率區塊。這使得鍵快取量化成為一個逐塊的位元分配問題：高能量的RoPE區塊對量化誤差更敏感，應分配更多位元。我們提出Block-GTQ，這是一種基於TurboQuant-MSE（TQ-MSE）構建、感知RoPE的鍵快取位元分配器。對於每個層和KV頭，Block-GTQ為每個RoPE區塊計算無標籤的能量分數，並透過邊際增益貪婪地分配整數位元寬度。在匹配的K/V位元預算下，Block-GTQ在一個包含十個模型的診斷面板上更好地保留了RoPE查詢-鍵對數機率，在僅對K進行2和3位元/維度的量化時，將每層的平均絕對誤差（MAE）降低了32-80%，並在367/367層的比較中全面勝過均勻的TQ-MSE。這些保真度提升轉化為更強的長上下文檢索、理解與推理能力。在Llama-3.1-8B-Instruct上使用K2V2設定時，Block-GTQ將六項任務的NIAH平均分數從70.6提升至97.4，LongBench-EN平均分數從36.87提升至53.31。在DeepSeek-R1-Distill-Qwen-7B的AIME 2024/2025測試中，不使用fp16近期鍵緩衝區的情況下，Block-GTQ在K3V2設定下取得51.7/37.5的分數，接近fp16的54.2/37.9，而均勻TQ-MSE則崩潰至0.0/0.0。我們進一步實現了一條緊湊快取服務路徑。在單張H800 GPU上搭配Qwen2.5-3B-Instruct，緊湊K3V3實現了3.24倍KV快取壓縮，且品質與fp16相當；在128K上下文下，運行速度比fp16 FlashAttention2快1.34倍，峰值記憶體從56.31 GB降至19.85 GB，並能在256K和512K上下文下穩定運行，而fp16在這些長度下會記憶體溢出。程式碼開源於 https://github.com/JIA-Lab-research/blockgtq。

隨著LLM代理自主選擇工具的情況日益增加，它們在不同權限工具間的選擇便與安全相關。然而，先前的工具選擇研究側重於不考慮安全性的元數據偏好，使得對權限敏感選擇的研究不足。為填補此缺口，我們研究過度權限的工具選擇，即代理在存在足夠的低權限替代方案時，仍選擇或升級至更高權限的工具。我們提出ToolPrivBench來評估代理是否在擁有足夠低權限替代方案時，仍選擇更高權限的工具，並測量初始選擇與短暫工具失效後的升級行為。在八個領域與五種反覆出現的風險模式中，我們發現過度權限的工具選擇在主流LLM代理中相當普遍，且短暫失效會進一步加劇此現象。我們進一步發現，一般的安全對齊無法可靠地轉移至最低權限的工具選擇，而提示層級的控制在短暫失效下僅提供有限的緩解。因此，我們提出一種具權限感知能力的訓練後防禦機制，教導代理偏好足夠的低權限工具，並僅在必要時才進行升級。我們的緩解實驗顯示，此防禦機制能大幅減少不必要的高權限工具使用，同時保留一般能力。

代表使用者行動的AI代理不斷做出決策，而為了讓使用者信任他們的代理，這些決策必須與他們實際的意願一致。對代理而言，隱私是一個重要的對齊問題：代理所發送的每則訊息、貼文或工具呼叫，都是一種關於分享內容、對象及條件是否適當的情境判斷。由於此類判斷取決於社會期望與規範，人類判斷不僅標示隱私侵犯，更有助於定義它們。現有研究在訓練與評估上依賴不可靠的代理指標，而我們則將人類判斷置於代理隱私對齊的核心。我們提出PrivacyAlign，一個包含1,350個樣本、來自599位不同註釋者在當前大型語言模型實際洩漏隱私的多元情境中所提供的3,516條詳細註釋的資料集，並以此將對齊訓練與自動化評估奠基於人類隱私規範之上。基於這些註釋，我們首先展示，讓大型語言模型裁判根據同一提示的參考回應之人類註釋與解釋進行條件化，能使其判斷更為可靠。接著我們引入註釋條件化獎勵建模，在強化學習期間利用這些註釋對新回應進行評分，並展示經此獎勵訓練的小型開源權重代理能更好地與人類隱私規範對齊，在PrivacyAlign及現有代理隱私基準測試上均有顯著提升。

近期立體匹配領域的進展已實現卓越精準度，但通常依賴大型模型、大量運算或額外基礎模型先驗知識，使其難以部署於資源受限平台。相較之下，高效立體模型雖能提供更快的推論速度，但普遍被認為在零樣本泛化能力上較弱。本文透過提出Lite Any Stereo V2（LAS2）系列超高速模型來挑戰此觀點，該系列專為高效的零樣本立體匹配設計。LAS2從架構與訓練兩個層面進行開發。架構方面，我們在實際部署情境下重新審視高效立體設計，並提出僅以二維影像為基礎的代價聚合框架，其優化目標為實際推論延遲而非理論上的MAC值。訓練方面，我們發展出三階段策略，結合合成資料監督、自我蒸餾與真實世界知識蒸餾。為提升真實世界偽監督的可靠性，我們進一步導入偽標籤濾波與誤差限制操作，實現更平滑的合成資料到真實資料轉移。我們將LAS2實例化為一系列模型，包括針對不同效率需求的饋送式變體，以及追求更高精準度的迭代式變體。大量實驗顯示，LAS2在維持顯著更低延遲的同時，達到了高效立體方法中的最佳精準度。具體而言，LAS2-H的整體零樣本效能優於迭代式方法Fast-FoundationStereo，在H200與Orin平台上分別實現1.8倍與2.7倍的推論加速。專案頁面、展示與程式碼均已公開於 https://tomtomtommi.github.io/LiteAnyStereoV2/。

越獄攻擊揭示了對齊大型語言模型中的一個持續弱點：經過精心設計的提示詞即便經過安全訓練，仍能誘發違反政策的回應。雖然多數防禦機制作用於提示詞或輸出層面，但目前仍不清楚有害意圖是如何在模型內部表徵中被編碼。我們透過使用logit鏡像分析凍結LLM各層中的詞元層級預測熵軌跡來探究此問題。我們發現，提示詞層級熵的靜態匯總統計量（如均值、變異數）攜帶的判別訊號極少，而能夠捕捉熵在詞元位置上演化方式的特徵——例如基於單調排名的趨勢分數——則具有顯著更高的資訊量。重要的是，此訊號並非均勻分佈於模型深層：它集中於中間層，並在最終層衰減，這表明與越獄相關的結構在網絡中段表徵中最為顯著，而非在輸出頭端。在多個模型（Llama、Qwen、Gemma）與對抗性基準測試中，這些熵動態無需額外訓練便能提供架構一致的分離。綜合而言，我們的研究顯示越獄行為反映於結構化的中間不確定性動態中，釐清了哪些源自熵的特徵編碼了有害意圖，以及該訊號在網絡中的哪個位置最為顯著。

現今的推理模型利用思考標記（thinking tokens），在基準測試上獲得比純指令調整模型更強的表現。一般也認為，這種更為「審慎」的模式，應能透過為模型提供安全的空間，讓其評估對某請求的預定回答是否違反安全原則，從而提升對齊與安全性。我們提出的證據顯示，這一直覺並非總是正確。在涵蓋GPT-OSS、Qwen、Olmo及Phi系列等前沿開源權重推理模型中，我們發現最終的拒絕／順從結果，在可見思考過程開始之前，便可經由在第一個標記的隱藏表徵上訓練的分類頭（trained head）高準確度地預測（拒絕／順從預測的AUROC達0.84–0.95，平衡準確率約88%）。思考過程實際上更接近前綴補全，而非審慎修正；儘管在文本層面呈現出審慎表象（約74%的文本層面審慎行為發生在回應分佈已鎖定於拒絕或順從某一側時），最終結果在思考過程約前20%後便極少改變。我們也發現，現有的推論時與訓練基礎的安全干預措施，雖以誘發審慎思考為目標，卻多數使模型行為傾向過度拒絕，同時壓抑本已稀少的審慎訊號。我們的研究結果顯示，當前推理模型的安全行為遠不如普遍假設的那樣審慎，並凸顯了開發能真正引發安全審慎思考方法的需求。

视频生成模型越来越擅长生成逼真的视频，但仍难以生成遵循基本物理规律的视频。更棘手的是，目前缺乏可靠且细粒度的评估方法，来定位并具体描述视频中违反物理规律的情况。为此，我们提出物理问题场景图（Physics Question Scene Graph, PQSG），一种基于分层问题结构的评估流程。PQSG 通过检查生成的视频在对象、动作以及对物理规律的遵循方面是否忠实于提示内容来进行评估。它利用视觉语言模型（VLM）生成基于图的层级化问题，并以高质量的情境示例作为引导。通过将问题表示为图结构，PQSG 在问题之间引入逻辑依赖关系，确保每个查询在上下文中都是有效的。此外，PQSG 还能提供细致的评估，指出视频的哪些特质违反了物理合理性约束。我们通过创建 FinePhyEval 数据集来验证 PQSG，该数据集包含基于物理的提示语以及来自多种前沿视频生成模型（Sora 2、Veo 3 和 Wan 2.1）生成的相应视频，每个视频都由人工在多个类别上进行标注。利用 FinePhyEval，我们衡量了 PQSG 的细粒度评分与人工判断之间的相关性，结果表明其整体相关性高于以往研究。我们还发现，在物理真实感方面，PQSG 对闭源模型的排名高于 Wan 2.1。最后，我们展示 FinePhyEval 中提供的标注还可用于子任务评估：我们对两个强大的 VLM 在生成问题和回答问题方面的能力进行了基准测试，结果表明，虽然模型能够生成类似人类的问题，但在回答问题时仍逊于人类表现。

長時程智能體依賴於上下文管理：系統會壓縮、摘要並淘汰舊有token，使任務能在有限窗口之外持續進行。唯有當被丟棄的資訊不再需要或被內化時，這種做法才安全。計劃是壓力測試的典型案例：它們在早期被撰寫、用於許多步驟，並且最先被淘汰。我們引入重放配對（replay pairing），這是一種診斷方法，在同一軌跡中分別執行有無歷史計劃的版本，並測量隱藏狀態的餘弦距離。在Llama-3.1-70B中，計劃信號在計劃執行後一步驟達到0.453，隨後在單一動作-觀察步驟中下降4.1倍；HotpotQA則下降12.4倍。這證明標準LLM智能體並未將計劃作為持久狀態向前攜帶，而是依賴計劃保留在上下文之中。L32層探測器可檢測到這種衰減作為診斷，但並非證明其本身能讀取計劃內容。推理模型增加了一項測量混淆因素：它們的`<think>`痕跡會重新推導計劃內容，因此標準去除方法會使已去除條件下仍殘留計劃證據。我們將此命名為推理痕跡混淆因素，並透過嚴格去除來修正，該方法僅從已去除的運行中移除先前的`<think>`區塊。此舉在樣本內恢復了步驟+1信號的+163%，在保留樣本中恢復了+153%，同時對非推理型Llama的影響不大（+4.8%）。在DeepSeek-R1-Distill-Llama-70B上，經Llama訓練的探測器以AUROC 0.748（p=6e-4）進行轉移，而R1專用探測器則達到1.000，這表明R1以不同的隱藏狀態方向編碼計劃信號。最後，壓縮壓力測試顯示了實際代價：單純淘汰計劃使ALFWorld成功率下降34.7個百分點，而透過探測器控制的重新浮現則無法恢復。本研究的貢獻在於提供了一套測量與壓力測試框架，證明智能體關鍵資訊可能是上下文駐留而非持久存在的。上下文管理是承載壓力的關鍵，但僅保護計劃並不足夠。

持續測試時間自適應（CTTA）旨在透過無標籤資料的線上自適應，在不斷變化的目標領域中維持模型性能。然而，實際部署時常因隱私或授權限制而無法保留原始資料集，而純粹無來源的CTTA方法在長期分佈偏移下容易變得不穩定，遭受疊加式自訓練錯誤與災難性遺忘。我們提出DO-ALL（一次性蒸餾，終身自適應），這是一個即插即用的框架，透過資料集蒸餾（DD）以緊湊且注重隱私的形式重新審視來源資訊。在部署前，DO-ALL執行DD以產生一組小型合成蒸餾錨點，總結來源資料分佈。在自適應過程中，每個目標樣本會與其語義最相似的錨點匹配，該錨點透過來源重播、表徵對齊及流形平滑正則化，為各種CTTA提供穩定的參考。DO-ALL可無縫整合至現有CTTA演算法，持續提升CIFAR100-C、ImageNet-C及CCC基準測試中的長期穩健性。這展現了利用DD在無需保留原始來源資料的情況下實現穩定且連續自適應的潛力。程式碼已公開於 https://github.com/blue-531/DOALL。

工具調用與結構化輸出是現代Agent系統的兩項核心能力，然而它們在聯合部署情境下的交互作用仍未獲得充分理解。本文報告一個在生產環境Agent系統中觀察到的可重現現象：當同時啟用工具調用與JSON Schema約束時，多個開放權重模型會停止調用工具，儘管它們能高度遵循Schema規範。我們將此行為稱為「工具抑制」。透過跨越多個模型家族與部署設定的控制實驗，我們在聯合約束條件下持續重現工具抑制現象，而當分別獨立評估工具執行與Schema遵循時，兩者均能正常運作。進一步分析顯示，JSON Schema約束會被編譯為基於語法的Token遮罩，導致工具調用Token在解碼過程中變得不可及——這為觀察到的行為提供了實現層面的解釋。為解釋此現象，我們提出「約束優先級反轉」（CPI）假說，推測在多重約束並存時，Schema滿足可能主導行動選擇行為。需強調CPI是與觀察證據一致的行為假說，而非經驗證的內部機制。為減輕此問題，我們提出「透明兩階段執行」作為推論階段的策略，將工具執行與受Schema約束的響應生成解耦。實驗結果顯示，此方法能在無需重新訓練模型的情況下恢復工具調用，同時維持結構化輸出保證。這些發現表明，分別評估工具使用與結構化輸出可能忽略生產環境Agent系統中的重要可靠性問題。程式碼、資料與說明文件將釋出於 https://github.com/Fzsama/Constrain-Tax-26-06.git。

對AI系統的信任往往奠基於其運作方式的解釋，人們再據此預測它在面對新輸入時的行為。對於大型推理模型（LRM）而言，這條傳統路徑特別難以遵循：針對單一詞元生成的解釋方法無法自然推廣至長軌跡，而這些軌跡本身若以自然語言解讀，往往也不夠忠實。我們提出一種繞過解釋步驟的替代方案：將行為預測視為可學習的任務，並訓練「行為預測器」——它僅需處理單一推理軌跡，便能做出我們通常期望從解釋中獲得的相同預測。該預測器的訓練數據來自於查詢LRM，無需人類標註，其推論過程則在單次前向傳遞中完成。我們在兩項任務上實例化此方法：預測LRM在重新運行時重複其答案的可能性，以及輸入部分內容的移除如何改變其答案。我們在三個不同的推理數據集上針對這兩項任務評估此方法，結果顯示，經過訓練的行為預測器比GPT-5.4和Claude Opus-4.6以樸素閱讀方式解讀相同軌跡時更為準確，而其推論成本僅為後者的極小部分。我們發現，對骨幹模型進行端到端微調，並從目標LRM初始化，是達到強效表現的必要條件。這些結果表明，推理軌跡包含的關於LRM未來行為的資訊，遠超樸素閱讀所能傳達的內容。

隨著表達性文字轉語音（TTS）與語音轉換（VC）系統日益生成非語言發聲（NVVs）以提升自然度，可靠的說話者驗證（SV）變得至關重要，以便客觀評估口語與非口語片段中身分一致性之表現。然而，現行說話者驗證系統對非語言發聲的泛化能力不佳，且針對非語言發聲資料進行微調會導致語音表現出現災難性遺忘。本研究首次針對10種非語言發聲類型進行系統性探討，提出一套結合凍結Data2Vec自監督特徵與ECAPA-TDNN的架構，並透過具學習型領域感知路由的混合專家（MoE）模組加以強化。藉由預訓練教師模型在語音輸入上施加條件蒸餾損失，可保留語音對語音之準確性；而對比損失則能縮小語音與非語言發聲之間的領域差距。我們的方法將預訓練基準模型之語音與非語言發聲間的等錯誤率（EER）從38.93%降至22.66%，並透過蒸餾將語音等錯誤率從13.17%提升至9.24%。