每日論文

多模态大型語言模型（MLLMs）在視覺理解任務中已取得顯著進展。然而，現有大多數MLLMs依賴於自回歸生成，這限制了其在需要對多個區域進行描述（captioning）的感知任務中的效率。在本研究中，我們提出 PerceptionDLM，這是一種針對高效並行區域感知進行優化的多模態擴散語言模型。PerceptionDLM 基於 PerceptionDLM-Base 構建，後者是一個強大的基礎基準模型，在開源的擴散式 MLLMs 中達到了最先進的性能。我們的架構充分發揮了 DLM 的並行解碼特性。具體而言，我們引入了高效的提示（prompting）技術和結構化注意力遮罩，以實現對多個遮罩區域的同時感知，從而使模型能夠在序列和 token 層面上並行生成區域描述。與現有依次處理區域的方法相比，此設計顯著提升了推理效率。為了系統性地評估 DLM 在視覺感知能力上的並行特性，我們通過擴展 DLC-Bench，為每張圖像納入多個區域遮罩，建構了一個全新的並行詳細局部描寫基準（ParaDLC-Bench），從而實現對描寫品質與推理效率的聯合評估。實驗結果表明，PerceptionDLM 在保持區域描寫競爭力性能的同時，在多區域感知任務中實現了顯著的速度提升。我們的結果凸顯了多模態擴散語言模型在高效並行視覺感知方面的潛力。據我們所知，這是首次利用擴散語言模型的優勢實現並行區域描述與感知的工作。我們已開源相關的程式碼、模型與資料集。

個人化簡報生成不僅需要依賴當前的提示或模板來進行條件控制：代理必須在任務之間保持穩定的使用者偏好，在多輪修訂過程中保留新引入的偏好與限制，並可靠地執行局部編輯。我們提出 MemSlides，這是一個專為個人化簡報代理設計的分層記憶框架，將長期記憶與工作記憶分離，並進一步將長期記憶分為使用者設定檔記憶與工具記憶。使用者設定檔記憶儲存以意圖為條件的設定檔，用於第零輪的個人化設定；工作記憶則跨修訂輪次攜帶當前偏好與會話限制；工具記憶則儲存可重複使用的執行經驗，以達成可靠的局部編輯。MemSlides 將此記憶設計與有範圍限制的投影片局部修訂相結合，使得目標更新僅作用於最小的受影響區域，而非重複重新生成整個簡報。在控制實驗中，使用者設定檔記憶提升了在多角色、多意圖設定檔庫中的角色一致性判斷；工具記憶注入改善了在診斷配對設定中的閉環修改行為；而質性案例則展示了工作記憶在偏好延續方面的能力。綜合這些結果顯示，在簡報創作中實現有效的個人化，取決於將持久性的使用者設定檔、會話層級的工作記憶以及可重複使用的執行經驗，在生成與局部修訂過程中進行分離處理。

大型語言模型代理的記憶基準測試大多假設單一使用者場景，因此醫院、職場、校園及家庭中共同使用的輔助系統仍未被充分研究。在這些部署環境中，多位委託人共同操作一個記憶池，並在不同角色、範疇及關係下進行查詢，因此記憶品質不僅需要檢索能力，更需要治理機制。我們提出 GateMem 基準，針對多委託人共享記憶代理進行評估。該基準同時衡量以下面向：正當長期請求搭配狀態更新的效用、跨情境授權邊界的存取控制，以及明確刪除請求後代理面向的主動遺忘。其涵蓋醫療、辦公、教育及家庭領域，採用長篇幅多方情節、增量式記憶注入、隱藏檢查點、結構化評判及洩漏目標註記。在各種基準方法與基礎模型上，沒有任何方法能同時達成強大效用、穩健存取控制及可靠遺忘。長上下文提示雖能以高 token 成本獲得最佳治理分數，但基於檢索及外部記憶的方法雖降低成本，卻仍會洩漏未經授權或已刪除的資訊。這些結果顯示，目前的記憶代理距離可靠共享機構部署仍有極大差距。

在自迴歸（AR）模型的推理過程中，常透過思維鏈推理與反思來進行，但對先前輸出的修改仍依賴完全序列化的生成，即便僅需局部編輯時亦然。相較之下，遮蔽擴散模型（MDM）中的遮蔽機制自然支援對先前輸出進行明確的局部編輯，使其能夠在無須拋棄先前的答案並從頭生成的條件下，進行選擇性的修正。雖然這項特性更貼近人類透過反覆局部修正來改正錯誤的方式，但現有的MDM並不支援多輪次的遮蔽與去噪。我們提出反思性遮蔽（RM），透過輕量級後訓練來激發MDM中這項內在的推理能力。RM提供一種原生的測試階段擴展機制，使MDM能夠根據不斷變化的上下文，反覆回顧並修正其先前的輸出。為進一步利用類似AR推理中來自先前回合的見解，我們引入歷史參考（History Reference）——一種無需參數的機制，能在修正過程中利用中間的去噪狀態。我們的方法無需改變架構，且易於套用至現有的MDM。在包含文字生成、數獨與影像編輯等多樣任務與模態中，反思性遮蔽一致地優於標準的遮蔽式基準方法，並展現出強大的泛化能力，使RM成為MDM上進行推理的基礎原語。

检索增强生成（RAG）系统的性能关键取决于文档的切分与检索策略。细粒度切分虽能提升检索精度，但会扩大搜索空间，导致延迟和成本增加；而粗粒度切分虽能减少候选数量，却会使稠密相似度计算的可信度下降——因为每个分块的表征会混合多个主题，引入更多语义噪声。这种权衡在深度研究任务中尤为受限：此类任务需要在大规模异构语料库中同时实现快速且精确的检索。为此，我们提出MCompassRAG——一种元数据引导的检索框架，利用主题级信号作为语义罗盘，精准定位相关证据。不同于仅依赖查询与含噪分块嵌入间的余弦相似度，MCompassRAG通过在相同嵌入空间中用主题元数据丰富分块表征，并通过大语言模型（LLM）教师蒸馏训练轻量级检索器。在推理阶段，MCompassRAG无需额外调用LLM即可实现主题感知检索，同时提升效率与证据质量。在六项复杂检索基准测试中，MCompassRAG的信息效率（IE）平均提升8.24%，且延迟比最强的高效RAG基线降低5倍以上。代码已开源至https://github.com/AmirAbaskohi/MCompassRAG。

檢索增強生成（RAG）系統必須在檢索粒度與上下文連貫性之間取得平衡，現有方法透過LLM引導分塊、單層級上下文擴展或層次化摘要來應對此挑戰。這些方法在索引或檢索階段不同程度地依賴成本高昂的LLM調用，將上下文聚合限制在單一粒度層級，或透過摘要引入資訊損失。我們提出SproutRAG，一種注意力引導的層次化RAG框架，通過將句子級別的分塊組織成逐步增大但語義連貫的單元，並利用學習到的句子間注意力來構建二元分塊樹，從而解決此權衡問題。與依賴外部LLM、固定上下文擴展或有損摘要的先前方法不同，SproutRAG學習哪些注意力頭與層最能捕捉語義文檔結構，使得無需額外LLM調用或壓縮摘要即可實現多粒度檢索。在檢索時，SproutRAG使用層次化束搜索在多粒度下檢索候選項，捕捉超越平面檢索的多句子相關性。該框架通過聯合目標進行端到端訓練，同時改進嵌入與樹結構。在涵蓋科學、法律與開放域的四個基準實驗中，SproutRAG的資訊效率（IE）平均比最強基線提升6.1%。程式碼可於https://github.com/AmirAbaskohi/SproutRAG取得。

三维（3D）脑部磁共振成像（MRI）在临床神经病学与神经肿瘤学中占据核心地位。生成模型能够增强代表性不足的队列、模拟疾病演化轨迹，并支持隐私保护的数据共享。潜在扩散技术已成为医学影像数据建模的主流方案，但其对分词器提出两项竞争性需求：编码器嵌入必须保留下游任务所需的临床信息，而解码器需重建解剖学上逼真的体素图像。现有的基于重建驱动的分词器通常以牺牲前者为代价来实现后者。为应对这一挑战，我们提出了一种基于全自动掩码自编码器（MAE）的三维脑部MRI潜在扩散分词器，将编码器与解码器解耦：冻结的3D MAE编码器生成富含临床信息的嵌入特征，而专用卷积神经网络（CNN）解码器则从这些嵌入的线性投影中重建体素。我们在来自18个公开队列的35,309个体积数据上预训练编码器，这些数据涵盖四种模态、十种疾病类别及200余个采集站点，并在两种场景中验证其双重效用。首先，在包含23项任务的线性探测基准测试中，该编码器在21项任务上超越或持平当前最优模型（如BrainIAC、BrainSegFounder和MedicalNet）。其次，基于这些临床信息嵌入训练的扩散变换器（DiT）条件生成模型，既支持跨六个变量的条件生成，也支持患者特异性的纵向预测。综上，我们建立了一个统一的3D脑部MRI嵌入空间，该空间既能支持下游临床任务，又能实现可控生成。

通用视觉-语言-动作系統需要以物體為中心的3D證據和可重複使用的操作經驗，才能規劃可靠的機器人軌跡。GeneralVLA提供了一個分層介面，可將語言和RGB-D觀測轉換為3D末端執行器路徑，但仍存在兩個瓶頸。首先，單目SAM3D風格的物體重建可能產生姿態和未見幾何結構的幻覺，而當有校正後的多視角觀測資料可用時，操作任務則受益於穩定的物體形狀。其次，原始的KnowledgeBank主要檢索語義相似的片段並追加新知識，這使得難以控制記憶品質、衝突、置信度以及幾何相關性。為解決第一個挑戰，我們引入GeoFuse-MV3D，一種基於幾何先驗引導的MV-SAM3D重建分支，它利用輸入視角遮罩驗證外部幾何線索，應用軟視覺外殼支持，進行逐軸精細化，並僅融合幾何資訊而保留外觀。為解決第二個挑戰，我們將KnowledgeBank升級為一個受控的長期記憶系統，配備明確的品質、置信度、生命週期、驗證器和衝突元數據，以及精度導向的檢索機制。最後，我們在GSO-30上評估重建分支，在Terminal-Bench 2.0和SWE-Bench Verified上評估記憶模組；GeoFuse-MV3D相比MV-SAM3D基線，CD和LPIPS分別降低2.20%和2.02%，PSNR和SSIM分別提升2.36%和1.03%；KnowledgeBank在Terminal-Bench SR上相比ReasoningBank提升4.53%，在SWE-Bench解決率上提升3.73%，同時AS分別降低4.95%和5.65%。程式碼：https://github.com/AIGeeksGroup/GeneralVLA-2。網站：https://aigeeksgroup.github.io/GeneralVLA-2。

為了在真實家庭環境中長時間協助人類，具身代理必須記住使用者的日常生活規律、世界狀態以及過往互動。現有的長期記憶基準測試主要評估以語言為核心的檢索與問答能力，而具身基準則通常聚焦於短期任務執行，未能在動態環境中測試長期記憶的運用。我們提出「WorldLines」，一個以專案為導向的長期具身家庭協助基準測試。該基準會建構包含對話、動作、執行回饋、物件與裝置狀態變化的時間延伸家庭軌跡，並將其轉換為具有證據連結的樣本，用於記憶問答與具身任務規劃。我們進一步提出「ObsMem」，一種以觀察者為基礎的記憶框架，能維護具可視性感知的記憶與動作原生狀態軌跡，以支援具狀態感知的決策。實驗結果揭示了在部分可觀測性、被覆寫的世界狀態，以及將長期記憶轉化為具身規劃等方面的持續挑戰，而ObsMem則為此設定提供了更堅實的參考架構。

高质量4D头部虚拟形象——由一个或少数源肖像生成——是远程临场、增强现实/虚拟现实以及数字人交互的核心。3D高斯泼溅（3DGS）已成为主导表示方法，其两大互补范式（可泛化的前馈预测器与逐主体精化器）正并行成熟。然而，现有前馈预测器基于单一数据集家族训练，且采用硬编码的源数量，继承了相应的领域偏差；而逐主体精化器需30万至60万次迭代，并依赖自适应致密化过程，该过程会破坏上游高斯布局，导致两种范式无法端到端共享同一表示。为弥合两者，我们提出了SpatialAvatar-0，基于共享的FLAME网格绑定高斯表示：采用无参数K源均值池化前馈生成器，并设计从单目-时序到多视-空间的两阶段调度策略，以锚定身份先验防止其向小规模多视图集坍塌。此外，我们引入了一种仅需1万次迭代的布局保持逐主体精化循环，该循环冻结FLAME绑定与高斯数量，并以三分量反尖峰正则化替代致密化过程。在VFHQ/HDTF跨域零样本测试中，尽管从未在任一测试域训练，我们的方法在PSNR上超越域内领先方法GAGAvatar达1.5 dB；在SplattingAvatar单目基准测试中，我们领先所有已报告指标，以比常见最先进基线快60倍的逐主体调度，超越需30万次迭代的GeoAvatar达1.3 dB PSNR。网站：https://spatialwalk.github.io/SpatialAvatar-0。

網絡規模的大型語言模型預訓練語料庫的敘事構成在很大程度上仍未被探索，儘管敘事是人類溝通的基本模式。我們首次對Dolma（一個包含3兆詞元的開放預訓練語料庫）中的敘事特徵進行了細粒度研究。借鑒敘事理論，我們設計了一個框架，涵蓋三個核心敘事元素（能動性、場景與事件），並將其操作化為11個可解釋維度。在抽樣並標註400篇多樣化段落後，我們微調並驗證了NarraBERT——一個基於RoBERTa的模型，用於細粒度敘事預測。我們將NarraBERT應用於300萬篇段落，產生了新數據集NarraDolma。我們發現：(i) 敘事結構可在極度異質的數據中大規模測量；(ii) 我們揭示了網路文本背後存在連續的多維敘事結構；(iii) 敘事品質在預訓練來源與主題間分佈不均，而現行的數據篩選實務既未測量亦未考慮此現象。我們的框架、數據集與分析為理解敘事品質如何在大型語言模型預訓練資料中分佈，以及研究資料構成如何影響敘事推理任務奠定了基礎。我們公開發佈NarraDolma與NarraBERT。

多模態大型語言模型（MLLMs）正日益被部署於對個人與社會影響重大的場景中，然而影響這些模型評判他人的視覺線索仍未被充分理解。先前的研究常比較不同（群體）個體，使得難以區分外貌效應與身份差異。我們提出StylisticBias，一個用於評估MLLMs中屬性層級社會偏見的受控基準。我們生成500張逼真的基礎臉孔，並為每張臉孔創造約50種單一屬性變體，總計約25,000張影像。此設計固定身份特徵，每次僅改變一項視覺屬性，使我們能衡量特定線索如何改變模型判斷。我們在25個二元社會判斷情境中評估六種MLLMs。結果顯示，年齡與體型主導身份層級效應，而時尚風格及其他視覺線索則引發最大的屬性層級變化。我們進一步發現，約15個屬性便佔據總變異量的近80%，顯示偏見集中於少數視覺線索。模型在與外貌語義相關的判斷，尤其是社會經濟地位與風格相關的判斷中，具有最強敏感性。我們釋出StylisticBias作為多模態模型細粒度偏見評估的基準。程式碼與資料集：https://github.com/timo-cavelius/StylisticBias 及 https://hf.co/datasets/shaghayegh/stylistic-bias-dataset。

情境學習（ICL）是低資源分類的標準方法，但其在專業領域的有效性仍鮮少被探討。我們針對語義複雜的多方B2B對話分類挑戰，傳統ICL在此情境下因須串接多個少量範例而導致上下文長度增加，進而產生顯著限制。為此，我們提出Call Playbook資料集，涵蓋五項源自真實B2B對話、聚焦核心銷售概念的分類任務。為彌合效能與實用性之間的差距，我們提出創新的知識萃取方法，將冗長範例精煉為結構化分類標準及精確任務描述的緊湊可解釋表徵。相較傳統ICL，我們的方法減少99%的標記使用量，並將宏平均AUC提升高達7%。值得注意的是，當上下文增長時，本方法仍維持穩健性，反觀先進的標記壓縮基準方法則下降超過9個F1分數。更重要的是，我們的框架能直接優化分類邏輯，滿足真實世界NLP應用對透明度、效率與使用者互動的關鍵需求。

醫學表格數據在臨床研究中普遍存在，但深度學習在表格上的應用仍未被充分探索，因為可靠的標籤通常需要昂貴的專家裁決，即便結構化的臨床變數常規上能以表格形式取得。自我監督學習可利用這些未標記的表格，而近期基於分箱的前置任務提供了一種有前景的歸納偏置，但現有的目標函數固定於單一全局分位數離散化，並採用與特徵無關的監督方式。我們提出自適應分箱（Adaptive Binning），這是一種用於表格自我監督學習的訓練自適應離散化前置任務，透過逐特徵從粗到細的課程機制，將離散化與學習過程相耦合。受神經網絡的譜偏置及課程學習原理啟發，我們的方法在檢測到學習停滯時逐步細化每個特徵的離散化，並選取具表徵感知的分割點，以同時提升數值空間的集中性與表徵空間的連貫性。一個異質性感知的目標函數統一了類別重建與數值特徵的序數監督。在統一評估協議下，於公開醫學表格數據集上的實驗顯示，無論是線性探測或微調，均能在不依賴資料集特定離散化調整的情況下取得一致的性能提升。我們進一步引入一個附標準化協議的醫學表格自我監督學習基準，以支持在該未充分探索領域中實現可重複的進展。我們的程式碼可於 https://github.com/labhai/Adaptive-Binning 取得。