每日精選AI研究論文及翻譯
世界模型根據當前觀測與行動預測環境動態,作為推理與規劃的核心認知機制。本研究探討基於語言模型的世界建模如何進一步拓展通用智能體的邊界。(i)首先聚焦於建構智能體環境模擬的基礎模型。我們推出 Qwen-AgentWorld-35B-A3B 與 Qwen-AgentWorld-397B-A17B,這是首批能夠透過長思維鏈推理,模擬涵蓋七個領域的智能體環境的語言世界模型。利用真實環境中超過一千萬條、來自七個領域的環境互動軌跡,我們透過三階段訓練流程開發 Qwen-AgentWorld:CPT 階段從狀態轉移動態與增強的專業語料注入通用世界建模能力;SFT 階段啟動下一狀態預測推理;RL 階段則透過基於混合評分量表與規則獎勵的客製化框架,強化模擬保真度。為評估語言世界模型,我們提出 AgentWorldBench——一個基於五個前沿模型在九個既有基準的真實互動所建構的全面性基準測試。實證結果顯示,Qwen-AgentWorld 顯著優於現有前沿模型。(ii)超越基礎模型層面,我們進一步探討世界模型增強通用智能體的兩種互補典範。首先,作為解耦的環境模擬器,Qwen-AgentWorld 支援對數千個真實環境進行可擴展且可控的模擬,以進行智能體強化學習,其成效超越僅使用真實環境訓練的結果。其次,作為統一的智能體基礎模型,世界模型訓練扮演了高度有效的預熱階段,能改善七個智能體基準測試的下游表現。程式碼:https://github.com/QwenLM/Qwen-AgentWorld
我們推出 NatureBench,這是一個從同儕審查的《自然》系列出版物中提煉出的跨學科基準測試,包含90項任務,旨在評估AI編碼代理是否能超越單純的複現,真正投入真實科學問題的探索。NatureBench 建構於 NatureGym 之上,這是一套自動化流程,能根據原始論文建立標準化、每項任務各自獨立的容器化環境,解決了長期以來限制先前代理研究基準可信度的環境碎片化問題。在嚴格的「禁止網路搜尋」協議下評估十種前沿代理配置後,我們發現最強的模型在 g>0.1 的標準下僅在 17.8% 的任務中超越了當前最佳水準。方法路徑分析顯示,代理主要透過方法學轉譯取得成功——將科學任務轉化為熟悉的監督式預測問題——而非真正的科學創新。失敗主要歸因於方法選擇錯誤與計算預算不足,而非任務理解錯誤。我們開放了該基準測試、NatureGym 流程,以及一個附維護方再現結果的公開排行榜。程式碼:https://github.com/FrontisAI/NatureBench
基於多模態大語言模型的行動端GUI代理在UI理解與動作執行方面取得了顯著進展,但將其適應至真實目標應用仍成本高昂,原因在於行動應用數量龐大、更新頻繁,且難以透過人工編寫的任務、示範或獎勵標籤進行全面覆蓋。現有的免標註GUI學習雖能減少人工監督,但缺乏統一的基礎架構來銜接目標應用探索、課程挖掘、軌跡執行與反饋機制,且策略優化常依賴孤立的軌跡與粗糙的獎勵,難以將其轉化為可靠的改進訊號。我們提出MobileForge,這是一個無需標註的行動端GUI代理適應系統。MobileForge包含MobileGym(將任務生成與軌跡評估立基於真實行動應用互動)與分層反饋引導策略優化(HiFPO)(將軌跡結果、步驟層級過程反饋與修正提示轉化為提示情境化的步驟層級GRPO更新)。僅使用自動生成的免標註適應資料,MobileForge將Qwen3-VL-8B在AndroidWorld上的Pass@3提升至67.2%,接近使用閉源資料的專用GUI模型GUI-Owl-1.5-8B的69.0%。經MobileForge適應的ForgeOwl-8B更進一步在AndroidWorld上達到77.6%的Pass@3,並在跨領域的MobileWorld GUI-only子任務中取得41.0%的成功率,在我們的評測中樹立了最強的開源資料行動端GUI代理。程式碼、資料與訓練模型將於 https://mobile-forge.github.io/ 釋出。
基於多模態大語言模型(MLLM)的行動裝置GUI智能體在短期任務上已取得顯著進展,但在需要跨多步驟與應用轉換間保留中間事實的長期任務上仍不可靠。我們將此限制歸因於ReAct風格的提示方式——該方式被動累積每一步的記錄,導致提示爆炸並稀釋關鍵的跨應用事實。為解決此問題,我們提出MemGUI-Agent,一種具備主動式上下文管理的端到端長期行動裝置GUI智能體。MemGUI-Agent建立在「上下文即行動」(Context-as-Action, ConAct)的概念上,該概念將上下文管理視為與選取UI行動相同策略所發出的第一級行動。不同於被動附加歷史記錄,ConAct維護三個結構化的上下文欄位:摺疊操作歷史、摺疊UI狀態與近期步驟記錄,在保留關鍵UI事實的同時保持上下文精簡。為使主動式上下文管理能在不同模型規模下學習,我們建構了MemGUI-3K資料集,包含2,956條完整ConAct註解的軌跡,可用於監督訓練與離線分析。在MemGUI-3K上訓練的8B模型產生了MemGUI-8B-SFT,這款8B MemGUI-Agent在MemGUI-Bench上達到了公開數據中最佳的8B效能,並可泛化至分佈外基準MobileWorld。程式碼、資料與訓練模型將於https://memgui-agent.github.io/公開發布。
代理语言模型大幅擴展了人工智慧的應用範圍,但關於如何為具廣泛能力的代理模型精選訓練資料,目前公開資訊仍相當有限。現有開放專案如 SWE-Smith、SERA 及 Nemotron-Terminal 通常僅針對單一基準進行最佳化,對於如何訓練能泛化至多樣代理任務的模型,仍留下未解問題。OpenThoughts-Agent(OT-Agent)專案針對此缺口,提出一套完全開放的資料精選管線,用於訓練代理模型。我們進行了超過 100 次控制消融實驗,系統性地探討管線中各個階段,並從中獲得關於任務來源與多樣性重要性的洞見。接著,我們利用此管線組建了一個包含 10 萬筆範例的訓練集,並以該資料集微調 Qwen3-32B,結果在七個代理基準上取得平均 44.8% 的準確率,相較現有最強的開放資料代理模型(Nemotron-Terminal-32B,40.9%)提升了 3.9 個百分點。此外,我們的訓練資料展現了強烈的擴展特性:在計算資源受控的比較中,所有訓練集規模下皆優於其他開放資料集。我們已在 openthoughts.ai 公開釋出訓練集、資料管線、實驗資料及模型,以支持未來關於代理模型訓練的開放式研究。
AI代理正驅動著一種新的軟體典範,能夠自主呼叫工具、提取資訊、管理記憶體,並完成跨應用程式與資料來源的任務。然而,現有的大多數終端使用者作業系統是為以應用為中心的工作流程所設計,對AI代理提供的原生支援相當有限。此一落差限制了代理的廣泛採用,並在傳統系統上執行代理時帶來執行開銷與安全風險。儘管代理原生作業系統的概念正在興起,但研究社群仍缺乏一個開放的測試平台,以探索代理中介互動所需的架構基元。我們提出AOHP(Android Open Harness Project),這是一個建立在Android開放原始碼專案(AOSP)之上的作業系統層級代理框架。AOHP的核心設計原則是將代理視為一級作業系統參與者,從而實現自適應使用者介面與有利於代理的執行環境。AOHP保留了成熟的Android軟硬體生態系統,同時引入了三項面向代理的系統機制:個人化服務組合、高效代理介面,以及安全資訊流。根據針對涵蓋作業系統代理關鍵能力的挑戰性任務所進行的初步實驗,AOHP在任務完成(完成率提升+21.12%)、執行成本(代幣成本降低-51.55%)以及安全策略合規方面展現出明顯優勢。
精神障礙在全球範圍內盛行率極高,但精神科醫師的短缺以及基於面談診斷固有的主觀性,對及時且一致的心理健康評估造成了重大障礙。人工智慧輔助精神科診斷的進展受限於缺乏同時提供逼真的患者模擬、臨床醫師驗證的診斷標籤、並支援動態多輪問診的基準測試。我們提出 LingxiDiagBench,一個大規模的多智能體基準測試,旨在評估大型語言模型在中文環境下進行靜態診斷推理與動態多輪精神科問診的能力。其核心是 LingxiDiag-16K,一個包含 16,000 份與電子病歷對齊的合成問診對話資料集,旨在重現涵蓋 12 種 ICD-10 精神科類別的實際臨床人口統計與診斷分佈。透過對當前頂尖大型語言模型的廣泛實驗,我們確立了以下關鍵發現:(1)儘管大型語言模型在二元憂鬱-焦慮分類上達到高準確率(最高 92.3%),但在憂鬱-焦慮共病識別(43.0%)與 12 類鑑別診斷(28.5%)的表現卻顯著下降;(2)動態問診的表現往往不如靜態評估,顯示無效的資訊收集策略會顯著損害後續的診斷推理能力;(3)以「LLM作為評審」評估的問診品質與診斷準確率之間僅呈中度相關,這表明結構良好的提問並不能確保正確的診斷決策。我們已釋出 LingxiDiag-16K 與完整的評估框架,以支援可重複研究,網址為 https://github.com/Lingxi-mental-health/LingxiDiagBench。
從單張影像生成可探索的3D場景,需要具備強大的生成先驗知識,以及適合下游應用的精確幾何表示。目前的影片擴散模型能夠生成高品質的內容,並在潛在空間中隱式編碼多視角的幾何結構。然而,現有的前饋式潛在場景解碼器通常會輸出缺乏明確表面的體積式3D高斯函數,限制了其在模擬或標準圖形管線中的應用。這促使我們解碼出不僅可渲染、且更接近於明確幾何資產的表面對齊基元。我們提出的問題是:壓縮後的影片擴散潛在表示,能否在單次前向傳遞中直接映射到明確的表面基元?為此,我們引入了FLAT,並首次證明三角形(Triangle Splats)可從影片擴散潛在表示中直接解碼。與解碼3D高斯函數相比,預測平面基元因對基元方向高度敏感而更加困難,往往導致梯度流不穩定。FLAT透過兩個關鍵要素解決此問題:一個用於三角形回歸的射線中心旋轉參數化方法,以及一個新穎的乘積窗口函數,用於改善可微三角形渲染過程中的梯度流。在標準基準測試中,FLAT在幾何精度上顯著優於最先進的前饋式基線方法,同時保持具有競爭力的視覺品質。我們進一步證明,一個輕量級的測試時優化步驟,可將預測的三角形集合轉換為完全非透明的、可直接用於遊戲引擎的表示,支援即時渲染。透過在相同訓練設定下評估3DGS、2DGS與三角形濺射變體,我們首次系統性地分析了前饋式場景生成中各種表示的取捨。專案頁面請見 https://flat-splat.github.io
現代的文本到圖像模型在視覺保真度與提示遵循方面表現卓越。然而,這種嚴格遵循的代價是生成樣本的多樣性不足:產出的結果往往收斂於單一的視覺詮釋。現有的提升多樣性方法所產出的內容多由隨機變異驅動,而非有意義的設計選擇。這促使我們重新定義多樣性任務,要求對生成樣本施加結構化約束。我們提出一種可控多樣性的方法,實現「語義瀏覽」:使用者能瀏覽結構化的圖像庫,透過系統性地探索有意義、可解讀的變異軸線,體驗創意探索。要達到這種語義層級的控制,需要對場景有深入理解。我們利用近期文本到圖像模型訓練於詳盡標題的特性,有效將語義決策與像素生成脫鉤。這帶來了典範轉移:不再依賴文本到圖像模型內的隨機變異,而是直接在文本層級引發多樣性。透過利用豐富的文本表徵,我們讓視覺語言模型能夠操作完整的場景脈絡。為克服標準視覺語言模型常見的通用輸出,我們採用一種代理工作流程,明確強加與原始提示相呼應的結構化變異。我們證明,此方法能產出多樣化且可導航的設計空間,其中每個變異都對應到使用者可理解的具體語義決策。
什麼是代理?什麼構成代理性?隨著大型語言模型(LLM)系統被包裝成「編碼代理」、「AI共同科學家」等「具備代理性」的工具,宣稱能提升生產力,同時也引發了諸多「存在性」擔憂,例如AI在猜測中的「機器代理性」下可能脫離人類控制、造成毀滅性後果——此時釐清自動化與代理性的界線,無論是為了建構能力更強的系統,還是為了理解我們是否該恐懼、恐懼什麼,都變得至關重要。本文借鑒笛卡兒將代理性奠基於獨立思考的觀點,以及科幻作品中對自主存在的描繪,綜述當前AI代理的發展現狀,並從五個維度分析代理架構:目標、身份、決策、自我調節與學習。具體而言,我們主張真正的代理性需要這些結構內化於系統本身,而非透過外部支架拼湊而成。此區別界定了兩類系統:一類是「代理系統」,其能力源於工程化工作流程;另一類是「具代理性系統」,其能力(包括社交互動)是內生湧現的。前者專為預設任務設計,後者則能在開放世界中具備真正的自主性。基於此分析,我們提出通用代理模型的目標-身份-配置器(GIC)架構,結合分層目標分解、身份演化、基於獨立訓練的世界模型進行模擬推理、學得的自我調節,以及從真實與模擬經驗中進行的自我導向學習。此外,我們就具備更高自主性與「代理性」但仍受人類監督的系統,分享其在可審計性、可控性與安全性方面的見解。
在聯邦學習(FL)框架中訓練潛在擴散模型(LDM)日益受到關注,因為它能將LDM強大的生成能力與FL的隱私保護特性相結合。然而,FL需要將全局模型共享給多個參與者,這可能導致惡意客戶端未經授權分發或轉售模型。雖然直觀的做法是將現有的基於VAE的浮水印技術應用於FL中的LDM,但由於兩個根本性挑戰,該策略在應對此類威脅時存在不足:(1)現有方法支援所有權驗證,但缺乏將模型洩漏追溯到特定惡意客戶端的能力;(2)基於VAE的浮水印較脆弱,因為只需用乾淨的解碼器替換即可輕易移除。本文提出FedOT,首個針對聯邦LDM的所有權驗證與洩漏追溯框架。具體而言,為解決第一個挑戰,我們設計了一種分塊浮水印,第一部分用於所有權驗證,第二部分用於客戶端識別。此外,為克服第二個挑戰並保護模型免受VAE替換攻擊,我們引入潛在向量轉換(LVT),通過修改VAE原始潛在分佈來強化VAE與U-Net潛在空間之間的關聯。因此,任何試圖替換VAE以移除浮水印的行為都會導致影像品質顯著下降,使LDM模型無法使用。大量實驗證明,FedOT在所有權驗證與可追溯性方面均達到優異性能。專案頁面:https://spyzixuan.github.io/FedOT/。
經驗驅動的自我演化對於大型語言模型(LLM)智能體透過開放世界互動來提升能力至關重要。然而,現有的經驗學習方法大多依賴單智能體循環——同一智能體同時執行任務、總結結果並決定記憶內容。這種設定使智能體容易陷入「自我確認陷阱」:錯誤但自洽的軌跡被誤判為成功經驗,進而在檢索與重複使用時導致累積錯誤。為了解決此問題,我們提出EDV——一個用於可靠經驗學習的「執行-提煉-驗證」框架。在執行階段,多個異質智能體平行探索相同的任務空間,產生多樣化的候選軌跡。在提煉階段,一個專職的第三方智能體透過比較分析這些軌跡來產生候選經驗,從而減少以執行者為中心的總結偏差。在驗證階段,執行群體透過共識機制驗證候選經驗,只有通過驗證的經驗才會寫入共享或私有記憶。透過將三個階段解耦,EDV將經驗學習從孤立的自我反思轉變為協作建構,在寫入記憶前過濾錯誤與雜訊內容。我們在三個具有挑戰性的長時序基準上評估EDV:tau2-bench、Mind2Web與MMTB。結果顯示EDV持續優於強基線,驗證了可靠的經驗建構對於穩健的智能體自我演化至關重要。我們的程式碼已開源於https://github.com/shidingz/EDV。
文字生成图像(T2I)模型在根据自然语言提示生成视觉逼真图像方面取得了显著进展。然而,尚不清楚它们的成功究竟是反映了真正的因果理解,还是对视觉-文本关联的复杂模式匹配。受罗素归纳火鸡的启发,我们提出了反事实世界(CF-World),这是一个反事实基准,旨在探究文本生成图像模型是否能在系统性地违背现实世界先验的规则下生成图像。CF-World 将每个场景组织为三个递进层次:基于普通世界知识的事实生成、带有直接视觉指令的显式反事实生成,以及需要从改变的规则中进行因果推理的隐式反事实生成。我们使用基于视觉语言模型(VLM)的评估器(CF-Eval)评估了开源和闭源 T2I 模型。此外,我们引入了两个指标:先验抵抗率(PRR),用于衡量模型克服根深蒂固的现实世界先验的能力;以及推理保持率(RRR),用于评估模型在缺乏明确视觉提示的情况下,是否能够维持依赖推理的反事实生成。实验表明,所有模型从事实场景到反事实场景均表现出显著性能下降。进一步分析表明,这些失败源于当前的 T2I 模型将世界知识与视觉外观编码为紧密耦合的模式。因此,当被要求生成反事实世界时,它们严重依赖训练数据中频繁出现的视觉共现现象,从而不得不默认采用熟悉的常识先验。
擴散變換器 (DiT) 在影像生成方面的研究已收斂至單一評估設定:在 ImageNet 上進行類別條件生成。儘管各種方法改進了 FID 及相關指標,但這些指標是否真正反映生成建模的實質進展,已變得越來越不明確。自然的替代方案,即文字到影像 (T2I) 生成,卻被認為訓練與評估成本過高或不方便,因而經常被忽略。我們主張此觀點已不再成立。我們推出 NanoGen,一個統一的 DiT 訓練與評估框架。NanoGen 在 ImageNet 上與最先進的 DiT 基準線相匹配,且僅需更改 12 行設定,即可訓練出具競爭力的文字到影像模型。它目前支援在 ImageNet 與 T2I 設定下的 RAE、VAE、像素空間及 MeanFlow 擴散方法。在 NanoGen 下,訓練 T2I 所需的運算量與 ImageNet 相當。在利用 NanoGen 訓練 21 個潛在擴散模型後,我們觀察到方法排名在 ImageNet 與 T2I 生成之間並無強相關性:三項指標的皮爾遜相關係數介於 -0.377 至 -0.580 之間。這表明,一個能改善類別條件 ImageNet FID 的方法,在 T2I 上可能並無相應的改進,清楚說明了在兩項任務上評估 DiT 的必要性。為此,我們彙整了 ImageNet 與文字到影像的結果,形成了 DiffusionBench,一個全面的 DiT 研究基準。我們建議以 DiffusionBench 取代僅報告 ImageNet 的做法:能夠改善 DiffusionBench 的方法,更可能反映出廣泛的進展。
扩展视觉数学推理的强化学习不仅需要生成更难的题目:随着数据量增长,奖励标签本身必须保持可靠。然而,现有的数据流水线在扩展监督能力时依赖标注者的可信度,而策略层面的方法则假设基础答案已经正确。我们转而将扩展视为一个可验证的数据构建问题,并在任何策略更新之前,将两个维度解耦:提示难度(通过路径特定的演化算子扩展)和答案可靠性(通过离线假设检验的证伪机制强制保证)。我们将其实现为VeriEvol框架,这是一个迭代框架,包含两个可扩展组件:一个类型感知的演化模块,将低难度的图文种子重写为更难的、基于图像的提示;以及HTV-Agent验证器,该验证器仅在多方反证均未能反驳答案时,才接受该答案。由此生成的经过验证的数据,其在规模上可扩展,可通过增加演化路径或验证通道进行扩展,并可直接接入现有的GRPO样式的强化学习方案中。在一个包含五个基准的视觉数学测试集上,将已演化的SFT数据从10K样本扩展到250K样本,可使平均准确率从35.42提升至54.73;随后,在保持主干网络、SFT初始化以及GRPO方案不变的情况下,VeriEvol在未演化的强化学习基线之上累计提升了+3.88个百分点,其中+1.82来自演化后的提示,+2.06来自HTV-Agent验证器。我们开源了提示、数据、模型、代码以及每个样本的完整验证轨迹,以便后续研究能够扩展和审计整个流水线,而不仅仅是检查其输出。
训练数据的组成——受数据源的多样性及其混合策略的制约——是大语言模型(LLM)预训练的基石。在线数据混合(ODM)作为一种在训练过程中自适应调整数据混合比例的技术,已成为提升效率的重要方向。然而,现有方法受限于单一的优化视角,从根本上忽视了LLM复杂预训练需要从多个维度考虑动态数据组成这一需求。为克服这一局限,我们提出了整体数据调度器(HDS),一种新颖的在线数据混合框架。HDS将数据调度问题建模为连续控制空间中的强化学习问题,并利用软演员-评论家(SAC)算法在探索高维策略空间时的稳定性与样本效率。HDS的核心是一种新颖的多目标整体奖励函数,该函数整合了三个关键视角:基于数据质量的奖励、捕捉域间影响的损失驱动奖励,以及基于权重范数的模型驱动奖励。为验证我们的设计并确定其最优配置,我们在不同规模的大语言模型上进行了系统实验。在The Pile基准测试中,HDS仅用44%的训练迭代次数就达到了次优方法的最终验证困惑度。此外,它在MMLU 0-shot任务上实现了7.2%的提升,并在其他基准测试中取得了一致的增益,展示了其在提升训练效率和最终模型能力两方面的优势。
密集檢索嵌入模型是現代基於檢索的人工智慧系統中的基本組件。大多數密集檢索器是透過對比學習目標訓練的,這需要標註的正負文檔對,而這些標註資料往往成本高昂且難以取得。在本研究中,我們探討大型語言模型(LLM)的自回歸下一個詞預測目標是否能為密集檢索提供監督訊號。直覺很簡單:若某文檔包含與查詢相關的資訊,則以該文檔為條件應能讓LLM更易於預測目標輸出。一個關鍵挑戰在於,下一個詞預測的損失是在LLM內部計算的,而檢索器是獨立於LLM的嵌入模型。為解決此挑戰,我們提出DREAM(透過自回歸建模實現的密集檢索嵌入),該方法將檢索器生成的查詢-文檔相似度分數注入凍結LLM的特定注意力頭。在訓練過程中,這些分數決定了LLM在預測目標輸出時,每個候選文檔會獲得多少注意力。由此產生的預測損失通過注意力機制為檢索器訓練提供梯度。我們在檢索評測基準BEIR和RTEB上評估DREAM,使用的嵌入骨幹模型參數量從0.5B到3B不等。DREAM在不同模型規模下持續優於現有基準方法。這些結果顯示,DREAM為透過自回歸建模訓練密集檢索器提供了一種有前景的途徑。
跨圖表檢索增強生成(RAG)對於科學、商業與政治領域中複雜的多模態分析任務至關重要。然而,現有的基準測試要麼專注於結構化且文本化的表格,要麼僅透過擷取關鍵點來生成跨圖表問題,這往往導致查詢與證據之間出現詞彙重疊,並產生邏輯不一致的推理鏈。為解決此問題,我們提出ChartWalker,一個用於構建具挑戰性的跨圖表RAG任務的新穎框架。ChartWalker採用了專為圖表設計的層次化知識圖譜構建方法,按粒度組織實體與關係,以保留分析結構。接著,我們提出一種結構感知採樣演算法,能夠合成語義連貫的多跳推理路徑,從而實現對問答生成中查詢難度與粒度的明確控制。基於此框架,我們釋出了ChartWalker-Bench,這是一個涵蓋多樣領域與各類跨圖表查詢類型的全面基準測試。針對主要RAG範式的廣泛評估揭示了顯著的性能差距,凸顯了該基準測試的難度與實用性。此外,我們還提供了ChartWalker-Agent,作為一個智能體基線,以促進分析並啟發未來的系統設計。
在医学影像中,基于注意力的多实例学习聚合器容易出现注意力集中问题,导致预测过于自信且不稳定。我们提出 QG-MIL,一种门控变换器聚合器,通过四个协同架构组件解决这一问题:基于 RMSNorm 的预归一化、逐头 QK 归一化、细粒度注意力输出门控以及 SwiGLU 风格的前馈模块。这些设计选择共同稳定了训练过程,并在无需辅助损失、掩码或多阶段正则化的情况下,使注意力更均匀地分布于各实例。我们在涵盖全切片病理学与细胞级血液学的六个基准数据集上评估了 QG-MIL,这些数据集代表了两种根本不同的多实例学习尺度。性能最佳的 QG-MIL 变体在所有六个基准上均超越了领先基线方法,平均宏 F1 分数提升了 6.1 个点。注意力覆盖图与注意力质量分析证实了更分散的实例加权。消融研究表明,虽然单个组件在特定数据集上可与完整模型相媲美,但 QG-MIL 设计在所选基线方法中提供了最一致的跨领域性能和最紧凑的方差。我们发布了可配置的实现代码,以支持可复现性,详见:https://github.com/unica-visual-intelligence-lab/QG-MIL
多模態虛假信息檢測日益重要,因為病毒式貼文現在結合了長篇多語言敘述、多張圖片、混合來源,以及細微的文字-圖片框架錯誤。現有的基準評測和方法仍難以完全應對這一場景:它們通常僅限於短標題、單張圖片、二元標籤或單一操縱來源,而在真實情況下的證據搜索中,代理式驗證仍耗費高昂。我們提出ReMMD,一個針對多模態虛假信息檢測的真實多語言多圖片代理式驗證框架。ReMMD包含ReMMDBench,一個真實世界的多模態虛假信息檢測基準評測,涵蓋500個樣本、2,756張圖片、五種單語語言、兩種跨語言設定、三種文本長度級別、多圖片貼文、五類真實性標籤、八類扭曲標籤、證據來源及推理說明。它還包含ReMMD-Agent,一個具備持久記憶的驗證器,能將貼文分解為原子觀點,建立可重複使用的證據集,並預測結構化的L1/L2/L3輸出。在封閉源系統、開放式大型視覺語言模型、MMD-Agent與T2-Agent的比較中,ReMMD-Agent獲得了最佳的五類真實性分類表現,使用GPT-5.2時準確率達41.80%,宏觀F1值達39.12%,同時與MMD-Agent相比成本降低17.5%,與T2-Agent相比降低79.9%。該專案網址為 https://dang-ai.github.io/ReMMD。
在長時間跨度的機器人操控任務中,記憶依然是關鍵瓶頸,因為標準的視覺-語言-動作(VLA)策略往往在任務相關線索隨時間被遮蔽或無法觀察時失效。現有的記憶增強方法雖利用了歷史背景,但它們要麼遭受嚴重的資訊瓶頸,要麼透過分離式雙系統導致高延遲,或依賴無選擇性的緩衝區而累積大量視覺冗餘。為了解決這些限制,我們提出 EventVLA——一個基於「稀疏視覺證據記憶」概念的端到端框架,包含兩項核心組件:用於保留初始與短期情境的基礎視覺錨點,以及動態關鍵幀證據記憶(KEM)模組。具體而言,KEM 直接從 VLA 的潛在表徵中預測未來的關鍵幀機率,以自主捕捉並儲存稀疏且任務關鍵的視覺事件。這種前瞻驅動機制使策略能夠動態評估當前觀察的未來因果效用,在其變得不可觀察之前保留瞬態的視覺證據。此外,我們提出 RoboTwin-MeM,一個專門設計用於評估具互動視覺證據的非馬可夫操控任務的診斷基準。廣泛的實驗顯示,在 17 項需要記憶的模擬任務與 4 項真實世界的雙手任務中,EventVLA 相較於最先進的記憶增強 VLA 平均成功率提升了 40%。
通用價值模型在從大規模、混合品質數據中擴展機器人策略學習方面扮演著關鍵角色。從數學角度來看,精確的價值估計需要深度的時間理解,要求模型既能利用歷史脈絡來確立當前信念,又能規劃未來結果。然而,現有的機器人價值模型大多基於視覺語言模型(VLM)骨幹,這些模型主要針對靜態或時間稀疏的視覺觀測進行預訓練,缺乏價值估計所需的時序建模能力。與VLM不同,世界模型天生擅長時序建模與未來規劃,因此成為學習可泛化價值函數的理想基礎。基於此洞見,我們將世界模型與價值估計相結合,構建了一種新型的通用機器人價值模型——世界價值模型(WVM),該模型能提供準確的任務進展評估,以判斷數據品質。在標準基準測試中,WVM在價值序相關(VOC)指標上達到了當前最優(SOTA)結果。為補充僅包含專家數據的標準評估套件,我們進一步引入了次優價值基準(Suboptimal-Value-Bench),這是一個包含800條次優軌跡的多具身基準,並具備高保真度的人工標註幀級標記。評估結果顯示,WVM在次優價值基準上仍保持SOTA性能,證明了其在處理專家數據與次優數據時的穩健性。在應用於策略學習時,WVM在模擬環境與真實世界的部署中,均能提升多種策略提取方法在操作任務上的表現,為從混合品質數據中學習提供了穩健的指導。
多模態駕駛規劃長期以來面臨兩種範式之間的張力:基於評分的方法受益於密集的獎勵監督,但受限於固定的動作詞彙表;而基於錨點的方法雖能動態生成提議,卻因僅受限於單一真實軌跡而遭受稀疏監督之困。在本工作中,我們提出FlowR2A,通過將基於模擬的獎勵從判別式目標重構為生成式條件,從而化解此張力。藉由以流匹配解碼器從密集的軌跡-獎勵對中學習獎勵條件動作分佈,FlowR2A在單一生成模型中統一了基於評分方法的密集監督與基於錨點方法的提議生成,迫使模型內化動作與其在安全性、進展、舒適度及規則遵守方面結果之間的關聯。為平衡硬安全約束與軟進展目標,我們引入了細粒度的逐時間步獎勵條件化與獎勵噪聲增強。此生成式公式自然支持透過獎勵引導與錨點取樣進行受控的測試時取樣,從而產生高品質提議。FlowR2A在NAVSIM v1與v2基準中達到了最先進的成果,其多模態提議品質遠高於先前方法。
微电网在不确定性条件下的最优容量配置与功率调度问题在控制领域广为人知。通常,最优控制问题被建模为混合整数规划,以描述储能系统中出现的逻辑约束,并通过数值方法(例如场景法)近似求解。本文针对具有逻辑约束以及用户用电需求、太阳能发电量、电网电价及电池效率不确定性的鲁棒微电网容量配置与功率调度最优控制问题,提出并比较了两种建模形式。第一种形式采用二进制变量与大M约束,构成混合整数线性规划。第二种形式通过一种精确光滑的逻辑约束重构方法,将问题转化为连续非线性规划,其中包含额外的建模变量和非凸约束。随后,我们提出一种新颖的局部约简算法,对既有方法进行了扩展,以求解上述两种问题。通过基于10万样本蒙特卡洛仿真的解评估对两种形式进行了比较,二者均取得了令人满意的结果,平均可行率均超过90%。
視覺-語言-動作(VLA)模型能從示範中學習操作技能,但其能力受限於訓練資料中的技能範圍。我們提出 InSight 框架,透過使 VLA 在原始動作層級(例如「將夾爪移至碗邊」、「向上提起」、「傾倒瓶子」)具備可操控性,從而實現自主技能獲取。InSight 包含兩個主要階段:(1)自動化分割流程,透過 VLM 計畫分解與末端執行器位姿,將示範資料分割為帶標籤的原始動作,使 VLA 能操控這些原始動作;(2)VLM 引導的資料飛輪,用於辨識完成新任務所需的缺失原始動作,並以 VLM 提出的低階控制自主嘗試這些缺失原始動作的示範,再將成功的示範自動標記、儲存並整合至 VLA 訓練集。我們在模擬環境與真實世界操作任務(包括翻轉方塊、關閉抽屜、掃地、扭轉及傾倒)中評估 InSight,且這些目標技能皆未使用任何人類示範。一旦習得,這些原始動作可組合執行新穎的長時域任務,無需額外的人類示範。我們的研究結果顯示,原始動作的可操控性為 VLA 策略的持續技能獲取提供了實用基礎。專案網站:https://insight-vla.github.io。
稀疏體素表示已成為圖像到3D高斯潑濺(3DGS)生成的可擴展基礎,然而現有方法由於兩個結構性瓶頸,難以保留輸入圖像的高頻視覺細節。首先,這些方法採用針對語義抽象優化的判別式2D特徵來構建稀疏體素潛變量,壓抑了重建線索並引發表徵瓶頸。其次,在生成階段,標準擴散變壓器缺乏有效機制將密集2D圖像標記與稀疏3D體素潛變量對齊,導致跨模態對應瓶頸。為解決這些問題,我們提出FLUX3D——一個可擴展的圖像到3DGS框架,在生成過程中同時提升表徵學習與跨模態對齊。我們首先重新審視基於稀疏體素的3D表徵學習中的2D特徵選擇,提出擴散對齊結構化潛變量(DA-SLAT)並將其與僅解碼器架構結合,以提升3DGS重建保真度。我們還設計了一個稀疏結構感知擴散框架,整合稀疏結構多模態擴散變壓器(SMDiT)與模態感知旋轉位置嵌入(MARoPE),實現幾何無關的2D-3D對齊。廣泛的基準實驗表明,FLUX3D在外觀保真度上實現顯著改進,並在生成高品質3DGS資產方面全面優於所有最先進(SOTA)方法。
大型语言模型正越来越多地被部署为智能体,通过推理文档而非依赖参数知识来回答问题。我们研究的是基于档案的推理:在庞大而杂乱的工作文件集合中定位稀疏证据,协调不一致的术语、单位和时间惯例,并计算出答案。现有基准只覆盖了该场景的部分方面,没有一项能同时强调档案基础性、智能体探索以及跨领域覆盖。我们提出Agora基准,该基准将362个问题与八个领域的9,664份真实文档(共计3.72亿token)配对,规模远超任何模型的上下文窗口,因此智能体必须审慎探索而非穷尽扫描。Agora通过一条智能体流水线构建,该流水线结合了跨文档任务合成、防泄露混淆与难度过滤。在评估八个模型后,我们发现该任务远未解决:即使最强的模型也仅达到59.4%的准确率,且各领域间差异显著。
動態3D高斯潑濺在運動一致性與視覺保真度之間存在根本性的張力。基於變形的方法保留了時間對應關係,但卻因運動過度因子化而平滑了高頻動態;相對地,4D基元方法能捕捉精細視覺細節,卻因時間過度參數化而破壞物體身份,並導致嚴重的儲存開銷。為了解決此問題,我們提出Multi4D——一個基於多級競爭分配的高保真動態高斯潑濺框架。不同於單一表徵,我們將建模能力分散到三個結構化層級:靜態結構、持久動態幾何,以及瞬態外觀基元。透過共享光柵化與殘差驅動優化,這些層級動態競爭以解釋光度誤差,實現無需預先分配分解的自適應特化。此分配方式在保留長期運動一致性的同時,捕捉精細動態細節,並以顯著更少的動態基元達成最先進的渲染品質與即時性能。此外,由於我們的表徵會明確追蹤隨時間變化的緊湊持久高斯體,後續可嵌入語意特徵,使Multi4D在達到最先進4D分割準確度的同時,實現一個數量級的加速。專案頁面:https://batfacewayne.github.io/Multi4D.io/