La Modellazione del Mondo Migliora la Pianificazione: Ottimizzazione Duale delle Preferenze per la Pianificazione di Compiti Embodied
World Modeling Makes a Better Planner: Dual Preference Optimization for Embodied Task Planning
March 13, 2025
Autori: Siyin Wang, Zhaoye Fei, Qinyuan Cheng, Shiduo Zhang, Panpan Cai, Jinlan Fu, Xipeng Qiu
cs.AI
Abstract
I recenti progressi nei grandi modelli visione-linguaggio (LVLM) hanno mostrato promettenti risultati per la pianificazione di compiti embodied, ma continuano a incontrare sfide fondamentali come i vincoli di dipendenza e l'efficienza. Gli approcci esistenti si concentrano esclusivamente sull'ottimizzazione della selezione delle azioni o sfruttano modelli del mondo durante l'inferenza, trascurando i vantaggi dell'apprendimento per modellare il mondo come mezzo per migliorare le capacità di pianificazione. Proponiamo Dual Preference Optimization (D^2PO), un nuovo framework di apprendimento che ottimizza congiuntamente la previsione dello stato e la selezione delle azioni attraverso l'apprendimento delle preferenze, consentendo ai LVLM di comprendere le dinamiche dell'ambiente per una migliore pianificazione. Per raccogliere automaticamente traiettorie e dati di preferenza passo-passo senza annotazioni umane, introduciamo un meccanismo di ricerca ad albero per un'esplorazione estensiva tramite tentativi ed errori. Esperimenti estesi su VoTa-Bench dimostrano che il nostro metodo basato su D^2PO supera significativamente i metodi esistenti e GPT-4o quando applicato a Qwen2-VL (7B), LLaVA-1.6 (7B) e LLaMA-3.2 (11B), raggiungendo tassi di successo superiori nei compiti con percorsi di esecuzione più efficienti.
English
Recent advances in large vision-language models (LVLMs) have shown promise
for embodied task planning, yet they struggle with fundamental challenges like
dependency constraints and efficiency. Existing approaches either solely
optimize action selection or leverage world models during inference,
overlooking the benefits of learning to model the world as a way to enhance
planning capabilities. We propose Dual Preference Optimization (D^2PO), a new
learning framework that jointly optimizes state prediction and action selection
through preference learning, enabling LVLMs to understand environment dynamics
for better planning. To automatically collect trajectories and stepwise
preference data without human annotation, we introduce a tree search mechanism
for extensive exploration via trial-and-error. Extensive experiments on
VoTa-Bench demonstrate that our D^2PO-based method significantly outperforms
existing methods and GPT-4o when applied to Qwen2-VL (7B), LLaVA-1.6 (7B), and
LLaMA-3.2 (11B), achieving superior task success rates with more efficient
execution paths.