Modelagem de Mundo Torna um Planejador Melhor: Otimização de Preferência Dupla para Planejamento de Tarefas Embarcadas

World Modeling Makes a Better Planner: Dual Preference Optimization for Embodied Task Planning

March 13, 2025

Autores: Siyin Wang, Zhaoye Fei, Qinyuan Cheng, Shiduo Zhang, Panpan Cai, Jinlan Fu, Xipeng Qiu

cs.AI

Resumo

Avanços recentes em grandes modelos de visão e linguagem (LVLMs) têm mostrado potencial para o planejamento de tarefas corporificadas, mas eles ainda enfrentam desafios fundamentais, como restrições de dependência e eficiência. As abordagens existentes ou otimizam apenas a seleção de ações ou utilizam modelos do mundo durante a inferência, negligenciando os benefícios de aprender a modelar o mundo como uma forma de aprimorar as capacidades de planejamento. Propomos a Otimização Dual de Preferências (D^2PO), uma nova estrutura de aprendizado que otimiza conjuntamente a previsão de estados e a seleção de ações por meio de aprendizado de preferências, permitindo que os LVLMs compreendam a dinâmica do ambiente para um planejamento mais eficaz. Para coletar automaticamente trajetórias e dados de preferências passo a passo sem anotação humana, introduzimos um mecanismo de busca em árvore para exploração extensiva por meio de tentativa e erro. Experimentos extensivos no VoTa-Bench demonstram que nosso método baseado em D^2PO supera significativamente os métodos existentes e o GPT-4o quando aplicado ao Qwen2-VL (7B), LLaVA-1.6 (7B) e LLaMA-3.2 (11B), alcançando taxas de sucesso de tarefas superiores com caminhos de execução mais eficientes.

English

Recent advances in large vision-language models (LVLMs) have shown promise for embodied task planning, yet they struggle with fundamental challenges like dependency constraints and efficiency. Existing approaches either solely optimize action selection or leverage world models during inference, overlooking the benefits of learning to model the world as a way to enhance planning capabilities. We propose Dual Preference Optimization (D^2PO), a new learning framework that jointly optimizes state prediction and action selection through preference learning, enabling LVLMs to understand environment dynamics for better planning. To automatically collect trajectories and stepwise preference data without human annotation, we introduce a tree search mechanism for extensive exploration via trial-and-error. Extensive experiments on VoTa-Bench demonstrate that our D^2PO-based method significantly outperforms existing methods and GPT-4o when applied to Qwen2-VL (7B), LLaVA-1.6 (7B), and LLaMA-3.2 (11B), achieving superior task success rates with more efficient execution paths.