El Modelado del Mundo Hace Mejores Planificadores: Optimización Dual de Preferencias para la Planificación de Tareas Embebidas

World Modeling Makes a Better Planner: Dual Preference Optimization for Embodied Task Planning

March 13, 2025

Autores: Siyin Wang, Zhaoye Fei, Qinyuan Cheng, Shiduo Zhang, Panpan Cai, Jinlan Fu, Xipeng Qiu

cs.AI

Resumen

Los recientes avances en los grandes modelos de visión y lenguaje (LVLMs, por sus siglas en inglés) han mostrado potencial para la planificación de tareas en entornos físicos, aunque aún enfrentan desafíos fundamentales como las restricciones de dependencia y la eficiencia. Los enfoques existentes se centran únicamente en optimizar la selección de acciones o aprovechan modelos del mundo durante la inferencia, pasando por alto los beneficios de aprender a modelar el mundo como una forma de mejorar las capacidades de planificación. Proponemos la Optimización Dual de Preferencias (D^2PO), un nuevo marco de aprendizaje que optimiza conjuntamente la predicción de estados y la selección de acciones mediante el aprendizaje de preferencias, permitiendo que los LVLMs comprendan la dinámica del entorno para una mejor planificación. Para recopilar automáticamente trayectorias y datos de preferencias paso a paso sin anotación humana, introducimos un mecanismo de búsqueda en árbol que permite una exploración extensiva mediante prueba y error. Experimentos exhaustivos en VoTa-Bench demuestran que nuestro método basado en D^2PO supera significativamente a los métodos existentes y a GPT-4o cuando se aplica a Qwen2-VL (7B), LLaVA-1.6 (7B) y LLaMA-3.2 (11B), logrando tasas de éxito en tareas superiores con rutas de ejecución más eficientes.

English

Recent advances in large vision-language models (LVLMs) have shown promise for embodied task planning, yet they struggle with fundamental challenges like dependency constraints and efficiency. Existing approaches either solely optimize action selection or leverage world models during inference, overlooking the benefits of learning to model the world as a way to enhance planning capabilities. We propose Dual Preference Optimization (D^2PO), a new learning framework that jointly optimizes state prediction and action selection through preference learning, enabling LVLMs to understand environment dynamics for better planning. To automatically collect trajectories and stepwise preference data without human annotation, we introduce a tree search mechanism for extensive exploration via trial-and-error. Extensive experiments on VoTa-Bench demonstrate that our D^2PO-based method significantly outperforms existing methods and GPT-4o when applied to Qwen2-VL (7B), LLaVA-1.6 (7B), and LLaMA-3.2 (11B), achieving superior task success rates with more efficient execution paths.