La modélisation du monde améliore la planification : optimisation duale des préférences pour la planification de tâches en robotique embarquée

World Modeling Makes a Better Planner: Dual Preference Optimization for Embodied Task Planning

March 13, 2025

Auteurs: Siyin Wang, Zhaoye Fei, Qinyuan Cheng, Shiduo Zhang, Panpan Cai, Jinlan Fu, Xipeng Qiu

cs.AI

Résumé

Les récents progrès des grands modèles vision-langage (LVLMs) ont montré des perspectives prometteuses pour la planification de tâches incarnées, mais ils peinent à surmonter des défis fondamentaux tels que les contraintes de dépendance et l'efficacité. Les approches existantes se concentrent soit uniquement sur l'optimisation de la sélection d'actions, soit sur l'utilisation de modèles du monde lors de l'inférence, négligeant les avantages de l'apprentissage pour modéliser le monde afin d'améliorer les capacités de planification. Nous proposons l'Optimisation Duale des Préférences (D^2PO), un nouveau cadre d'apprentissage qui optimise conjointement la prédiction d'état et la sélection d'actions grâce à l'apprentissage par préférences, permettant aux LVLMs de comprendre la dynamique de l'environnement pour une meilleure planification. Pour collecter automatiquement des trajectoires et des données de préférences étape par étape sans annotation humaine, nous introduisons un mécanisme de recherche arborescente pour une exploration approfondie par essais et erreurs. Des expériences approfondies sur VoTa-Bench démontrent que notre méthode basée sur D^2PO surpasse significativement les méthodes existantes et GPT-4o lorsqu'elle est appliquée à Qwen2-VL (7B), LLaVA-1.6 (7B) et LLaMA-3.2 (11B), atteignant des taux de réussite de tâches supérieurs avec des chemins d'exécution plus efficaces.

English

Recent advances in large vision-language models (LVLMs) have shown promise for embodied task planning, yet they struggle with fundamental challenges like dependency constraints and efficiency. Existing approaches either solely optimize action selection or leverage world models during inference, overlooking the benefits of learning to model the world as a way to enhance planning capabilities. We propose Dual Preference Optimization (D^2PO), a new learning framework that jointly optimizes state prediction and action selection through preference learning, enabling LVLMs to understand environment dynamics for better planning. To automatically collect trajectories and stepwise preference data without human annotation, we introduce a tree search mechanism for extensive exploration via trial-and-error. Extensive experiments on VoTa-Bench demonstrate that our D^2PO-based method significantly outperforms existing methods and GPT-4o when applied to Qwen2-VL (7B), LLaVA-1.6 (7B), and LLaMA-3.2 (11B), achieving superior task success rates with more efficient execution paths.