Wereldmodellering Maakt een Betere Planner: Dubbele Voorkeursoptimalisatie voor Belichaamde Taakplanning

World Modeling Makes a Better Planner: Dual Preference Optimization for Embodied Task Planning

March 13, 2025

Auteurs: Siyin Wang, Zhaoye Fei, Qinyuan Cheng, Shiduo Zhang, Panpan Cai, Jinlan Fu, Xipeng Qiu

cs.AI

Samenvatting

Recente vooruitgang in grote visueel-taalmodelen (LVLMs) heeft potentie getoond voor belichaamde taakplanning, maar ze worstelen nog steeds met fundamentele uitdagingen zoals afhankelijkheidsbeperkingen en efficiëntie. Bestaande benaderingen optimaliseren ofwel alleen actieselectie of maken gebruik van wereldmodellen tijdens inferentie, waarbij de voordelen van het leren modelleren van de wereld om planningscapaciteiten te verbeteren over het hoofd worden gezien. Wij stellen Dual Preference Optimization (D^2PO) voor, een nieuw leerframework dat gezamenlijk staatspredictie en actieselectie optimaliseert via voorkeursleren, waardoor LVLMs omgevingsdynamiek kunnen begrijpen voor betere planning. Om automatisch trajecten en stapsgewijze voorkeursdata te verzamelen zonder menselijke annotatie, introduceren we een boomzoekmechanisme voor uitgebreide exploratie via trial-and-error. Uitgebreide experimenten op VoTa-Bench laten zien dat onze D^2PO-gebaseerde methode aanzienlijk beter presteert dan bestaande methoden en GPT-4o wanneer toegepast op Qwen2-VL (7B), LLaVA-1.6 (7B) en LLaMA-3.2 (11B), met superieure taaksuccespercentages en efficiëntere uitvoeringspaden.

English

Recent advances in large vision-language models (LVLMs) have shown promise for embodied task planning, yet they struggle with fundamental challenges like dependency constraints and efficiency. Existing approaches either solely optimize action selection or leverage world models during inference, overlooking the benefits of learning to model the world as a way to enhance planning capabilities. We propose Dual Preference Optimization (D^2PO), a new learning framework that jointly optimizes state prediction and action selection through preference learning, enabling LVLMs to understand environment dynamics for better planning. To automatically collect trajectories and stepwise preference data without human annotation, we introduce a tree search mechanism for extensive exploration via trial-and-error. Extensive experiments on VoTa-Bench demonstrate that our D^2PO-based method significantly outperforms existing methods and GPT-4o when applied to Qwen2-VL (7B), LLaVA-1.6 (7B), and LLaMA-3.2 (11B), achieving superior task success rates with more efficient execution paths.