Weltmodellierung schafft bessere Planung: Duale Präferenzoptimierung für verkörperte Aufgabenplanung

World Modeling Makes a Better Planner: Dual Preference Optimization for Embodied Task Planning

March 13, 2025

Autoren: Siyin Wang, Zhaoye Fei, Qinyuan Cheng, Shiduo Zhang, Panpan Cai, Jinlan Fu, Xipeng Qiu

cs.AI

Zusammenfassung

Jüngste Fortschritte bei großen visuell-sprachlichen Modellen (LVLMs) haben vielversprechende Ansätze für die Planung von verkörperten Aufgaben gezeigt, doch sie kämpfen mit grundlegenden Herausforderungen wie Abhängigkeitsbeschränkungen und Effizienz. Bestehende Ansätze optimieren entweder ausschließlich die Aktionsauswahl oder nutzen Weltmodelle während der Inferenz, ohne die Vorteile des Lernens, die Welt zu modellieren, als Mittel zur Verbesserung der Planungsfähigkeiten zu berücksichtigen. Wir schlagen Dual Preference Optimization (D^2PO) vor, ein neues Lernframework, das die Zustandsprädiktion und die Aktionsauswahl gemeinsam durch Präferenzlernen optimiert und es LVLMs ermöglicht, die Dynamik der Umgebung für eine bessere Planung zu verstehen. Um automatisch Trajektorien und schrittweise Präferenzdaten ohne menschliche Annotation zu sammeln, führen wir einen Baum-Suchmechanismus für umfangreiche Exploration durch Versuch und Irrtum ein. Umfangreiche Experimente auf VoTa-Bench zeigen, dass unsere auf D^2PO basierende Methode bestehende Ansätze und GPT-4o bei der Anwendung auf Qwen2-VL (7B), LLaVA-1.6 (7B) und LLaMA-3.2 (11B) deutlich übertrifft und dabei überlegene Aufgaben-Erfolgsraten mit effizienteren Ausführungspfaden erreicht.

English

Recent advances in large vision-language models (LVLMs) have shown promise for embodied task planning, yet they struggle with fundamental challenges like dependency constraints and efficiency. Existing approaches either solely optimize action selection or leverage world models during inference, overlooking the benefits of learning to model the world as a way to enhance planning capabilities. We propose Dual Preference Optimization (D^2PO), a new learning framework that jointly optimizes state prediction and action selection through preference learning, enabling LVLMs to understand environment dynamics for better planning. To automatically collect trajectories and stepwise preference data without human annotation, we introduce a tree search mechanism for extensive exploration via trial-and-error. Extensive experiments on VoTa-Bench demonstrate that our D^2PO-based method significantly outperforms existing methods and GPT-4o when applied to Qwen2-VL (7B), LLaVA-1.6 (7B), and LLaMA-3.2 (11B), achieving superior task success rates with more efficient execution paths.