Моделирование мира делает планировщик лучше: двойная оптимизация предпочтений для планирования задач в физическом окружении

World Modeling Makes a Better Planner: Dual Preference Optimization for Embodied Task Planning

March 13, 2025

Авторы: Siyin Wang, Zhaoye Fei, Qinyuan Cheng, Shiduo Zhang, Panpan Cai, Jinlan Fu, Xipeng Qiu

cs.AI

Аннотация

Последние достижения в области крупных визуально-языковых моделей (LVLMs) демонстрируют потенциал для планирования задач в физическом мире, однако они сталкиваются с фундаментальными проблемами, такими как ограничения зависимостей и эффективность. Существующие подходы либо оптимизируют только выбор действий, либо используют мировые модели на этапе вывода, упуская преимущества обучения моделированию мира как способа улучшения планирования. Мы предлагаем Dual Preference Optimization (D^2PO) — новую обучающую структуру, которая совместно оптимизирует предсказание состояний и выбор действий через обучение на основе предпочтений, позволяя LVLMs понимать динамику окружения для более эффективного планирования. Для автоматического сбора траекторий и пошаговых данных о предпочтениях без участия человека мы вводим механизм поиска по дереву для масштабного исследования методом проб и ошибок. Эксперименты на VoTa-Bench показывают, что наш метод на основе D^2PO значительно превосходит существующие подходы и GPT-4o при применении к моделям Qwen2-VL (7B), LLaVA-1.6 (7B) и LLaMA-3.2 (11B), достигая более высоких показателей успешности выполнения задач с более эффективными путями исполнения.

English

Recent advances in large vision-language models (LVLMs) have shown promise for embodied task planning, yet they struggle with fundamental challenges like dependency constraints and efficiency. Existing approaches either solely optimize action selection or leverage world models during inference, overlooking the benefits of learning to model the world as a way to enhance planning capabilities. We propose Dual Preference Optimization (D^2PO), a new learning framework that jointly optimizes state prediction and action selection through preference learning, enabling LVLMs to understand environment dynamics for better planning. To automatically collect trajectories and stepwise preference data without human annotation, we introduce a tree search mechanism for extensive exploration via trial-and-error. Extensive experiments on VoTa-Bench demonstrate that our D^2PO-based method significantly outperforms existing methods and GPT-4o when applied to Qwen2-VL (7B), LLaVA-1.6 (7B), and LLaMA-3.2 (11B), achieving superior task success rates with more efficient execution paths.