MLLM como Recuperador: Aprendizaje Interactivo de Recuperación Multimodal para Agentes Encarnados

MLLM as Retriever: Interactively Learning Multimodal Retrieval for Embodied Agents

October 4, 2024

Autores: Junpeng Yue, Xinru Xu, Börje F. Karlsson, Zongqing Lu

cs.AI

Resumen

Los agentes MLLM demuestran potencial para tareas corporales complejas al recuperar datos de trayectorias multimodales relevantes para la tarea. Sin embargo, los métodos actuales de recuperación se centran principalmente en similitudes a nivel superficial de pistas textuales o visuales en las trayectorias, descuidando su efectividad para la tarea específica en cuestión. Para abordar este problema, proponemos un método novedoso, MLLM como Recuperador (MART), que mejora el rendimiento de los agentes corporales al utilizar datos de interacción para ajustar finamente un recuperador MLLM basado en el aprendizaje de preferencias, de modo que el recuperador considere completamente la efectividad de las trayectorias y las priorice para tareas no vistas. También introducimos la Abstracción de Trayectoria, un mecanismo que aprovecha las capacidades de resumen de los MLLM para representar trayectorias con menos tokens mientras se preserva la información clave, lo que permite a los agentes comprender mejor hitos en la trayectoria. Los resultados experimentales en varios entornos demuestran que nuestro método mejora significativamente las tasas de éxito en tareas en escenas no vistas en comparación con los métodos de referencia. Este trabajo presenta un nuevo paradigma para la recuperación multimodal en agentes corporales, ajustando finamente un MLLM de propósito general como el recuperador para evaluar la efectividad de la trayectoria. Se publicarán todos los conjuntos de tareas de referencia y modificaciones de código del simulador para espacios de acción y observación.

English

MLLM agents demonstrate potential for complex embodied tasks by retrieving multimodal task-relevant trajectory data. However, current retrieval methods primarily focus on surface-level similarities of textual or visual cues in trajectories, neglecting their effectiveness for the specific task at hand. To address this issue, we propose a novel method, MLLM as ReTriever (MART), which enhances the performance of embodied agents by utilizing interaction data to fine-tune an MLLM retriever based on preference learning, such that the retriever fully considers the effectiveness of trajectories and prioritize them for unseen tasks. We also introduce Trajectory Abstraction, a mechanism that leverages MLLMs' summarization capabilities to represent trajectories with fewer tokens while preserving key information, enabling agents to better comprehend milestones in the trajectory. Experimental results across various environments demonstrate our method significantly improves task success rates in unseen scenes compared to baseline methods. This work presents a new paradigm for multimodal retrieval in embodied agents, by fine-tuning a general-purpose MLLM as the retriever to assess trajectory effectiveness. All benchmark task sets and simulator code modifications for action and observation spaces will be released.