MLLM como Recuperador: Aprendizado Interativo de Recuperação Multimodal para Agentes Incorporados

MLLM as Retriever: Interactively Learning Multimodal Retrieval for Embodied Agents

October 4, 2024

Autores: Junpeng Yue, Xinru Xu, Börje F. Karlsson, Zongqing Lu

cs.AI

Resumo

Agentes MLLM demonstram potencial para tarefas corporificadas complexas ao recuperar dados de trajetória multimodais relevantes para a tarefa. No entanto, os métodos de recuperação atuais focam principalmente em similaridades de nível superficial de pistas textuais ou visuais em trajetórias, negligenciando sua eficácia para a tarefa específica em questão. Para abordar esse problema, propomos um método inovador, MLLM como Recuperador (MART), que aprimora o desempenho de agentes corporificados ao utilizar dados de interação para ajustar um recuperador MLLM com base em aprendizado de preferência, de modo que o recuperador considere totalmente a eficácia das trajetórias e as priorize para tarefas não vistas. Também introduzimos Abstração de Trajetória, um mecanismo que aproveita as capacidades de sumarização dos MLLMs para representar trajetórias com menos tokens, preservando informações-chave, permitindo que os agentes compreendam melhor marcos na trajetória. Resultados experimentais em diversos ambientes demonstram que nosso método melhora significativamente as taxas de sucesso da tarefa em cenas não vistas em comparação com métodos de referência. Este trabalho apresenta um novo paradigma para recuperação multimodal em agentes corporificados, ajustando um MLLM de propósito geral como o recuperador para avaliar a eficácia da trajetória. Todos os conjuntos de tarefas de referência e modificações de código do simulador para espaços de ação e observação serão disponibilizados.

English

MLLM agents demonstrate potential for complex embodied tasks by retrieving multimodal task-relevant trajectory data. However, current retrieval methods primarily focus on surface-level similarities of textual or visual cues in trajectories, neglecting their effectiveness for the specific task at hand. To address this issue, we propose a novel method, MLLM as ReTriever (MART), which enhances the performance of embodied agents by utilizing interaction data to fine-tune an MLLM retriever based on preference learning, such that the retriever fully considers the effectiveness of trajectories and prioritize them for unseen tasks. We also introduce Trajectory Abstraction, a mechanism that leverages MLLMs' summarization capabilities to represent trajectories with fewer tokens while preserving key information, enabling agents to better comprehend milestones in the trajectory. Experimental results across various environments demonstrate our method significantly improves task success rates in unseen scenes compared to baseline methods. This work presents a new paradigm for multimodal retrieval in embodied agents, by fine-tuning a general-purpose MLLM as the retriever to assess trajectory effectiveness. All benchmark task sets and simulator code modifications for action and observation spaces will be released.