EmbodiedEval: Avaliar Modelos de Linguagem Multimodais como Agentes Incorporados

EmbodiedEval: Evaluate Multimodal LLMs as Embodied Agents

January 21, 2025

Autores: Zhili Cheng, Yuge Tu, Ran Li, Shiqi Dai, Jinyi Hu, Shengding Hu, Jiahao Li, Yang Shi, Tianyu Yu, Weize Chen, Lei Shi, Maosong Sun

cs.AI

Resumo

Os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) têm demonstrado avanços significativos, oferecendo um futuro promissor para agentes incorporados. Os benchmarks existentes para avaliar MLLMs utilizam principalmente imagens estáticas ou vídeos, limitando as avaliações a cenários não interativos. Enquanto isso, os benchmarks de IA incorporada existentes são específicos de tarefas e não são suficientemente diversos, o que não avalia adequadamente as capacidades incorporadas dos MLLMs. Para lidar com isso, propomos o EmbodiedEval, um benchmark abrangente e interativo de avaliação para MLLMs com tarefas incorporadas. O EmbodiedEval apresenta 328 tarefas distintas em 125 cenas 3D variadas, cada uma rigorosamente selecionada e anotada. Ele abrange um amplo espectro de tarefas de IA incorporada existentes com diversidade significativamente aprimorada, tudo dentro de um framework unificado de simulação e avaliação adaptado para MLLMs. As tarefas são organizadas em cinco categorias: navegação, interação com objetos, interação social, resposta a perguntas de atributos e resposta a perguntas espaciais para avaliar diferentes capacidades dos agentes. Avaliamos os MLLMs de ponta no EmbodiedEval e descobrimos que eles têm uma deficiência significativa em comparação com o nível humano em tarefas incorporadas. Nossa análise demonstra as limitações dos MLLMs existentes em capacidades incorporadas, fornecendo insights para o desenvolvimento futuro. Disponibilizamos todos os dados de avaliação e o framework de simulação em código aberto em https://github.com/thunlp/EmbodiedEval.

English

Multimodal Large Language Models (MLLMs) have shown significant advancements, providing a promising future for embodied agents. Existing benchmarks for evaluating MLLMs primarily utilize static images or videos, limiting assessments to non-interactive scenarios. Meanwhile, existing embodied AI benchmarks are task-specific and not diverse enough, which do not adequately evaluate the embodied capabilities of MLLMs. To address this, we propose EmbodiedEval, a comprehensive and interactive evaluation benchmark for MLLMs with embodied tasks. EmbodiedEval features 328 distinct tasks within 125 varied 3D scenes, each of which is rigorously selected and annotated. It covers a broad spectrum of existing embodied AI tasks with significantly enhanced diversity, all within a unified simulation and evaluation framework tailored for MLLMs. The tasks are organized into five categories: navigation, object interaction, social interaction, attribute question answering, and spatial question answering to assess different capabilities of the agents. We evaluated the state-of-the-art MLLMs on EmbodiedEval and found that they have a significant shortfall compared to human level on embodied tasks. Our analysis demonstrates the limitations of existing MLLMs in embodied capabilities, providing insights for their future development. We open-source all evaluation data and simulation framework at https://github.com/thunlp/EmbodiedEval.