EmbodiedEval: Evaluar LLMs Multimodales como Agentes Incorporados

EmbodiedEval: Evaluate Multimodal LLMs as Embodied Agents

January 21, 2025

Autores: Zhili Cheng, Yuge Tu, Ran Li, Shiqi Dai, Jinyi Hu, Shengding Hu, Jiahao Li, Yang Shi, Tianyu Yu, Weize Chen, Lei Shi, Maosong Sun

cs.AI

Resumen

Los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs) han demostrado avances significativos, ofreciendo un futuro prometedor para agentes incorporados. Los benchmarks existentes para evaluar MLLMs utilizan principalmente imágenes estáticas o videos, limitando las evaluaciones a escenarios no interactivos. Mientras tanto, los benchmarks de IA incorporada existentes son específicos de tareas y no lo suficientemente diversos, lo que no evalúa adecuadamente las capacidades incorporadas de los MLLMs. Para abordar esto, proponemos EmbodiedEval, un benchmark de evaluación integral e interactivo para MLLMs con tareas incorporadas. EmbodiedEval presenta 328 tareas distintas dentro de 125 escenas 3D variadas, cada una de las cuales está seleccionada y anotada rigurosamente. Cubre un amplio espectro de tareas de IA incorporada existentes con una diversidad significativamente mejorada, todo dentro de un marco de simulación y evaluación unificado adaptado para MLLMs. Las tareas se organizan en cinco categorías: navegación, interacción con objetos, interacción social, respuesta a preguntas de atributos y respuesta a preguntas espaciales para evaluar diferentes capacidades de los agentes. Evaluamos los MLLMs de última generación en EmbodiedEval y encontramos que tienen una deficiencia significativa en comparación con el nivel humano en tareas incorporadas. Nuestro análisis demuestra las limitaciones de los MLLMs existentes en capacidades incorporadas, proporcionando ideas para su desarrollo futuro. Ponemos a disposición todos los datos de evaluación y el marco de simulación en código abierto en https://github.com/thunlp/EmbodiedEval.

English

Multimodal Large Language Models (MLLMs) have shown significant advancements, providing a promising future for embodied agents. Existing benchmarks for evaluating MLLMs primarily utilize static images or videos, limiting assessments to non-interactive scenarios. Meanwhile, existing embodied AI benchmarks are task-specific and not diverse enough, which do not adequately evaluate the embodied capabilities of MLLMs. To address this, we propose EmbodiedEval, a comprehensive and interactive evaluation benchmark for MLLMs with embodied tasks. EmbodiedEval features 328 distinct tasks within 125 varied 3D scenes, each of which is rigorously selected and annotated. It covers a broad spectrum of existing embodied AI tasks with significantly enhanced diversity, all within a unified simulation and evaluation framework tailored for MLLMs. The tasks are organized into five categories: navigation, object interaction, social interaction, attribute question answering, and spatial question answering to assess different capabilities of the agents. We evaluated the state-of-the-art MLLMs on EmbodiedEval and found that they have a significant shortfall compared to human level on embodied tasks. Our analysis demonstrates the limitations of existing MLLMs in embodied capabilities, providing insights for their future development. We open-source all evaluation data and simulation framework at https://github.com/thunlp/EmbodiedEval.