RynnEC: Integrando MLLMs en el mundo de la robótica embebida

Resumen

Presentamos RynnEC, un modelo de lenguaje multimodal de video diseñado para la cognición corporeizada. Construido sobre un modelo base de visión-lenguaje de propósito general, RynnEC incorpora un codificador de regiones y un decodificador de máscaras, permitiendo una interacción flexible a nivel de región en videos. A pesar de su arquitectura compacta, RynnEC logra un rendimiento de vanguardia en la comprensión de propiedades de objetos, segmentación de objetos y razonamiento espacial. Conceptualemente, ofrece un paradigma de video centrado en regiones para el cerebro de agentes corporeizados, proporcionando una percepción detallada del mundo físico y permitiendo interacciones más precisas. Para mitigar la escasez de conjuntos de datos 3D anotados, proponemos un pipeline basado en video egocéntrico para generar datos de cognición corporeizada. Además, presentamos RynnEC-Bench, un punto de referencia centrado en regiones para evaluar capacidades cognitivas corporeizadas. Anticipamos que RynnEC impulsará el desarrollo de núcleos cognitivos de propósito general para agentes corporeizados y facilitará la generalización en diversas tareas corporeizadas. El código, puntos de control del modelo y el punto de referencia están disponibles en: https://github.com/alibaba-damo-academy/RynnEC

English

We introduce RynnEC, a video multimodal large language model designed for embodied cognition. Built upon a general-purpose vision-language foundation model, RynnEC incorporates a region encoder and a mask decoder, enabling flexible region-level video interaction. Despite its compact architecture, RynnEC achieves state-of-the-art performance in object property understanding, object segmentation, and spatial reasoning. Conceptually, it offers a region-centric video paradigm for the brain of embodied agents, providing fine-grained perception of the physical world and enabling more precise interactions. To mitigate the scarcity of annotated 3D datasets, we propose an egocentric video based pipeline for generating embodied cognition data. Furthermore, we introduce RynnEC-Bench, a region-centered benchmark for evaluating embodied cognitive capabilities. We anticipate that RynnEC will advance the development of general-purpose cognitive cores for embodied agents and facilitate generalization across diverse embodied tasks. The code, model checkpoints, and benchmark are available at: https://github.com/alibaba-damo-academy/RynnEC

RynnEC: Integrando MLLMs en el mundo de la robótica embebida

RynnEC: Bringing MLLMs into Embodied World

Resumen

Support