RynnEC : Intégrer les MLLM dans le monde incarné

papers.abstract

Nous présentons RynnEC, un modèle de langage multimodal vidéo conçu pour la cognition incarnée. Construit sur un modèle de base vision-langage à usage général, RynnEC intègre un encodeur de région et un décodeur de masque, permettant une interaction flexible au niveau régional des vidéos. Malgré son architecture compacte, RynnEC atteint des performances de pointe dans la compréhension des propriétés des objets, la segmentation des objets et le raisonnement spatial. Conceptuellement, il propose un paradigme vidéo centré sur les régions pour le cerveau des agents incarnés, offrant une perception fine du monde physique et permettant des interactions plus précises. Pour pallier la rareté des ensembles de données 3D annotés, nous proposons un pipeline basé sur des vidéos égocentriques pour générer des données de cognition incarnée. De plus, nous introduisons RynnEC-Bench, un benchmark centré sur les régions pour évaluer les capacités cognitives incarnées. Nous anticipons que RynnEC fera progresser le développement de cœurs cognitifs à usage général pour les agents incarnés et facilitera la généralisation à travers diverses tâches incarnées. Le code, les points de contrôle du modèle et le benchmark sont disponibles à l'adresse suivante : https://github.com/alibaba-damo-academy/RynnEC

English

We introduce RynnEC, a video multimodal large language model designed for embodied cognition. Built upon a general-purpose vision-language foundation model, RynnEC incorporates a region encoder and a mask decoder, enabling flexible region-level video interaction. Despite its compact architecture, RynnEC achieves state-of-the-art performance in object property understanding, object segmentation, and spatial reasoning. Conceptually, it offers a region-centric video paradigm for the brain of embodied agents, providing fine-grained perception of the physical world and enabling more precise interactions. To mitigate the scarcity of annotated 3D datasets, we propose an egocentric video based pipeline for generating embodied cognition data. Furthermore, we introduce RynnEC-Bench, a region-centered benchmark for evaluating embodied cognitive capabilities. We anticipate that RynnEC will advance the development of general-purpose cognitive cores for embodied agents and facilitate generalization across diverse embodied tasks. The code, model checkpoints, and benchmark are available at: https://github.com/alibaba-damo-academy/RynnEC

RynnEC : Intégrer les MLLM dans le monde incarné

RynnEC: Bringing MLLMs into Embodied World

papers.abstract

Support