RynnEC: Integration von MLLMs in die verkörperte Welt

papers.abstract

Wir stellen RynnEC vor, ein multimodales großes Sprachmodell für Videos, das für verkörperte Kognition entwickelt wurde. Basierend auf einem allgemeinen Vision-Sprache-Grundlagenmodell integriert RynnEC einen Regionen-Encoder und einen Masken-Decoder, was eine flexible regionenbasierte Videointeraktion ermöglicht. Trotz seiner kompakten Architektur erreicht RynnEC Spitzenleistungen in den Bereichen Objekteigenschaftsverständnis, Objektsegmentierung und räumlichem Denken. Konzeptionell bietet es ein regionenzentriertes Videoparadigma für das Gehirn verkörperter Agenten, das eine fein abgestufte Wahrnehmung der physischen Welt ermöglicht und präzisere Interaktionen unterstützt. Um den Mangel an annotierten 3D-Datensätzen zu beheben, schlagen wir eine Pipeline zur Generierung von Daten für verkörperte Kognition auf Basis von egozentrischen Videos vor. Darüber hinaus führen wir RynnEC-Bench ein, einen regionenzentrierten Benchmark zur Bewertung verkörperter kognitiver Fähigkeiten. Wir gehen davon aus, dass RynnEC die Entwicklung allgemeiner kognitiver Kerne für verkörperte Agenten vorantreiben und die Generalisierung über verschiedene verkörperte Aufgaben hinweg erleichtern wird. Der Code, die Modell-Checkpoints und der Benchmark sind verfügbar unter: https://github.com/alibaba-damo-academy/RynnEC

English

We introduce RynnEC, a video multimodal large language model designed for embodied cognition. Built upon a general-purpose vision-language foundation model, RynnEC incorporates a region encoder and a mask decoder, enabling flexible region-level video interaction. Despite its compact architecture, RynnEC achieves state-of-the-art performance in object property understanding, object segmentation, and spatial reasoning. Conceptually, it offers a region-centric video paradigm for the brain of embodied agents, providing fine-grained perception of the physical world and enabling more precise interactions. To mitigate the scarcity of annotated 3D datasets, we propose an egocentric video based pipeline for generating embodied cognition data. Furthermore, we introduce RynnEC-Bench, a region-centered benchmark for evaluating embodied cognitive capabilities. We anticipate that RynnEC will advance the development of general-purpose cognitive cores for embodied agents and facilitate generalization across diverse embodied tasks. The code, model checkpoints, and benchmark are available at: https://github.com/alibaba-damo-academy/RynnEC

RynnEC: Integration von MLLMs in die verkörperte Welt

RynnEC: Bringing MLLMs into Embodied World

papers.abstract

Support