Cosmos-Reason1: Van Fysiek Gezond Verstand Naar Belichaamd Redeneren

Cosmos-Reason1: From Physical Common Sense To Embodied Reasoning

March 18, 2025

Auteurs: NVIDIA, Alisson Azzolini, Hannah Brandon, Prithvijit Chattopadhyay, Huayu Chen, Jinju Chu, Yin Cui, Jenna Diamond, Yifan Ding, Francesco Ferroni, Rama Govindaraju, Jinwei Gu, Siddharth Gururani, Imad El Hanafi, Zekun Hao, Jacob Huffman, Jingyi Jin, Brendan Johnson, Rizwan Khan, George Kurian, Elena Lantz, Nayeon Lee, Zhaoshuo Li, Xuan Li, Tsung-Yi Lin, Yen-Chen Lin, Ming-Yu Liu, Andrew Mathau, Yun Ni, Lindsey Pavao, Wei Ping, David W. Romero, Misha Smelyanskiy, Shuran Song, Lyne Tchapmi, Andrew Z. Wang, Boxin Wang, Haoxiang Wang, Fangyin Wei, Jiashu Xu, Yao Xu, Xiaodong Yang, Zhuolin Yang, Xiaohui Zeng, Zhe Zhang

cs.AI

Samenvatting

Fysieke AI-systemen moeten waarnemen, begrijpen en complexe acties uitvoeren in de fysieke wereld. In dit artikel presenteren we de Cosmos-Reason1-modellen die de fysieke wereld kunnen begrijpen en gepaste belichaamde beslissingen (bijv. de volgende actie) kunnen genereren in natuurlijke taal via lange ketens van redeneringsprocessen. We beginnen met het definiëren van belangrijke vaardigheden voor fysieke AI-redenering, met een focus op fysiek gezond verstand en belichaamde redenering. Om fysiek gezond verstand weer te geven, gebruiken we een hiërarchische ontologie die fundamentele kennis over ruimte, tijd en fysica vastlegt. Voor belichaamde redenering vertrouwen we op een tweedimensionale ontologie die generaliseert over verschillende fysieke belichamingen. Op basis van deze vaardigheden ontwikkelen we twee multimodale grote taalmodellen, Cosmos-Reason1-8B en Cosmos-Reason1-56B. We cureren data en trainen onze modellen in vier fasen: visuele voorafgaande training, algemene supervised fine-tuning (SFT), fysieke AI SFT, en fysieke AI reinforcement learning (RL) als de na-training. Om onze modellen te evalueren, bouwen we uitgebreide benchmarks voor fysiek gezond verstand en belichaamde redenering volgens onze ontologieën. Evaluatieresultaten tonen aan dat fysieke AI SFT en reinforcement learning significante verbeteringen opleveren. Om de ontwikkeling van fysieke AI te faciliteren, zullen we onze code en vooraf getrainde modellen beschikbaar stellen onder de NVIDIA Open Model License op https://github.com/nvidia-cosmos/cosmos-reason1.

English

Physical AI systems need to perceive, understand, and perform complex actions in the physical world. In this paper, we present the Cosmos-Reason1 models that can understand the physical world and generate appropriate embodied decisions (e.g., next step action) in natural language through long chain-of-thought reasoning processes. We begin by defining key capabilities for Physical AI reasoning, with a focus on physical common sense and embodied reasoning. To represent physical common sense, we use a hierarchical ontology that captures fundamental knowledge about space, time, and physics. For embodied reasoning, we rely on a two-dimensional ontology that generalizes across different physical embodiments. Building on these capabilities, we develop two multimodal large language models, Cosmos-Reason1-8B and Cosmos-Reason1-56B. We curate data and train our models in four stages: vision pre-training, general supervised fine-tuning (SFT), Physical AI SFT, and Physical AI reinforcement learning (RL) as the post-training. To evaluate our models, we build comprehensive benchmarks for physical common sense and embodied reasoning according to our ontologies. Evaluation results show that Physical AI SFT and reinforcement learning bring significant improvements. To facilitate the development of Physical AI, we will make our code and pre-trained models available under the NVIDIA Open Model License at https://github.com/nvidia-cosmos/cosmos-reason1.