Cosmos-Reason1 : Du bon sens physique au raisonnement incarné

Cosmos-Reason1: From Physical Common Sense To Embodied Reasoning

March 18, 2025

Auteurs: NVIDIA, Alisson Azzolini, Hannah Brandon, Prithvijit Chattopadhyay, Huayu Chen, Jinju Chu, Yin Cui, Jenna Diamond, Yifan Ding, Francesco Ferroni, Rama Govindaraju, Jinwei Gu, Siddharth Gururani, Imad El Hanafi, Zekun Hao, Jacob Huffman, Jingyi Jin, Brendan Johnson, Rizwan Khan, George Kurian, Elena Lantz, Nayeon Lee, Zhaoshuo Li, Xuan Li, Tsung-Yi Lin, Yen-Chen Lin, Ming-Yu Liu, Andrew Mathau, Yun Ni, Lindsey Pavao, Wei Ping, David W. Romero, Misha Smelyanskiy, Shuran Song, Lyne Tchapmi, Andrew Z. Wang, Boxin Wang, Haoxiang Wang, Fangyin Wei, Jiashu Xu, Yao Xu, Xiaodong Yang, Zhuolin Yang, Xiaohui Zeng, Zhe Zhang

cs.AI

Résumé

Les systèmes d'IA physique doivent percevoir, comprendre et exécuter des actions complexes dans le monde physique. Dans cet article, nous présentons les modèles Cosmos-Reason1 capables de comprendre le monde physique et de générer des décisions incarnées appropriées (par exemple, l'action suivante) en langage naturel grâce à des processus de raisonnement en chaîne de pensée étendue. Nous commençons par définir les capacités clés pour le raisonnement en IA physique, en mettant l'accent sur le bon sens physique et le raisonnement incarné. Pour représenter le bon sens physique, nous utilisons une ontologie hiérarchique qui capture les connaissances fondamentales sur l'espace, le temps et la physique. Pour le raisonnement incarné, nous nous appuyons sur une ontologie bidimensionnelle qui généralise à travers différentes incarnations physiques. Sur la base de ces capacités, nous développons deux modèles de langage multimodal de grande taille, Cosmos-Reason1-8B et Cosmos-Reason1-56B. Nous organisons les données et entraînons nos modèles en quatre étapes : pré-entraînement visuel, fine-tuning supervisé général (SFT), fine-tuning supervisé en IA physique (SFT), et apprentissage par renforcement (RL) en IA physique comme post-entraînement. Pour évaluer nos modèles, nous construisons des benchmarks complets pour le bon sens physique et le raisonnement incarné selon nos ontologies. Les résultats d'évaluation montrent que le fine-tuning supervisé en IA physique et l'apprentissage par renforcement apportent des améliorations significatives. Pour faciliter le développement de l'IA physique, nous mettrons notre code et nos modèles pré-entraînés à disposition sous la licence NVIDIA Open Model License à l'adresse https://github.com/nvidia-cosmos/cosmos-reason1.

English

Physical AI systems need to perceive, understand, and perform complex actions in the physical world. In this paper, we present the Cosmos-Reason1 models that can understand the physical world and generate appropriate embodied decisions (e.g., next step action) in natural language through long chain-of-thought reasoning processes. We begin by defining key capabilities for Physical AI reasoning, with a focus on physical common sense and embodied reasoning. To represent physical common sense, we use a hierarchical ontology that captures fundamental knowledge about space, time, and physics. For embodied reasoning, we rely on a two-dimensional ontology that generalizes across different physical embodiments. Building on these capabilities, we develop two multimodal large language models, Cosmos-Reason1-8B and Cosmos-Reason1-56B. We curate data and train our models in four stages: vision pre-training, general supervised fine-tuning (SFT), Physical AI SFT, and Physical AI reinforcement learning (RL) as the post-training. To evaluate our models, we build comprehensive benchmarks for physical common sense and embodied reasoning according to our ontologies. Evaluation results show that Physical AI SFT and reinforcement learning bring significant improvements. To facilitate the development of Physical AI, we will make our code and pre-trained models available under the NVIDIA Open Model License at https://github.com/nvidia-cosmos/cosmos-reason1.