Cosmos-Reason1: Del sentido común físico al razonamiento encarnado

Cosmos-Reason1: From Physical Common Sense To Embodied Reasoning

March 18, 2025

Autores: NVIDIA, Alisson Azzolini, Hannah Brandon, Prithvijit Chattopadhyay, Huayu Chen, Jinju Chu, Yin Cui, Jenna Diamond, Yifan Ding, Francesco Ferroni, Rama Govindaraju, Jinwei Gu, Siddharth Gururani, Imad El Hanafi, Zekun Hao, Jacob Huffman, Jingyi Jin, Brendan Johnson, Rizwan Khan, George Kurian, Elena Lantz, Nayeon Lee, Zhaoshuo Li, Xuan Li, Tsung-Yi Lin, Yen-Chen Lin, Ming-Yu Liu, Andrew Mathau, Yun Ni, Lindsey Pavao, Wei Ping, David W. Romero, Misha Smelyanskiy, Shuran Song, Lyne Tchapmi, Andrew Z. Wang, Boxin Wang, Haoxiang Wang, Fangyin Wei, Jiashu Xu, Yao Xu, Xiaodong Yang, Zhuolin Yang, Xiaohui Zeng, Zhe Zhang

cs.AI

Resumen

Los sistemas de IA física necesitan percibir, comprender y realizar acciones complejas en el mundo físico. En este artículo, presentamos los modelos Cosmos-Reason1, que pueden entender el mundo físico y generar decisiones encarnadas apropiadas (por ejemplo, la siguiente acción) en lenguaje natural a través de procesos de razonamiento de cadena de pensamiento larga. Comenzamos definiendo capacidades clave para el razonamiento de IA física, con un enfoque en el sentido común físico y el razonamiento encarnado. Para representar el sentido común físico, utilizamos una ontología jerárquica que captura conocimientos fundamentales sobre el espacio, el tiempo y la física. Para el razonamiento encarnado, nos basamos en una ontología bidimensional que generaliza a través de diferentes encarnaciones físicas. Sobre estas capacidades, desarrollamos dos modelos de lenguaje multimodal de gran escala, Cosmos-Reason1-8B y Cosmos-Reason1-56B. Curiosamente, preparamos datos y entrenamos nuestros modelos en cuatro etapas: preentrenamiento visual, ajuste fino supervisado general (SFT), SFT de IA física y aprendizaje por refuerzo (RL) de IA física como post-entrenamiento. Para evaluar nuestros modelos, construimos puntos de referencia integrales para el sentido común físico y el razonamiento encarnado según nuestras ontologías. Los resultados de la evaluación muestran que el SFT de IA física y el aprendizaje por refuerzo aportan mejoras significativas. Para facilitar el desarrollo de la IA física, pondremos a disposición nuestro código y modelos preentrenados bajo la Licencia de Modelo Abierto de NVIDIA en https://github.com/nvidia-cosmos/cosmos-reason1.

English

Physical AI systems need to perceive, understand, and perform complex actions in the physical world. In this paper, we present the Cosmos-Reason1 models that can understand the physical world and generate appropriate embodied decisions (e.g., next step action) in natural language through long chain-of-thought reasoning processes. We begin by defining key capabilities for Physical AI reasoning, with a focus on physical common sense and embodied reasoning. To represent physical common sense, we use a hierarchical ontology that captures fundamental knowledge about space, time, and physics. For embodied reasoning, we rely on a two-dimensional ontology that generalizes across different physical embodiments. Building on these capabilities, we develop two multimodal large language models, Cosmos-Reason1-8B and Cosmos-Reason1-56B. We curate data and train our models in four stages: vision pre-training, general supervised fine-tuning (SFT), Physical AI SFT, and Physical AI reinforcement learning (RL) as the post-training. To evaluate our models, we build comprehensive benchmarks for physical common sense and embodied reasoning according to our ontologies. Evaluation results show that Physical AI SFT and reinforcement learning bring significant improvements. To facilitate the development of Physical AI, we will make our code and pre-trained models available under the NVIDIA Open Model License at https://github.com/nvidia-cosmos/cosmos-reason1.