Cube: Una prospettiva Roblox sull'intelligenza 3D
Cube: A Roblox View of 3D Intelligence
March 19, 2025
Autori: Foundation AI Team, Kiran Bhat, Nishchaie Khanna, Karun Channa, Tinghui Zhou, Yiheng Zhu, Xiaoxia Sun, Charles Shang, Anirudh Sudarshan, Maurice Chu, Daiqing Li, Kangle Deng, Jean-Philippe Fauconnier, Tijmen Verhulsdonck, Maneesh Agrawala, Kayvon Fatahalian, Alexander Weiss, Christian Reiser, Ravi Kiran Chirravuri, Ravali Kandur, Alejandro Pelaez, Akash Garg, Michael Palleschi, Jessica Wang, Skylar Litz, Leon Liu, Anying Li, David Harmon, Derek Liu, Liangjun Feng, Denis Goupil, Lukas Kuczynski, Jihyun Yoon, Naveen Marri, Peiye Zhuang, Yinan Zhang, Brian Yin, Haomiao Jiang, Marcel van Workum, Thomas Lane, Bryce Erickson, Salil Pathare, Kyle Price, Anupam Singh, David Baszucki
cs.AI
Abstract
I modelli di base addestrati su grandi quantità di dati hanno dimostrato capacità straordinarie di ragionamento e generazione nei domini di testo, immagini, audio e video. Il nostro obiettivo in Roblox è costruire un tale modello di base per l'intelligenza 3D, un modello in grado di supportare gli sviluppatori nella produzione di tutti gli aspetti di un'esperienza Roblox, dalla generazione di oggetti e scene 3D al rigging dei personaggi per l'animazione, fino alla produzione di script programmatici che descrivono i comportamenti degli oggetti. Discutiamo tre requisiti chiave di progettazione per un tale modello di base 3D e presentiamo il nostro primo passo verso la costruzione di un modello di questo tipo. Prevediamo che le forme geometriche 3D saranno un tipo di dati fondamentale e descriviamo la nostra soluzione per il tokenizer di forme 3D. Mostriamo come il nostro schema di tokenizzazione possa essere utilizzato in applicazioni per la generazione da testo a forma, da forma a testo e da testo a scena. Dimostriamo come queste applicazioni possano collaborare con i modelli linguistici di grandi dimensioni (LLM) esistenti per eseguire analisi e ragionamenti sulle scene. Concludiamo con una discussione che delinea il nostro percorso verso la costruzione di un modello di base completamente unificato per l'intelligenza 3D.
English
Foundation models trained on vast amounts of data have demonstrated
remarkable reasoning and generation capabilities in the domains of text,
images, audio and video. Our goal at Roblox is to build such a foundation model
for 3D intelligence, a model that can support developers in producing all
aspects of a Roblox experience, from generating 3D objects and scenes to
rigging characters for animation to producing programmatic scripts describing
object behaviors. We discuss three key design requirements for such a 3D
foundation model and then present our first step towards building such a model.
We expect that 3D geometric shapes will be a core data type and describe our
solution for 3D shape tokenizer. We show how our tokenization scheme can be
used in applications for text-to-shape generation, shape-to-text generation and
text-to-scene generation. We demonstrate how these applications can collaborate
with existing large language models (LLMs) to perform scene analysis and
reasoning. We conclude with a discussion outlining our path to building a fully
unified foundation model for 3D intelligence.