Cube: Uma Visão do Roblox sobre Inteligência 3D

Cube: A Roblox View of 3D Intelligence

March 19, 2025

Autores: Foundation AI Team, Kiran Bhat, Nishchaie Khanna, Karun Channa, Tinghui Zhou, Yiheng Zhu, Xiaoxia Sun, Charles Shang, Anirudh Sudarshan, Maurice Chu, Daiqing Li, Kangle Deng, Jean-Philippe Fauconnier, Tijmen Verhulsdonck, Maneesh Agrawala, Kayvon Fatahalian, Alexander Weiss, Christian Reiser, Ravi Kiran Chirravuri, Ravali Kandur, Alejandro Pelaez, Akash Garg, Michael Palleschi, Jessica Wang, Skylar Litz, Leon Liu, Anying Li, David Harmon, Derek Liu, Liangjun Feng, Denis Goupil, Lukas Kuczynski, Jihyun Yoon, Naveen Marri, Peiye Zhuang, Yinan Zhang, Brian Yin, Haomiao Jiang, Marcel van Workum, Thomas Lane, Bryce Erickson, Salil Pathare, Kyle Price, Anupam Singh, David Baszucki

cs.AI

Resumo

Modelos de base treinados em grandes volumes de dados têm demonstrado capacidades impressionantes de raciocínio e geração nas áreas de texto, imagens, áudio e vídeo. Nosso objetivo na Roblox é construir um modelo de base desse tipo para inteligência 3D, um modelo que possa auxiliar desenvolvedores na produção de todos os aspectos de uma experiência no Roblox, desde a geração de objetos e cenas 3D até a rigging de personagens para animação e a criação de scripts programáticos que descrevem comportamentos de objetos. Discutimos três requisitos-chave de design para um modelo de base 3D e, em seguida, apresentamos nosso primeiro passo em direção à construção desse modelo. Esperamos que formas geométricas 3D sejam um tipo de dado central e descrevemos nossa solução para tokenização de formas 3D. Mostramos como nosso esquema de tokenização pode ser aplicado em tarefas como geração de texto para forma, geração de forma para texto e geração de texto para cena. Demonstramos como essas aplicações podem colaborar com modelos de linguagem de grande escala (LLMs) existentes para realizar análise e raciocínio de cenas. Concluímos com uma discussão que delineia nosso caminho para a construção de um modelo de base totalmente unificado para inteligência 3D.

English

Foundation models trained on vast amounts of data have demonstrated remarkable reasoning and generation capabilities in the domains of text, images, audio and video. Our goal at Roblox is to build such a foundation model for 3D intelligence, a model that can support developers in producing all aspects of a Roblox experience, from generating 3D objects and scenes to rigging characters for animation to producing programmatic scripts describing object behaviors. We discuss three key design requirements for such a 3D foundation model and then present our first step towards building such a model. We expect that 3D geometric shapes will be a core data type and describe our solution for 3D shape tokenizer. We show how our tokenization scheme can be used in applications for text-to-shape generation, shape-to-text generation and text-to-scene generation. We demonstrate how these applications can collaborate with existing large language models (LLMs) to perform scene analysis and reasoning. We conclude with a discussion outlining our path to building a fully unified foundation model for 3D intelligence.