Cube : Une perspective Roblox sur l'intelligence 3D

Cube: A Roblox View of 3D Intelligence

March 19, 2025

Auteurs: Foundation AI Team, Kiran Bhat, Nishchaie Khanna, Karun Channa, Tinghui Zhou, Yiheng Zhu, Xiaoxia Sun, Charles Shang, Anirudh Sudarshan, Maurice Chu, Daiqing Li, Kangle Deng, Jean-Philippe Fauconnier, Tijmen Verhulsdonck, Maneesh Agrawala, Kayvon Fatahalian, Alexander Weiss, Christian Reiser, Ravi Kiran Chirravuri, Ravali Kandur, Alejandro Pelaez, Akash Garg, Michael Palleschi, Jessica Wang, Skylar Litz, Leon Liu, Anying Li, David Harmon, Derek Liu, Liangjun Feng, Denis Goupil, Lukas Kuczynski, Jihyun Yoon, Naveen Marri, Peiye Zhuang, Yinan Zhang, Brian Yin, Haomiao Jiang, Marcel van Workum, Thomas Lane, Bryce Erickson, Salil Pathare, Kyle Price, Anupam Singh, David Baszucki

cs.AI

Résumé

Les modèles de fondation entraînés sur de vastes quantités de données ont démontré des capacités remarquables de raisonnement et de génération dans les domaines du texte, des images, de l'audio et de la vidéo. Notre objectif chez Roblox est de construire un tel modèle de fondation pour l'intelligence 3D, un modèle capable de soutenir les développeurs dans la production de tous les aspects d'une expérience Roblox, de la génération d'objets et de scènes 3D au rigging de personnages pour l'animation, en passant par la production de scripts programmatiques décrivant les comportements des objets. Nous discutons de trois exigences clés de conception pour un tel modèle de fondation 3D, puis présentons notre première étape vers la construction d'un tel modèle. Nous prévoyons que les formes géométriques 3D seront un type de données central et décrivons notre solution pour un tokenizer de formes 3D. Nous montrons comment notre schéma de tokenisation peut être utilisé dans des applications pour la génération de texte à forme, de forme à texte et de texte à scène. Nous démontrons comment ces applications peuvent collaborer avec les grands modèles de langage (LLM) existants pour effectuer des analyses et des raisonnements de scène. Nous concluons par une discussion décrivant notre cheminement vers la construction d'un modèle de fondation entièrement unifié pour l'intelligence 3D.

English

Foundation models trained on vast amounts of data have demonstrated remarkable reasoning and generation capabilities in the domains of text, images, audio and video. Our goal at Roblox is to build such a foundation model for 3D intelligence, a model that can support developers in producing all aspects of a Roblox experience, from generating 3D objects and scenes to rigging characters for animation to producing programmatic scripts describing object behaviors. We discuss three key design requirements for such a 3D foundation model and then present our first step towards building such a model. We expect that 3D geometric shapes will be a core data type and describe our solution for 3D shape tokenizer. We show how our tokenization scheme can be used in applications for text-to-shape generation, shape-to-text generation and text-to-scene generation. We demonstrate how these applications can collaborate with existing large language models (LLMs) to perform scene analysis and reasoning. We conclude with a discussion outlining our path to building a fully unified foundation model for 3D intelligence.