Cube: 3D知能のRoblox的視点

Cube: A Roblox View of 3D Intelligence

March 19, 2025

著者: Foundation AI Team, Kiran Bhat, Nishchaie Khanna, Karun Channa, Tinghui Zhou, Yiheng Zhu, Xiaoxia Sun, Charles Shang, Anirudh Sudarshan, Maurice Chu, Daiqing Li, Kangle Deng, Jean-Philippe Fauconnier, Tijmen Verhulsdonck, Maneesh Agrawala, Kayvon Fatahalian, Alexander Weiss, Christian Reiser, Ravi Kiran Chirravuri, Ravali Kandur, Alejandro Pelaez, Akash Garg, Michael Palleschi, Jessica Wang, Skylar Litz, Leon Liu, Anying Li, David Harmon, Derek Liu, Liangjun Feng, Denis Goupil, Lukas Kuczynski, Jihyun Yoon, Naveen Marri, Peiye Zhuang, Yinan Zhang, Brian Yin, Haomiao Jiang, Marcel van Workum, Thomas Lane, Bryce Erickson, Salil Pathare, Kyle Price, Anupam Singh, David Baszucki

cs.AI

要旨

膨大なデータで訓練された基盤モデルは、テキスト、画像、音声、ビデオといった領域において、驚くべき推論能力と生成能力を示しています。Robloxにおける私たちの目標は、3D知能のためのそのような基盤モデルを構築することです。このモデルは、3Dオブジェクトやシーンの生成から、アニメーション用のキャラクターリギング、オブジェクトの動作を記述するプログラムスクリプトの作成まで、Roblox体験のあらゆる側面を開発者が制作するのを支援できるものです。私たちは、そのような3D基盤モデルに対する3つの主要な設計要件について議論し、そのモデル構築に向けた最初のステップを提示します。3D幾何形状がコアデータタイプになると予想し、3D形状トークナイザーのための私たちのソリューションを説明します。私たちのトークン化スキームが、テキストから形状の生成、形状からテキストの生成、テキストからシーンの生成といったアプリケーションでどのように使用できるかを示します。これらのアプリケーションが、既存の大規模言語モデル（LLM）と連携してシーン分析と推論を実行する方法を実証します。最後に、3D知能のための完全に統合された基盤モデルを構築するための私たちの道筋を概説する議論で締めくくります。

English

Foundation models trained on vast amounts of data have demonstrated remarkable reasoning and generation capabilities in the domains of text, images, audio and video. Our goal at Roblox is to build such a foundation model for 3D intelligence, a model that can support developers in producing all aspects of a Roblox experience, from generating 3D objects and scenes to rigging characters for animation to producing programmatic scripts describing object behaviors. We discuss three key design requirements for such a 3D foundation model and then present our first step towards building such a model. We expect that 3D geometric shapes will be a core data type and describe our solution for 3D shape tokenizer. We show how our tokenization scheme can be used in applications for text-to-shape generation, shape-to-text generation and text-to-scene generation. We demonstrate how these applications can collaborate with existing large language models (LLMs) to perform scene analysis and reasoning. We conclude with a discussion outlining our path to building a fully unified foundation model for 3D intelligence.