Cube: 3D 인텔리전스의 Roblox 관점

Cube: A Roblox View of 3D Intelligence

March 19, 2025

저자: Foundation AI Team, Kiran Bhat, Nishchaie Khanna, Karun Channa, Tinghui Zhou, Yiheng Zhu, Xiaoxia Sun, Charles Shang, Anirudh Sudarshan, Maurice Chu, Daiqing Li, Kangle Deng, Jean-Philippe Fauconnier, Tijmen Verhulsdonck, Maneesh Agrawala, Kayvon Fatahalian, Alexander Weiss, Christian Reiser, Ravi Kiran Chirravuri, Ravali Kandur, Alejandro Pelaez, Akash Garg, Michael Palleschi, Jessica Wang, Skylar Litz, Leon Liu, Anying Li, David Harmon, Derek Liu, Liangjun Feng, Denis Goupil, Lukas Kuczynski, Jihyun Yoon, Naveen Marri, Peiye Zhuang, Yinan Zhang, Brian Yin, Haomiao Jiang, Marcel van Workum, Thomas Lane, Bryce Erickson, Salil Pathare, Kyle Price, Anupam Singh, David Baszucki

cs.AI

초록

방대한 양의 데이터로 훈련된 파운데이션 모델들은 텍스트, 이미지, 오디오, 비디오 영역에서 놀라운 추론 및 생성 능력을 보여주고 있습니다. Roblox의 목표는 3D 지능을 위한 그러한 파운데이션 모델을 구축하는 것입니다. 이 모델은 개발자들이 3D 객체와 장면 생성부터 애니메이션을 위한 캐릭터 리깅, 객체 행동을 설명하는 프로그래밍 스크립트 생성에 이르기까지 Roblox 경험의 모든 측면을 제작하는 데 도움을 줄 수 있습니다. 우리는 이러한 3D 파운데이션 모델을 위한 세 가지 핵심 설계 요구사항을 논의한 후, 이러한 모델 구축을 향한 첫 번째 단계를 제시합니다. 3D 기하학적 형태가 핵심 데이터 타입이 될 것으로 예상하며, 3D 형태 토크나이저에 대한 우리의 솔루션을 설명합니다. 우리의 토큰화 방식이 텍스트-형태 생성, 형태-텍스트 생성, 텍스트-장면 생성 애플리케이션에서 어떻게 활용될 수 있는지 보여줍니다. 또한 이러한 애플리케이션이 기존의 대형 언어 모델(LLM)과 협력하여 장면 분석과 추론을 수행할 수 있는 방법을 시연합니다. 마지막으로, 3D 지능을 위한 완전히 통합된 파운데이션 모델을 구축하기 위한 우리의 로드맵을 논의하며 글을 마무리합니다.

English

Foundation models trained on vast amounts of data have demonstrated remarkable reasoning and generation capabilities in the domains of text, images, audio and video. Our goal at Roblox is to build such a foundation model for 3D intelligence, a model that can support developers in producing all aspects of a Roblox experience, from generating 3D objects and scenes to rigging characters for animation to producing programmatic scripts describing object behaviors. We discuss three key design requirements for such a 3D foundation model and then present our first step towards building such a model. We expect that 3D geometric shapes will be a core data type and describe our solution for 3D shape tokenizer. We show how our tokenization scheme can be used in applications for text-to-shape generation, shape-to-text generation and text-to-scene generation. We demonstrate how these applications can collaborate with existing large language models (LLMs) to perform scene analysis and reasoning. We conclude with a discussion outlining our path to building a fully unified foundation model for 3D intelligence.