AssetFormer: 자기회귀 변환기를 활용한 모듈형 3D 자산 생성

초록

디지털 산업, 특히 사용자 생성 콘텐츠(UGC)를 위해서는 고품질의 다양한 모듈형 3D 자산이 요구됩니다. 본 연구에서는 텍스트 설명으로부터 모듈형 3D 자산을 생성하도록 설계된 자회귀 변환기(Transformer) 기반 모델인 AssetFormer를 소개합니다. 우리의 파일럿 연구는 온라인 플랫폼에서 수집한 실제 모듈 자산을 활용합니다. AssetFormer는 다양한 응용 프로그램을 위한 제한된 설계 매개변수를 준수하는 기본 요소(Primitive)로 구성된 자산 생성의 어려움을 해결합니다. 언어 모델에서 영감을 받은 모듈 순서 지정 및 디코딩 기술을 혁신적으로 적용함으로써, 우리의 접근 방식은 자회귀 모델링을 통해 자산 생성 품질을 향상시킵니다. 초기 결과는 전문 개발 및 UGC 시나리오를 위한 자산 생성 과정을 간소화하는 데 있어 AssetFormer의 효과성을 보여줍니다. 본 연구는 다양한 유형의 모듈형 3D 자산으로 확장 가능한 유연한 프레임워크를 제시하며, 3D 콘텐츠 생성 분야의 발전에 기여합니다. 코드는 https://github.com/Advocate99/AssetFormer에서 확인할 수 있습니다.

English

The digital industry demands high-quality, diverse modular 3D assets, especially for user-generated content~(UGC). In this work, we introduce AssetFormer, an autoregressive Transformer-based model designed to generate modular 3D assets from textual descriptions. Our pilot study leverages real-world modular assets collected from online platforms. AssetFormer tackles the challenge of creating assets composed of primitives that adhere to constrained design parameters for various applications. By innovatively adapting module sequencing and decoding techniques inspired by language models, our approach enhances asset generation quality through autoregressive modeling. Initial results indicate the effectiveness of AssetFormer in streamlining asset creation for professional development and UGC scenarios. This work presents a flexible framework extendable to various types of modular 3D assets, contributing to the broader field of 3D content generation. The code is available at https://github.com/Advocate99/AssetFormer.

AssetFormer: 자기회귀 변환기를 활용한 모듈형 3D 자산 생성

AssetFormer: Modular 3D Assets Generation with Autoregressive Transformer

초록

Support