텍스트로부터 물리적으로 안정적이고 조립 가능한 LEGO 디자인 생성하기

Generating Physically Stable and Buildable LEGO Designs from Text

May 8, 2025

저자: Ava Pun, Kangle Deng, Ruixuan Liu, Deva Ramanan, Changliu Liu, Jun-Yan Zhu

cs.AI

초록

우리는 텍스트 프롬프트로부터 물리적으로 안정적인 LEGO 브릭 모델을 생성하는 첫 번째 접근법인 LegoGPT를 소개합니다. 이를 위해 우리는 대규모의 물리적으로 안정적인 LEGO 디자인 데이터셋과 그에 연관된 캡션을 구축하고, 다음 토큰 예측을 통해 추가할 다음 브릭을 예측하도록 자동회귀적 대형 언어 모델을 학습시켰습니다. 결과 디자인의 안정성을 향상시키기 위해, 우리는 자동회귀 추론 과정에서 효율적인 유효성 검사와 물리학을 고려한 롤백을 사용하여 물리 법칙과 조립 제약 조건에 따라 불가능한 토큰 예측을 제거합니다. 우리의 실험 결과, LegoGPT는 입력 텍스트 프롬프트와 밀접하게 일치하는 안정적이고 다양하며 미적으로 만족스러운 LEGO 디자인을 생성합니다. 또한, 우리는 텍스트 기반 LEGO 텍스처링 방법을 개발하여 색상과 질감이 적용된 디자인을 생성합니다. 우리의 디자인은 인간에 의해 수동으로, 그리고 로봇 팔에 의해 자동으로 조립될 수 있음을 보여줍니다. 또한, 우리는 28,000개 이상의 고유한 3D 객체에 대한 47,000개 이상의 LEGO 구조와 상세한 캡션을 포함한 새로운 데이터셋인 StableText2Lego를 프로젝트 웹사이트(https://avalovelace1.github.io/LegoGPT/)에 코드 및 모델과 함께 공개합니다.

English

We introduce LegoGPT, the first approach for generating physically stable LEGO brick models from text prompts. To achieve this, we construct a large-scale, physically stable dataset of LEGO designs, along with their associated captions, and train an autoregressive large language model to predict the next brick to add via next-token prediction. To improve the stability of the resulting designs, we employ an efficient validity check and physics-aware rollback during autoregressive inference, which prunes infeasible token predictions using physics laws and assembly constraints. Our experiments show that LegoGPT produces stable, diverse, and aesthetically pleasing LEGO designs that align closely with the input text prompts. We also develop a text-based LEGO texturing method to generate colored and textured designs. We show that our designs can be assembled manually by humans and automatically by robotic arms. We also release our new dataset, StableText2Lego, containing over 47,000 LEGO structures of over 28,000 unique 3D objects accompanied by detailed captions, along with our code and models at the project website: https://avalovelace1.github.io/LegoGPT/.