Het genereren van fysiek stabiele en bouwbare LEGO-ontwerpen vanuit tekst

Generating Physically Stable and Buildable LEGO Designs from Text

May 8, 2025

Auteurs: Ava Pun, Kangle Deng, Ruixuan Liu, Deva Ramanan, Changliu Liu, Jun-Yan Zhu

cs.AI

Samenvatting

We introduceren LegoGPT, de eerste aanpak voor het genereren van fysiek stabiele LEGO-steentjesmodellen op basis van tekstprompts. Om dit te bereiken, construeren we een grootschalige, fysiek stabiele dataset van LEGO-ontwerpen, samen met hun bijbehorende bijschriften, en trainen we een autoregressief groot taalmodel om het volgende steentje te voorspellen via next-token prediction. Om de stabiliteit van de resulterende ontwerpen te verbeteren, gebruiken we een efficiënte validatiecheck en een fysica-bewuste rollback tijdens autoregressieve inferentie, waarbij onuitvoerbare tokenvoorspellingen worden gesnoeid op basis van fysicawetten en montagebeperkingen. Onze experimenten tonen aan dat LegoGPT stabiele, diverse en esthetisch aantrekkelijke LEGO-ontwerpen produceert die nauw aansluiten bij de ingevoerde tekstprompts. We ontwikkelen ook een tekstgebaseerde LEGO-textuurmethode om gekleurde en getextureerde ontwerpen te genereren. We laten zien dat onze ontwerpen zowel handmatig door mensen als automatisch door robotarmen kunnen worden geassembleerd. We publiceren ook onze nieuwe dataset, StableText2Lego, met meer dan 47.000 LEGO-structuren van meer dan 28.000 unieke 3D-objecten, vergezeld van gedetailleerde bijschriften, samen met onze code en modellen op de projectwebsite: https://avalovelace1.github.io/LegoGPT/.

English

We introduce LegoGPT, the first approach for generating physically stable LEGO brick models from text prompts. To achieve this, we construct a large-scale, physically stable dataset of LEGO designs, along with their associated captions, and train an autoregressive large language model to predict the next brick to add via next-token prediction. To improve the stability of the resulting designs, we employ an efficient validity check and physics-aware rollback during autoregressive inference, which prunes infeasible token predictions using physics laws and assembly constraints. Our experiments show that LegoGPT produces stable, diverse, and aesthetically pleasing LEGO designs that align closely with the input text prompts. We also develop a text-based LEGO texturing method to generate colored and textured designs. We show that our designs can be assembled manually by humans and automatically by robotic arms. We also release our new dataset, StableText2Lego, containing over 47,000 LEGO structures of over 28,000 unique 3D objects accompanied by detailed captions, along with our code and models at the project website: https://avalovelace1.github.io/LegoGPT/.