Generazione di Progetti LEGO Fisicamente Stabili e Realizzabili a Partire da Testo

Generating Physically Stable and Buildable LEGO Designs from Text

May 8, 2025

Autori: Ava Pun, Kangle Deng, Ruixuan Liu, Deva Ramanan, Changliu Liu, Jun-Yan Zhu

cs.AI

Abstract

Presentiamo LegoGPT, il primo approccio per generare modelli di mattoncini LEGO fisicamente stabili a partire da prompt testuali. Per raggiungere questo obiettivo, abbiamo costruito un dataset su larga scala di design LEGO fisicamente stabili, accompagnati dalle relative didascalie, e abbiamo addestrato un modello linguistico autoregressivo di grandi dimensioni a prevedere il prossimo mattoncino da aggiungere tramite la previsione del token successivo. Per migliorare la stabilità dei design risultanti, utilizziamo un controllo di validità efficiente e un rollback consapevole della fisica durante l'inferenza autoregressiva, che elimina le previsioni di token non fattibili utilizzando le leggi della fisica e i vincoli di assemblaggio. I nostri esperimenti dimostrano che LegoGPT produce design LEGO stabili, diversificati e esteticamente piacevoli che si allineano strettamente ai prompt testuali in ingresso. Abbiamo anche sviluppato un metodo di texturing basato su testo per generare design colorati e con texture. Mostriamo che i nostri design possono essere assemblati manualmente da esseri umani e automaticamente da bracci robotici. Rilasciamo inoltre il nostro nuovo dataset, StableText2Lego, contenente oltre 47.000 strutture LEGO di più di 28.000 oggetti 3D unici accompagnati da didascalie dettagliate, insieme al nostro codice e ai modelli sul sito del progetto: https://avalovelace1.github.io/LegoGPT/.

English

We introduce LegoGPT, the first approach for generating physically stable LEGO brick models from text prompts. To achieve this, we construct a large-scale, physically stable dataset of LEGO designs, along with their associated captions, and train an autoregressive large language model to predict the next brick to add via next-token prediction. To improve the stability of the resulting designs, we employ an efficient validity check and physics-aware rollback during autoregressive inference, which prunes infeasible token predictions using physics laws and assembly constraints. Our experiments show that LegoGPT produces stable, diverse, and aesthetically pleasing LEGO designs that align closely with the input text prompts. We also develop a text-based LEGO texturing method to generate colored and textured designs. We show that our designs can be assembled manually by humans and automatically by robotic arms. We also release our new dataset, StableText2Lego, containing over 47,000 LEGO structures of over 28,000 unique 3D objects accompanied by detailed captions, along with our code and models at the project website: https://avalovelace1.github.io/LegoGPT/.