Erzeugen physikalisch stabiler und baubarer LEGO-Designs aus Text

Generating Physically Stable and Buildable LEGO Designs from Text

May 8, 2025

Autoren: Ava Pun, Kangle Deng, Ruixuan Liu, Deva Ramanan, Changliu Liu, Jun-Yan Zhu

cs.AI

Zusammenfassung

Wir stellen LegoGPT vor, den ersten Ansatz zur Erzeugung physikalisch stabiler LEGO-Modelle aus Textanfragen. Um dies zu erreichen, erstellen wir einen umfangreichen Datensatz physikalisch stabiler LEGO-Designs zusammen mit den dazugehörigen Beschreibungen und trainieren ein autoregressives großes Sprachmodell, um den nächsten hinzuzufügenden Stein über Next-Token-Vorhersage zu bestimmen. Um die Stabilität der resultierenden Designs zu verbessern, setzen wir während der autoregressiven Inferenz eine effiziente Gültigkeitsprüfung und einen physikbewussten Rollback ein, der unzulässige Token-Vorhersagen mithilfe physikalischer Gesetze und Montagebeschränkungen aussortiert. Unsere Experimente zeigen, dass LegoGPT stabile, vielfältige und ästhetisch ansprechende LEGO-Designs erzeugt, die eng mit den Eingabetextanfragen übereinstimmen. Wir entwickeln außerdem eine textbasierte LEGO-Texturierungsmethode, um farbige und texturierte Designs zu generieren. Wir zeigen, dass unsere Designs sowohl manuell von Menschen als auch automatisch von Roboterarmen zusammengesetzt werden können. Zudem veröffentlichen wir unseren neuen Datensatz, StableText2Lego, der über 47.000 LEGO-Strukturen von mehr als 28.000 einzigartigen 3D-Objekten mit detaillierten Beschreibungen enthält, sowie unseren Code und unsere Modelle auf der Projektwebsite: https://avalovelace1.github.io/LegoGPT/.

English

We introduce LegoGPT, the first approach for generating physically stable LEGO brick models from text prompts. To achieve this, we construct a large-scale, physically stable dataset of LEGO designs, along with their associated captions, and train an autoregressive large language model to predict the next brick to add via next-token prediction. To improve the stability of the resulting designs, we employ an efficient validity check and physics-aware rollback during autoregressive inference, which prunes infeasible token predictions using physics laws and assembly constraints. Our experiments show that LegoGPT produces stable, diverse, and aesthetically pleasing LEGO designs that align closely with the input text prompts. We also develop a text-based LEGO texturing method to generate colored and textured designs. We show that our designs can be assembled manually by humans and automatically by robotic arms. We also release our new dataset, StableText2Lego, containing over 47,000 LEGO structures of over 28,000 unique 3D objects accompanied by detailed captions, along with our code and models at the project website: https://avalovelace1.github.io/LegoGPT/.