Generación de diseños LEGO físicamente estables y construibles a partir de texto

Generating Physically Stable and Buildable LEGO Designs from Text

May 8, 2025

Autores: Ava Pun, Kangle Deng, Ruixuan Liu, Deva Ramanan, Changliu Liu, Jun-Yan Zhu

cs.AI

Resumen

Presentamos LegoGPT, el primer enfoque para generar modelos físicamente estables de bloques LEGO a partir de indicaciones de texto. Para lograrlo, construimos un conjunto de datos a gran escala de diseños LEGO físicamente estables, junto con sus descripciones asociadas, y entrenamos un modelo de lenguaje autoregresivo de gran escala para predecir el siguiente bloque a añadir mediante la predicción del siguiente token. Para mejorar la estabilidad de los diseños resultantes, empleamos una verificación de validez eficiente y un retroceso consciente de la física durante la inferencia autoregresiva, que poda las predicciones de tokens inviables utilizando leyes físicas y restricciones de ensamblaje. Nuestros experimentos muestran que LegoGPT produce diseños LEGO estables, diversos y estéticamente agradables que se alinean estrechamente con las indicaciones de texto de entrada. También desarrollamos un método de texturizado basado en texto para generar diseños coloreados y texturizados. Demostramos que nuestros diseños pueden ser ensamblados manualmente por humanos y automáticamente por brazos robóticos. Además, publicamos nuestro nuevo conjunto de datos, StableText2Lego, que contiene más de 47,000 estructuras LEGO de más de 28,000 objetos 3D únicos acompañados de descripciones detalladas, junto con nuestro código y modelos en el sitio web del proyecto: https://avalovelace1.github.io/LegoGPT/.

English

We introduce LegoGPT, the first approach for generating physically stable LEGO brick models from text prompts. To achieve this, we construct a large-scale, physically stable dataset of LEGO designs, along with their associated captions, and train an autoregressive large language model to predict the next brick to add via next-token prediction. To improve the stability of the resulting designs, we employ an efficient validity check and physics-aware rollback during autoregressive inference, which prunes infeasible token predictions using physics laws and assembly constraints. Our experiments show that LegoGPT produces stable, diverse, and aesthetically pleasing LEGO designs that align closely with the input text prompts. We also develop a text-based LEGO texturing method to generate colored and textured designs. We show that our designs can be assembled manually by humans and automatically by robotic arms. We also release our new dataset, StableText2Lego, containing over 47,000 LEGO structures of over 28,000 unique 3D objects accompanied by detailed captions, along with our code and models at the project website: https://avalovelace1.github.io/LegoGPT/.