Gerando Projetos de LEGO Fisicamente Estáveis e Construtíveis a partir de Texto

Generating Physically Stable and Buildable LEGO Designs from Text

May 8, 2025

Autores: Ava Pun, Kangle Deng, Ruixuan Liu, Deva Ramanan, Changliu Liu, Jun-Yan Zhu

cs.AI

Resumo

Apresentamos o LegoGPT, a primeira abordagem para gerar modelos de blocos LEGO fisicamente estáveis a partir de prompts de texto. Para alcançar isso, construímos um conjunto de dados em larga escala de designs LEGO fisicamente estáveis, juntamente com suas legendas associadas, e treinamos um modelo de linguagem autoregressivo de grande escala para prever o próximo bloco a ser adicionado por meio de previsão do próximo token. Para melhorar a estabilidade dos designs resultantes, empregamos uma verificação de validade eficiente e um mecanismo de rollback com consciência física durante a inferência autoregressiva, que elimina previsões de tokens inviáveis usando leis da física e restrições de montagem. Nossos experimentos mostram que o LegoGPT produz designs LEGO estáveis, diversos e esteticamente agradáveis que se alinham de perto com os prompts de texto de entrada. Também desenvolvemos um método de texturização de LEGO baseado em texto para gerar designs coloridos e texturizados. Demonstramos que nossos designs podem ser montados manualmente por humanos e automaticamente por braços robóticos. Além disso, disponibilizamos nosso novo conjunto de dados, StableText2Lego, contendo mais de 47.000 estruturas LEGO de mais de 28.000 objetos 3D únicos acompanhados por legendas detalhadas, juntamente com nosso código e modelos no site do projeto: https://avalovelace1.github.io/LegoGPT/.

English

We introduce LegoGPT, the first approach for generating physically stable LEGO brick models from text prompts. To achieve this, we construct a large-scale, physically stable dataset of LEGO designs, along with their associated captions, and train an autoregressive large language model to predict the next brick to add via next-token prediction. To improve the stability of the resulting designs, we employ an efficient validity check and physics-aware rollback during autoregressive inference, which prunes infeasible token predictions using physics laws and assembly constraints. Our experiments show that LegoGPT produces stable, diverse, and aesthetically pleasing LEGO designs that align closely with the input text prompts. We also develop a text-based LEGO texturing method to generate colored and textured designs. We show that our designs can be assembled manually by humans and automatically by robotic arms. We also release our new dataset, StableText2Lego, containing over 47,000 LEGO structures of over 28,000 unique 3D objects accompanied by detailed captions, along with our code and models at the project website: https://avalovelace1.github.io/LegoGPT/.