Создание физически устойчивых и реализуемых конструкций LEGO из текста

Generating Physically Stable and Buildable LEGO Designs from Text

May 8, 2025

Авторы: Ava Pun, Kangle Deng, Ruixuan Liu, Deva Ramanan, Changliu Liu, Jun-Yan Zhu

cs.AI

Аннотация

Мы представляем LegoGPT — первый подход для генерации физически устойчивых моделей из кубиков LEGO по текстовым запросам. Для достижения этой цели мы создаем крупномасштабный набор данных физически устойчивых дизайнов LEGO вместе с их текстовыми описаниями и обучаем авторегрессивную языковую модель большого масштаба для предсказания следующего кубика через прогнозирование следующего токена. Чтобы повысить устойчивость получаемых конструкций, мы применяем эффективную проверку на валидность и физически осознанный откат во время авторегрессивного вывода, который отсекает невыполнимые предсказания токенов с использованием законов физики и ограничений сборки. Наши эксперименты показывают, что LegoGPT создает устойчивые, разнообразные и эстетически привлекательные дизайны LEGO, которые тесно соответствуют входным текстовым запросам. Мы также разрабатываем текстовый метод текстурирования LEGO для создания цветных и текстурированных моделей. Мы демонстрируем, что наши конструкции могут быть собраны вручную людьми и автоматически роботизированными манипуляторами. Мы также публикуем наш новый набор данных StableText2Lego, содержащий более 47 000 структур LEGO, представляющих более 28 000 уникальных 3D-объектов, сопровождаемых подробными описаниями, а также наш код и модели на сайте проекта: https://avalovelace1.github.io/LegoGPT/.

English

We introduce LegoGPT, the first approach for generating physically stable LEGO brick models from text prompts. To achieve this, we construct a large-scale, physically stable dataset of LEGO designs, along with their associated captions, and train an autoregressive large language model to predict the next brick to add via next-token prediction. To improve the stability of the resulting designs, we employ an efficient validity check and physics-aware rollback during autoregressive inference, which prunes infeasible token predictions using physics laws and assembly constraints. Our experiments show that LegoGPT produces stable, diverse, and aesthetically pleasing LEGO designs that align closely with the input text prompts. We also develop a text-based LEGO texturing method to generate colored and textured designs. We show that our designs can be assembled manually by humans and automatically by robotic arms. We also release our new dataset, StableText2Lego, containing over 47,000 LEGO structures of over 28,000 unique 3D objects accompanied by detailed captions, along with our code and models at the project website: https://avalovelace1.github.io/LegoGPT/.