テキストから物理的に安定かつ組み立て可能なLEGOデザインを生成する

Generating Physically Stable and Buildable LEGO Designs from Text

May 8, 2025

著者: Ava Pun, Kangle Deng, Ruixuan Liu, Deva Ramanan, Changliu Liu, Jun-Yan Zhu

cs.AI

要旨

テキストプロンプトから物理的に安定したLEGOブロックモデルを生成する初のアプローチとして、LegoGPTを紹介します。これを実現するため、物理的に安定した大規模なLEGOデザインデータセットとそれに関連するキャプションを構築し、自己回帰型の大規模言語モデルを訓練して、次のトークン予測を通じて追加すべき次のブロックを予測します。生成されるデザインの安定性を向上させるため、自己回帰推論中に効率的な妥当性チェックと物理法則を考慮したロールバックを採用し、物理法則と組み立て制約に基づいて実行不可能なトークン予測を枝刈りします。実験結果から、LegoGPTが安定性、多様性、美的魅力を兼ね備えたLEGOデザインを生成し、入力テキストプロンプトに密接に沿っていることが示されています。また、色付きでテクスチャ化されたデザインを生成するためのテキストベースのLEGOテクスチャリング手法も開発しました。私たちのデザインは、人間による手動組み立てとロボットアームによる自動組み立ての両方が可能であることを示しています。さらに、28,000以上のユニークな3Dオブジェクトに伴う47,000以上のLEGO構造と詳細なキャプションを含む新しいデータセットStableText2Legoを公開し、コードとモデルをプロジェクトウェブサイト（https://avalovelace1.github.io/LegoGPT/）で提供しています。

English

We introduce LegoGPT, the first approach for generating physically stable LEGO brick models from text prompts. To achieve this, we construct a large-scale, physically stable dataset of LEGO designs, along with their associated captions, and train an autoregressive large language model to predict the next brick to add via next-token prediction. To improve the stability of the resulting designs, we employ an efficient validity check and physics-aware rollback during autoregressive inference, which prunes infeasible token predictions using physics laws and assembly constraints. Our experiments show that LegoGPT produces stable, diverse, and aesthetically pleasing LEGO designs that align closely with the input text prompts. We also develop a text-based LEGO texturing method to generate colored and textured designs. We show that our designs can be assembled manually by humans and automatically by robotic arms. We also release our new dataset, StableText2Lego, containing over 47,000 LEGO structures of over 28,000 unique 3D objects accompanied by detailed captions, along with our code and models at the project website: https://avalovelace1.github.io/LegoGPT/.