自己回帰モザイク：テキストのみの言語モデルにおける2D空間推論の探求

要旨

テキストとコードのみで訓練された大規模言語モデル(LLM)は、認識可能な画像を描画するプログラムを生成できることがある。しかし、これが2次元空間レイアウトの内部表現を反映しているのか、それとも単に空間記述をコードに変換する能力に過ぎないのかは不明である。我々は、これらの要因を分離するベンチマークであるAutoregressive Mosaics(AM-Bench)を紹介する。第一に、翻訳タスクでは、画像の幾何学的情報を完全に言葉で指定したプロンプトをモデルに与え、その画像を生成するコードを求める。第二に、レイアウトタスクでは、明確に指定されていないプロンプトからモデルが画像を構成することを要求する。オープンウェイトのテキスト・コードのみのモデル8つにわたって評価した結果、すべてのモデルが指定された幾何学的情報をコードに確実に変換できる一方で、オープンエンドのレイアウト性能はモデル間で大幅に異なり、これらの差異がコード生成能力のみでは説明されないことが示された。さらに、出力メディアのアブレーションにより、モデルが使用する表現のインターフェースまたはメディアが重要であることが示される。手続き型コードを生のSVGに置き換えると、すべてのモデルでレイアウトスコアが向上する。最後に、モデルの活性化のプロービングにより、生成前に粗いレイアウト計画が存在するが、それはプロンプトによって暗黙に示されたレイアウトのみを反映していることが示される。生成中、モデルは当初の固定された計画を実行するのではなく、進化する幾何学的状態を追跡する。全体として、これらの結果は、テキストのみのLLMにおける2次元空間性能がモデルと出力メディアの両方に依存し、コード生成能力のみでは説明されないことを示している。

English

Large language models (LLMs) trained only on text and code can sometimes generate programs that draw recognizable images. However, it is unclear whether this reflects an internal representation of 2D spatial layout or simply the ability to translate spatial descriptions into code. We introduce Autoregressive Mosaics (AM-Bench), a benchmark that separates these factors: First, a translation task gives a model a fully specified geometry of a picture in words as a prompt and asks for the code that produces it. Second, a layout task requires the model to compose an image from an underspecified prompt. Across eight open-weight text-and-code-only models, all models reliably translate specified geometry into code, but their open-ended layout performance differs substantially, indicating that these differences are not explained by code-generation ability alone. An output-medium ablation further shows that the interface or medium of expression that the model uses matters: replacing procedural code with raw SVG improves layout scores across all models. Finally, probing model activations shows that a coarse layout plan is present before generation, but reflects only the layout implied by the prompt. During generation, models track the evolving geometric state instead of executing an initially fixed plan. Overall, these results show that 2D spatial performance in text-only LLMs depends on both the model and the output medium, and is not explained by code-generation ability alone.