자기회귀 모자이크: 텍스트 전용 언어 모델의 2D 공간 추론 탐구

초록

텍스트와 코드만으로 훈련된 대규모 언어 모델(LLM)은 때때로 알아볼 수 있는 이미지를 그려내는 프로그램을 생성할 수 있다. 그러나 이것이 2D 공간 배치에 대한 내부 표상을 반영하는 것인지, 아니면 단순히 공간 묘사를 코드로 변환하는 능력인지는 불분명하다. 본 논문에서는 이러한 요인들을 분리하는 벤치마크인 자기회귀 모자이크(AM-Bench)를 소개한다. 첫째, 변환 과제는 모델에게 그림의 완전히 명시된 기하학 구조를 단어 형태의 프롬프트로 제공하고 이를 생성하는 코드를 요구한다. 둘째, 배치 과제는 모델이 명시가 부족한 프롬프트로부터 이미지를 구성하도록 요구한다. 여덟 개의 오픈 가중치 텍스트-및-코드 전용 모델을 대상으로 한 실험에서, 모든 모델은 명시된 기하학 구조를 코드로 안정적으로 변환했지만, 개방형 배치 성능은 모델 간에 상당한 차이를 보였으며, 이는 이러한 차이가 코드 생성 능력만으로는 설명되지 않음을 시사한다. 출력 매체 절제 실험은 모델이 사용하는 인터페이스 또는 표현 매체가 중요함을 추가로 보여준다. 절차적 코드를 원시 SVG로 대체하면 모든 모델에서 배치 점수가 향상되었다. 마지막으로 모델 활성화를 프로빙한 결과, 생성 이전에 대략적인 배치 계획이 존재하지만, 이는 프롬프트에 함축된 배치만을 반영한다. 생성 과정에서 모델은 처음부터 고정된 계획을 실행하는 대신 변화하는 기하학적 상태를 추적한다. 종합하면, 이러한 결과는 텍스트 전용 LLM의 2D 공간 성능이 모델과 출력 매체 모두에 의존하며, 코드 생성 능력만으로는 설명될 수 없음을 보여준다.

English

Large language models (LLMs) trained only on text and code can sometimes generate programs that draw recognizable images. However, it is unclear whether this reflects an internal representation of 2D spatial layout or simply the ability to translate spatial descriptions into code. We introduce Autoregressive Mosaics (AM-Bench), a benchmark that separates these factors: First, a translation task gives a model a fully specified geometry of a picture in words as a prompt and asks for the code that produces it. Second, a layout task requires the model to compose an image from an underspecified prompt. Across eight open-weight text-and-code-only models, all models reliably translate specified geometry into code, but their open-ended layout performance differs substantially, indicating that these differences are not explained by code-generation ability alone. An output-medium ablation further shows that the interface or medium of expression that the model uses matters: replacing procedural code with raw SVG improves layout scores across all models. Finally, probing model activations shows that a coarse layout plan is present before generation, but reflects only the layout implied by the prompt. During generation, models track the evolving geometric state instead of executing an initially fixed plan. Overall, these results show that 2D spatial performance in text-only LLMs depends on both the model and the output medium, and is not explained by code-generation ability alone.