LTD-Bench: 大規模言語モデルに描画させることで評価する

要旨

大規模言語モデル（LLM）の現行評価パラダイムは、AI研究における重大な盲点である。空間推論の根本的限界を隠蔽する不透明な数値指標に依存し、モデル能力の直感的理解を提供しない。この欠陥は、報告される性能と実用的能力の間に危険な乖離を生み出しており、特に物理世界の理解を要する応用分野において顕著である。本研究ではLTD-Benchを提案する。ドットマトリックスや実行可能コードを通じた描画生成をモデルに要求することで、抽象的なスコアから直接観察可能な視覚的出力へとLLM評価を転換する画期的なベンチマークである。この手法により、非専門家であっても空間推論の限界が即座に明らかとなり、統計的性能と直感的評価の根本的隔たりを埋める。LTD-Benchは、3段階の難易度で補完的生成課題（空間的想像力の検証）と認識課題（空間的知覚の評価）を組み合わせた包括的方法論を実装し、言語と空間の重要な双方向マッピングを体系的に評価する。先進モデルを用いた大規模実験により驚くべき能力格差が暴露された：従来ベンチマークで印象的な結果を達成するLLMでさえ、言語と空間概念の双方向マッピング確立に深刻な欠陥を示す。これは真の世界モデルとしての潜在能力を損なう根本的限界である。さらにLTD-Benchの視覚的出力は強力な診断分析を可能とし、モデル類似性調査への新たな道筋を提供する。

English

Current evaluation paradigms for large language models (LLMs) represent a critical blind spot in AI research--relying on opaque numerical metrics that conceal fundamental limitations in spatial reasoning while providing no intuitive understanding of model capabilities. This deficiency creates a dangerous disconnect between reported performance and practical abilities, particularly for applications requiring physical world understanding. We introduce LTD-Bench, a breakthrough benchmark that transforms LLM evaluation from abstract scores to directly observable visual outputs by requiring models to generate drawings through dot matrices or executable code. This approach makes spatial reasoning limitations immediately apparent even to non-experts, bridging the fundamental gap between statistical performance and intuitive assessment. LTD-Bench implements a comprehensive methodology with complementary generation tasks (testing spatial imagination) and recognition tasks (assessing spatial perception) across three progressively challenging difficulty levels, methodically evaluating both directions of the critical language-spatial mapping. Our extensive experiments with state-of-the-art models expose an alarming capability gap: even LLMs achieving impressive results on traditional benchmarks demonstrate profound deficiencies in establishing bidirectional mappings between language and spatial concept--a fundamental limitation that undermines their potential as genuine world models. Furthermore, LTD-Bench's visual outputs enable powerful diagnostic analysis, offering a potential approach to investigate model similarity.

LTD-Bench: 大規模言語モデルに描画させることで評価する

LTD-Bench: Evaluating Large Language Models by Letting Them Draw

要旨

Support