LTD-Bench: Bewertung großer Sprachmodelle durch Zeichnen lassen

papers.abstract

Aktuelle Evaluierungsparadigmen für große Sprachmodelle (LLMs) stellen einen kritischen blinden Fleck in der KI-Forschung dar – sie stützen sich auf undurchsichtige numerische Metriken, die grundlegende Limitationen im räumlichen Denken verschleiern und gleichzeitig kein intuitives Verständnis der Modellfähigkeiten vermitteln. Dieser Mangel erzeugt eine gefährliche Diskrepanz zwischen berichteter Leistung und praktischen Fähigkeiten, insbesondere für Anwendungen, die ein Verständnis der physischen Welt erfordern. Wir stellen LTD-Bench vor, einen bahnbrechenden Benchmark, der die Bewertung von LLMs von abstrakten Scores auf direkt beobachtbare visuelle Ausgaben transformiert, indem Modelle dazu aufgefordert werden, Zeichnungen durch Punktmatrizen oder ausführbaren Code zu generieren. Dieser Ansatz macht die Grenzen des räumlichen Denkens selbst für Laien unmittelbar ersichtlich und überbrückt die fundamentale Lücke zwischen statistischer Leistung und intuitiver Bewertung. LTD-Bench implementiert eine umfassende Methodik mit komplementären Generierungsaufgaben (zur Überprüfung der räumlichen Vorstellungskraft) und Erkennungsaufgaben (zur Bewertung der räumlichen Wahrnehmung) über drei progressiv anspruchsvollere Schwierigkeitsgrade hinweg, wodurch beide Richtungen der kritischen Sprach-Raum-Zuordnung methodisch evaluiert werden. Unsere umfangreichen Experimente mit state-of-the-art Modellen decken eine alarmierende Fähigkeitslücke auf: Selbst LLMs, die bei traditionellen Benchmarks beeindruckende Ergebnisse erzielen, weisen tiefgreifende Defizite beim Aufbau bidirektionaler Abbildungen zwischen Sprache und räumlichen Konzepten auf – eine grundlegende Einschränkung, die ihr Potenzial als genuine Weltmodelle untergräbt. Darüber hinaus ermöglichen die visuellen Ausgaben von LTD-Bench eine leistungsstarke Diagnoseanalyse und bieten einen potenziellen Ansatz zur Untersuchung von Modellähnlichkeiten.

English

Current evaluation paradigms for large language models (LLMs) represent a critical blind spot in AI research--relying on opaque numerical metrics that conceal fundamental limitations in spatial reasoning while providing no intuitive understanding of model capabilities. This deficiency creates a dangerous disconnect between reported performance and practical abilities, particularly for applications requiring physical world understanding. We introduce LTD-Bench, a breakthrough benchmark that transforms LLM evaluation from abstract scores to directly observable visual outputs by requiring models to generate drawings through dot matrices or executable code. This approach makes spatial reasoning limitations immediately apparent even to non-experts, bridging the fundamental gap between statistical performance and intuitive assessment. LTD-Bench implements a comprehensive methodology with complementary generation tasks (testing spatial imagination) and recognition tasks (assessing spatial perception) across three progressively challenging difficulty levels, methodically evaluating both directions of the critical language-spatial mapping. Our extensive experiments with state-of-the-art models expose an alarming capability gap: even LLMs achieving impressive results on traditional benchmarks demonstrate profound deficiencies in establishing bidirectional mappings between language and spatial concept--a fundamental limitation that undermines their potential as genuine world models. Furthermore, LTD-Bench's visual outputs enable powerful diagnostic analysis, offering a potential approach to investigate model similarity.

LTD-Bench: Bewertung großer Sprachmodelle durch Zeichnen lassen

LTD-Bench: Evaluating Large Language Models by Letting Them Draw

papers.abstract

Support