LTD-Bench : Évaluer les grands modèles de langage en les laissant dessiner

LTD-Bench: Evaluating Large Language Models by Letting Them Draw

November 4, 2025

papers.authors: Liuhao Lin, Ke Li, Zihan Xu, Yuchen Shi, Yulei Qin, Yan Zhang, Xing Sun, Rongrong Ji

cs.AI

papers.abstract

Les paradigmes d'évaluation actuels pour les grands modèles de langage (LLM) représentent un angle mort critique dans la recherche sur l'IA. Ils reposent sur des métriques numériques opaques qui masquent des limitations fondamentales en raisonnement spatial, sans offrir de compréhension intuitive des capacités des modèles. Cette carence crée un décalage dangereux entre les performances déclarées et les aptitudes pratiques, particulièrement pour les applications nécessitant une compréhension du monde physique. Nous présentons LTD-Bench, un benchmark révolutionnaire qui transforme l'évaluation des LLM de scores abstraits en sorties visibles directement observables, en exigeant que les modèles génèrent des dessins via des matrices de points ou du code exécutable. Cette approche rend les limitations du raisonnement spatial immédiatement apparentes, même pour les non-experts, comblant le fossé fondamental entre la performance statistique et l'évaluation intuitive. LTD-Bench met en œuvre une méthodologie complète avec des tâches de génération complémentaires (testant l'imagination spatiale) et des tâches de reconnaissance (évaluant la perception spatiale) sur trois niveaux de difficulté progressivement croissants, évaluant méthodiquement les deux directions cruciales de la cartographie langage-espace. Nos expériences approfondies avec des modèles de pointe révèlent un écart de capacités alarmant : même les LLM obtenant des résultats impressionnants sur les benchmarks traditionnels démontrent des lacunes profondes dans l'établissement de mappings bidirectionnels entre le langage et les concepts spatiaux - une limitation fondamentale qui compromet leur potentiel en tant que véritables modèles du monde. De plus, les sorties visuelles de LTD-Bench permettent une analyse diagnostique puissante, offrant une approche potentielle pour étudier la similarité entre modèles.

English

Current evaluation paradigms for large language models (LLMs) represent a critical blind spot in AI research--relying on opaque numerical metrics that conceal fundamental limitations in spatial reasoning while providing no intuitive understanding of model capabilities. This deficiency creates a dangerous disconnect between reported performance and practical abilities, particularly for applications requiring physical world understanding. We introduce LTD-Bench, a breakthrough benchmark that transforms LLM evaluation from abstract scores to directly observable visual outputs by requiring models to generate drawings through dot matrices or executable code. This approach makes spatial reasoning limitations immediately apparent even to non-experts, bridging the fundamental gap between statistical performance and intuitive assessment. LTD-Bench implements a comprehensive methodology with complementary generation tasks (testing spatial imagination) and recognition tasks (assessing spatial perception) across three progressively challenging difficulty levels, methodically evaluating both directions of the critical language-spatial mapping. Our extensive experiments with state-of-the-art models expose an alarming capability gap: even LLMs achieving impressive results on traditional benchmarks demonstrate profound deficiencies in establishing bidirectional mappings between language and spatial concept--a fundamental limitation that undermines their potential as genuine world models. Furthermore, LTD-Bench's visual outputs enable powerful diagnostic analysis, offering a potential approach to investigate model similarity.