LTD-Bench: Evaluación de Modelos de Lenguaje Grandes mediante la Capacidad de Dibujo

LTD-Bench: Evaluating Large Language Models by Letting Them Draw

November 4, 2025

Autores: Liuhao Lin, Ke Li, Zihan Xu, Yuchen Shi, Yulei Qin, Yan Zhang, Xing Sun, Rongrong Ji

cs.AI

Resumen

Los paradigmas actuales de evaluación de modelos de lenguaje grandes (LLM) representan un punto ciego crítico en la investigación de IA: dependen de métricas numéricas opacas que ocultan limitaciones fundamentales en el razonamiento espacial, sin proporcionar una comprensión intuitiva de las capacidades del modelo. Esta deficiencia crea una desconexión peligrosa entre el rendimiento reportado y las habilidades prácticas, particularmente para aplicaciones que requieren comprensión del mundo físico. Presentamos LTD-Bench, un benchmark innovador que transforma la evaluación de LLM de puntuaciones abstractas a resultados visuales directamente observables, al requerir que los modelos generen dibujos mediante matrices de puntos o código ejecutable. Este enfoque hace que las limitaciones del razonamiento espacial sean inmediatamente aparentes incluso para no expertos, cerrando la brecha fundamental entre el rendimiento estadístico y la evaluación intuitiva. LTD-Bench implementa una metodología integral con tareas de generación complementarias (que prueban la imaginación espacial) y tareas de reconocimiento (que evalúan la percepción espacial) en tres niveles de dificultad progresivamente desafiantes, evaluando metódicamente ambas direcciones del mapeo crítico lenguaje-espacio. Nuestros extensos experimentos con modelos de vanguardia exponen una brecha de capacidades alarmante: incluso los LLM que logran resultados impresionantes en benchmarks tradicionales demuestran deficiencias profundas para establecer mapeos bidireccionales entre el lenguaje y los conceptos espaciales, una limitación fundamental que socava su potencial como modelos genuinos del mundo. Además, los resultados visuales de LTD-Bench permiten un potente análisis diagnóstico, ofreciendo un enfoque potencial para investigar la similitud entre modelos.

English

Current evaluation paradigms for large language models (LLMs) represent a critical blind spot in AI research--relying on opaque numerical metrics that conceal fundamental limitations in spatial reasoning while providing no intuitive understanding of model capabilities. This deficiency creates a dangerous disconnect between reported performance and practical abilities, particularly for applications requiring physical world understanding. We introduce LTD-Bench, a breakthrough benchmark that transforms LLM evaluation from abstract scores to directly observable visual outputs by requiring models to generate drawings through dot matrices or executable code. This approach makes spatial reasoning limitations immediately apparent even to non-experts, bridging the fundamental gap between statistical performance and intuitive assessment. LTD-Bench implements a comprehensive methodology with complementary generation tasks (testing spatial imagination) and recognition tasks (assessing spatial perception) across three progressively challenging difficulty levels, methodically evaluating both directions of the critical language-spatial mapping. Our extensive experiments with state-of-the-art models expose an alarming capability gap: even LLMs achieving impressive results on traditional benchmarks demonstrate profound deficiencies in establishing bidirectional mappings between language and spatial concept--a fundamental limitation that undermines their potential as genuine world models. Furthermore, LTD-Bench's visual outputs enable powerful diagnostic analysis, offering a potential approach to investigate model similarity.