LTD-Bench: Valutazione dei Modelli Linguistici di Grande Dimensione Tramite la Generazione di Disegni

LTD-Bench: Evaluating Large Language Models by Letting Them Draw

November 4, 2025

Autori: Liuhao Lin, Ke Li, Zihan Xu, Yuchen Shi, Yulei Qin, Yan Zhang, Xing Sun, Rongrong Ji

cs.AI

Abstract

Gli attuali paradigmi di valutazione per i grandi modelli linguistici (LLM) rappresentano un punto cieco critico nella ricerca sull'IA, basandosi su metriche numeriche opache che nascondono limitazioni fondamentali nel ragionamento spaziale senza fornire una comprensione intuitiva delle capacità del modello. Questa carenza crea una pericolosa discrepanza tra le prestazioni riportate e le abilità pratiche, specialmente per applicazioni che richiedono la comprensione del mondo fisico. Introduciamo LTD-Bench, un benchmark rivoluzionario che trasforma la valutazione degli LLM da punteggi astratti a output visivi direttamente osservabili, richiedendo ai modelli di generare disegni attraverso matrici di punti o codice eseguibile. Questo approccio rende immediatamente evidenti le limitazioni del ragionamento spaziale anche ai non esperti, colmando il divario fondamentale tra prestazioni statistiche e valutazione intuitiva. LTD-Bench implementa una metodologia completa con task di generazione complementari (che testano l'immaginazione spaziale) e task di riconoscimento (che valutano la percezione spaziale) attraverso tre livelli di difficoltà progressivamente crescenti, valutando metodicamente entrambe le direzioni del critico mapping linguaggio-spazio. I nostri esperimenti estesi con modelli all'avanguardia rivelano un allarmante divario capacitivo: persino gli LLM che ottengono risultati impressionanti sui benchmark tradizionali dimostrano carenze profonde nell'stabilire mappature bidirezionali tra linguaggio e concetti spaziali - una limitazione fondamentale che mina il loro potenziale come veri modelli del mondo. Inoltre, gli output visivi di LTD-Bench abilitano potenti analisi diagnostiche, offrendo un approccio potenziale per investigare la similarità tra modelli.

English

Current evaluation paradigms for large language models (LLMs) represent a critical blind spot in AI research--relying on opaque numerical metrics that conceal fundamental limitations in spatial reasoning while providing no intuitive understanding of model capabilities. This deficiency creates a dangerous disconnect between reported performance and practical abilities, particularly for applications requiring physical world understanding. We introduce LTD-Bench, a breakthrough benchmark that transforms LLM evaluation from abstract scores to directly observable visual outputs by requiring models to generate drawings through dot matrices or executable code. This approach makes spatial reasoning limitations immediately apparent even to non-experts, bridging the fundamental gap between statistical performance and intuitive assessment. LTD-Bench implements a comprehensive methodology with complementary generation tasks (testing spatial imagination) and recognition tasks (assessing spatial perception) across three progressively challenging difficulty levels, methodically evaluating both directions of the critical language-spatial mapping. Our extensive experiments with state-of-the-art models expose an alarming capability gap: even LLMs achieving impressive results on traditional benchmarks demonstrate profound deficiencies in establishing bidirectional mappings between language and spatial concept--a fundamental limitation that undermines their potential as genuine world models. Furthermore, LTD-Bench's visual outputs enable powerful diagnostic analysis, offering a potential approach to investigate model similarity.