LTD-Bench: Het evalueren van grote taalmodellen door ze te laten tekenen

LTD-Bench: Evaluating Large Language Models by Letting Them Draw

November 4, 2025

Auteurs: Liuhao Lin, Ke Li, Zihan Xu, Yuchen Shi, Yulei Qin, Yan Zhang, Xing Sun, Rongrong Ji

cs.AI

Samenvatting

Huidige evaluatieparadigma's voor grote taalmodellen (LLM's) vormen een kritieke blinde vlek in AI-onderzoek. Ze steunen op ondoorzichtige numerieke metrieken die fundamentele beperkingen in ruimtelijk redeneren verhullen, zonder een intuïtief begrip van modelcapaciteiten te bieden. Dit tekort creëert een gevaarlijke kloof tussen gerapporteerde prestaties en praktische vaardigheden, vooral voor toepassingen die begrip van de fysieke wereld vereisen. Wij introduceren LTD-Bench, een baanbrekende benchmark die LLM-evaluatie transformeert van abstracte scores naar direct observeerbare visuele output door modellen te vragen tekeningen te genereren via puntmatrices of uitvoerbare code. Deze aanpak maakt ruimtelijke redeneerbeperkingen direct inzichtelijk, zelfs voor niet-experts, en overbrugt zo de fundamentele kloof tussen statistische prestaties en intuïtieve beoordeling. LTD-Bench implementeert een uitgebreide methodologie met complementaire generatietaken (testen van ruimtelijke verbeeldingskracht) en herkenningstaken (beoordelen van ruimtelijke perceptie) over drie progressief uitdagende moeilijkheidsniveaus, waarbij beide richtingen van de kritieke taal-ruimtelijke mapping methodisch worden geëvalueerd. Onze uitgebreide experimenten met state-of-the-art modellen leggen een alarmerende capaciteitskloof bloot: zelfs LLM's die indrukwekkende resultaten behalen op traditionele benchmarks tonen diepgaande tekortkomingen in het tot stand brengen van bidirectionele mapping tussen taal en ruimtelijke concepten – een fundamentele beperking die hun potentieel als authentieke wereldmodellen ondermijnt. Bovendien maken de visuele outputs van LTD-Bench krachtige diagnostische analyse mogelijk, wat een potentiële aanpak biedt om modelgelijkenis te onderzoeken.

English

Current evaluation paradigms for large language models (LLMs) represent a critical blind spot in AI research--relying on opaque numerical metrics that conceal fundamental limitations in spatial reasoning while providing no intuitive understanding of model capabilities. This deficiency creates a dangerous disconnect between reported performance and practical abilities, particularly for applications requiring physical world understanding. We introduce LTD-Bench, a breakthrough benchmark that transforms LLM evaluation from abstract scores to directly observable visual outputs by requiring models to generate drawings through dot matrices or executable code. This approach makes spatial reasoning limitations immediately apparent even to non-experts, bridging the fundamental gap between statistical performance and intuitive assessment. LTD-Bench implements a comprehensive methodology with complementary generation tasks (testing spatial imagination) and recognition tasks (assessing spatial perception) across three progressively challenging difficulty levels, methodically evaluating both directions of the critical language-spatial mapping. Our extensive experiments with state-of-the-art models expose an alarming capability gap: even LLMs achieving impressive results on traditional benchmarks demonstrate profound deficiencies in establishing bidirectional mappings between language and spatial concept--a fundamental limitation that undermines their potential as genuine world models. Furthermore, LTD-Bench's visual outputs enable powerful diagnostic analysis, offering a potential approach to investigate model similarity.