LTD-Bench: Avaliando Modelos de Linguagem de Grande Porte Permitindo que Eles Desenhem

LTD-Bench: Evaluating Large Language Models by Letting Them Draw

November 4, 2025

Autores: Liuhao Lin, Ke Li, Zihan Xu, Yuchen Shi, Yulei Qin, Yan Zhang, Xing Sun, Rongrong Ji

cs.AI

Resumo

Os paradigmas atuais de avaliação de modelos de linguagem de grande porte (LLMs) representam um ponto cego crítico na pesquisa de IA – baseando-se em métricas numéricas opacas que ocultam limitações fundamentais no raciocínio espacial, sem fornecer qualquer compreensão intuitiva das capacidades dos modelos. Esta deficiência cria uma desconexão perigosa entre o desempenho reportado e as habilidades práticas, particularmente para aplicações que exigem compreensão do mundo físico. Apresentamos o LTD-Bench, um benchmark revolucionário que transforma a avaliação de LLMs de pontuações abstratas para saídas visuais diretamente observáveis, exigindo que os modelos gerem desenhos através de matrizes de pontos ou código executável. Esta abordagem torna as limitações do raciocínio espacial imediatamente aparentes, mesmo para não especialistas, preenchendo a lacuna fundamental entre o desempenho estatístico e a avaliação intuitiva. O LTD-Bench implementa uma metodologia abrangente com tarefas complementares de geração (testando a imaginação espacial) e de reconhecimento (avaliando a perceção espacial) em três níveis de dificuldade progressivamente desafiadores, avaliando metodicamente ambas as direções do mapeamento crítico linguagem-espaço. As nossas experiências extensivas com modelos de última geração expõem uma lacuna de capacidades alarmante: mesmo LLMs que alcançam resultados impressionantes em benchmarks tradicionais demonstram deficiências profundas no estabelecimento de mapeamentos bidirecionais entre linguagem e conceitos espaciais – uma limitação fundamental que compromete o seu potencial como modelos genuínos do mundo. Adicionalmente, as saídas visuais do LTD-Bench permitem uma poderosa análise de diagnóstico, oferecendo uma abordagem potencial para investigar a similaridade entre modelos.

English

Current evaluation paradigms for large language models (LLMs) represent a critical blind spot in AI research--relying on opaque numerical metrics that conceal fundamental limitations in spatial reasoning while providing no intuitive understanding of model capabilities. This deficiency creates a dangerous disconnect between reported performance and practical abilities, particularly for applications requiring physical world understanding. We introduce LTD-Bench, a breakthrough benchmark that transforms LLM evaluation from abstract scores to directly observable visual outputs by requiring models to generate drawings through dot matrices or executable code. This approach makes spatial reasoning limitations immediately apparent even to non-experts, bridging the fundamental gap between statistical performance and intuitive assessment. LTD-Bench implements a comprehensive methodology with complementary generation tasks (testing spatial imagination) and recognition tasks (assessing spatial perception) across three progressively challenging difficulty levels, methodically evaluating both directions of the critical language-spatial mapping. Our extensive experiments with state-of-the-art models expose an alarming capability gap: even LLMs achieving impressive results on traditional benchmarks demonstrate profound deficiencies in establishing bidirectional mappings between language and spatial concept--a fundamental limitation that undermines their potential as genuine world models. Furthermore, LTD-Bench's visual outputs enable powerful diagnostic analysis, offering a potential approach to investigate model similarity.