LTD-Bench: Оценка больших языковых моделей через их способность к рисованию

LTD-Bench: Evaluating Large Language Models by Letting Them Draw

November 4, 2025

Авторы: Liuhao Lin, Ke Li, Zihan Xu, Yuchen Shi, Yulei Qin, Yan Zhang, Xing Sun, Rongrong Ji

cs.AI

Аннотация

Современные парадигмы оценки больших языковых моделей (LLM) представляют собой критическое слепое пятно в исследованиях ИИ — они опираются на непрозрачные численные метрики, которые скрывают фундаментальные ограничения в пространственном мышлении и не дают интуитивного понимания возможностей моделей. Этот недостаток создает опасный разрыв между заявленной производительностью и практическими способностями, особенно для приложений, требующих понимания физического мира. Мы представляем LTD-Bench, прорывной бенчмарк, который трансформирует оценку LLM от абстрактных баллов к непосредственно наблюдаемым визуальным результатам, требуя от моделей генерации рисунков через точечные матрицы или исполняемого кода. Данный подход делает ограничения пространственного мышления мгновенно очевидными даже для неспециалистов, преодолевая фундаментальный разрыв между статистической производительностью и интуитивной оценкой. LTD-Bench реализует комплексную методологию с взаимодополняющими задачами генерации (тестирование пространственного воображения) и задачами распознавания (оценка пространственного восприятия) на трех уровнях сложности, прогрессивно возрастающих, методично оценивая оба направления критического языково-пространственного отображения. Наши масштабные эксперименты с передовыми моделями выявляют тревожный разрыв в способностях: даже LLM, демонстрирующие впечатляющие результаты на традиционных бенчмарках, показывают глубокие недостатки в установлении двунаправленных соответствий между языком и пространственными концептами — фундаментальное ограничение, которое подрывает их потенциал в качестве подлинных моделей мира. Более того, визуальные результаты LTD-Bench позволяют проводить мощный диагностический анализ, предлагая потенциальный подход для исследования сходства моделей.

English

Current evaluation paradigms for large language models (LLMs) represent a critical blind spot in AI research--relying on opaque numerical metrics that conceal fundamental limitations in spatial reasoning while providing no intuitive understanding of model capabilities. This deficiency creates a dangerous disconnect between reported performance and practical abilities, particularly for applications requiring physical world understanding. We introduce LTD-Bench, a breakthrough benchmark that transforms LLM evaluation from abstract scores to directly observable visual outputs by requiring models to generate drawings through dot matrices or executable code. This approach makes spatial reasoning limitations immediately apparent even to non-experts, bridging the fundamental gap between statistical performance and intuitive assessment. LTD-Bench implements a comprehensive methodology with complementary generation tasks (testing spatial imagination) and recognition tasks (assessing spatial perception) across three progressively challenging difficulty levels, methodically evaluating both directions of the critical language-spatial mapping. Our extensive experiments with state-of-the-art models expose an alarming capability gap: even LLMs achieving impressive results on traditional benchmarks demonstrate profound deficiencies in establishing bidirectional mappings between language and spatial concept--a fundamental limitation that undermines their potential as genuine world models. Furthermore, LTD-Bench's visual outputs enable powerful diagnostic analysis, offering a potential approach to investigate model similarity.