Незамеченное и упущенное: решение проблемы слепого пятна в крупных языковых моделях с помощью CheckboxQA

Unchecked and Overlooked: Addressing the Checkbox Blind Spot in Large Language Models with CheckboxQA

April 14, 2025

Авторы: Michał Turski, Mateusz Chiliński, Łukasz Borchmann

cs.AI

Аннотация

Флажки играют ключевую роль в обработке реальных документов, где наличие или отсутствие отметок напрямую влияет на процессы извлечения данных и принятия решений. Однако, несмотря на высокую производительность крупных моделей зрения и языка в широком спектре задач, они испытывают трудности с интерпретацией содержимого, связанного с флажками. Эта проблема становится особенно актуальной в отраслях, где пропуск даже одного флажка может привести к дорогостоящим упущениям в регулировании или контрактных обязательствах. Для устранения этого пробела мы представляем набор данных CheckboxQA — специализированный ресурс, предназначенный для оценки и улучшения производительности моделей на задачах, связанных с флажками. Он выявляет ограничения современных моделей и служит ценным инструментом для совершенствования систем понимания документов, что имеет значительные последствия для применения в таких сферах, как юридические технологии и финансы. Набор данных доступен публично по адресу: https://github.com/Snowflake-Labs/CheckboxQA

English

Checkboxes are critical in real-world document processing where the presence or absence of ticks directly informs data extraction and decision-making processes. Yet, despite the strong performance of Large Vision and Language Models across a wide range of tasks, they struggle with interpreting checkable content. This challenge becomes particularly pressing in industries where a single overlooked checkbox may lead to costly regulatory or contractual oversights. To address this gap, we introduce the CheckboxQA dataset, a targeted resource designed to evaluate and improve model performance on checkbox-related tasks. It reveals the limitations of current models and serves as a valuable tool for advancing document comprehension systems, with significant implications for applications in sectors such as legal tech and finance. The dataset is publicly available at: https://github.com/Snowflake-Labs/CheckboxQA