SATA-BENCH: Benchmark de Seleção Múltipla para Questões do Tipo "Selecione Todas as Aplicáveis"

SATA-BENCH: Select All That Apply Benchmark for Multiple Choice Questions

May 31, 2025

Autores: Weijie Xu, Shixian Cui, Xi Fang, Chi Xue, Stephanie Eckman, Chandan Reddy

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais avaliados em tarefas de múltipla escolha com resposta única, mas muitos problemas do mundo real exigem a identificação de todas as respostas corretas em um conjunto de opções. Essa capacidade ainda é pouco explorada. Apresentamos o SATA-BENCH, o primeiro benchmark dedicado à avaliação de LLMs em questões do tipo "Selecione Todas as Aplicáveis" (SATA) em diversos domínios, incluindo compreensão de leitura, direito e biomedicina. Nossa avaliação de 27 modelos de código aberto e proprietários revela uma lacuna significativa: mesmo o modelo mais forte alcança apenas 41,8% de correspondência exata, expondo a incapacidade dos LLMs de identificar de forma confiável todas as respostas corretas. Descobrimos que essa fraqueza decorre de dois desafios principais: viés de seleção - os modelos favorecem certas escolhas independentemente do conteúdo, e viés de contagem - os modelos falham em prever o número correto de respostas. Para abordar esses problemas, propomos o Choice Funnel, uma estratégia de decodificação que combina a redução de viés de tokens com limiarização adaptativa para guiar os modelos em direção a seleções completas e precisas. O Choice Funnel alcança até 29% a mais de correspondência exata em comparação com baselines competitivas, enquanto reduz o custo de inferência em mais de 64%. Nossas descobertas expõem limitações fundamentais nos LLMs atuais e introduzem uma nova estrutura para diagnosticar e melhorar o raciocínio de múltiplas respostas. Disponibilizamos o SATA-BENCH e o Choice Funnel para promover o desenvolvimento de LLMs para tomadas de decisão robustas em aplicações realistas de múltiplas respostas.

English

Large language models (LLMs) are increasingly evaluated on single-answer multiple-choice tasks, yet many real-world problems require identifying all correct answers from a set of options. This capability remains underexplored. We introduce SATA-BENCH, the first dedicated benchmark for evaluating LLMs on Select All That Apply (SATA) questions across diverse domains, including reading comprehension, law, and biomedicine. Our evaluation of 27 open-source and proprietary models reveals a significant gap: even the strongest model achieves only 41.8% exact match, exposing LLMs' inability to reliably identify all correct answers. We find that this weakness stems from two core challenges: selection bias - models favor certain choices regardless of content, and count bias - models fail to predict the correct number of answers. To address these issues, we propose Choice Funnel, a decoding strategy that combines token debiasing with adaptive thresholding to guide models toward complete and accurate selections. Choice Funnel achieves up to 29% higher exact match than competitive baselines while reducing inference cost by over 64%. Our findings expose fundamental limitations in current LLMs and introduce a new framework for diagnosing and improving multi-answer reasoning. We release SATA-BENCH and Choice Funnel to promote LLM development for robust decision-making in realistic, multi-answer applications.