SATA-BENCH: Select All That Apply Benchmark voor Meerkeuzevragen

SATA-BENCH: Select All That Apply Benchmark for Multiple Choice Questions

May 31, 2025

Auteurs: Weijie Xu, Shixian Cui, Xi Fang, Chi Xue, Stephanie Eckman, Chandan Reddy

cs.AI

Samenvatting

Grote taalmodellen (LLMs) worden steeds vaker geëvalueerd op meerkeuzetaken met één juist antwoord, terwijl veel problemen in de praktijk vereisen dat alle correcte antwoorden uit een reeks opties worden geïdentificeerd. Deze vaardigheid blijft onderbelicht. Wij introduceren SATA-BENCH, de eerste toegewijde benchmark voor het evalueren van LLMs op 'Select All That Apply' (SATA)-vragen in diverse domeinen, waaronder leesbegrip, recht en biomedische wetenschappen. Onze evaluatie van 27 open-source en propriëtaire modellen onthult een significante kloof: zelfs het sterkste model behaalt slechts 41,8% exacte overeenkomst, wat de onmogelijkheid van LLMs blootlegt om alle correcte antwoorden betrouwbaar te identificeren. Wij constateren dat deze zwakte voortkomt uit twee kernuitdagingen: selectiebias - modellen hebben een voorkeur voor bepaalde keuzes ongeacht de inhoud, en telbias - modellen slagen er niet in het juiste aantal antwoorden te voorspellen. Om deze problemen aan te pakken, stellen wij Choice Funnel voor, een decodeerstrategie die token-debiasing combineert met adaptieve drempelbepaling om modellen te begeleiden naar complete en accurate selecties. Choice Funnel behaalt tot 29% hogere exacte overeenkomst dan concurrerende baselines terwijl de inferentiekosten met meer dan 64% worden verlaagd. Onze bevindingen leggen fundamentele beperkingen in huidige LLMs bloot en introduceren een nieuw raamwerk voor het diagnosticeren en verbeteren van redeneren met meerdere antwoorden. Wij maken SATA-BENCH en Choice Funnel beschikbaar om de ontwikkeling van LLMs te bevorderen voor robuuste besluitvorming in realistische, multi-antwoordtoepassingen.

English

Large language models (LLMs) are increasingly evaluated on single-answer multiple-choice tasks, yet many real-world problems require identifying all correct answers from a set of options. This capability remains underexplored. We introduce SATA-BENCH, the first dedicated benchmark for evaluating LLMs on Select All That Apply (SATA) questions across diverse domains, including reading comprehension, law, and biomedicine. Our evaluation of 27 open-source and proprietary models reveals a significant gap: even the strongest model achieves only 41.8% exact match, exposing LLMs' inability to reliably identify all correct answers. We find that this weakness stems from two core challenges: selection bias - models favor certain choices regardless of content, and count bias - models fail to predict the correct number of answers. To address these issues, we propose Choice Funnel, a decoding strategy that combines token debiasing with adaptive thresholding to guide models toward complete and accurate selections. Choice Funnel achieves up to 29% higher exact match than competitive baselines while reducing inference cost by over 64%. Our findings expose fundamental limitations in current LLMs and introduce a new framework for diagnosing and improving multi-answer reasoning. We release SATA-BENCH and Choice Funnel to promote LLM development for robust decision-making in realistic, multi-answer applications.