Interactieve Benchmarks

Samenvatting

Standaardbenchmarks zijn steeds onbetrouwbaarder geworden door verzadiging, subjectiviteit en slechte generalisatie. Wij beargumenteren dat het evalueren van het vermogen van modellen om actief informatie te verwerven essentieel is om de intelligentie van modellen te beoordelen. Wij introduceren Interactieve Benchmarks, een uniform evaluatieparadigma dat het redeneervermogen van modellen beoordeelt in een interactief proces onder budgetbeperkingen. Wij concretiseren dit raamwerk in twee settings: Interactieve Bewijzen, waarbij modellen met een rechter interacteren om objectieve waarheden of antwoorden in logica en wiskunde af te leiden; en Interactieve Spellen, waarbij modellen strategisch redeneren om langetermijnnut te maximaliseren. Onze resultaten tonen aan dat interactieve benchmarks een robuuste en betrouwbare beoordeling van modelintelligentie bieden, en onthullen dat er nog aanzienlijke verbeteringsruimte is in interactieve scenario's. Projectpagina: https://github.com/interactivebench/interactivebench

English

Standard benchmarks have become increasingly unreliable due to saturation, subjectivity, and poor generalization. We argue that evaluating model's ability to acquire information actively is important to assess model's intelligence. We propose Interactive Benchmarks, a unified evaluation paradigm that assesses model's reasoning ability in an interactive process under budget constraints. We instantiate this framework across two settings: Interactive Proofs, where models interact with a judge to deduce objective truths or answers in logic and mathematics; and Interactive Games, where models reason strategically to maximize long-horizon utilities. Our results show that interactive benchmarks provide a robust and faithful assessment of model intelligence, revealing that there is still substantial room to improve in interactive scenarios. Project page: https://github.com/interactivebench/interactivebench