Interaktive Benchmarks

Zusammenfassung

Standard-Benchmarks sind aufgrund von Sättigung, Subjektivität und schlechter Generalisierung zunehmend unzuverlässig geworden. Wir vertreten die Auffassung, dass die Bewertung der Fähigkeit eines Modells, aktiv Informationen zu erwerben, wichtig ist, um seine Intelligenz zu beurteilen. Wir schlagen Interactive Benchmarks vor, ein einheitliches Bewertungsparadigma, das die Denkfähigkeit eines Modells in einem interaktiven Prozess unter Budgetbeschränkungen bewertet. Wir setzen diesen Rahmen in zwei Settings um: Interactive Proofs, bei denen Modelle mit einem Richter interagieren, um objektive Wahrheiten oder Antworten in Logik und Mathematik abzuleiten; und Interactive Games, bei denen Modelle strategisch denken, um langfristige Nutzen zu maximieren. Unsere Ergebnisse zeigen, dass interaktive Benchmarks eine robuste und authentische Bewertung der Modellintelligenz bieten und verdeutlichen, dass in interaktiven Szenarien noch erhebliches Verbesserungspotenzial besteht. Projektseite: https://github.com/interactivebench/interactivebench

English

Standard benchmarks have become increasingly unreliable due to saturation, subjectivity, and poor generalization. We argue that evaluating model's ability to acquire information actively is important to assess model's intelligence. We propose Interactive Benchmarks, a unified evaluation paradigm that assesses model's reasoning ability in an interactive process under budget constraints. We instantiate this framework across two settings: Interactive Proofs, where models interact with a judge to deduce objective truths or answers in logic and mathematics; and Interactive Games, where models reason strategically to maximize long-horizon utilities. Our results show that interactive benchmarks provide a robust and faithful assessment of model intelligence, revealing that there is still substantial room to improve in interactive scenarios. Project page: https://github.com/interactivebench/interactivebench