A2RBench: Ein automatisches Paradigma zur Generierung formal verifizierbarer abstrakter Reasoning-Benchmarks

Zusammenfassung

Abstraktes Denkvermögen spiegelt die Intelligenz und Generalisierungsfähigkeit von LLMs wider, abstrakte Regeln zu extrahieren und anzuwenden. Allerdings bleibt die präzise Messung dieser Fähigkeit eine Herausforderung: bestehende Benchmarks sind entweder auf teure manuelle Annotationen angewiesen, was ihren Umfang begrenzt, oder riskieren, eher Auswendiglernen als echtes Denken zu messen. Um dem zu begegnen, führen wir eine automatisierte Pipeline namens A2RBench ein, die die Phasen Generierung, Erweiterung, Evaluierung und Analyse umfasst. Konkret erstellen LLMs in der Generierungsphase vielfältige Aufgaben, die echtes Denken erfordern; in der Erweiterungsphase nutzen LLMs validierte Regeln und erweitern neue Eingaberäume, um Aufgabenvarianten zu generieren, was eine Skalierung ermöglicht. Ein solcher Prozess kann jedoch Halluzinationen verursachen. Um diese zu vermeiden, etablieren wir zudem einen theoretischen Rahmen und beweisen, dass programmatische Verifikation – das Testen, ob die inverse Operation die Vorwärtsoperation perfekt umkehrt (Zykluskonsistenz) – eine eindeutige Lösung garantiert. Durch umfangreiche Evaluierungen an gängigen LLMs stellen wir fest: (1) Aktuelle LLMs weisen grundlegende Defizite im abstrakten Denken auf, wobei Top-Modelle in einer repräsentativen Teilmenge deutlich schlechter abschneiden als Menschen (39,8 % vs. 68,5 %). (2) Aktuelle LLMs bleiben bei der Komplexität generierter 3D-Aufgaben weit hinter 2D und 1D zurück, was ihr mangelndes Verständnis für hochdimensionale Aufgaben offenbart. (3) Wider Erwarten können Eingaben mit höherer Informationskomplexität den Denkprozess vereinfachen.

English

Abstract reasoning ability reflects the intelligence and generalization capacity of LLMs to extract and apply abstract rules. However, accurately measuring this ability remains challenging: existing benchmarks either rely on expensive manual annotation, limiting their scale, or risk measuring memorization rather than genuine reasoning. To address this, we introduce an automated pipeline named A2RBench, encompassing generation, expansion, evaluation, and analysis. Specifically, in the generation stage, LLMs create diverse tasks demanding genuine reasoning; in the expansion stage, LLMs reuse validated rules and expand new input spaces to generate task variations, achieving scaling. However, such a process may cause hallucinations. To eliminate it, we further establish a theoretical framework and prove that programmatic verification--testing whether the inverse operation perfectly reverses the forward operation (cycle consistency)--guarantees a unique solution. Through extensive evaluations on mainstream LLMs, we find: (1) Current LLMs exhibit fundamental deficiencies in abstract reasoning, with top models significantly underperforming humans on a representative subset (39.8% vs. 68.5%). (2) Current LLMs fall far short of 2D and 1D in the complexity of generated 3D tasks, revealing their lack of understanding of high-dimensional tasks. (3) Counterintuitively, inputs with higher information complexity can simplify the reasoning process.