AInstein: Bewertung der Machbarkeit KI-generierter Ansätze zur Lösung von Forschungsproblemen

AInstein: Assessing the Feasibility of AI-Generated Approaches to Research Problems

October 6, 2025

papers.authors: Shambhavi Mishra, Gaurav Sahu, Marco Pedersoli, Laurent Charlin, Jose Dolz, Christopher Pal

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) demonstrieren beeindruckende Fähigkeiten in einer Vielzahl von Aufgaben, doch bleibt unklar, ob dieser Erfolg auf echtes logisches Denken oder auf ausgefeilte Erinnerungsleistungen zurückzuführen ist. Wir stellen AInstein vor, ein Framework zur Überprüfung, ob LLMs gültige Lösungen für KI-Forschungsprobleme allein auf Basis ihres vortrainierten parametrischen Wissens generieren können – ohne domänenspezifisches Fine-Tuning, retrievergestützte Erweiterungen oder andere externe Hilfsmittel. Unser Ansatz extrahiert destillierte Problemstellungen aus hochwertigen Einreichungen der ICLR 2025 und beauftragt spezialisierte Lösungsagenten damit, technische Lösungen durch iterative Kritikschleifen vorzuschlagen und zu verfeinern, wodurch die Zyklen von Vorschlag, Begutachtung und Überarbeitung, die für wissenschaftliche Untersuchungen zentral sind, nachgeahmt werden. Wir evaluieren AInstein anhand von 1.214 ICLR-Papers, die nach Akzeptanzstufen (Oral, Spotlight, Poster) stratifiziert sind, unter Verwendung eines LLM-als-Gutachter-Paradigmas, das durch ein strukturiertes Bewertungsschema geleitet und durch gezielte manuelle Überprüfungen ergänzt wird. Die Leistung wird anhand von drei Metriken bewertet: Erfolgsrate (löst die Lösung das Problem?), Wiederentdeckung (stimmt sie mit menschlich vorgeschlagenen Methoden überein?) und Neuartigkeit (führt sie zu gültigen, originellen Ansätzen?). Unsere Ergebnisse zeigen, dass LLMs zwar machbare Lösungen wiederentdecken und gelegentlich kreative Alternativen vorschlagen können, ihre Problemlösungsfähigkeit jedoch fragil und stark von der Formulierung abhängig bleibt. Diese Erkenntnisse liefern den ersten groß angelegten Beleg dafür, inwieweit LLMs als autonome wissenschaftliche Problemlöser agieren können, und heben sowohl ihr latentes Potenzial als auch ihre derzeitigen Grenzen hervor.

English

Large language models (LLMs) demonstrate impressive capabilities across a wide range of tasks, yet it remains unclear whether such success reflects genuine reasoning or sophisticated recall. We introduce AInstein, a framework for testing whether LLMs can generate valid solutions to AI research problems using only their pretrained parametric knowledge -- without domain-specific fine-tuning, retrieval augmentation, or other external aids. Our approach extracts distilled problem statements from high-quality ICLR 2025 submissions, then tasks specialized solver agents with proposing and refining technical solutions through iterative critique loops, mimicking the cycles of proposal, review, and revision central to scientific inquiry. We evaluate AInstein on 1,214 ICLR papers stratified by acceptance tier (Oral, Spotlight, Poster), using an LLM-as-a-judge paradigm guided by a structured rubric, complemented by targeted manual checks. Performance is assessed with three metrics: Success Rate (does the solution address the problem?), Rediscovery (does it align with human-proposed methods?), and Novelty (does it yield valid, original approaches?). Our results reveal that while LLMs can rediscover feasible solutions and occasionally propose creative alternatives, their problem-solving ability remains fragile and highly sensitive to framing. These findings provide the first large-scale evidence on the extent to which LLMs can act as autonomous scientific problem-solvers, highlighting both their latent potential and their current limitations.