AInstein: Het beoordelen van de haalbaarheid van AI-gegenereerde benaderingen voor onderzoeksproblemen

AInstein: Assessing the Feasibility of AI-Generated Approaches to Research Problems

October 6, 2025

Auteurs: Shambhavi Mishra, Gaurav Sahu, Marco Pedersoli, Laurent Charlin, Jose Dolz, Christopher Pal

cs.AI

Samenvatting

Grote taalmodellen (LLMs) tonen indrukwekkende capaciteiten op een breed scala aan taken, maar het blijft onduidelijk of dit succes voortkomt uit echt redeneren of uit geavanceerd herinneren. We introduceren AInstein, een raamwerk om te testen of LLMs geldige oplossingen kunnen genereren voor AI-onderzoeksproblemen met alleen hun vooraf getrainde parametrische kennis — zonder domeinspecifieke fine-tuning, retrieval-augmentatie of andere externe hulpmiddelen. Onze aanpak destilleert probleemstellingen uit hoogwaardige ICLR 2025 inzendingen en laat gespecialiseerde oplossingsagenten technische oplossingen voorstellen en verfijnen via iteratieve kritiekloops, waarbij de cycli van voorstel, review en revisie die centraal staan in wetenschappelijk onderzoek worden nagebootst. We evalueren AInstein op 1.214 ICLR papers, gestratificeerd op acceptatieniveau (Oral, Spotlight, Poster), met behulp van een LLM-as-a-judge paradigma geleid door een gestructureerde rubric, aangevuld met gerichte handmatige controles. Prestaties worden beoordeeld met drie metrieken: Succespercentage (lost de oplossing het probleem op?), Herontdekking (komt het overeen met door mensen voorgestelde methoden?), en Originaliteit (levert het geldige, originele benaderingen op?). Onze resultaten laten zien dat hoewel LLMs haalbare oplossingen kunnen herontdekken en af en toe creatieve alternatieven kunnen voorstellen, hun probleemoplossend vermogen kwetsbaar blijft en sterk gevoelig is voor formulering. Deze bevindingen bieden het eerste grootschalige bewijs over de mate waarin LLMs als autonome wetenschappelijke probleemoplossers kunnen functioneren, waarbij zowel hun latente potentieel als hun huidige beperkingen worden belicht.

English

Large language models (LLMs) demonstrate impressive capabilities across a wide range of tasks, yet it remains unclear whether such success reflects genuine reasoning or sophisticated recall. We introduce AInstein, a framework for testing whether LLMs can generate valid solutions to AI research problems using only their pretrained parametric knowledge -- without domain-specific fine-tuning, retrieval augmentation, or other external aids. Our approach extracts distilled problem statements from high-quality ICLR 2025 submissions, then tasks specialized solver agents with proposing and refining technical solutions through iterative critique loops, mimicking the cycles of proposal, review, and revision central to scientific inquiry. We evaluate AInstein on 1,214 ICLR papers stratified by acceptance tier (Oral, Spotlight, Poster), using an LLM-as-a-judge paradigm guided by a structured rubric, complemented by targeted manual checks. Performance is assessed with three metrics: Success Rate (does the solution address the problem?), Rediscovery (does it align with human-proposed methods?), and Novelty (does it yield valid, original approaches?). Our results reveal that while LLMs can rediscover feasible solutions and occasionally propose creative alternatives, their problem-solving ability remains fragile and highly sensitive to framing. These findings provide the first large-scale evidence on the extent to which LLMs can act as autonomous scientific problem-solvers, highlighting both their latent potential and their current limitations.