AInstein: Valutazione della Fattibilità di Approcci Generati dall'Intelligenza Artificiale per Problemi di Ricerca

AInstein: Assessing the Feasibility of AI-Generated Approaches to Research Problems

October 6, 2025

Autori: Shambhavi Mishra, Gaurav Sahu, Marco Pedersoli, Laurent Charlin, Jose Dolz, Christopher Pal

cs.AI

Abstract

I grandi modelli linguistici (LLM) dimostrano capacità impressionanti in un'ampia gamma di compiti, ma rimane poco chiaro se tale successo rifletta un ragionamento genuino o un richiamo sofisticato. Introduciamo AInstein, un framework per testare se gli LLM possono generare soluzioni valide a problemi di ricerca sull'IA utilizzando solo la loro conoscenza parametrica pre-addestrata — senza fine-tuning specifico per dominio, arricchimento tramite recupero di informazioni o altri aiuti esterni. Il nostro approccio estrae dichiarazioni di problemi distillate da contributi di alta qualità presentati a ICLR 2025, quindi affida ad agenti risolutori specializzati il compito di proporre e affinare soluzioni tecniche attraverso cicli iterativi di critica, imitando i cicli di proposta, revisione e correzione centrali all'indagine scientifica. Valutiamo AInstein su 1.214 articoli di ICLR stratificati per livello di accettazione (Oral, Spotlight, Poster), utilizzando un paradigma LLM-come-giudice guidato da una rubrica strutturata, integrata da controlli manuali mirati. Le prestazioni sono valutate con tre metriche: Tasso di Successo (la soluzione affronta il problema?), Riscoperta (è in linea con i metodi proposti dagli umani?) e Novità (produce approcci validi e originali?). I nostri risultati rivelano che, sebbene gli LLM possano riscoprire soluzioni fattibili e occasionalmente proporre alternative creative, la loro capacità di risolvere problemi rimane fragile e altamente sensibile alla formulazione. Questi risultati forniscono la prima evidenza su larga scala dell'estensione in cui gli LLM possono agire come risolutori scientifici autonomi, evidenziando sia il loro potenziale latente che le loro attuali limitazioni.

English

Large language models (LLMs) demonstrate impressive capabilities across a wide range of tasks, yet it remains unclear whether such success reflects genuine reasoning or sophisticated recall. We introduce AInstein, a framework for testing whether LLMs can generate valid solutions to AI research problems using only their pretrained parametric knowledge -- without domain-specific fine-tuning, retrieval augmentation, or other external aids. Our approach extracts distilled problem statements from high-quality ICLR 2025 submissions, then tasks specialized solver agents with proposing and refining technical solutions through iterative critique loops, mimicking the cycles of proposal, review, and revision central to scientific inquiry. We evaluate AInstein on 1,214 ICLR papers stratified by acceptance tier (Oral, Spotlight, Poster), using an LLM-as-a-judge paradigm guided by a structured rubric, complemented by targeted manual checks. Performance is assessed with three metrics: Success Rate (does the solution address the problem?), Rediscovery (does it align with human-proposed methods?), and Novelty (does it yield valid, original approaches?). Our results reveal that while LLMs can rediscover feasible solutions and occasionally propose creative alternatives, their problem-solving ability remains fragile and highly sensitive to framing. These findings provide the first large-scale evidence on the extent to which LLMs can act as autonomous scientific problem-solvers, highlighting both their latent potential and their current limitations.