AInstein : Évaluation de la faisabilité des approches générées par l'IA pour les problèmes de recherche
AInstein: Assessing the Feasibility of AI-Generated Approaches to Research Problems
October 6, 2025
papers.authors: Shambhavi Mishra, Gaurav Sahu, Marco Pedersoli, Laurent Charlin, Jose Dolz, Christopher Pal
cs.AI
papers.abstract
Les grands modèles de langage (LLMs) démontrent des capacités impressionnantes dans un large éventail de tâches, mais il reste incertain si ces succès reflètent un raisonnement authentique ou un rappel sophistiqué. Nous présentons AInstein, un cadre pour tester si les LLMs peuvent générer des solutions valides à des problèmes de recherche en IA en utilisant uniquement leurs connaissances paramétriques pré-entraînées — sans ajustement spécifique au domaine, augmentation par récupération ou autres aides externes. Notre approche extrait des énoncés de problèmes distillés à partir de soumissions de haute qualité à l'ICLR 2025, puis confie à des agents spécialisés la tâche de proposer et d'affiner des solutions techniques à travers des boucles de critique itératives, imitant les cycles de proposition, d'examen et de révision au cœur de la démarche scientifique. Nous évaluons AInstein sur 1 214 articles de l'ICLR stratifiés par niveau d'acceptation (Oral, Spotlight, Poster), en utilisant un paradigme de LLM-comme-juge guidé par une grille d'évaluation structurée, complétée par des vérifications manuelles ciblées. La performance est mesurée à l'aide de trois indicateurs : Taux de réussite (la solution aborde-t-elle le problème ?), Redécouverte (correspond-elle aux méthodes proposées par les humains ?) et Nouveauté (produit-elle des approches valides et originales ?). Nos résultats révèlent que si les LLMs peuvent redécouvrir des solutions réalisables et proposer occasionnellement des alternatives créatives, leur capacité à résoudre des problèmes reste fragile et très sensible à la formulation. Ces résultats fournissent les premières preuves à grande échelle sur la mesure dans laquelle les LLMs peuvent agir comme des résolveurs autonomes de problèmes scientifiques, mettant en lumière à la fois leur potentiel latent et leurs limites actuelles.
English
Large language models (LLMs) demonstrate impressive capabilities across a
wide range of tasks, yet it remains unclear whether such success reflects
genuine reasoning or sophisticated recall. We introduce AInstein, a framework
for testing whether LLMs can generate valid solutions to AI research problems
using only their pretrained parametric knowledge -- without domain-specific
fine-tuning, retrieval augmentation, or other external aids. Our approach
extracts distilled problem statements from high-quality ICLR 2025 submissions,
then tasks specialized solver agents with proposing and refining technical
solutions through iterative critique loops, mimicking the cycles of proposal,
review, and revision central to scientific inquiry. We evaluate AInstein on
1,214 ICLR papers stratified by acceptance tier (Oral, Spotlight, Poster),
using an LLM-as-a-judge paradigm guided by a structured rubric, complemented by
targeted manual checks. Performance is assessed with three metrics: Success
Rate (does the solution address the problem?), Rediscovery (does it align with
human-proposed methods?), and Novelty (does it yield valid, original
approaches?). Our results reveal that while LLMs can rediscover feasible
solutions and occasionally propose creative alternatives, their problem-solving
ability remains fragile and highly sensitive to framing. These findings provide
the first large-scale evidence on the extent to which LLMs can act as
autonomous scientific problem-solvers, highlighting both their latent potential
and their current limitations.