AInstein: Avaliando a Viabilidade de Abordagens Geradas por IA para Problemas de Pesquisa

AInstein: Assessing the Feasibility of AI-Generated Approaches to Research Problems

October 6, 2025

Autores: Shambhavi Mishra, Gaurav Sahu, Marco Pedersoli, Laurent Charlin, Jose Dolz, Christopher Pal

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) demonstram capacidades impressionantes em uma ampla gama de tarefas, mas ainda não está claro se esse sucesso reflete um raciocínio genuíno ou uma recuperação sofisticada de informações. Apresentamos o AInstein, um framework para testar se os LLMs podem gerar soluções válidas para problemas de pesquisa em IA utilizando apenas seu conhecimento paramétrico pré-treinado — sem ajuste fino específico de domínio, aumento por recuperação ou outros auxílios externos. Nossa abordagem extrai declarações de problemas destiladas de submissões de alta qualidade do ICLR 2025, e então atribui a agentes solucionadores especializados a tarefa de propor e refinar soluções técnicas por meio de ciclos iterativos de crítica, imitando os ciclos de proposta, revisão e revisão centrais à investigação científica. Avaliamos o AInstein em 1.214 artigos do ICLR estratificados por nível de aceitação (Oral, Spotlight, Poster), utilizando um paradigma de LLM-como-juiz guiado por uma rubrica estruturada, complementada por verificações manuais direcionadas. O desempenho é avaliado com três métricas: Taxa de Sucesso (a solução aborda o problema?), Redescoberta (ela se alinha com métodos propostos por humanos?) e Novidade (ela produz abordagens válidas e originais?). Nossos resultados revelam que, embora os LLMs possam redescobrir soluções viáveis e ocasionalmente propor alternativas criativas, sua capacidade de resolução de problemas permanece frágil e altamente sensível à formulação. Essas descobertas fornecem a primeira evidência em larga escala sobre até que ponto os LLMs podem atuar como solucionadores autônomos de problemas científicos, destacando tanto seu potencial latente quanto suas limitações atuais.

English

Large language models (LLMs) demonstrate impressive capabilities across a wide range of tasks, yet it remains unclear whether such success reflects genuine reasoning or sophisticated recall. We introduce AInstein, a framework for testing whether LLMs can generate valid solutions to AI research problems using only their pretrained parametric knowledge -- without domain-specific fine-tuning, retrieval augmentation, or other external aids. Our approach extracts distilled problem statements from high-quality ICLR 2025 submissions, then tasks specialized solver agents with proposing and refining technical solutions through iterative critique loops, mimicking the cycles of proposal, review, and revision central to scientific inquiry. We evaluate AInstein on 1,214 ICLR papers stratified by acceptance tier (Oral, Spotlight, Poster), using an LLM-as-a-judge paradigm guided by a structured rubric, complemented by targeted manual checks. Performance is assessed with three metrics: Success Rate (does the solution address the problem?), Rediscovery (does it align with human-proposed methods?), and Novelty (does it yield valid, original approaches?). Our results reveal that while LLMs can rediscover feasible solutions and occasionally propose creative alternatives, their problem-solving ability remains fragile and highly sensitive to framing. These findings provide the first large-scale evidence on the extent to which LLMs can act as autonomous scientific problem-solvers, highlighting both their latent potential and their current limitations.