AInstein: Оценка осуществимости подходов, генерируемых ИИ, для решения исследовательских задач
AInstein: Assessing the Feasibility of AI-Generated Approaches to Research Problems
October 6, 2025
Авторы: Shambhavi Mishra, Gaurav Sahu, Marco Pedersoli, Laurent Charlin, Jose Dolz, Christopher Pal
cs.AI
Аннотация
Крупные языковые модели (LLM) демонстрируют впечатляющие способности в решении широкого круга задач, однако остается неясным, отражает ли такой успех подлинное рассуждение или сложное воспроизведение информации. Мы представляем AInstein — фреймворк для тестирования способности LLM генерировать валидные решения задач в области исследований ИИ, используя только их предварительно обученные параметрические знания — без доменно-специфической тонкой настройки, усиления поиском или других внешних средств. Наш подход извлекает сжатые формулировки задач из высококачественных заявок на конференцию ICLR 2025, после чего специализированные агенты-решатели предлагают и улучшают технические решения через итеративные циклы критики, имитируя процессы предложения, рецензирования и доработки, ключевые для научного исследования. Мы оцениваем AInstein на 1 214 статьях ICLR, стратифицированных по уровню принятия (устные доклады, spotlight, постеры), используя парадигму LLM-как-судьи с руководством структурированной рубрики, дополненной целевыми ручными проверками. Производительность оценивается по трем метрикам: Успешность (решает ли предложение задачу?), Повторное открытие (соответствует ли оно методам, предложенным людьми?) и Новизна (предлагает ли оно валидные оригинальные подходы?). Наши результаты показывают, что, хотя LLM способны повторно находить выполнимые решения и иногда предлагать креативные альтернативы, их способность к решению задач остается хрупкой и сильно зависит от формулировки. Эти результаты предоставляют первые крупномасштабные доказательства того, в какой степени LLM могут выступать в качестве автономных научных решателей задач, подчеркивая как их скрытый потенциал, так и текущие ограничения.
English
Large language models (LLMs) demonstrate impressive capabilities across a
wide range of tasks, yet it remains unclear whether such success reflects
genuine reasoning or sophisticated recall. We introduce AInstein, a framework
for testing whether LLMs can generate valid solutions to AI research problems
using only their pretrained parametric knowledge -- without domain-specific
fine-tuning, retrieval augmentation, or other external aids. Our approach
extracts distilled problem statements from high-quality ICLR 2025 submissions,
then tasks specialized solver agents with proposing and refining technical
solutions through iterative critique loops, mimicking the cycles of proposal,
review, and revision central to scientific inquiry. We evaluate AInstein on
1,214 ICLR papers stratified by acceptance tier (Oral, Spotlight, Poster),
using an LLM-as-a-judge paradigm guided by a structured rubric, complemented by
targeted manual checks. Performance is assessed with three metrics: Success
Rate (does the solution address the problem?), Rediscovery (does it align with
human-proposed methods?), and Novelty (does it yield valid, original
approaches?). Our results reveal that while LLMs can rediscover feasible
solutions and occasionally propose creative alternatives, their problem-solving
ability remains fragile and highly sensitive to framing. These findings provide
the first large-scale evidence on the extent to which LLMs can act as
autonomous scientific problem-solvers, highlighting both their latent potential
and their current limitations.