Что необходимо для создания эффективного исследовательского агента ИИ? Изучение роли разнообразия идей
What Does It Take to Be a Good AI Research Agent? Studying the Role of Ideation Diversity
November 19, 2025
Авторы: Alexis Audran-Reiss, Jordi Armengol Estapé, Karen Hambardzumyan, Amar Budhiraja, Martin Josifoski, Edan Toledo, Rishi Hazra, Despoina Magka, Michael Shvartsman, Parth Pathak, Justine T Kao, Lucia Cipolina-Kun, Bhavul Gauri, Jean-Christophe Gagnon-Audet, Emanuel Tewolde, Jenny Zhang, Taco Cohen, Yossi Adi, Tatiana Shavrina, Yoram Bachrach
cs.AI
Аннотация
Исследовательские агенты искусственного интеллекта открывают перспективу ускорения научного прогресса за счет автоматизации проектирования, реализации и обучения моделей машинного обучения. Однако данная область все еще находится в зачаточном состоянии, и ключевые факторы, определяющие успех или неудачу траекторий агентов, до конца не изучены. Мы исследуем роль, которую разнообразие идей играет в производительности агентов. Во-первых, мы анализируем траектории агентов на MLE-bench, известном бенчмарке для оценки исследовательских ИИ-агентов, для различных моделей и архитектур агентов. Наш анализ показывает, что разные модели и архитектуры агентов дают различную степень разнообразия идей, и что более эффективные агенты, как правило, обладают повышенным разнообразием идей. Далее мы проводим контролируемый эксперимент, в котором изменяем степень разнообразия идей, демонстрируя, что большее разнообразие идей приводит к более высокой производительности. Наконец, мы укрепляем наши результаты, исследуя дополнительные метрики оценки помимо стандартной бальной системы MLE-bench, показывая, что наши выводы остаются справедливыми и для других метрик производительности агентов.
English
AI research agents offer the promise to accelerate scientific progress by automating the design, implementation, and training of machine learning models. However, the field is still in its infancy, and the key factors driving the success or failure of agent trajectories are not fully understood. We examine the role that ideation diversity plays in agent performance. First, we analyse agent trajectories on MLE-bench, a well-known benchmark to evaluate AI research agents, across different models and agent scaffolds. Our analysis reveals that different models and agent scaffolds yield varying degrees of ideation diversity, and that higher-performing agents tend to have increased ideation diversity. Further, we run a controlled experiment where we modify the degree of ideation diversity, demonstrating that higher ideation diversity results in stronger performance. Finally, we strengthen our results by examining additional evaluation metrics beyond the standard medal-based scoring of MLE-bench, showing that our findings still hold across other agent performance metrics.